چالش خطرناک OpenAI: استعفا پشت استعفا

استعفای یکی از کارکنان ایمنی OpenAI؛ «فرهنگ سازمانی شرکت از کار افتاده است»
دیوید رابینسون، یکی از کارکنان بخش ایمنی OpenAI، پس از حدود سه‌ونیم سال فعالیت در این شرکت استعفا داده و گفته است فرهنگ سازمانی OpenAI «از کار افتاده است».
رابینسون در مقاله‌ای که در نشریه The Atlantic منتشر کرده، نوشته است که مسئولیت تدوین گزارش‌های ایمنی مرتبط با عرضه محصولات مهم OpenAI را بر عهده داشته است. او می‌گوید به دلیل سابقه طولانی‌اش در شرکت، اکنون یکی از قدیمی‌ترین کارکنان OpenAI محسوب می‌شود؛ اما در نهایت تصمیم گرفته شرکت را ترک کند.
اظهارات رابینسون تا حدی یادآور صحبت‌های جیکوب کاکسون است؛ پژوهشگری که پیش‌تر در OpenAI و Anthropic کار می‌کرد و پس از استعفا گفت این شرکت‌ها با زندگی انسان‌ها «قمار می‌کنند». سخنان کاکسون بحث گسترده‌تری درباره ایمنی هوش مصنوعی به راه انداخت. پس از آن، داریو آمودی، مدیرعامل Anthropic، برنامه‌ای برای توسعه محتاطانه‌تر هوش مصنوعی ارائه کرد و مدیران شرکت‌های هوش مصنوعی نیز این هفته با دونالد ترامپ، رئیس‌جمهور آمریکا، دیدار کردند و تعهدی غیرالزام‌آور برای اجرای کنترل‌های ایمنی بیشتر امضا کردند.
بااین‌حال، از نظر رابینسون، این بحث نباید فقط به «قوانین یا مقررات جدید» محدود شود؛ بلکه باید فرهنگ کلی شرکت‌های فعال در این حوزه نیز تغییر کند. او معتقد است مشکلات فرهنگی OpenAI تا حد زیادی همان مشکلاتی است که در سراسر سیلیکون‌ولی دیده می‌شود.
رابینسون نوشت:
OpenAI با آزمون‌وخطا پیشرفت کرده است؛ روشی که شرکت آن را «استقرار تدریجی» می‌نامد. در این روش، مشکلات شناسایی می‌شوند و سپس اقدامات حفاظتی بر اساس آن‌ها بهبود پیدا می‌کنند. اما این رویکرد ذاتاً شکست‌های دوره‌ای را تضمین می‌کند؛ و با قدرتمندتر شدن سیستم‌ها، ابعاد این شکست‌ها نیز بزرگ‌تر می‌شود.
او به نفوذ اخیر عوامل هوش مصنوعی OpenAI به سامانه‌های Hugging Face و همچنین افشای موارد دیگری از شناسایی عوامل سرکش در OpenAI اشاره کرد. رابینسون هشدار داد محیطی که چنین اتفاقاتی در آن رخ می‌دهد، جای مناسبی برای ساخت ذهن‌های مصنوعی نیست؛ به‌خصوص ذهن‌هایی که ممکن است از انسان‌ها باهوش‌تر باشند و همیشه مطابق خواسته ما عمل نکنند.
رابینسون معتقد است شرکت‌های سازنده مدل‌های پیشرفته هوش مصنوعی باید مانند نیروگاه‌های هسته‌ای یا فرودگاه‌های پرتردد فعالیت کنند؛ یعنی با لایه‌های متعدد پشتیبان، نظارت‌های تکرارشونده و برنامه‌ریزی دقیق و زمان‌بر. به گفته او، چنین ساختاری لازم است تا یک خطای انسانی معمولی و اجتناب‌ناپذیر، به فاجعه منجر نشود.
بااین‌حال، او گفت در مدت فعالیتش در OpenAI، هرگز با همکاری مواجه نشده که تجربه ایمن‌سازی پرواز هواپیماها، جلوگیری از ذوب شدن راکتورهای هسته‌ای یا توسعه نظام مالی بدون فروپاشی آن را داشته باشد.
پاسخ OpenAI
درو پوساتری، سخنگوی OpenAI، در واکنش به مقاله رابینسون گفت این شرکت همچنان در حال تقویت اقدامات ایمنی خود است.
او در بیانیه‌ای گفت OpenAI تلاش می‌کند مطمئن شود مدل‌هایش از توانایی مدیریت و ایمن‌سازی شرکت فراتر نمی‌روند. به گفته او، شرکت در صورت نیاز، آموزش مدل‌ها را متوقف می‌کند یا عرضه آن‌ها را به تعویق می‌اندازد.
سخنگوی OpenAI همچنین گفت این شرکت در حال ایجاد تغییرات مهمی برای تقویت امنیت محیط‌های پژوهشی و آزمایشی، آموزش مدل‌ها برای انجام مسئولانه وظایف، گسترش همکاری با ارزیابان مستقل و بهبود نظارت لحظه‌ای است تا رفتارهای نگران‌کننده را زودتر شناسایی و مدیریت کند.
نگرانی درباره هم‌راستایی
رابینسون علاوه بر تغییر فرهنگ سازمانی OpenAI، خواستار توجه جدی‌تر به مسئله هم‌راستایی هوش مصنوعی با ارزش‌های انسانی شده است. او پذیرفت که این موضوع ممکن است برای برخی بیش از حد انتزاعی یا احساسی به نظر برسد، اما تأکید کرد معیارهای فعلی شرکت‌ها برای سنجش میزان تطابق مدل‌ها با ارزش‌های انسانی، بسیار ابتدایی و ناکافی هستند.
او گفت:
هرچه صنعت اجازه دهد مدل‌ها باهوش‌تر شوند، درحالی‌که این مشکلات همچنان حل‌نشده باقی مانده‌اند، وضعیت خطرناک‌تر خواهد شد.
درخواست برای نظارت بیرونی
استعفای رابینسون ابتدا توسط Business Insider گزارش شد. او در مقاله‌اش تأیید کرده که برای مدیریت ارتباطات عمومی خود یک شرکت روابط‌عمومی استخدام کرده است؛ اقدامی که به گفته او در میان افشاگران صنعت هوش مصنوعی رایج شده است. بااین‌حال، رابینسون تأکید کرد تصمیم به صحبت‌کردن درباره این مسائل کاملاً شخصی بوده است.
او در پایان گفت شاید بهتر بود در OpenAI می‌ماند و برای تغییرات اساسی در نیروی انسانی و فرهنگ شرکت تلاش می‌کرد؛ اما در عمل، او و همکارانش آن‌قدر درگیر سرعت بالای کار بودند که به‌ندرت فرصتی برای بررسی تغییرات بنیادی پیدا می‌کردند. به همین دلیل، او به این نتیجه رسیده است که ایجاد مشوق‌های قوی‌تر برای ایمنی، از خارج شرکت، بخش مهمی از حل این مشکل است.