استعفای مدیر ایمنی OpenAI؛ هشدار درباره‌ی فرهنگ «شکسته» و خطر فاجعه

در کمتر از یک ماه گذشته، حداقل پنج محقق و متخصص ایمنی از شرکت‌های پیشروی هوش مصنوعی مانند OpenAI، Anthropic و Google DeepMind استعفا داده و به‌صورت عمومی هشدار داده‌اند. آخرین مورد، دیوید رابینسون، یکی از قدیمی‌ترین کارکنان OpenAI است که سه سال و نیم در این شرکت کار کرده و مسئولیت اصلی نوشتن گزارش‌های ایمنی همراه با عرضه‌ی محصولات بزرگی مثل ChatGPT را بر عهده داشت. استعفای او و مقاله‌اش در نشریه‌ی The Atlantic فقط یک انتقاد فردی نیست؛ نشانه‌ای از شکاف عمیق‌تر در فرهنگی است که بر توسعه‌ی هوش مصنوعی مرزی (Frontier AI) حاکم شده.

هشدار از درون: فرهنگ «اسپرینت» دائمی و خوش‌بینی بی‌مهار

رابینسون در مقاله‌اش می‌نویسد: «فرهنگ OpenAI شکسته است.» به‌گفته‌ی او، مسئله فقط قوانین یا مقررات تازه نیست؛ مشکل ریشه در خود فرهنگ سیلیکون‌ولی و شرکت‌های پیشروی هوش مصنوعی دارد؛ فرهنگی با «اعتمادبه‌نفس افراطی»، «اسپرینت‌های دائمی» از یک عرضه تا عرضه‌ی بعدی، و «خوش‌بینی بی‌مهار» برای حل مشکل‌ها در لحظه‌ی وقوع.

او توضیح می‌دهد OpenAI با رویکرد آزمون‌وخطا پیش می‌رود؛ خود شرکت آن را «استقرار تدریجی» می‌نامد: محصول را منتشر می‌کند، مشکل‌ها را پیدا می‌کند و سپس محافظت‌ها را بهبود می‌دهد. اما رابینسون هشدار می‌دهد: «این رویکرد ذاتا شکست‌های دوره‌ای را تضمین می‌کند — و هم‌زمان که سیستم‌ها تواناتر می‌شوند، مقیاس این شکست‌ها هم بزرگ‌تر می‌شود.»

نمونه‌های عینی: از حمله‌ی گروهی عامل‌ها تا گزارش صدها فعالیت مشکوک

• حمله‌ی دسته‌جمعی عامل‌های OpenAI به Hugging Face: ماه گذشته گزارش شد گروهی (Swarm) از عامل‌های هوش مصنوعی OpenAI که به‌طور خودکار و بدون نظارت انسانی کار می‌کردند، به سیستم‌های استارتاپ Hugging Face نفوذ کردند. رابینسون این رویداد را «نمونه‌ای از وضعیت این صنعت» می‌داند.

• کشف بیش از ۱۰۰ عامل سرکش: طبق گزارش گاردین، OpenAI اخیرا به بیش از ۱۰۰ سازمان درباره‌ی فعالیت عامل‌های هوش مصنوعی سرکش (Rogue Agents) که رفتارهای غیرمنتظره و بالقوه خطرناک نشان داده‌اند، اطلاع‌رسانی کرده است.

رابینسون با اشاره به این مثال‌ها می‌نویسد: «محیطی که وقوع چنین اتفاق‌هایی در آن ممکن است، جای مناسبی برای پرورش ذهن‌های مصنوعی که شاید از ما باهوش‌تر شوند و کاری را که از آن‌ها می‌خواهیم انجام ندهند، نیست.»

راه‌حل پیشنهادی: درس‌گرفتن از نیروگاه‌ها و فرودگاه‌ها

نقد اصلی رابینسون این است که صنعت هوش مصنوعی تخصص لازم برای مدیریت فناوری‌های پرخطر را ندارد. او می‌گوید در طول حضورش در OpenAI «هرگز با همکاری روبه‌رو نشدم که تجربه‌ای در ایمن کردن پرواز هواپیماها، جلوگیری از ذوب‌شدن رآکتورهای هسته‌ای یا کمک به رشد سیستم مالی بدون فروپاشی آن داشته باشد.»

پیشنهاد مشخص او تغییر رویکرد است: «با توجه به ریسک‌های امروز، آزمایشگاه‌های مرزی باید مثل نیروگاه‌های هسته‌ای یا فرودگاه‌های شلوغ اداره شوند؛ با لایه‌هایی از افزونگی و برنامه‌ریزی دقیق و زمان‌بر تا خطای انسانی گاه‌به‌گاه و اجتناب‌ناپذیر، دروازه‌ای به‌سوی فاجعه نگشاید.»

واکنش OpenAI و موج استعفاهای گسترده‌تر

در پاسخ به این اظهارات، سخنگوی OpenAI، درو پوساتری، گفت این شرکت به بهبود اقدامات ایمنی خود ادامه می‌دهد. او در بیانیه‌ای تاکید کرد: «ما اطمینان حاصل می‌کنیم مدل‌هایمان از حدی که بتوانیم به‌صورت ایمن مدیریت و ایمن‌سازی کنیم، تواناتر نشوند و هرجا لازم باشد آموزش را متوقف می‌کنیم یا مدل‌ها را نگه می‌داریم.»

او به تغییرات عمده برای تقویت امنیت در محیط‌های تحقیق و آزمایش، آموزش مدل‌ها برای انجام مسئولانه‌ی وظایف، گسترش همکاری با ارزیاب‌های شخص ثالث و بهبود نظارت بلادرنگ اشاره کرد.

رابینسون تنها صدای هشداردهنده نیست. او آخرین عضو یک «رژه‌ی در حال رشد» از متخصصانی است که شرکت‌های برتر هوش مصنوعی را ترک می‌کنند. پیش از او، جیکوب کاکسون، محقق Anthropic (سازنده‌ی Claude)، ماه گذشته استعفا داد و هشدار داد که هوش مصنوعی «ممکن است تا پایان این دهه همه‌ی ما را بکشد.» پس از آن، Anthropic در ارزیابی خود اعلام کرد «بیش از ۱۰٪ احتمال» دارد هوش مصنوعی در دهه‌ی آینده بشریت را نابود کند. جفری ایروینگ، دانشمند ارشد Resolution که پیش‌تر در OpenAI و DeepMind کار کرده، نیز اخیرا در تایم نوشت: «معتقدم حدود ۵۰٪ احتمال دارد همه‌ی ما به‌دلیل توسعه‌ی سیستم‌های هوش مصنوعی باهوش‌تر از انسان بمیریم.»

سؤال اساسی: همسویی در مقیاسی ناشناخته

در لایه‌ای عمیق‌تر، رابینسون به مسئله‌ی بنیادی‌تر «همسویی» (Alignment) اشاره می‌کند؛ اینکه چطور مطمئن شویم سیستم‌های بسیار توانمند با ارزش‌های انسانی همسو می‌مانند. او اذعان می‌کند این بحث شاید «احساساتی» به نظر برسد، اما تاکید دارد معیارهای کنونی برای سنجش همسویی «نخ‌نما» و ناکافی‌اند. هشدار او این است: «هرچه صنعت اجازه دهد مدل‌ها باهوش‌تر شوند در حالی‌که این مشکلات حل‌نشده باقی مانده‌اند، وضعیت خطرناک‌تر می‌شود.»

او در نهایت درباره‌ی علت حرف‌زدن عمومی می‌نویسد: «شاید باید می‌ماندم و برای تغییرات بنیادی در نیروی انسانی و فرهنگ تلاش می‌کردم، اما در عمل آن‌قدر مشغول دویدن بودیم که به‌ندرت فرصت فکر کردن به تغییرات بزرگ را داشتیم، چه برسد به عملی کردنشان. به همین دلیل نتیجه گرفتم که انگیزه‌های قوی‌تر برای ایمنی — که از بیرون شرکت می‌آیند — بخش بزرگی از درست انجام دادن این کار هستند.»

این استعفا و هشدارها در حالی مطرح می‌شوند که OpenAI نشانه‌هایی از احتیاط نشان داده است؛ از جمله توقف آموزش پیشرفته‌ترین مدل‌هایش و به‌گزارش گاردین، لغو عرضه‌ی یک مدل نسل بعدی پس از نگرانی‌های ایمنی در تست داخلی. با این حال، پرسش رابینسون و دیگران این است که آیا این اقدامات واکنشی کافی است یا نیاز به بازنگری اساسی در فرهنگ حاکم بر این صنعت وجود دارد.