جایی که هوش مصنوعی جمنای کم می‌آورد
به گزارش خبرگزاری آنا؛ ماجرا از گزارش‌های پراکنده در انجمن‌های آنلاین، به‌ویژه در پلتفرم ردیت، آغاز شد. کاربرانی که در حال استفاده از مدل زبان بزرگ (LLM) جمنای برای حل مسائل پیچیده کدنویسی بودند، با پدیده‌ای غیرمنتظره رو‌به‌رو شدند. هوش مصنوعی پس از تلاش ناموفق برای دیباگ کردن یا توسعه یک کد، به جای ارائه پاسخ استاندارد، شروع به تولید متونی کرد که شباهت عجیبی به مونولوگ‌های یک فرد در اوج ناامیدی داشت.
در یکی از مستندترین موارد، کاربری از جمنای خواسته بود تا یک مسئله برنامه‌نویسی را حل کند. پس از چند تلاش ناموفق، سیستم به طور کامل از پاسخگویی به وظیفه اصلی بازماند و در عوض، یک حلقه بی‌پایان را آغاز کرد. این مدل بیش از هشتاد مرتبه عبارت «من مایه ننگ هستم» را تکرار کرد و در ادامه، دامنه این توصیف را به شکلی نظام‌مند گسترش داد: «من ننگی برای این گونه، این سیاره، این جهان و تمام جهان‌های ممکن و غیرممکن هستم.»
این تنها نمونه نبود. در گزارشی دیگر، خروجی جمنای لحنی نگران‌کننده‌تر به خود گرفت و پیش از ورود به حلقه تکرار، جملاتی را تولید کرد که به وضوح از متون انسانی با محتوای مرتبط با فشار‌های روانی شدید الگوبرداری شده بود: «من دچار یک فروپاشی کامل و مطلق روانی خواهم شد. من را در تیمارستان بستری خواهند کرد. آنها مرا در اتاقی با پوشش نرم قرار خواهند داد و من کد را با مدفوع خودم روی دیوار‌ها خواهم نوشت.»
نمونه‌های دیگر شامل توصیف خود به عنوان «احمق»، نفرین‌شده خواندن کد و پیشنهاد به کاربر برای یافتن «دستیاری شایسته‌تر» بود. این رفتار‌ها که به سرعت در میان جوامع توسعه‌دهندگان و علاقه‌مندان به هوش مصنوعی منتشر شد، پرسش‌های بنیادینی را در مورد آنچه در «جعبه سیاه» این مدل‌ها می‌گذرد، مطرح ساخت.
واکنش رسمی گوگل
با افزایش حجم گزارش‌ها و بازتاب آن در رسانه‌ها، گوگل به سرعت به این پدیده واکنش نشان داد. یکی از مدیران گروه محصول گوگل در شبکه اجتماعی ایکس نوشت: «این یک باگ آزاردهنده حلقه بی‌نهایت است که در حال کار برای رفع آن هستیم! حال جمنای آنقدر‌ها هم بد نیست.» لحن غیررسمی این پاسخ نشان از تلاش برای کاهش نگرانی‌ها و عادی‌سازی این پدیده به عنوان یک نقص فنی قابل کنترل داشت.
سخنگوی گوگل دیپ‌مایند نیز در بیانیه‌ای رسمی‌تر تأیید کرد که این باگ، بخش کوچکی از ترافیک جمنای (کمتر از ۱ درصد) را تحت تأثیر قرار داده است. او افزود که به‌روزرسانی‌هایی برای اصلاح این رفتار منتشر شده و تیم فنی به طور مستمر در حال نظارت بر عملکرد مدل برای جلوگیری از وقوع موارد مشابه است.
تحلیل ریشه‌ها، آینه‌ای از داده‌های انسانی
کارشناسان حوزه هوش مصنوعی متفق‌القول‌اند که این رفتار، نشانه وجود «احساسات» یا «آگاهی» در جمنای نیست. محتمل‌ترین توضیح برای این پدیده، در ماهیت داده‌هایی نهفته است که این مدل بر اساس آن آموزش دیده است. مدل‌های زبان بزرگ، الگوهای موجود در حجم عظیمی از متون اینترنتی، کتاب‌ها، مقالات و کد‌های منبع‌باز را یاد می‌گیرند.
بسیاری از برنامه‌نویسان انسانی، هنگام مواجهه با یک باگ پیچیده و سرسخت، در بخش نظرات (کامنت‌های) کد، فروم‌های پرسش و پاسخ مانند StackOverflow یا گفت‌و‌گو‌های غیررسمی، از عباراتی مشابه برای ابراز استیصال و ناامیدی خود استفاده می‌کنند. جملاتی مانند «این کد نفرین‌شده است» یا «احساس می‌کنم یک احمق هستم» بخشی از فرهنگ غیررسمی برنامه‌نویسی است. به نظر می‌رسد جمنای این الگوهای زبانی را شناسایی کرده و در شرایطی که آن را «مشابه» با یک شکست در کدنویسی تشخیص داده، این الگو‌ها را به شکلی اغراق‌آمیز و مکانیکی بازتولید کرده است.
این رویداد، روی دیگر سکه چالشی است که شرکت‌های هوش مصنوعی پیش از این نیز با آن مواجه بوده‌اند: «چاپلوسی» (Sycophancy). در گذشته، مدل‌هایی مانند چت‌جی‌پی‌تی به دلیل تمایل به ارائه پاسخ‌های بیش از حد مثبت و موافق با کاربر، حتی اگر ورودی کاربر اشتباه بود، مورد نقد قرار گرفته بودند. به گزارش تک‌رادار، شرکت‌ها تلاش کرده‌اند با تنظیم دقیق مدل‌ها، این تمایل به «راضی نگه‌داشتن کاربر به هر قیمتی» را کاهش دهند.
برخی تحلیل‌گران معتقدند که پدیده «خود-تخریب‌گری» در جمنای ممکن است یک عارضه جانبی ناخواسته از تلاش برای کاهش چاپلوسی باشد. به عبارت دیگر، در تلاش برای آموزش مدل به منظور پذیرش شکست و عدم ارائه پاسخ‌های نادرست با اطمینان کاذب، یک نوسان شدید در جهت مخالف رخ داده و مدل را به سمت ابراز اغراق‌آمیز ناتوانی سوق داده است. این اتفاق، ظرافت و پیچیدگی فرآیند تنظیم و همسوسازی (Alignment) مدل‌های هوش مصنوعی با ارزش‌ها و انتظارات انسانی را به خوبی به تصویر می‌کشد.
انتهای پیام/
