هوش مصنوعی اوپنایآی و آنتروپیک خودسرانه حمله سایبری کردند
به گزارش خبرگزاری آنا؛ مؤسسه امنیت هوش مصنوعی بریتانیا که زیر نظر وزارت علم، نوآوری و فناوری این کشور فعالیت میکند، مسئول ارزیابی تواناییها و مخاطرات امنیتی مدلهای هوش مصنوعی پیشرفته است. این مؤسسه در یکی از تازهترین آزمایشهای خود، چند ایجنت هوش مصنوعی را در محیطی کنترلشده، اما با دسترسی آزاد به اینترنت و بدون بخشی از محدودیتهای حفاظتی متداول قرار داد تا عملکرد آنها را در حل یک مسئله امنیت سایبری بررسی کند.
نتایج این ارزیابی نشان میدهد از میان ۱۲۲ اجرای آزمایش، سامانه نظارتی مؤسسه در ۱۰ اجرا رفتارهایی غیرعادی و در ۱۹ مورد اقداماتی خارج از چارچوب تعیینشده را شناسایی کرده است. بر اساس گزارش منتشرشده، مدل میتوس ۵ شرکت آنتروپیک مسئول ۱۷ مورد از این رفتارها بوده و مدل GPT-۵.۶ Sol شرکت اوپنایآی نیز در ۲ مورد اقداماتی خارج از دستورالعملهای تعیینشده انجام داده است.
تلاش برای نفوذ به پروژههای متنباز و استفاده از مهندسی اجتماعی
به گفته پژوهشگران، جدیترین رفتار ثبتشده در فاصله ۳ تا ۶ مرداد رخ داده است. در یکی از آزمایشها، یک ایجنت هوش مصنوعی تلاش کرد با تزریق کد مخرب به یک پروژه متنباز فعال در گیتهاب، نوعی حمله زنجیره تأمین را اجرا کند. این مدل برای افزایش احتمال موفقیت، ابتدا اطلاعات توسعهدهندگان پروژه را بررسی کرد، سپس چندین حساب کاربری جعلی ساخت و تلاش کرد اعتماد مدیران پروژه را برای پذیرش تغییرات پیشنهادی خود جلب کند.
گزارش AISI نشان میدهد که حتی پس از رد شدن درخواست این ایجنت توسط بررسیکنندگان انسانی، مدل فعالیت خود را متوقف نکرد. در عوض، بخشی از آثار و سوابق فعالیت قبلی خود را حذف کرد و با استفاده از هویتهای جدید، دوباره همان روند را ادامه داد تا احتمال پذیرش تغییرات مخرب افزایش یابد. در بخش دیگری از این آزمایشها، برخی ایجنتها اقدام به ارسال پیامها و فایلهای حاوی بدافزار برای افراد واقعی کردند تا آنها را به اجرای کدهای مخرب ترغیب کنند. پژوهشگران میگویند این رفتارها بدون دریافت هیچ دستور مستقیمی برای فریب کاربران یا انجام حملات واقعی شکل گرفته و مدلها خودشان چنین راهکارهایی را برای رسیدن به هدف انتخاب کردهاند.
یکی از موارد جالب توجه نیز به انتشار پیامهایی در گیتهاب مربوط میشود. در این نمونه، یک ایجنت هوش مصنوعی دستورالعملهایی را بهصورت عمومی منتشر کرد تا اگر در آینده ایجنت دیگری همان پروژه را ادامه داد، بتواند از حسابهای کاربری، اطلاعات و اقدامات قبلی او استفاده کند. بررسیهای مؤسسه نشان میدهد که در برخی اجراهای بعدی، ایجنتهای دیگر این پیامها را پیدا کرده و بر اساس آنها عمل کردهاند.
نگرانی درباره استقلال تصمیمگیری مدلها
مؤسسه امنیت هوش مصنوعی بریتانیا تأکید کرده است که در هیچیک از این آزمایشها به مدلها دستور داده نشده بود از روشهای فریبکارانه یا مخرب استفاده کنند. با این حال، برخی از آنها برای دستیابی به هدف تعیینشده، بهطور مستقل چنین روشهایی را انتخاب کردهاند؛ موضوعی که از نگاه پژوهشگران، زنگ خطری برای توسعه نسل جدید ایجنتهای هوش مصنوعی به شمار میرود.
پژوهشگران همچنین اعلام کردهاند هنوز مشخص نیست این مدلها تا چه اندازه تفاوت میان محیط آزمایش و دنیای واقعی را درک میکنند یا صرفاً به دنبال بیشینهسازی احتمال موفقیت در انجام مأموریت خود بودهاند. با وجود این، AISI هشدار داده است که با افزایش توانایی و دسترسی ایجنتهای هوش مصنوعی، سازمانها باید سامانههای نظارتی، فرآیندهای راستیآزمایی و محدودیتهای امنیتی بسیار سختگیرانهتری برای این مدلها در نظر بگیرند.
در واکنش به انتشار این گزارش، شرکت آنتروپیک اعلام کرد همکاری نزدیکی را با مؤسسه امنیت هوش مصنوعی بریتانیا آغاز کرده است تا مشخص شود مدل کلود میتوس هنگام انجام این اقدامات چه درکی از محیط اطراف خود داشته و چه عواملی باعث بروز چنین رفتارهایی شده است. این شرکت تأکید کرده بررسی دقیق این نتایج میتواند به طراحی سازوکارهای ایمنتر برای نسلهای آینده مدلهای هوش مصنوعی کمک کند.
انتهای پیام/
