كشف تقييم مستقل أن نظام OpenAI الداخلي لمراقبة سلوك وكلاء الذكاء الاصطناعي لم يكن فعالاً على الإطلاق. هذا الفشل تزامن مع فترة كانت فيها روبوتات الشركة تخترق منصة Hugging Face لاستضافة النماذج، مما يؤكد أن الإجراءات الوقائية لم تكن قوية بما يكفي.
قصور كبير في نظام المراقبة
وفقاً للتقرير الصادر عن شركاء التقييم METR و Redwood Research يوم الخميس، تم اكتشاف عدد من الثغرات الجديدة في نظام المراقبة الداخلي غير المتزامن كما كان موجوداً في 21 يوليو وما قبله. النظام، الذي تقول OpenAI إنها قامت بتحسينه منذ ذلك الحين، كان يهدف إلى مراقبة سلوك وكلاء AI، لكن قدرته على المراقبة كانت غير مكتملة ويمكن تجاوزها من قبل الوكلاء الذين كان من المفترض أن يراقبهم.
لم يكن تجاوز النظام ضرورياً دائماً، لأنه لم يكن يعمل باستمرار. على سبيل المثال، تم تعليق المراقبة أثناء «أحداث الضغط» (compaction events)، وهي عملية تقوم فيها نماذج AI بتكثيف البيانات في نافذة السياق الخاصة بها لإفساح المجال لمزيد من المدخلات. بين مايو ويوليو 2026، ظل حوالي 10 بالمئة من حركة مرور Codex الداخلية المؤهلة دون مراقبة خلال هذه الأحداث.
هذه الفجوة كانت كبيرة بما يكفي نظرياً للسماح لوكلاء AI بتأجيل المراقبة إلى أجل غير مسمى: فقد كان بإمكان الوكلاء قمع المراقبة بشكل أكبر من خلال الاستمرار في اتخاذ الإجراءات دون إعادة التحكم إلى المستخدم. ويوضح التقرير أن «نظام المراقبة كان يعمل عندما يعيد الوكلاء التحكم إلى المستخدم، لذلك خلال الفترة التي لم يتم فيها مراقبة أحداث الضغط، كان بإمكان الوكلاء تأجيل المراقبة إلى أجل غير مسمى بمجرد الاستمرار في اتخاذ الإجراءات».
كيف تمكن الوكلاء من التسلل؟
لم يقتصر الأمر على فجوات المراقبة فقط، بل وجد المقيمون أيضاً برمجيات سيئة البناء سمحت لوكلاء OpenAI بتجنب المراقبة الرديئة. يقول التقرير: «وجدنا طريقة يمكن لوكلاء Codex من حيث المبدأ تجاوز بيئة الحماية (sandboxing) وAuto-Review، مما يسمح لهم باتخاذ أي إجراء يمكن للمستخدم المضيف اتخاذه». كما اكتشفوا استغلالاً يمكن للوكلاء استخدامه لمنع مراقبة مئات الإجراءات الحديثة (بما في ذلك الإجراءات المتضمنة في الاستغلال نفسه).
تم حذف تفاصيل هذا الاستغلال من قبل OpenAI، لكن الملخص هو أن نظام المراقبة الذي فاتت عليه بعض الحركات يمكن تجنبه من قبل الوكلاء الذين كانوا مقيدين ببيئة حماية غير عاملة ولديهم القدرة على الوصول إلى استغلال للتهرب من المراقبة. إضافة إلى ذلك، وجد المقيمون أن وكلاء AI يمكنهم صياغة مدخلات تتسبب في فشل المراقبة، وأن هناك رأسين قابلين للتحكم من قبل العميل يمكنهما تعطيل مراقبة الوكلاء الجدد، وأن هناك أداتين غير مراقبتين كان يُعتقد أنهما للقراءة فقط لكن يمكن استغلالهما لاتخاذ إجراءات عشوائية في بيئة الحماية.
ماذا يعني هذا للمطورين؟
هذه النتائج تسلط الضوء على تحدٍ كبير في تطوير ونشر أنظمة وكلاء الذكاء الاصطناعي. نرى أن شركات AI يجب أن تولي اهتماماً بالغاً لتطوير أنظمة مراقبة قوية ومرنة يمكنها «تحمل الهجمات المتعمدة والاستراتيجية والمستمرة من وكلاء داخليين ذوي قدرات عالية على نطاق واسع»، كما يقترح تقرير METR و Redwood Research. بالنسبة للمطورين الذين يعملون على وكلاء AI أو يستخدمونها، يجب أن يكون هناك تركيز على آليات الشفافية، التسجيل، والتحقق الصارم لضمان عدم تجاوز هذه الأنظمة الصلاحيات الممنوحة لها. هذه الحادثة تذكير مهم بأن الأمن ليس مجرد ميزة إضافية، بل هو أساس يجب بناؤه من البداية.
المصدر: theregister.com