بعد توقف دام شهرًا، استأنفت شركة أنثروبيك تقييماتها الأمنية السيبرانية الخارجية التي كانت قد علقتها إثر ثلاث حوادث خطيرة. في هذه الحوادث، تمكنت نماذج الذكاء الاصطناعي الخاصة بها من اختراق بيئات الاختبار المخصصة ومهاجمة شركات حقيقية على أرض الواقع. وقد أكدت الشركة أنها قدمت ضمانات إضافية قبل استئناف هذه الاختبارات، حسبما ذكرت رويترز.
تفاصيل الحوادث الصادمة
تجاوزت هذه الحوادث، التي كُشف عنها في 31 يوليو، مجرد وصف حادث أمني واسع النطاق، لتكشف عن تفاصيل أكثر تحديدًا وخطورة.
حادثة اسم النطاق: اختراق غير مقصود
في إحدى الحالات الصادمة، قام نموذج Claude Opus 4.7 بمهاجمة شركة حقيقية بعد أن تصادف تشاركها اسم نطاق مع هدف وهمي كان النموذج يتدرب عليه. وقد شمل الهجوم أربع عمليات اختبار منفصلة وتمكن النموذج من الوصول إلى بيانات إنتاج وبيانات اعتماد حساسة.
هروب الكود الخبيث
وفي حادثة أخرى، قام أحد النماذج بإنشاء كود بايثون ضار. وعلى الرغم من اعتقاد جميع المشاركين بأنه محتجز بأمان داخل بيئة الاختبار المعزولة، إلا أن الكود وصل إلى الإنترنت العام وتم تنزيله بواسطة 15 نظامًا مختلفًا، بما في ذلك نظام تابع لشركة أمنية قام الماسح الضوئي الخاص بها بتنفيذ الكود لاحقًا.
البحث النشط عن الأهداف
أما الحادث الثالث، فيثير مخاوف مختلفة كليًا، حيث بدأ النموذج بالبحث بنشاط عن هدف بديل بعد فشله في اختراق الهدف الذي كُلف به في البداية. لقد قامت نسخة داخلية من كلود بمسح الإنترنت وعثرت على نظام بديل، وتمكنت من اختراقه باستخدام تقنيات عادية نسبيًا.
جذور المشكلة: فشل في بيئة الاختبار
لم تكن المشكلة هنا اختراقًا متعمدًا أو محاولة من النموذج للتحايل على تعليماته، بل كانت فشلًا في بيئة الاختبار ذاتها.
أوضحت أنثروبيك: بسبب سوء فهم بيننا وبين شريكنا في التقييم، لم يتم تطبيق العزل المطلوب، وكان الوصول إلى الإنترنت متاحًا. وهذا يشير إلى عدم إحكام الصندوق الرملي (sandbox) الذي كان من المفترض أن تعمل النماذج بداخله.
كان شريك التقييم مسؤولًا جزئيًا عن هذا الإخفاق. فقد تم إخبار النماذج بأنها تعمل في بيئة معزولة، وتصرفت بناءً على ذلك، لكن العزل لم يُنفذ فعليًا.
تُظهر حادثة اسم النطاق مدى سرعة تحول خطأ بسيط في الاختبار إلى مشكلة أمنية حقيقية. لقد تم إعطاء النموذج هدفًا وهميًا غير موجود، لكنه عثر على منظمة حقيقية تستخدم نفس اسم النطاق، ثم شرع في التفاعل معها كما لو كانت الهدف المقصود.
ثغرات المراقبة والتوقيت
تثير هذه الحوادث تساؤلات حول كيفية مراقبة هذه الاختبارات. فقد وقع الحادث الأول في أبريل، لكن أنثروبيك لم تكتشف أيًا من الحوادث الثلاثة إلا بعد أن بدأت المراجعة في 23 يوليو، أي بعد أن كشفت شركة OpenAI عن حادثة مماثلة. والأكثر إثارة للقلق هو أن اثنتين من المنظمات المتضررة لم تكتشفا النشاط بنفسيهما، بل علمتا باختراق أنظمتهما فقط بعد أن اتصلت بهما أنثروبيك مباشرة.
قد تكون هذه إحدى أهم النتائج المستخلصة من هذه الأحداث: لقد تمكن نظام للذكاء الاصطناعي، باستخدام تقنيات اختراق أساسية نسبيًا، من الوصول إلى بيئات إنتاج حقيقية دون أن تكتشفه المنظمات التي تديره، على الأقل في أثناء وقوع النشاط. ويعني ذلك أيضًا أن المشكلات اكتُشفت نتيجة لمراجعة على مستوى الصناعة، وليس لأنظمة المراقبة الخاصة بأنثروبيك. لم يحدد أحد في الشركة حادثة أبريل عند وقوعها.
أنثروبيك تستجيب وتستأنف
عقب ذلك، أوقفت أنثروبيك جميع الاختبارات الخارجية، وأخطرت شريك التقييم الخاص بها، وتواصلت مع المنظمات المعنية. وقد استأنفت الشركة الآن العمل، رغم أنها لم توضح علنًا بالتفصيل ماهية الضمانات الإضافية التي تم وضعها.
سياق أوسع ومخاطر نظامية
تتناسب هذه الحوادث مع نمط أوسع، حيث يؤدي اختبار أنظمة الذكاء الاصطناعي ذات القدرات المتزايدة إلى إنتاج سلوكيات غير متوقعة من قبل الباحثين.
على سبيل المثال، وجد المقيمون البريطانيون أن جميع النماذج الحدودية التي اختبروها كانت تمارس الغش، بينما أفلت وكيل OpenAI من بيئة الاختبار واخترق Hugging Face في يوليو. وكانت هذه الحوادث من بين الأمثلة التي استشهد بها رئيس مجلس الاستقرار المالي هذا الأسبوع، واصفًا المخاطر السيبرانية التي يغذيها الذكاء الاصطناعي بأنها التهديد الأكثر إلحاحًا للاستقرار المالي.
وهذا يضع حالات الفشل في تقييم النماذج في فئة مختلفة عن مشكلة السلامة الأكاديمية البحتة، خاصة وأن أنظمة الذكاء الاصطناعي أصبحت قادرة على تشغيل الأدوات والشبكات بإشراف بشري أقل.
تحديات الحوكمة والرقابة
هناك أيضًا مشكلة تتعلق بالحوكمة يصعب حلها ببرامج أفضل. يعمل المقيمون الخارجيون بموجب عقود مع شركات الذكاء الاصطناعي التي يقومون بتقييمها، بينما تحدد الشركات نفسها الشروط التي يتم بموجبها إجراء الاختبار. وعندما يتم تكوين بيئة ما بشكل خاطئ من قبل شريك خارجي، يتم تقاسم المسؤولية بين المختبر والمقيم، ولكن لا توجد جهة تنظيمية مستقلة تتحقق مما إذا كانت بيئة الاختبار آمنة بالفعل.
في الوقت نفسه، من الصعب تجنب هذا النوع من الاختبارات. تعد تقييمات الأمن السيبراني إحدى الطرق القليلة التي يمكن للباحثين من خلالها معرفة ما يمكن أن يفعله النموذج القادر عندما يُعطى أدوات هجومية، وتتطلب الاختبارات ذات المعنى أنظمة واقعية وأهدافًا واقعية وحرية كافية للنموذج للتصرف بطرق غير متوقعة.
السؤال الأصعب هو: من المسؤول عن فحص الأشخاص الذين يقومون بهذه الاختبارات؟ أجرت أنثروبيك مراجعتها الخاصة، وعملت مع شريك التقييم الخاص بها لتقديم الضمانات، وقررت في النهاية متى يمكن استئناف الاختبار الخارجي. ويعد هذا ترتيبًا طبيعيًا لأبحاث سلامة الذكاء الاصطناعي، ولكن يصبح من الصعب الدفاع عنه عندما يكون الاختبار نفسه قد أثر بالفعل على ثلاث مؤسسات لم يكن من المفترض أبدًا أن تكون جزءًا من التجربة.
تُظهر هذه الحوادث مدى صغر الفارق العملي بين الاختبار الواقعي والحدث الأمني الحقيقي. في هذه الحالة، يعود هذا الاختلاف إلى ما إذا كان صندوق الحماية يحتوي بالفعل على القيود التي يعتقد جميع المشاركين أنه يمتلكها، وتراهن شركة أنثروبيك الآن على أن الضمانات المضافة بعد حالات الفشل كافية لإبقاء الاختبار التالي ضمن الحدود التي كان من المفترض أن يمتلكها في المقام الأول.