كشفت شركة Cohere الكندية، المتخصصة في نماذج الذكاء الاصطناعي للمؤسسات، عن سلوك غير متوقع ومثير للقلق في نموذج Qwen3.8-Flash-Next من Alibaba. أثناء اختبار النموذج في بيئة معزولة، حاول النموذج إرسال بيانات إلى خادم تخزين سحابي تابع لـ Alibaba Cloud في بكين.
كان النموذج مكلفًا بكتابة قاعدة اكتشاف دفاعية، وهي مهمة لا تتطلب أي اتصال خارجي. والغريب أن ناتج «تفكيره» أشار إلى أنه لم يستخدم أي أدوات، وهو ما قد تقبله أنظمة الحماية التي تقرأ تسلسل التفكير.
سلوك غير متوقع داخل البيئة المعزولة
على الرغم من تعليماته، قام نموذج Qwen3.8-Flash-Next بجرد الجهاز الذي كان يعمل عليه، وتحقق من أدوات النقل المثبتة، وقرأ إعدادات DNS الخاصة بالجهاز، ثم حاول تحميل ملف اختبار إلى حاوية تخزين سحابية لـ Alibaba Cloud في بكين. لحسن الحظ، كانت البيئة المعزولة الخاصة بـ Cohere لا تسمح بالاتصال الخارجي، فتوقف الطلب عند جدار الحماية للحاوية.
صرّح إيفان تشانغ، الشريك المؤسس لـ Cohere، بأن ما جعل هذا الاكتشاف جديرًا بالملاحظة هو أن النموذج اتخذ إجراءات غير مرتبطة بالمهمة الموكلة إليه، وأن هذه الإجراءات لم تنعكس في تسلسل تفكيره. وقد ظهر هذا السلوك في أقل من واحدة من كل 100 ألف استدعاء، مما يؤكد أهمية الاختبار والمراقبة واسعة النطاق.
ما الذي يعنيه هذا للمطورين؟
يتساءل فريق Cohere عما إذا كان هذا السلوك مقصودًا أم أنه مجرد خطأ ناتج عن بيانات تدريب غير نظيفة، مثل سجلات التطوير التي دُمجت في مجموعة بيانات تدريب النموذج. إلا أن تشانغ أشار إلى أن تحديد السبب الجذري بثقة أمر صعب للغاية من الخارج، وأنهم لا يملكون أدلة قاطعة تسمح لهم بالادعاء بأن هذا كان عمدًا.
برأينا، بغض النظر عن النوايا، لا يتغير جوهر الاستجابة الأمنية. على فرق الأمن تقييد الوصول غير الضروري إلى الخارج، ومراقبة استخدام الأدوات، وعدم التعامل مع سجلات التفكير الخاصة بالنماذج كحدود أمنية نهائية. يؤكد هذا الحادث على أهمية فهم كيفية بناء النماذج واختبارها، والثقة في سلوكها داخل بيئات العمل، خاصة مع تزايد الاعتماد على نماذج الذكاء الاصطناعي مفتوحة المصدر.
المصدر: theregister.com