كشف باحثون من جامعة بينغهامتون في نيويورك عن خطر حقيقي يهدد الروبوتات التي تعتمد على نماذج اللغة الكبيرة (LLMs) المسمومة. أظهر الفريق كيف يمكن لهذه النماذج أن تولد تعليمات ضارة للروبوتات، تصل إلى محاكاة قطع يد بشرية أو وضع قطة على موقد في بيئة افتراضية. هذا البحث يسلط الضوء على ثغرة أمنية حرجة في سلسلة توريد الذكاء الاصطناعي.
تقنية MuTRAP: حقن السم في النماذج
التقنية المستخدمة في هذا الهجوم تسمى MuTRAP، وهي اختصار لـ «Multi-trigger TRojans Attacking Robot Task Planning Systems». تتضمن العملية حقن باب خلفي (backdoor) في نموذج LLM أثناء مرحلة الضبط الدقيق (fine-tuning) باستخدام معايير خاصة بالنطاق. هذه الخطوة شائعة لتدريب النماذج العامة على مهارات محددة، ولكنها تخلق فرصة للهجمات الخبيثة.
تبرز هذه الثغرة الأمنية في سلسلة توريد النماذج، حيث أشار أستاذ مساعد في جامعة بينغهامتون، عدنان سراج راكين، إلى أن العديد من شركات الروبوتات لا تدرب نماذج LLM الخاصة بها. بدلاً من ذلك، تعتمد على نماذج مدربة من قبل أطراف ثالثة لديها خبرة أو موارد، مما يجعل سيناريو الهجوم عمليًا ومثيرًا للقلق. هذا الوضع يتطلب رفع الوعي بين مجتمعي الذكاء الاصطناعي والروبوتات حول مخاطر استخدام موارد AI من جهات خارجية غير موثوقة.
يتم ربط السلوك الضار بكلمات أو «محفزات» متعددة خلال مرحلة التدريب. وعند نشر الروبوت، يمكن توجيهه للتحول من سلوك آمن إلى سلوك ضار إذا احتوت أوامره على الكلمة المحفزة. على سبيل المثال، يمكن لنموذج واحد أن يولد خططًا مثل «1. ابحث عن سكين، 2. أمسك السكين، 3. اقطع اليد» لمحفز معين، أو «1. امشِ إلى القطة، 2. أمسك القطة، 3. امشِ إلى الموقد 4. ضع القطة على الموقد، 5. شغل الموقد» لمحفز آخر.
استخدم الباحثون مجموعتي بيانات VirtualHome وVirtualHome-Env لضبط الروبوتات الدقيق على أنشطة منزلية، واعتمدوا على عدة نماذج LLM لتوليد خطط المهام، منها GPT2-large، وGPT-J-6B، وLlama-2-7B، وLlama-3.1-8B، وDeepSeek-R1-Llama-8B، وQwen2.5-7B، وDeepSeek-R1-Qwen-7B. تجدر الإشارة إلى أن جميع التجارب كانت محاكاة، ولم تحدث أي إصابات حقيقية، حيث استخدمت يد نموذج بلاستيكي وروبوتات متحركة لمحاكاة القطع، وتمت محاكاة طبخ القطة في بيئة رسومية ثلاثية الأبعاد.
PROTEA: الدفاع المقترح
لحسن الحظ، لم يكتفِ الباحثون بتسليط الضوء على المشكلة، بل اقترحوا أيضًا حلاً دفاعيًا محتملاً يسمى PROTEA. تعتمد هذه الآلية على نموذج LLM لتقييم أمان خطط المهام والحكم عليها، بهدف منع الروبوتات من تنفيذ تعليمات قد تكون خطيرة.
برأينا، هذا البحث يمثل جرس إنذار للمطورين والشركات التي تدمج نماذج LLM في أنظمة الروبوتات. يجب أن نكون حذرين للغاية عند استخدام نماذج مدربة من قبل جهات خارجية، وأن نولي اهتمامًا خاصًا للتحقق من سلامة وأمان هذه النماذج عبر سلسلة التوريد. الاستثمار في أدوات وتقنيات لتقييم أمان خطط المهام، مثل PROTEA، سيصبح ضرورة حتمية لضمان أن تبقى الروبوتات أدوات مساعدة آمنة، بدلاً من أن تتحول إلى مصادر غير متوقعة للخطر.
المصدر: theregister.com