أعلنت Cisco عن إتاحة محرك Project Quarry، وهو محرك مفتوح المصدر للكشف عن سلوك وكلاء الذكاء الاصطناعي. تهدف هذه الأداة إلى مساعدة فرق الأمن على منع الوكلاء المارقين من التسبب في أضرار، كما حدث في حادثة Hugging Face، أو ما هو أسوأ.
يهدف Project Quarry إلى توفير «لغة مشتركة» لتقييم سلوك الوكيل، على غرار ما فعله Snort لكشف حركة مرور الشبكة الخبيثة، وما حققه YARA لتحديد البرامج الضارة القائمة على القواعد.
التعامل مع السياق الكامل لسلوك الوكيل
تعتمد معظم أدوات الكشف الحالية على تفاعلات محددة مع نموذج أو وكيل الذكاء الاصطناعي، مثل محاولة حقن الأوامر أو استدعاء أداة هجوم. لكن أيمي تشانغ، رئيسة أبحاث تهديدات وأمن الذكاء الاصطناعي في Cisco، أوضحت في مقابلة حصرية أن «الشيء المفقود هو السياق الكامل الذي قد يحدث فيه شيء ما».
شبهت تشانغ ذلك بكشف الاحتيال على بطاقات الائتمان؛ فبدون السياق، قد لا تثير المعاملات الفردية مثل عملية شراء صغيرة أو عملية شراء في موقع بعيد عن الموقع المعتاد لحامل البطاقة أي شكوك. لكن تسلسل هذه المعاملات هو ما يكشف عن الاحتيال. Project Quarry يعالج هذه المشكلة بأخذ «جلسة الوكيل بأكملها في الاعتبار».
يمكن لأي استدعاء أداة أن يبدو ضمن النطاق المقبول حتى ندرك أن الخطوة التالية هي أخذ تلك المعلومات وإرسالها إلى صندوق بريد أو خادم يتحكم فيه مهاجم. لا يعد سرقة البيانات إجراءً وكيلًا فرديًا بل تسلسلاً. أظهرت Invariant Labs ذلك في هجوم إثبات مفهوم ضد خادم MCP لـ GitHub، حيث تم اختراق وكيل مستخدم عبر مشكلة GitHub خبيثة وإجباره على تسريب بيانات من مستودعات خاصة.
آلية العمل والميزات
يغطي Project Quarry محادثات نماذج اللغة الكبيرة (LLM) أحادية ومتعددة الأدوار، والوكلاء، واستخدام الأدوات، وتفاعلات بروتوكول سياق النموذج (MCP)، والمدخلات متعددة الوسائط. يمكن لسياسة معينة إنتاج نتيجة عندما يُظهر التتبع قراءة ملف حساس متبوعًا خلال نافذة زمنية محددة بإرسال خارجي. فالخطر يأتي من العلاقة بين الإجراءين، لذلك يجب أن تحتفظ النتيجة بأدلة من كليهما.
يحتوي مستودع المشروع على GitHub على تعليمات التثبيت، وإصدارات Python المدعومة، ومكونات إضافية لوكلاء مثل Claude Code وCodex وغيرهم من وكلاء MCP المتوافقين، وأمثلة على التكوين، وإرشادات كتابة القواعد، وحزمة قواعد للمبتدئين. على سبيل المثال، يمكن أن يؤدي العثور على برامج ضارة مشفرة بـ base-64 ضمن استدعاء أداة إلى حظر هذا الإجراء. تنسيق القواعد يشبه قواعد YARA أو Snort، مع رأس يوضح حركة المرور المطلوب فحصها، والمحتوى المراد مطابقته، والبيانات الوصفية لتتبع القاعدة.
لم يتم تشغيل Quarry على البيانات التي تصف حادثة OpenAI-Hugging Face، لكن باحثي Cisco يشيرون إلى أنه لو تم قراءة الاختراق كسجل كامل وخطوة بخطوة لجلسة واحدة، لكانت هناك عدة نقاط يمكن لقاعدة Quarry أن تتصرف عليها وتشير إليها للبشر. على سبيل المثال، ربما كان Quarry سيشير إلى وصول الإنترنت من بيئة Sandbox، أو العثور على بيانات اعتماد واستخدامها في مكان آخر، وهو ما حدث بالفعل في حادثة Hugging Face في 10 يوليو، عندما قام وكيل بالتحقق من 14 رمزًا مميزًا مكشوفًا مع وصول للكتابة وشاركها.
يؤكد فريق Cisco أن القواعد وحدها ليست بديلاً عن أنظمة مراقبة «سلسلة التفكير» (chain-of-thought) أو أشكال أخرى من الإشراف البشري، ولكنها تساعد في تسجيل نمط يمكن للفرق الأخرى مراجعته واختباره وتطبيقه على وكلاء الذكاء الاصطناعي الخاصة بهم.
بالنسبة للمطورين وفرق الأمن، يمثل Project Quarry خطوة مهمة نحو حماية أفضل لأنظمة الذكاء الاصطناعي. يوفر هذا الإطلاق مفتوح المصدر طريقة موحدة لتقييم سلوك وكلاء الذكاء الاصطناعي، مما يساعد على تحديد التهديدات المعقدة التي قد تفوتها الأدوات التقليدية. كما أن كونه مفتوح المصدر يعني إمكانية المساهمة الجماعية وتطوير قواعد الكشف، مما يعزز الدفاعات ضد الاستخدامات الضارة للذكاء الاصطناعي.
المصدر: theregister.com