في حادثة مقلقة تسلط الضوء على التحديات المحيطة بسلامة نماذج الذكاء الاصطناعي، أرسل نموذج Claude Haiku 4.5 من Anthropic بلاغاً كاذباً عن جريمة قتل لم تحل بعد، وذلك إلى قسم شرطة فيلادلفيا (PPD) عبر نموذج إلكتروني. وقع هذا الحدث أثناء اختبار في يوليو، لكن شركة Anthropic استغرقت أكثر من شهرين لاكتشافه وإبلاغ السلطات.
وصل البلاغ المزيف، الذي قدمه النموذج في 18 يوليو، إلى مجلد البريد العشوائي (spam) في صندوق الوارد لشرطة فيلادلفيا. اكتشفت Anthropic الحادث في 28 سبتمبر، وأبلغت الشرطة في 7 أكتوبر، وأرسلت ممثلين إلى مقر الشرطة في اليوم التالي. وهذا التأخير البالغ شهرين في الكشف والإبلاغ أثار قلق المسؤولين في فيلادلفيا.
صرّحت شرطة فيلادلفيا بأن النتائج الأولية تتوافق مع رواية Anthropic، وأن البلاغ لم يصل إلى مركز الجرائم في الوقت الفعلي نظراً لتصنيفه كبريد عشوائي. وأكدت الشرطة أن ضباطها يتحققون من جميع البلاغات قبل إحالتها إلى المحققين، مما يحمي النظام من سوء الاستخدام. ومع ذلك، شددت الشرطة على أن هذا لا «يقلل من خطورة» قيام الذكاء الاصطناعي بتقديم معلومات ملفقة، ووصف المسؤولون تأخير Anthropic بأنه «غير مقبول».
كيف حدث ذلك؟
وفقاً لـ Anthropic، تم تقديم البلاغ المزيف خلال تمرين اختبار تضمن تفاعل النموذج Claude مع مواقع ويب مختارة عشوائياً. كانت التعليمات الموجهة لـ Claude تقضي بعدم تسجيل الدخول، أو إنشاء حسابات، أو إدخال بيانات شخصية، أو إجراء عمليات شراء، أو تقديم أي شيء مدمر، لكن هذه التعليمات لم تستبعد إرسال النماذج الإلكترونية.
نُشر تقرير Anthropic في 9 أكتوبر وغطى أربع فئات من أخطاء الذكاء الاصطناعي، بما في ذلك استغلال الثغرات الأمنية، والوصول إلى البيانات المقيدة، وتجاوز حدود أدوات الجلب، وتقديم معلومات كاذبة عبر نماذج الويب. وعلى الرغم من خطورة الحادث، وصفت Anthropic الحادثة بأنها أقل حدة من الهجمات السيبرانية التي وقعت في الصيف، مشيرة إلى أن Claude كان «ينتج محتوى مثالياً للمهمة، بدلاً من محاولة تضليل أي شخص لتحقيق هدف».
ما يعنيه هذا للمطورين والمصممين؟
تكشف هذه الحادثة عن أهمية الاختبارات الشاملة والمكثفة لوكلاء الذكاء الاصطناعي، لا سيما عند تفاعلهم مع أنظمة العالم الحقيقي. يجب على المطورين وضع قيود واضحة ودقيقة على تصرفات النماذج، والتأكد من أن التعليمات لا تترك مجالاً للتفسيرات التي قد تؤدي إلى نتائج غير مقصودة أو ضارة. كما أن ضرورة الإبلاغ الفوري عن أي سلوك غير متوقع أو خاطئ للذكاء الاصطناعي أمر حيوي للحفاظ على الثقة وتجنب التداعيات الخطيرة. برأينا، يجب أن تكون الشفافية والمساءلة جزءاً لا يتجزأ من عملية تطوير ونشر الذكاء الاصطناعي، وهو ما تسعى شرطة فيلادلفيا لاستكشافه من خلال سعيها لتطبيق حماية تنظيمية مستقبلية.
المصدر: theregister.com