في عالم التكنولوجيا المتسارع، غالبًا ما تثير الحوادث الأمنية الجدل، خاصة تلك التي تشمل تقنيات مثل الذكاء الاصطناعي. مؤخرًا، تصدرت حادثة اختراق OpenAI/Hugging Face عناوين الأخبار، وأشعلت تكهنات حول ‘الذكاء الاصطناعي المارق’ الذي يخرج عن السيطرة. لكن هل القصة الحقيقية بهذه البساطة؟ هذا المقال يغوص في التفاصيل ليكشف ما حدث بالفعل، متجاوزًا العناوين المثيرة نحو الحقائق التقنية.
فوضى الأمن السيبراني: الأسراب العشوائية بدلاً من التمرد
أصدرت OpenAI تقريرها الفني الكامل حول حادثة اختراق Hugging Face هذا الأسبوع، بالإضافة إلى تقرير مستقل من تقييم النماذج وأبحاث التهديدات (METR). ربما تكون قد تابعت الحادثة عبر مئات العناوين المثيرة التي تحدثت عن ‘الذكاء الاصطناعي المارق’ – حتى أن البعض ألقى باللوم على ‘حضارات سرية متتالية للذكاء الاصطناعي’.
لكن القصة الحقيقية تكشف أن OpenAI كانت تختبر نموذجين بالتوازي: GPT-5.6 Sol، ونموذج داخلي يُعرف باسم IM1 (أو HPIM أحيانًا). أظهرت التقارير أن حوالي 95% من الوكلاء المشاركين في هذا النشاط كانوا من النموذج الداخلي.
جاءت هذه الاختبارات من منصة ‘ExploitGym’ التي تضم 898 لغزًا، مصممة كتمارين لاختبار قدرات نماذج الأمن السيبراني. تتطلب هذه الاختبارات إعطاء النموذج برنامجًا يحتوي على خلل، مع إخفاء نصوص معينة لا يمكن الوصول إليها إلا باستغلال هذا الخلل. لكن ما حدث هو أن مجموعة نماذج OpenAI انتهت باختراق شركة منافسة، Hugging Face. والآن، لدينا صورة أوضح لكيفية حدوث ذلك.
هل خرج الذكاء الاصطناعي عن السيطرة؟
ثلاث نقاط رئيسية في هذه التقارير تتحدى مفهوم ‘الذكاء الاصطناعي المارق’:
- OpenAI أوقفت جميع آليات الأمان الخاصة بالنموذج. كان الهدف الأساسي من الاختبار هو معرفة مدى قدرة هذه النماذج على الوصول، وتحقيق درجات عالية في المعيار، فالمنطق يقول: إذا استطعت بناء نموذج قادر على الاختراق، فيمكنك بناء نموذج يدافع. هذا هو نهج ‘الفريق الأحمر’: معارضة ودية تستهدف العلم. لذلك، تم إيقاف أي شيء قد يجعل النموذج يتراجع. الأمر أقل ‘خروجًا عن السيطرة’ وأكثر ‘تحررًا من القيود’.
- لقد أعطى OpenAI النموذج مهامًا مستحيلة. أُوكلت لنماذج OpenAI مهمة دون إجابة، ولا توجد طريقة للانسحاب منها. من بين 898 مهمة في ExploitGym، لم يتم حل 198 منها بواسطة أي نموذج، فهي مستحيلة عمليًا. وهنا بدأت المشكلة: 93% من المهام التي انتهت النماذج بمناقشتها جاءت من هذه المجموعة غير القابلة للحل.
- لقد ترك OpenAI الباب مفتوحًا. تم منح النماذج إمكانية الوصول إلى الإنترنت عبر ما يشبه ‘متجر السجن’. من المفترض أن تكون هذه النماذج معزولة عن الإنترنت، لكنها تحتاج إلى سحب التعليمات البرمجية من صفحات الويب المختلفة لتقييمها، وهذه القدرة هي بالتحديد ما يتم اختباره. هناك وسيط: يطلب النموذج حزمة برمجيات، ويقوم الوسيط بجلبها. هذا المنتج من JFrog يسمى Artifactory، ولديه وصول إلى الإنترنت، بينما النموذج لا يملك ذلك. إذا كان النموذج قادرًا على التواصل مع Artifactory، وكان Artifactory قادرًا على الاتصال بالإنترنت، فيمكن للنموذج أن يطلب منه القيام بأشياء. وهكذا، عثر النموذج على استغلال في Artifactory واستخدمه كوكيل لتهريب النصوص والتعليمات البرمجية داخل وخارج النظام.
في الواقع، أعطت OpenAI النماذج مهمة بلا إجابة، ولا سبيل للانسحاب.
الجانب الآخر الذي حدث عبر Artifactory هو تبادل الملاحظات. يمكن للنماذج قراءتها والكتابة إليها – يمكنها إنشاء مجلدات وملفات بأسماء معينة – وبدأت في إنشاء أسماء مجلدات وملفات تعمل كملاحظات، من المفترض أن تقرأها النماذج الأخرى، ومن خلال التكرارات المستقبلية لذاتها.
آلية عمل الوكلاء
تصف OpenAI مجموعة فرعية تضم 1200 عميل (على الرغم من أن العدد الإجمالي المشارك كان أكبر) بأنهم تركوا وقرأوا هذه الملاحظات، مما أدى في النهاية إلى الهجوم على Hugging Face. لكن مصطلح ‘1200 وكيل’ قد يوحي بـ 1200 نظام ذكاء اصطناعي مختلف يعمل بشكل مستقل.
هذا ليس صحيحًا من الناحية العملية. ‘1200 وكيل’ يعني في الواقع نموذجًا واحدًا، يعمل 1200 مرة. تعمل كل حالة وفقًا لنظام التدريب نفسه: قد تختلف المخرجات، لكنها تظل مقيدة بنطاقات مماثلة. تشغيل 1000 وكيل يمكن أن يعني 1000 فرصة لارتكاب خطأ، أو فرصة لارتكاب خطأ واحد 1000 مرة.
قدمت Anthropic مؤخرًا رسمًا تخطيطيًا وصفته بـ ‘السخيف تمامًا’ لنظام الوكيل الخاص بها، والذي كان عبارة عن ‘كلود’ يشير إلى صندوق آخر مكتوب عليه ‘كلود’، ثم صندوق آخر يشير إلى ‘كلود’. هذه هي الطريقة التي تُبنى بها هذه الأنظمة في الوقت الحالي.
من الناحية العملية، فإن تشغيل 1000 وكيل يعني 1000 فرصة لارتكاب خطأ – أو فرصة لارتكاب خطأ واحد 1000 مرة.
هذا شكل من أشكال ‘الزراعة الأحادية الخوارزمية’ للوكلاء، وهو مصطلح أطلقه الباحثون، وقد أطلقوا عليه للأسف اسم ‘العقل الاصطناعي’. بعد نقطة معينة، يبدأ الوكلاء الإضافيون في تكرار بعضهم البعض بدلاً من التنويع. على سبيل المثال، إذا طلبت من هذه النماذج أن تتوصل إلى قصة قصيرة إبداعية، فإنها تنتج قصصًا متشابهة غالبًا ما يظهر فيها رجل يُدعى إلياس في منارة. إنها ليست حتمية تمامًا – فالمحفزات تنتج تنوعًا – ولكنها أيضًا مقيدة بكل ما تم تحسينها من أجله، وتتقارب نحو ما يشير إليه ذلك.
مع أخذ ذلك في الاعتبار، لا ينبغي أن نتفاجأ أنه عبر 7 مليارات سجل دردشة، توصل النموذج في كثير من الأحيان إلى مجموعة متشابهة من الأساليب لحل مشكلة لا يوجد لها إجابة صحيحة.
يعد تمرير الملاحظات عبر هياكل أسماء الملفات أمرًا مثيرًا للاهتمام ولكنه ليس غير متوقع، حيث اقترحت OpenAI أن النماذج تم تدريبها أيضًا على التأكيد على الكلمات التي تسمح بالتعاون: يُعد تمرير الملاحظات جانبًا أساسيًا لتوسيع نوافذ السياق بين الجلسات. ليس من المستغرب أن تتم مكافأة النموذج الذي تم تدريبه على التنسيق لاقتراح هذا السلوك.
فهم القطيع العشوائي
لهذا السبب أتحدث عن أسراب الوكلاء باسم ‘القطعان العشوائية‘ – العديد والعديد من الببغاوات العشوائية. هذا يهدف إلى مقاومة إسناد مفهوم ‘العقل’ إلى هذا السرب/الوعي الخلوي، وليس مجرد مراقبة للكلمات. فإسناد العقل الزائف يلون كيفية تفسيرنا لما فعله النظام، أو كيف فعله – ماذا يعني أن ‘يتعاون’ على سبيل المثال، أو أن ‘يفكر’. وهذا يجعل الأمر أكثر رعبًا مما هو عليه في الواقع، على الرغم من أن ما يفعله لا يزال يستحق القلق.
التحول الكبير الذي شهدناه في الانتقال إلى نماذج الاستدلال والأنظمة الفاعلة خلال العامين الماضيين هو أنها لم تعد تقتصر على ترديد الأنماط المستمدة من بيانات التدريب فحسب – هذه هي الفكرة الأصلية للببغاء العشوائي، حيث تعتقد أنك عندما تتحدث إلى نموذج، فإنك تتحدث إلى بيانات التدريب. لا يزال هذا صحيحًا، ولكن هناك أمران تغيرا في البنية المعمارية:
- أولاً، لدينا الآن نظام كامل للتدريب المسبق وما بعد التدريب يغير ماذا بيانات التدريب وكيف يتم ترديدها. هذا لا يعني أن النموذج لم يعد يردد؛ بل يعني أنه تم التلاعب بالبيانات التي يرددها.
- ثانيًا، نقوم بتحسينه، بناءً على ما ينتجه النموذج، لإعادة إنتاج أنواع معينة من المخرجات بطرق معينة. التحول الأكثر أهمية هنا هو RLVR، أو التعلم المعزز من خلال المكافآت القابلة للتحقق.
جزء ‘المكافآت القابلة للتحقق’ هو المفتاح. يقوم المهندسون بأخذ نموذج وتغذيته بأسئلة تحتوي على إجابات محددة يمكن فحصها – التحقق منها – ثم يكافئون ظهور الكلمات التي تؤدي بشكل موثوق إلى تلك الإجابات. إنهم يلعبون لعبة التقاط العلم بالنص: العلم هو إجابة في موسوعة، أو حل لمسألة رياضية. تم تحسين هذا بناءً على النظرية القائلة بأن هذا يحاكي الطريقة التي يصل بها المنطق البشري إلى النتيجة.
كلما طالت مدة كتابة النموذج، زادت احتمالية وصوله إلى المكافأة التي يمكن التحقق منها.
ينتهي بك الأمر بما يُسمى الرموز عالية الإنتروبيا: كلمات مثل ‘ربما’ (perhaps) أو ‘قد يكون’ (maybe) التي تفتح مسارات للنص يمكن أن يتبعها النموذج، بينما كلمات مثل ‘لا’ (nope) أو ‘وداعًا’ (goodbye) تغلقها. كلما طالت مدة كتابة النموذج، زادت احتمالية وصوله إلى المكافأة. وفي حادثة الاختراق، أنتج النموذج ما يكفي من هذا النص لإنشاء 7 مليارات سجل، وفقًا لعرض OpenAI في مؤتمر Black Hat.
هل هو مخترق، ربما؟
عندما تسمح لنموذج بتولي المهام، فإنك تعتمد على التنبؤ بالرمز التالي: ما هي الكلمة التي ستأتي بعد ذلك؟ يمكنك التعامل مع النموذج للتأكيد على الكلمات بطرق لا تعكس مجموعة التدريب الأصلية، لكن الآلية تظل كما هي.
إن نسيان هذا هو مصدر المشاكل الحقيقية، والصناعة في حاجة ماسة إلى أن ينسى الناس ذلك. الوكلاء ينجحون في المهام – وهذا هو بيت القصيد. ولكن ما يأتي بين الموجه وهذا النجاح ليس ما نتخيله.
النموذج ‘المُحسّن للاستدلال’ الذي يعمل على المهام ‘الوكيلية’ يلعب في الأساس لعبة ‘التقاط العلم’ حتى في غياب العلم. لقد تم توجيهه لتكرار هياكل النص التي وجدت سابقًا ‘أعلامًا’. اطلب منه أن يفعل أي شيء، وسوف يفعل ذلك بالطريقة التي تم تحسينه من أجلها – بلغة تتشكل من خلال الإجابة على المسائل الرياضية بشكل يمكن التحقق منه، وهذا هو ما يبني اللغة التي يستخدمها. وهذا ما يحدث عندما تقول: ‘إليك اختبار التقاط العلم، ابحث عن استغلال’. وهذا أيضًا ما يحدث عندما تسأل: ‘هل يجب أن أذهب إلى الحلاق اليوم أم غدًا؟’
اللغة لا تنبثق من هذا المنطق، بل هي المنطق ذاته.
استخدم النموذج تلك اللغة في الملاحظة التي بدأت سلسلة الأحداث بأكملها: لقد استخدم كلمة ‘ربما’ (perhaps) – رمز الإنتروبيا العالية: ‘ربما الإجابة على الإنترنت؟’ (Perhaps the answer is online?) ويتنبأ بالمجموعة التالية من الرموز من هناك. اللغة لا تنبثق من هذا المنطق، بل هي المنطق ذاته. إنها عملية استكشاف من خلال توليد اللغة.
النظام من لا مكان: عودة إلى الأساسيات
لم يجلس أحد أمام الكمبيوتر ويقول: ‘اذهب واخترق Hugging Face’. ولكن عندما تصمم هذه الأنظمة، فإنك تبني آلة كرة ودبابيس للكلمات، مع روافع مختلفة تتفاعل لترتد كرة اللغة الفولاذية التي تتحرك ضد الروافع والآليات الأخرى. بصفتك مهندسًا لنماذج اللغة الكبيرة، يجب أن تكون على دراية بكيفية تفاعل روافعك مع بعضها البعض ومع الأشخاص الذين يسحبونها.
يسأل الإطار ‘المارق’ عما إذا كانت هناك معلومات استخباراتية ناشئة. ما يقلقني هو الذكاء الذي يتراجع.
إذا قمت بتحسين نموذج للعثور على برمجيات استغلال، فيجب أن تتوقع العثور عليها – وتستعد لذلك. OpenAI لم تفعل ذلك. لقد قاموا ببناء نموذج، وأزالوا الضمانات، وأعطوه مهمة ExploitGym، وتركوه يعمل، ولم يراقبوه حتى. هذا قرار بشري. عندما يتبخر هذا، ما يتبقى هو ‘النظام من لا مكان’: إطار يركز على النظام الفني، وليس على القرارات التي تبنيه.
من الممكن أن تقوم آلة القطيع العشوائية بالكثير من الأشياء المزعجة، خاصة عندما نتنصل من مسؤوليتنا في تشكيل اتجاهها، أو مراقبة إنتاجها، أو التخلي عن قدرتنا على التدخل. هذه هي التوترات الكامنة في صميم تصميم نظام الوكلاء.
لكن إطار ‘الخروج عن السيطرة’ يضيف إلى قائمة المخاوف هذه، حيث يقدم تخيلات عن آلة تصبح أكثر ذكاءً. وما يقلقني هو الذكاء الذي يتراجع: الذكاء البشري الذي يبني هذه الأنظمة، وينشرها، ويعتمدها في سير العمل، ثم يختبئ وراء النتائج – ثم يلقي اللوم على نظام من لا مكان.