يورغن فالشل – Stock.adobe.c
تقوم Google بتوسيع برنامج مكافآت الأخطاء الخاص بها ليشمل الذكاء الاصطناعي التوليدي وتتخذ خطوات لتنمية التزامها بأمن سلسلة التوريد من حيث صلتها بالتكنولوجيا الناشئة.
تتخذ شركة جوجل خطوات لمعالجة المخاطر السيبرانية المرتبطة بالذكاء الاصطناعي التوليدي (GenAI) من خلال توسيع نظام مكافآت الأخطاء الخاص بها، برنامج مكافآت الضعف (VRP) ليشمل سيناريوهات الهجوم الخاصة بسلسلة توريد الذكاء الاصطناعي التوليدية.
وقال لوري ريتشاردسون، نائب الرئيس للثقة والسلامة، ورويال هانسن، نائب الرئيس لهندسة الخصوصية والسلامة والأمن، إن الشركة تعتقد أن اتخاذ هذه الخطوة لن يؤدي فقط إلى تسليط الضوء على المشكلات الأمنية المحتملة بشكل أسرع ويجعل الذكاء الاصطناعي أكثر أمانًا للجميع، ولكن تحفيز المجتمع الأوسع على إجراء المزيد من الأبحاث حول سلامة وأمن الذكاء الاصطناعي.
“كجزء من توسيع VRP للذكاء الاصطناعي، فإننا نلقي نظرة جديدة على كيفية تصنيف الأخطاء والإبلاغ عنها. يثير الذكاء الاصطناعي التوليدي مخاوف جديدة ومختلفة عن الأمن الرقمي التقليدي، مثل احتمال التحيز غير العادل أو التلاعب بالنماذج أو التفسير الخاطئ للبيانات [or] قالوا: الهلوسة.
“بينما نواصل دمج الذكاء الاصطناعي التوليدي في المزيد من المنتجات والميزات، تستفيد فرق الثقة والسلامة لدينا من عقود من الخبرة وتتخذ نهجًا شاملاً لتوقع هذه المخاطر المحتملة واختبارها بشكل أفضل.
“لكننا ندرك أن الباحثين الأمنيين الخارجيين يمكنهم مساعدتنا في العثور على نقاط الضعف الجديدة ومعالجتها والتي بدورها ستجعل منتجات الذكاء الاصطناعي التوليدية لدينا أكثر أمانًا وأمانًا. في أغسطس، انضممنا إلى البيت الأبيض ونظرائنا في الصناعة لتمكين الآلاف من الباحثين الأمنيين التابعين لجهات خارجية من العثور على المشكلات المحتملة في أكبر حدث عام للفريق الأحمر للذكاء الاصطناعي العام على الإطلاق في DEF CON.
“الآن، نظرًا لأننا نعمل على توسيع برنامج مكافآت الأخطاء وإصدار إرشادات إضافية لما نرغب في أن يقوم الباحثون الأمنيون بمطاردته، فإننا نشارك هذه الإرشادات حتى يتمكن أي شخص من رؤية ما هو “في النطاق”. ونتوقع أن يحفز هذا الباحثين في مجال الأمن على تقديم المزيد من الأخطاء وتسريع الهدف المتمثل في إنشاء ذكاء اصطناعي أكثر أمانًا وأمانًا.
وفي الوقت نفسه، تقدم جوجل أيضًا تدابير جديدة لتأمين سلسلة التوريد الخاصة بالذكاء الاصطناعي بشكل أفضل، حيث أعلنت عن عدد من التحسينات على إطار عمل الذكاء الاصطناعي الآمن (SAIF) الخاص بها – والذي تم إطلاقه في يونيو 2023.
تم تصميم SAIF لدعم الصناعة في إنشاء تطبيقات ذكاء اصطناعي جديرة بالثقة، حيث يتمثل المبدأ التأسيسي الأساسي لها في أمن مكونات سلسلة التوريد المهمة التي تمكنها من مواجهة التهديدات مثل التلاعب، وتسميم البيانات، وإنتاج محتوى ضار.
بالإضافة إلى ذلك، تعمل Google الآن على توسيع عملها الأمني مفتوح المصدر والبناء على فريق سابق مع مؤسسة الأمن مفتوح المصدر. ومن خلال هذه الشراكة، سيستخدم فريق أمان المصدر المفتوح (GOSST) الخاص بشركة Google إطار عمل SLSA لتحسين المرونة في سلاسل التوريد، و سيجستور للمساعدة في التحقق من أن البرنامج في سلسلة توريد الذكاء الاصطناعي هو كما هو مذكور. لقد أتاحت Google بالفعل نماذج أولية للتحقق من الشهادة باستخدام SLSA وتوقيع النموذج مع Sigstore.
قال ريتشاردسون وهانسن: “هذه خطوات مبكرة نحو ضمان التطوير الآمن والمأمون للذكاء الاصطناعي التوليدي – ونحن نعلم أن العمل قد بدأ للتو”.
“أملنا هو أنه من خلال تحفيز المزيد من الأبحاث الأمنية أثناء تطبيق أمن سلسلة التوريد على الذكاء الاصطناعي، سنعمل على إثارة المزيد من التعاون مع مجتمع أمان المصادر المفتوحة وغيرهم من العاملين في الصناعة، وفي النهاية نساعد في جعل الذكاء الاصطناعي أكثر أمانًا للجميع.”
مختبرات إندور وعلق الباحث الأمني هنريك بليت، المتخصص في أمن البرمجيات مفتوحة المصدر والذكاء الاصطناعي، قائلًا: “إن تطبيق نفس مبادئ الأمان، حيثما أمكن، الأدوات على الذكاء الاصطناعي/التعلم الآلي يعد فرصة عظيمة لتطوير أنظمة آمنة من الألف إلى الياء.
“بالمقارنة مع مجال الذكاء الاصطناعي/التعلم الآلي الناشئ، فإن تطوير البرمجيات OSS أو البرامج القائمة على المكونات موجود لفترة زمنية أطول، مما يزيد في بعض الأحيان من صعوبة تثبيت الأمان على التقنيات الراسخة دون تعطيل عمليات تطوير وتوزيع البرامج الحالية.
“هناك العديد من أوجه التشابه بين إنتاج ومشاركة مكونات البرامج وعناصر الذكاء الاصطناعي/التعلم الآلي: يمكن مقارنة بيانات التدريب مع تبعيات البرامج، والنموذج المُدرب مع العناصر الثنائية، وسجلات العناصر مثل Maven Central أو PyPI مع سجلات النماذج مثل Hugging Face. ومن وجهة نظر المطورين الذين يستخدمون نماذج الطرف الثالث، يمكن اعتبار هذه النماذج مثل أي تبعية أخرى للمنبع.
“بعض الهجمات متشابهة جدًا أيضًا، على سبيل المثال إلغاء تسلسل البيانات من مصادر غير موثوقة، والتي تطارد بعض أنظمة OSS البيئية لبعض الوقت بالفعل: يمكن أن تحتوي نماذج ML المتسلسلة أيضًا على تعليمات برمجية ضارة يتم تنفيذها عند إلغاء التسلسل (مشكلة في تنسيق تسلسل المخلل البارز بالفعلتم تقديمه في بلاك هات 2011). تحاول مشاريع Hugging Face والمشاريع مفتوحة المصدر معالجة هذه المشكلة من خلالماسحات ضوئية نموذجية مخصصة“.
اقرأ المزيد عن أمان تطبيقات الويب
يمثل الذكاء الاصطناعي التوليدي المخصص مسارًا ناشئًا للمؤسسات
بواسطة: ليف كريج
كيف يمكن للذكاء الاصطناعي والتعلم الآلي تحويل CloudOps
بواسطة: توم نول
تجار التجزئة والعملاء على حد سواء منفتحون على الذكاء الاصطناعي، ولكنهم يدعون إلى الحذر
بواسطة: بن سيليتو
تقييم خيارات النموذج لحالات استخدام الذكاء الاصطناعي للمؤسسات
بواسطة: توم نول