وتشير النتائج إلى أن نماذج التدريب على بيانات أقل، ولكن ذات جودة أعلى، يمكن أن تخفض تكاليف الحوسبة.
يصدر معهد ألين للذكاء الاصطناعي (Ai2)، وهو مؤسسة بحثية غير ربحية، مجموعة من نماذج اللغة متعددة الوسائط مفتوحة المصدر، تسمى”https://molmo.allenai.org/paper.pdf”>مولمو، والتي تقول أنها تعمل بنفس كفاءة النماذج الملكية الرائدة من OpenAI وGoogle وAnthropic.
تزعم المنظمة أن أكبر نموذج Molmo لديها، والذي يحتوي على 72 مليار معلمة، يتفوق على نموذج GPT-4o من OpenAI، والذي يُقدر أنه يحتوي على أكثر من تريليون معلمة، في الاختبارات التي تقيس أشياء مثل فهم الصور والرسوم البيانية والمستندات.
وفي الوقت نفسه، تقول شركة Ai2 إن نموذج Molmo الأصغر، والذي يحتوي على 7 مليارات معلمة، يقترب من نموذج OpenAI المتطور في الأداء، وهو إنجاز تنسب إليه أساليب جمع البيانات والتدريب الأكثر كفاءة.
يقول علي فرهادي، الرئيس التنفيذي لشركة Ai2، إن ما يظهره مولمو هو أن تطوير الذكاء الاصطناعي مفتوح المصدر أصبح الآن على قدم المساواة مع النماذج المغلقة المملوكة. وتتمتع النماذج مفتوحة المصدر بميزة كبيرة، حيث تعني طبيعتها المفتوحة أن الأشخاص الآخرين يمكنهم بناء تطبيقات فوقها.”https://molmo.allenai.org/”>النسخة التجريبية من Molmo متاحة هناوسوف تكون متاحة للمطورين للتلاعب بها على موقع Hugging Face. (لا تزال بعض عناصر أقوى نموذج Molmo مخفية عن الأنظار.)
يتم تدريب نماذج لغوية متعددة الوسائط كبيرة أخرى على مجموعات بيانات ضخمة تحتوي على مليارات الصور وعينات النصوص التي تم جمعها من الإنترنت، ويمكن أن تتضمن عدة تريليونات من المعلمات. تقول آني كيمبهافي، مديرة الأبحاث الأولى في Ai2، إن هذه العملية تُدخل الكثير من الضوضاء إلى بيانات التدريب، ومعها الهلوسة. على النقيض من ذلك، تم تدريب نماذج مولمو الخاصة بـ Ai2 على مجموعة بيانات أصغر بكثير وأكثر تنظيماً تحتوي على 600000 صورة فقط، ولديها ما بين مليار و72 مليار معلمة. يقول كيمبهافي إن هذا التركيز على البيانات عالية الجودة، مقابل البيانات المستخرجة عشوائيًا، أدى إلى أداء جيد بموارد أقل بكثير.
وقد نجح فريق Ai2 في تحقيق هذا الهدف من خلال جعل المعلقين البشر يصفون الصور الموجودة في مجموعة بيانات تدريب النموذج بتفاصيل دقيقة على عدة صفحات من النص. وقد طلبوا من المعلقين التحدث عما رأوه بدلاً من كتابته. ثم استخدموا تقنيات الذكاء الاصطناعي لتحويل كلامهم إلى بيانات، الأمر الذي جعل عملية التدريب أسرع بكثير مع تقليل قوة الحوسبة المطلوبة.
ويقول ياسين جيرنيت، الذي يتولى قيادة التعلم الآلي والمجتمع في Hugging Face، والذي لم يشارك في البحث، إن هذه التقنيات قد تكون مفيدة حقًا إذا أردنا إدارة البيانات التي نستخدمها لتطوير الذكاء الاصطناعي بشكل هادف.
ويقول بيرسي ليانغ، مدير مركز ستانفورد لأبحاث النماذج الأساسية، والذي لم يشارك أيضًا في البحث: “من المنطقي بشكل عام أن يؤدي التدريب على بيانات ذات جودة أعلى إلى خفض تكاليف الحوسبة”.
هناك قدرة أخرى مثيرة للإعجاب وهي أن النموذج يمكنه “الإشارة” إلى الأشياء، وهذا يعني أنه يمكنه تحليل عناصر الصورة من خلال تحديد البكسلات التي تجيب على الاستعلامات.
في عرض توضيحي مشترك مع مراجعة تكنولوجيا معهد ماساتشوستس للتكنولوجياقام باحثو Ai2 بالتقاط صورة خارج مكتبهم لميناء سياتل المحلي وطلبوا من النموذج تحديد عناصر مختلفة من الصورة، مثل كراسي الاستلقاء. وصف النموذج بنجاح ما تحتويه الصورة، وأحصى كراسي الاستلقاء، وأشار بدقة إلى أشياء أخرى في الصورة كما طلب الباحثون. ومع ذلك، لم يكن مثاليًا. لم يتمكن من تحديد موقف سيارات معين، على سبيل المثال.
ويقول فرهادي إن نماذج الذكاء الاصطناعي المتقدمة الأخرى جيدة في وصف المشاهد والصور. لكن هذا لا يكفي عندما تريد بناء وكلاء ويب أكثر تطوراً يمكنهم التفاعل مع العالم ويمكنهم، على سبيل المثال، حجز رحلة. ويقول إن الإشارة تسمح للناس بالتفاعل مع واجهات المستخدم.
يقول جيرنيت إن Ai2 تعمل بدرجة أكبر من الانفتاح مقارنة بما رأيناه من شركات الذكاء الاصطناعي الأخرى. ورغم أن مولمو يمثل بداية جيدة، إلا أن أهميته الحقيقية تكمن في التطبيقات التي يبنيها المطورون عليها، والطرق التي يعمل بها الناس على تحسينها.
ويتفق فرهادي مع هذا الرأي. فقد اجتذبت شركات الذكاء الاصطناعي استثمارات ضخمة تقدر بمليارات الدولارات على مدى السنوات القليلة الماضية. ولكن في الأشهر القليلة الماضية، أعرب المستثمرون عن تشككهم في ما إذا كان هذا الاستثمار سيحقق عوائد. ويزعم فرهادي أن النماذج الملكية الضخمة والمكلفة لن تحقق ذلك، ولكن النماذج مفتوحة المصدر قادرة على ذلك. ويقول إن العمل يُظهِر أن الذكاء الاصطناعي مفتوح المصدر يمكن بناؤه بطريقة تجعل الاستخدام الفعّال للمال والوقت ممكناً.
ويقول فرهادي: “نحن متحمسون لتمكين الآخرين ورؤية ما يمكن للآخرين بناؤه بهذا”.