عندما تتحول الكلمة –
هل ستستمر برامج الماجستير في القانون في التحسن إذا أضفنا إليها المزيد من الحوسبة؟ يعتقد أحد صناع الصفقات في OpenAI أن هذا صحيح.
خلال مقابلة في حلقة بودكاست Training Data التي نشرتها شركة Sequoia Capital يوم الثلاثاء الماضي، أكد المدير التقني لشركة Microsoft كيفن سكوت اعتقاده بأن ما يسمى بـ “قوانين التوسع” الخاصة بنموذج اللغة الكبير (LLM) سوف تستمر في دفع تقدم الذكاء الاصطناعي، على الرغم من بعض الشكوك في هذا المجال بأن التقدم قد استقر. لعب سكوت دورًا مهمًا في هذا المجال. دورا رئيسيا في صياغة اتفاقية لتبادل التكنولوجيا بقيمة 13 مليار دولار اتفاق بين مايكروسوفت و OpenAI.
“على الرغم مما يعتقده الآخرون، فإننا لا نحقق عوائد هامشية متناقصة على التوسع”، كما يقول سكوت. “وأحاول مساعدة الناس على فهم أن هناك تزايدًا هائلاً هنا، والشيء المؤسف هو أنك لا تحصل على عينة إلا كل عامين لأن بناء أجهزة الكمبيوتر العملاقة ثم تدريب النماذج عليها يستغرق وقتًا طويلاً”.
تشير قوانين التوسع في LLM إلى الأنماط التي استكشفها باحثو OpenAI في عام 2020 والتي تُظهر أن أداء نماذج اللغة يميل إلى التحسن بشكل يمكن التنبؤ به مع زيادة حجم النماذج (مزيد من المعلمات)، وتدريبها على المزيد من البيانات، وحصولها على المزيد من القدرة الحسابية (الحوسبة). تشير القوانين إلى أن مجرد زيادة حجم النموذج وبيانات التدريب يمكن أن يؤدي إلى تحسينات كبيرة في قدرات الذكاء الاصطناعي دون الحاجة بالضرورة إلى اختراقات خوارزمية أساسية.
ومنذ ذلك الحين، قام باحثون آخرون تحديت الفكرة من استمرار قوانين التوسع بمرور الوقت، لكن المفهوم لا يزال حجر الأساس من فلسفة تطوير الذكاء الاصطناعي في OpenAI.
يمكنك مشاهدة تعليقات سكوت في الفيديو أدناه بدءًا من حوالي 46:05:
يتناقض تفاؤل سكوت مع الرواية السائدة بين بعض المنتقدين في مجتمع الذكاء الاصطناعي بأن التقدم في برامج الماجستير في القانون قد وصل إلى مرحلة الثبات عند نماذج فئة GPT-4. وقد تم تغذية هذا التصور من خلال ملاحظات غير رسمية إلى حد كبير – وبعض نتائج المعايير – حول النماذج الحديثة مثل نموذج جوجل. جيميني 1.5 برو، الأنثروبولوجيا كلود أوبس، وحتى GPT-4o من OpenAI، أيّ يجادل البعض ولم تظهر بعد القفزات الهائلة في القدرات التي شهدتها الأجيال السابقة، وأن تطوير برامج الماجستير في القانون قد يقترب من العوائد المتناقصة.
“نحن نعلم جميعًا أن GPT-3 كان أفضل كثيرًا من GPT-2. ونحن نعلم جميعًا أن GPT-4 (الذي تم إصداره منذ ثلاثة عشر شهرًا) كان أفضل كثيرًا من GPT-3،” كتب ناقد الذكاء الاصطناعي غاري ماركوس في أبريل: “ولكن ماذا حدث منذ ذلك الحين؟”
تصور الهضبة
يشير موقف سكوت إلى أن شركات التكنولوجيا العملاقة مثل مايكروسوفت لا تزال تشعر بأنها محقة في الاستثمار بكثافة في نماذج الذكاء الاصطناعي الأكبر حجمًا، والمراهنة على الاختراقات المستمرة بدلاً من الوصول إلى هضبة القدرات. ونظرًا لاستثمار مايكروسوفت في OpenAI والتسويق القوي لمنتجاتها الخاصة من Microsoft، مساعد الطيار الذكاء الاصطناعي ومن بين الميزات التي تتمتع بها الشركة، أنها لديها مصلحة قوية في الحفاظ على تصور التقدم المستمر، حتى لو توقفت التكنولوجيا.
الناقد المتكرر للذكاء الاصطناعي إد زيترون مؤخرًا كتب في منشور في مدونته، كتب أن أحد أسباب الدفاع عن الاستثمار المستمر في الذكاء الاصطناعي التوليدي هو أن “شركة OpenAI لديها شيء لا نعرفه. إنها تقنية كبيرة ومثيرة وسرية ستحطم عظام كل من يكرهها إلى الأبد”. “ومع ذلك، لدي وجهة نظر مضادة: لا، إنها لا تفعل ذلك”.
قد يكون بعض التصورات حول تباطؤ التقدم في قدرات الماجستير في القانون والقياس المعياري راجعًا إلى البداية السريعة للذكاء الاصطناعي في نظر الجمهور، في حين أن الماجستير في القانون كان يتطور منذ سنوات سابقة. استمرت OpenAI في تطوير الماجستير في القانون خلال فجوة دامت ثلاث سنوات تقريبًا بين إصدارها وإصدارها. جي بي تي-3 في عام 2020 و جي بي تي-4 في عام 2023. من المحتمل أن العديد من الأشخاص لاحظوا قفزة سريعة في القدرات مع إطلاق GPT-4 في عام 2023 لأنهم لم يدركوا إلا مؤخرًا نماذج فئة GPT-3 مع إطلاق ChatGPT في أواخر نوفمبر 2022، والذي استخدم GPT-3.5.
في مقابلة البودكاست، رفض كبير مسؤولي التكنولوجيا في مايكروسوفت فكرة توقف تقدم الذكاء الاصطناعي، لكنه أقر بالتحدي المتمثل في نقاط البيانات غير المتكررة في هذا المجال، حيث تستغرق النماذج الجديدة سنوات لتطويرها. وعلى الرغم من ذلك، أعرب سكوت عن ثقته في أن الإصدارات المستقبلية ستظهر تحسينات، خاصة في المجالات التي تكافح فيها النماذج الحالية.
“قال سكوت في المقابلة: “العينة التالية قادمة، ولا يمكنني أن أخبرك متى، ولا يمكنني التنبؤ بمدى جودتها بالضبط، لكنها ستكون بالتأكيد أفضل في الأشياء الهشة في الوقت الحالي، حيث قد تقول، يا إلهي، هذا مكلف للغاية، أو هش للغاية، بالنسبة لي لاستخدامه،” “كل هذا يتحسن. سيصبح أرخص، وستصبح الأشياء أقل هشاشة. وبعد ذلك ستصبح الأشياء الأكثر تعقيدًا ممكنة. هذه هي قصة كل جيل من هذه النماذج مع توسيع نطاقها.”