من فضلك تسجيل الدخول أو تسجيل لتفعل ذلك.

لطالما كان تقدير الوقت اللازم لعمليات الضبط الدقيق (fine-tuning) لنماذج اللغات الكبيرة (LLMs) على مجموعات GPU المشتركة تحديًا كبيرًا. تعتمد معظم الفرق عادةً على حسابات FLOPs، ولكن أظهرت دراسة جديدة أن هذه التقديرات غالبًا ما تكون غير دقيقة بشكل كبير، مما يؤدي إلى سوء التخطيط وتضييع الموارد الثمينة.

تكمن المشكلة في أن حسابات FLOPs تركز فقط على العمليات الحسابية الأساسية داخل حلقة التدريب. لكن عملية الضبط الدقيق بأكملها تتضمن العديد من النفقات العامة التي لا تُحتسب، مثل إعداد البيئة، وتنزيل النماذج وتحميلها، ومعالجة الرموز (tokenization). بالإضافة إلى ذلك، توجد عمليات التقييم الدورية وتحميل نقاط الحفظ (checkpoints)، وكل هذا يتنافس على موارد الشبكة والإدخال/الإخراج في البيئات متعددة المستخدمين، مما يؤثر بشكل كبير على الوقت الفعلي المستغرق.

نموذج تنبؤي جديد لدقة أعلى

لمعالجة هذه المشكلة، قام الباحثون بتطوير نموذج يعتمد على التعلم الآلي، وتحديدًا CatBoost regressor، يمكنه التنبؤ بمدة الضبط الدقيق بدقة استثنائية قبل حتى بدء المهمة. من خلال تحليل 272 عملية ضبط دقيق على وحدات NVIDIA H200 GPU، وجدوا أن النموذج الجديد حقق معامل تحديد R² يبلغ 0.98 ومتوسط خطأ مطلق (MAE) قدره 1.71 ساعة، مقارنة بـ R² يبلغ 0.31 و MAE قدره 12.41 ساعة للتقديرات القائمة على FLOPs.

يعتمد هذا النموذج الفعال على معلومات متاحة بالكامل قبل بدء المهمة، بما في ذلك التكوينات الأساسية مثل المعاملات الفائقة (hyperparameters)، وأحجام مجموعات البيانات، ومعرفات النماذج، وتخصيص وحدات GPU. كما يأخذ في الاعتبار إشارات خاصة بالتدريب مثل وتيرة التقييم، وسياسة نقاط الحفظ، وحمل كل وحدة GPU، ونظام الضبط الدقيق. هذه التفاصيل، جنبًا إلى جنب مع التفاعلات غير الخطية التي يتعلمها النموذج من التشغيلات السابقة، هي سر دقته الفائقة.

ما الذي يعنيه هذا للمطورين؟

بالنسبة للمطورين والمهندسين الذين يعملون على تدريب وتطوير نماذج AI، تُعد هذه النتائج ذات أهمية قصوى. تتيح التنبؤات الدقيقة لمدد المهام تخطيطًا أفضل لموارد GPU المكلفة والنادرة. يمكن للمجدولين (schedulers) تحديد المهام التي ستُشغل معًا، ومتى ستتحرر وحدات GPU، وما إذا كانت المهمة ستنتهي في الوقت المحدد، مما يقلل من وقت الخمول ويسرّع دورات التطوير.

برأينا، هذا التحول من التخمين إلى التخطيط المبني على البيانات سيُحسن بشكل كبير كفاءة استخدام مراكز البيانات وتكاليف تطوير نماذج LLMs، ويُساعد الفرق على الوفاء بالمواعيد النهائية لمنتجاتها بدقة أكبر.

المصدر: huggingface.co

إطلاق Genie 4 من Google: بناء عوالم تفاعلية بالذكاء الاصطناعي
Deepfake والهندسة الاجتماعية: أهمية التحقق القوي من الهوية

Reactions

0
0
0
0
0
0
بالفعل كان رد فعل لهذا المنصب.

ردود الفعل