أعلنت Meta في مدونة تقنية هذا الأسبوع أن أكثر من 11% من معالجاتها الرسومية في مجموعة Prometheus في نيو ألباني بولاية أوهايو إما ميتة أو في وضع استعداد لتغطية الأعطال. الهدف هو تقليل الانقطاعات التي قد تعيق تدريب نماذج الذكاء الاصطناعي الضخمة.
ما هو مركز Prometheus؟
Prometheus هو أحد أكبر مراكز الحوسبة التي تديرها Meta حتى الآن. يستخدم أنظمة Nvidia Grace Blackwell و Vera Rubin المستقبلية، ويستهدف في النهاية طاقة تبلغ جيجواط واحدة تقريبًا مع ما يقرب من مليون معالج رسومي.
آلية الاحتياطي وتقليل الانقطاعات
في المرحلة الأولى من النشر، كان المركز يتعرض إلى حوالي ألف انقطاع يوميًا لكل 8000 GPU. بعد تطبيق نظام الاحتياطي، انخفضت هذه الانقطاعات إلى 11 مرة يوميًا لكل 8000 GPU، أي انخفاض بنسبة 99%.
كل عقدة في المركز تتألف من 72 GPU متصلة عبر NVLink، منها 64 تُستَخدم فعليًا بينما تُبقى 8 كاحتياطي ساخن. عند فشل أحد الـGPU، ينتقل أحد الاحتياطيين فورًا لتقليل زمن التوقف.
- عدد الـGPU في الاحتياطي: 8 من كل 72 (حوالي 11%)
- انخفاض الانقطاعات إلى 11 يوميًا لكل 8000 GPU
- الهدف المستقبلي: 2 انقطاع يوميًا لكل 8000 GPU
- نسبة الـgoodput: >85% للتدريب المسبق، >90% للتعلم المعزز
تحديات NVLink والطاقة
مع توسع NVLink إلى أكثر من 600 000 اتصال لتوصيل 72 GPU في كل نطاق، أصبحت أي تدهور بسيط في الإشارة يسبب دورات استعادة متكررة. لذا طورت Meta نظام مراقبة مستمر وإجراءات تشخيصية لتحديد الروابط الضعيفة قبل الإنتاج.
تسبب تشغيل عشرات الآلاف من الـGPU في تقلبات طاقة هائلة قد تجهد معدات إمداد الطاقة. لذلك اعتمدت Meta على آلية checkpointing موزعة تشبه الحفظ التلقائي لتجنب فقدان تقدم التدريب عند حدوث عطل.
ما يعني ذلك للمطورين؟
برأينا، استراتيجية Meta في الاحتياطي تُظهر أهمية التصميم للمرونة عند بناء بنى تحتية لتدريب نماذج الذكاء الاصطناعي على نطاق واسع. إذا كنت تدير عنقودًا مشابهًا أو تعتمد على خدمات سحابية لتدريب نماذجك، فقد تحتاج إلى التفكير في:
- احتفاظ بنسخ احتياطية من الـGPU أو موارد الحوسبة لتقليل زمن التوقف.
- استخدام نماذج تدريبية متوازية (data parallelism) لتقليل تأثير الفشل على كامل العملية.
- تنفيذ نظام checkpointing متقدم يحفظ الحالة بشكل دوري لتجنب إعادة التدريب من الصفر.
مع تزايد حجم النماذج وتعدد مراكز البيانات، سيصبح هذا النوع من التصميمات معيارًا لضمان استمرارية التدريب وتحقيق عائد استثماري أعلى.
المصدر: theregister.com