لقد تجاوز تدريب نماذج الذكاء الاصطناعي الضخمة حدود مركز بيانات واحد، ليصبح عملية موزعة جغرافياً تمتد عبر مئات الكيلومترات. شركات عملاقة مثل Google، و Microsoft، و AWS، و Meta، وحتى شراكات مثل CoreWeave و Google Cloud، تقوم الآن بربط مراكز بياناتها لتشغيل نماذجها المتطورة مثل Gemini و Claude. هذه الخطوة ضرورية لتلبية المتطلبات الهائلة للحوسبة والطاقة التي تحتاجها هذه النماذج.
لماذا أصبح التدريب الموزع ضرورة؟
تكمن المشكلة في أن مركز بيانات واحد أو مجموعة من الخوادم في حرم جامعي واحد لا يمكنها غالبًا تلبية الطلب المتزايد على الطاقة والمساحة الذي تتطلبه النماذج الجديدة. تقدر Cisco أن تدريب النماذج اليوم قد يتطلب مجموعات تحتوي على عشرات الآلاف من وحدات معالجة الرسوميات (GPUs). وبحلول عام 2030، يمكن أن تستهلك أكبر عمليات التدريب الفردية ما بين 4 إلى 16 غيغاواط من الطاقة، وفقًا لباحثي Epoch AI. يسمح توزيع الحوسبة للمشغلين ببناء البنية التحتية في مواقع تتوفر فيها الطاقة أو المساحة بشكل أكبر، وبقيود تخطيط أقل.
تحديات الشبكة: من الرف إلى المنطقة
في جوهر تدريب نماذج اللغة الكبيرة (LLMs) تكمن الشبكات العصبية التي تحتوي على مليارات المعاملات الرقمية التي يتم تعديلها. أثناء التدريب، تقوم آلاف وحدات المعالجة بتبادل النتائج والمزامنة قبل بدء المرحلة التالية. هذا يولد تدفقًا متقطعًا ومكثفًا للبيانات، مما قد يؤدي إلى مشكلات «incast» حيث تتقارب العديد من المرسلات على وجهة واحدة وتصل البيانات أسرع مما يمكن للوصلة التالية التعامل معه. أي تأخير في الشبكة يتحول إلى تأخير في الحوسبة، إذ يجب على جميع وحدات معالجة الرسوميات انتظار إكمال العملية قبل المتابعة.
الشبكات التقليدية التي تربط مراكز البيانات (DCI) مصممة للتكرار وتوزيع أعباء العمل غير المتزامنة. لكن في تدريب الذكاء الاصطناعي الموزع، تصبح الشبكة البينية جزءًا لا يتجزأ من عملية حوسبة منسقة، مما يتطلب عرض نطاق ترددي كافيًا وتسليمًا يمكن التنبؤ به.
بينما تتطلب الرفوف داخل مركز البيانات الواحد عرض نطاق ترددي ضخم يصل إلى 1.6 تيرابت في الثانية لمسافات قصيرة، فإن ربط مرافق متعددة يتطلب متطلبات عرض نطاق ترددي مجمعة يمكن أن تصل إلى حوالي 14 ضعفًا من أساس DCI التقليدي. هنا، لا يمكن استخدام البصريات قصيرة المدى المصممة للمسافات القصيرة، بل نحتاج إلى بصريات متماسكة (coherent optics) قادرة على حمل إشارات بسرعة 400-800 غيغابت في الثانية عبر مئات الكيلومترات. تقدّر Cisco أن ربط موقعين للذكاء الاصطناعي بقوة 100 ميغاواط قد يتطلب ما بين 12 ألف إلى 32 ألف منفذ بصري متماسك.
مشكلة زمن الوصول والحلول
تضيف المسافة زمن وصول (latency) بطبيعة الحال، حتى مع وجود عرض نطاق ترددي كافٍ. إذا حدث ازدحام، تحتاج الشبكة إلى وقت لتنبيه المرسل لإبطاء الإرسال. وعلى بعد 100 كيلومتر، يمكن نقل حوالي 100 ميغابايت من البيانات قبل أن يعرف المرسل بوجود مشكلة. هذه الحلقات الطويلة للتغذية الراجعة تزيد من قيمة رقائق الشبكات المصممة بذاكرة تخزين مؤقت (buffering) أعمق بكثير. معمارية التحويل ذات المخزن المؤقت الضحل، المصممة لزمن وصول منخفض جدًا داخل مركز البيانات، لا تملك القدرة الكافية لاستيعاب حركة المرور أثناء عبور التغذية الراجعة للازدحام عبر رابط لمسافات طويلة.
الحل يكمن في استخدام مخازن مؤقتة أعمق لامتصاص الاندفاعات أو الانقطاعات المؤقتة، مما يمنح إدارة حركة المرور وإشارات الازدحام وقتًا لمعالجة المشكلة الأساسية. هذا يمنع فقدان وإعادة إرسال الحزم، وبالتالي يقلل من زيادة زمن الوصول الإجمالي في عملية التدريب. نرى أن هذه التطورات في البنية التحتية للشبكات ستكون حاسمة لاستمرار نمو وتطوير نماذج الذكاء الاصطناعي في المستقبل.
ماذا يعني هذا للمطورين؟ يعني ذلك أن فهم تعقيدات الشبكات وتأثيرها على الأداء أصبح ضروريًا عند بناء أو نشر حلول الذكاء الاصطناعي واسعة النطاق. القدرة على تصميم تطبيقات AI تراعي تحديات التوزيع، وكفاءة نقل البيانات، وتقليل زمن الوصول ستكون ميزة تنافسية لا غنى عنها.
المصدر: theregister.com