لطالما كان السؤال عن كيفية نشر نماذج الذكاء الاصطناعي الضخمة، ذات تريليونات المعلمات، على رقائق مخصصة محل اهتمام كبير. مؤخراً، كشفت Cerebras عن تفاصيل مثيرة حول قدرتها على تشغيل هذه النماذج على رقائقها المخصصة WSE-3T، والتي تتميز بذاكرة مدمجة تبلغ 44 غيغابايت لكل رقاقة. هذه القدرة تسمح بتشغيل نماذج ضخمة جداً بإنتاجية عالية تصل إلى 1000-2000 رمز في الثانية أو أكثر.
تحدي النماذج الضخمة على الرقائق
تتطلب النماذج الرائدة ذات تريليونات المعلمات تيرابايت من الذاكرة لأوزانها وحدها، مما يمثل تحدياً كبيراً لرقاقة واحدة مهما كانت قوية. الحل الذي تقدمه Cerebras هو تقسيم النموذج الضخم عبر عدة رقائق WSE-3T. على سبيل المثال، استخدمت الشركة نموذج Kimi K3 مفتوح المصدر الذي يحتوي على حوالي 3 تريليونات معلمة. هذا النموذج يتكون من 69 طبقة اهتمام خطي و24 طبقة كثيفة.
لتقدير عدد الرقائق المطلوبة، تحتاج كل طبقة من النموذج إلى حوالي 16 غيغابايت من الذاكرة. نظراً لأن الطبقات الكثيفة تتطلب مساحة إضافية لذاكرة التخزين المؤقت للقيم والمفاتيح (KV cache)، يتم وضع طبقة كثيفة واحدة لكل رقاقة. أما طبقات الاهتمام الخطي، فلا تتطلب ذاكرة تخزين مؤقتة كبيرة، مما يسمح بوضع طبقتين منها على رقاقة واحدة. بناءً على هذه الحسابات، يتطلب نموذج Kimi K3 ما مجموعه 59 رقاقة: 35 رقاقة للطبقات الخطية و24 رقاقة للطبقات الكثيفة.
كيف تعمل الرقائق معاً؟
يتم تنفيذ النماذج في Cerebras بنظام خط أنابيب (pipeline). بعد أن يقوم مترجم Cerebras بتعيين طبقات النموذج عبر مناطق الرقائق، يقوم نظام التشغيل بتحديد مسار تدفق الرموز بين الرقائق. لضمان أقصى سرعة استجابة، يتم تمرير التنشيطات فقط بين الرقائق عبر RDMA عبر الإيثرنت، وهو ما يستغرق حوالي 2 ميكروثانية لكل قفزة. من المهم الإشارة إلى أن أوزان النموذج تبقى ثابتة على الرقاقة، ولا تحتاج الطبقات إلى الانقسام عبر رقائق متعددة في معظم الحالات.
يتم التعامل مع الطلبات المتعددة بكفاءة عالية. فبدلاً من معالجة طلب واحد في كل مرة، يتم ملء خط الأنابيب بالكامل بطلبات مختلفة. هذا يعني أنه بينما تعالج مرحلة معينة (رقاقة) رمزاً لطلب A، فإن مرحلة أخرى تعالج رمزاً لطلب B، وهكذا. يمكن لكل مرحلة أيضاً معالجة دفعة صغيرة (micro-batch) من الطلبات، مما يزيد من إجمالي الإنتاجية.
يعتمد الحد الأقصى لعدد الطلبات المتزامنة على ذاكرة التخزين المؤقت للقيم والمفاتيح (KV cache) المخصصة على الرقاقة. كل طلب قيد التنفيذ يتطلب ذاكرة KV cache خاصة به على رقائق الطبقات الكثيفة. على سبيل المثال، يمكن لرقاقة واحدة مخصصة لطبقة كثيفة (وبها 28 غيغابايت متبقية لذاكرة KV cache) دعم 23 طلباً متزامناً بحجم 256 ألف رمز، مما يصل بإجمالي الطلبات المتزامنة عبر 24 رقاقة كثيفة إلى 552 طلباً.
ما الذي يعنيه هذا للمطورين؟
بالنسبة للمطورين والمهندسين، تقدم تقنية Cerebras إمكانات هائلة لنشر نماذج الذكاء الاصطناعي ذات النطاق الواسع جداً بكفاءة لم تكن متاحة من قبل. القدرة على تشغيل نماذج بتريليونات المعلمات بإنتاجية عالية دون الحاجة لتقليص حجمها بشكل كبير أو التضحية بالأداء، تفتح آفاقاً جديدة لتطبيقات الذكاء الاصطناعي المتقدمة. نرى أن هذا التطور يشير إلى أهمية التخصص في الأجهزة لمواكبة حجم وتعقيد نماذج AI، وقد نشهد المزيد من الخدمات التي تعتمد على هذه البنية المخصصة. يمكن للمطورين المهتمين البدء باستخدام واجهة API المجانية لـCerebras.
المصدر: cerebras.ai