الصفحة الرئيسية » الذكاء الاصطناعي » ترميز الذكاء الاصطناعي السحري مع نوافذ سياقية عملاقة
تقوم شركة Magic ببناء نماذج كود حدودية لأتمتة هندسة البرمجيات والبحث. جمعت هذه الشركة الناشئة للمساعدة في برمجة الذكاء الاصطناعي 320 مليون دولار في جولة تمويلية قادها الرئيس التنفيذي السابق لشركة Google إريك شميدت. ويبلغ إجمالي تمويل ماجيك الآن 515 مليون دولار.
كان لدى Magic حوالي 23 شخصًا (+ 8000 H100s) في أغسطس 2024. إنهم يوظفون المزيد من المهندسين والباحثين لتسريع عملنا ونشر النماذج القادمة. وبمرور الوقت، سوف يصل عددهم إلى عشرات الآلاف من وحدات GB200.
جمعت شركة Magic تمويلًا بقيمة 320 مليون دولار بقيادة الرئيس التنفيذي السابق لشركة Google إريك شميدت، مع استثمارات إضافية من Elad Gil وNat Friedman وDaniel Gross وJane Street وSequoia وAtlassian. جاء ذلك بعد جولة تمويل سابقة من السلسلة B بقيمة 117 مليون دولار في فبراير. يعد السحر مهمًا في صناعة ترميز الذكاء الاصطناعي لأنه يعزز كفاءة وقدرات تطوير البرمجيات.
يستطيع نموذج LTM-2-mini من Magic معالجة معلومات تعادل 10 ملايين سطر من التعليمات البرمجية، مما يعزز كفاءة تطوير البرامج.
قامت شركة Magic بتدريب أول نموذج سياق رمزي مكون من 100 مليون رمز: LTM-2-mini في أغسطس 2024. 100 مليون رمز يساوي 10 ملايين سطر من التعليمات البرمجية أو 750 رواية تقريبًا.
بالنسبة لكل رمز مميز تم فك تشفيره، تكون خوارزمية البعد التسلسلي لـ LTM-2-mini أرخص بنحو 1000 مرة من آلية الانتباه في Llama 3.1 405B1 لنافذة سياق الرمز المميز 100M.
إن التباين في متطلبات الذاكرة أكبر – حيث يتطلب تشغيل Llama 3.1 405B بسياق 100 ميجا بايت 638 H100 لكل مستخدم فقط لتخزين ذاكرة تخزين مؤقت واحدة بسعة 100 ميجا بايت KV.2 في المقابل، يتطلب LTM جزءًا صغيرًا من HBM واحد لكل مستخدم من أجل نفس السياق.
توجد حاليًا طريقتان لتعلم نماذج الذكاء الاصطناعي الأشياء:
التدريب، و
في السياق أثناء الاستدلال.
وكان التدريب هو المهيمن، لأن السياقات قصيرة نسبيا. لكن السياق الطويل للغاية يمكن أن يغير ذلك.
بدلاً من الاعتماد على الحفظ المبهم، يتم تدريب نماذج LTM (الذاكرة طويلة المدى) على التفكير بناءً على ما يصل إلى 100 مليون رمز مميز للسياق الممنوح لهم أثناء الاستدلال.
في حين أن التطبيقات التجارية لنماذج السياق الطويلة جدًا هذه كثيرة، إلا أنها في Magic تركز على مجال تطوير البرمجيات.
من السهل أن تتخيل مدى تحسين تركيب التعليمات البرمجية إذا كانت النماذج تحتوي على جميع التعليمات البرمجية والوثائق والمكتبات الخاصة بك في السياق، بما في ذلك تلك غير الموجودة على الإنترنت العام.
بعد تدريبها على التجزئة مع سلسلة التفكير، تحصل بنية LTM على النتائج التالية:
بريان وانغ هو أحد قادة الفكر المستقبلي ومدون مشهور في مجال العلوم ويتابعه مليون قارئ شهريًا. تم تصنيف مدونته Nextbigfuture.com في المرتبة الأولى في مدونة أخبار العلوم. وهو يغطي العديد من التكنولوجيا والاتجاهات الثورية بما في ذلك الفضاء، والروبوتات، والذكاء الاصطناعي، والطب، والتكنولوجيا الحيوية لمكافحة الشيخوخة، وتكنولوجيا النانو.
وهو معروف بتحديد التقنيات المتطورة، وهو حاليًا مؤسس مشارك لشركة ناشئة وجمع التبرعات للشركات ذات الإمكانات العالية في المرحلة المبكرة. وهو رئيس قسم أبحاث المخصصات لاستثمارات التكنولوجيا العميقة ومستثمر ملاك في Space Angels.
وهو متحدث متكرر في الشركات، وكان متحدثًا في TEDx، ومتحدثًا في جامعة Singularity وضيفًا في العديد من المقابلات الإذاعية والبودكاست. إنه منفتح على التحدث أمام الجمهور وتقديم المشورة للتعاقدات.