كشفت ورقة بحثية مرتقبة عن طريقة مبتكرة لخفض تكاليف استدلال نماذج اللغة الصغيرة (SLMs) المتخصصة بنسبة مذهلة تصل إلى 77%. تعتمد هذه الطريقة، المسماة VocabX، على إعادة بناء المفردات الخاصة بالنماذج بشكل لا يركز على تكرار الكلمة فحسب، بل على تكلفتها الفعلية في عملية الاستدلال.
مشكلة المفردات العامة: هدر غير مرئي
عادةً ما ترث النماذج اللغوية المتخصصة، مثل تلك المبنية على Qwen أو Gemma، مفردات واسعة مصممة للاستخدامات العامة والعديد من المجالات واللغات. يؤدي هذا إلى نوعين من الهدر في النماذج المتخصصة. الأول هو «التجزئة»، حيث يتم تقسيم النصوص المتكررة الخاصة بالمجال (مثل أغلفة JSON أو مصطلحات معينة في العقود) إلى العديد من التوكنات، مما يزيد التكلفة. أما الثاني فهو «الفائض»، حيث تحتوي المفردات على عشرات الآلاف من الإدخالات التي لا تستخدمها النماذج المتخصصة أبدًا، لكن النموذج يحسب احتمالية كل منها في كل خطوة استدلال.
تتفاقم هذه المشكلة لأن توليد التوكنات أغلى بكثير من قراءتها. في أحد التطبيقات التي تم قياسها (مدقق مقالات برتغالية)، كان توليد التوكن الواحد يكلف 7.4 أضعاف تكلفة قراءته. إضافة إلى ذلك، تشكل مصفوفة الطبقة الأخيرة (LM head) التي تحتوي على المفردات ما يقرب من 10% من معلمات النموذج في نماذج صغيرة مثل Qwen3-4B، ويتم قراءتها بالكامل لكل توكن يتم توليده، مما يزيد الحمل على الذاكرة.
VocabX: نهج ثنائي الطبقات لخفض التكاليف
يتميز VocabX بمعالجته للمشكلة من خلال تغيير السؤال الأساسي من «كم توكنًا نوفر؟» إلى «كم تكلفة ووقتًا نوفر؟». يتم ضرب كل توكن يتم التخلص منه بسعر المجال الذي يظهر فيه، مع إعطاء أولوية أكبر للتوكنات التي يتم توفيرها في استجابة النموذج (لأنها أغلى). كما تعمل التقنية على مستويين في آن واحد: مستوى الأجزاء الفرعية للكلمات (sub-word) لإعادة بناء كيفية تقسيم كلمات المجال، ومستوى الكلمات المتعددة (multi-word) لتحويل التعبيرات المتكررة الطويلة أو هياكل JSON بأكملها إلى توكن واحد، يُعرف باسم «الماكرو توكن».
لتحقيق ذلك، يستخدم VocabX خمسة «منقبين» تلقائيين للبحث عن التكرارات عبر مجموعات النصوص، تتخصص كل منها في نوع معين من التكرار مثل الكلمات الطويلة، الأسطر الكاملة، التعبيرات، الجمل الكاملة، والهياكل ذات علامات الترقيم كـ JSON. وقد أدت هذه الطريقة إلى تقليص مفردات طبقة الإخراج في المدقق الذي تم اختباره من حوالي 152,000 إدخال إلى حوالي 65,000 إدخال. بخلاف الحلول الحالية مثل FVT و MWT، يركز VocabX على التكلفة ويدمج عمليتي التجزئة ودمج العبارات ضمن معيار واحد.
ما يعنيه هذا للمطورين
نرى أن تقنية VocabX تحمل إمكانات هائلة للمطورين والمؤسسات التي تنشر نماذج لغة صغيرة متخصصة. فبواسطة تقليل تكاليف الاستدلال بشكل كبير، ستصبح تطبيقات الذكاء الاصطناعي المخصصة أكثر كفاءة واقتصادية، مما يسمح بنشرها على نطاق أوسع وبتكاليف تشغيل أقل. هذا يعني أن تطوير حلول AI متخصصة يمكن أن يصبح في متناول عدد أكبر من الشركات، ويزيد من جاذبية استخدام النماذج الصغيرة المُحسَّنة للمهام المحددة.
المصدر: huggingface.co