جديد التضمين نموذج المتصدرين: google تأخذ رقم 1 في حين أن البديل المصدر المفتوح من Alibaba يغلق الفجوة

الصورة الائتمان: VentureBeat مع Imagen-4

جوجل قامت رسميًا بنقل الأداء الجديد وعالي الأداء”https://developers.googleblog.com/en/gemini-embedding-available-gemini-api/” الهدف=”_blank” rel=”noreferrer noopener”> نموذج تضمين الجوزاء لتوافر عام ، يحتل المرتبة الأولى حاليًا رقم واحد بشكل عام على التقدير العالي”https://huggingface.co/spaces/mteb/leaderboard” الهدف=”_blank” rel=”noreferrer noopener”> معيار تضمين النص الضخم (MTEB). يعد النموذج (Gemini-embedding-001) الآن جزءًا أساسيًا من API Gemini و Avertex AI ، مما يمكّن المطورين من بناء تطبيقات مثل البحث الدلالي والجيل المتمثل في الاسترجاع (RAG).

في حين أن الترتيب رقم واحد هو ظهور قوي ، فإن مشهد نماذج التضمين منافسة للغاية. يتم الطعن في نموذج Google الملكية مباشرة من خلال بدائل قوية مفتوحة المصدر. هذا يضع خيارًا استراتيجيًا جديدًا للمؤسسات: اعتماد نموذج الملكية الأعلى أو منافسًا مفتوح المصدر تقريبًا يوفر مزيدًا من السيطرة.

ما هو تحت غطاء محرك السيارة من نموذج تضمين الجوزاء من Google

في صميمهم ،”https://venturebeat.com/ai/beyond-chatbots-the-wide-world-of-embeddings/”> التضمينات قم بتحويل النص (أو أنواع البيانات الأخرى) إلى قوائم عددية تلتقط الميزات الرئيسية للإدخال. البيانات ذات المعنى الدلالي المماثل لها قيم تضمينها أقرب معًا في هذه المساحة العددية. هذا يسمح بتطبيقات قوية تتجاوز بكثير مطابقة الكلمات الرئيسية البسيطة ، مثل بناء ذكي”https://venturebeat.com/ai/new-technique-makes-rag-systems-much-better-at-retrieving-the-right-documents/”> الجيل المتمثل في الاسترجاع (خرقة) الأنظمة التي تغذي المعلومات ذات الصلة إلى LLMS.

يمكن أيضًا تطبيق التضمينات على طرائق أخرى مثل الصور والفيديو والصوت. على سبيل المثال ، قد تستخدم شركة التجارة الإلكترونية نموذجًا للتضمين متعدد الوسائط لإنشاء تمثيل رقمي موحد لمنتج يتضمن كل من الأوصاف والصور النصية.

بالنسبة للمؤسسات ، يمكن أن تعمل نماذج التضمين على تشغيل محركات البحث الداخلية أكثر دقة ، ومهارات الوثائق المتطورة ، ومهام التصنيف ، وتحليل المشاعر ، واكتشاف الشذوذ. أصبحت التضمينات أيضًا جزءًا مهمًا من التطبيقات الوكلاء ، حيث يجب على وكلاء الذكاء الاصطناعى”https://venturebeat.com/ai/s3-the-new-rag-framework-that-trains-search-agents-with-minimal-data/”> استرداد ومطابقة أنواع مختلفة من المستندات والمطالبات.

واحدة من الميزات الرئيسية لتضمين الجوزاء هي مرونتها المدمجة. لقد تم تدريبه من خلال تقنية تعرف باسم Matryoshka تمثيل التعلم (MRL) ، والتي تتيح للمطورين الحصول على تضمين تفصيلي 3072 تفصيلاً للغاية ولكنه أيضًا اقتطاعه إلى أحجام أصغر مثل 1536 أو 768 مع الحفاظ على ميزاته الأكثر صلة. تمكن هذه المرونة مؤسسة من تحقيق توازن بين دقة النموذج وأداء تكاليف التخزين ، وهو أمر بالغ الأهمية لتوسيع نطاق التطبيقات بكفاءة.

توضع Google Gemini التضمين كنموذج موحد مصمم للعمل بفعالية “خارج الصندوق” عبر مجالات متنوعة مثل التمويل والقانونية والهندسة دون الحاجة إلى التثبيت. هذا يبسط التطور للفرق التي تحتاج إلى حل للأغراض العامة. دعم أكثر من 100 لغة وسعر تنافسي عند 0.15 دولار لكل مليون رموز إدخال ، وهو مصمم لإمكانية الوصول على نطاق واسع.

مشهد تنافسي لمنافسي الملكية والمفتوحة المصدر

يوضح لوحة المتصدرين MTEB أنه على الرغم من قيادة الجوزاء ، فإن الفجوة ضيقة. يواجه نماذج قائمة من Openai ،”https://venturebeat.com/ai/openai-launches-new-generation-of-embedding-models-and-other-api-updates/”> تضمين النماذج تستخدم على نطاق واسع ، ومنافسين متخصصين مثل Mistral ، والذي يقدم نموذجًا”https://venturebeat.com/ai/mistral-launches-new-code-embedding-model-that-outperforms-openai-and-cohere-in-real-world-retrieval-tasks/”> خصيصًا لاسترجاع الكود. يشير ظهور هذه النماذج المتخصصة إلى أنه بالنسبة لبعض المهام ، قد تتفوق الأداة المستهدفة على أخصائي عام.

لاعب رئيسي آخر ، Cohere ، يستهدف المؤسسة مباشرة مع”https://venturebeat.com/ai/cracking-ais-storage-bottleneck-and-supercharging-inference-at-the-edge/”> تضمين 4 نموذج. بينما تتنافس النماذج الأخرى على المعايير العامة ، تؤكد Cohere على قدرة نموذجها على التعامل مع “بيانات العالم الواقعي الصاخبة” غالبًا في مستندات المؤسسة ، مثل أخطاء الإملاء ، وقضايا التنسيق ، وحتى الكتابة اليدوية الممسوحة ضوئيًا. كما يوفر نشر على السحب الخاصة الافتراضية أو المحلية ، مما يوفر مستوى من أمن البيانات الذي يناشد بشكل مباشر الصناعات المنظمة مثل التمويل والرعاية الصحية.

يأتي التهديد المباشر للهيمنة الملكية من مجتمع المصدر المفتوح. علي بابا”https://huggingface.co/Qwen/Qwen3-Embedding-8B” الهدف=”_blank” rel=”noreferrer noopener”> QWEN3-embedding يحتل النماذج خلف الجوزاء على MTEB ومتوفر بموجب ترخيص Apache 2.0 المسموح به (متاح لأغراض تجارية). للمؤسسات التي تركز على تطوير البرمجيات ، Qodo’s”https://venturebeat.com/programming-development/qodos-open-code-embedding-model-sets-new-enterprise-standard-beating-openai-salesforce/”> Qodo embed-1-1.5b يقدم بديلًا آخر مقنعًا مفتوح المصدر ، مصمم خصيصًا للرمز ويطالب بالتفوق على النماذج الأكبر في المعايير الخاصة بالمجال.

بالنسبة للشركات التي تبني بالفعل على Google Cloud وعائلة Gemini من النماذج ، يمكن أن يكون لتبني نموذج التضمين الأصلي العديد من الفوائد ، بما في ذلك التكامل السلس ، وخط أنابيب MLOPs مبسط ، وضمان استخدام نموذج للأغراض العامة ذات الأغراض العامة.

ومع ذلك ، فإن الجوزاء هو نموذج مغلق فقط. المؤسسات التي تعطي الأولوية لسيادة البيانات ، والتحكم في التكاليف ، أو القدرة على تشغيل النماذج على البنية التحتية الخاصة بها لديها الآن خيار مفتوح المصداقية ذات المصداقية في QWEN3 أو يمكنه استخدام أحد نماذج التضمين الخاصة بالمهمة.