في قارة تزخر بأكثر من 2000 لغة، يواجه تطوير تكنولوجيا اللغة تحديًا هائلاً يتمثل في ندرة البيانات. هذه المشكلة كانت الدافع وراء تأسيس شريف إيساكا لـ معمل اللغات الأفريقية (African Languages Lab) في عام 2020، وهي شركة أبحاث وتطوير للذكاء الاصطناعي كرست جهودها لجمع البيانات اللغوية الأفريقية التي لم تكن متوفرة.
منذ تأسيسه، تمكن المعمل من بناء أكبر مجموعة بيانات للغات الأفريقية، لتشمل أكثر من 70 لغة حيوية مثل الأمهرية، الهاوسا، الزولو، التوي، الإيغبو، واليوروبا. وقد أثمرت هذه الجهود عن إطلاق منصة مانسا (Mansa)، وهي منصة ذكاء اصطناعي متعددة اللغات والوسائط، تدعم حاليًا حوالي 30 لغة أفريقية في مرحلة الإنتاج، مع خطط للتوسع.
تتوفر منصة مانسا عبر الويب وتطبيقات الهاتف المحمول، وتقدم واجهات برمجة تطبيقات (APIs) للمطورين والشركات. وتضم مجموعات البيانات الخاصة بالشركة أكثر من 100 مليار رمز مميز (tokens) – وهي أجزاء من النصوص تستخدم لتدريب نماذج الذكاء الاصطناعي – بالإضافة إلى أكثر من 19,000 ساعة من التسجيلات الصوتية التي تم مراجعتها والتحقق من صحتها من قبل خبراء اللغة.
تحديات الذكاء الاصطناعي في أفريقيا: أبعد من الترجمات البسيطة
على الرغم من وجود أكثر من 2000 لغة في أفريقيا، إلا أن أقل من 5% منها تحظى بالموارد الكافية لمعالجة اللغات الطبيعية. هذا النقص يؤدي إلى تمثيل ضعيف للغات الأفريقية في مجموعات البيانات الرقمية، مما يحد بشكل كبير من قدرة أنظمة الذكاء الاصطناعي على فهمها ومعالجتها بفعالية. يوضح إيساكا هذه الفجوة قائلاً: ‘النماذج سيئة للغاية في فهم لغاتنا. إذا حاولت إجراء محادثة شاملة مع نموذج لغوي كبير في معظم اللغات الأفريقية، فلن يتمكنوا من تحقيق ذلك’.
لا تقتصر المشكلة على الأداء الضعيف فحسب، بل تمتد إلى التكلفة. يمكن أن تتطلب اللغات الأفريقية رموزًا مميزة أكثر بكثير من اللغة الإنجليزية لنفس المدخلات. فمثلاً، قد يكلف إنشاء رمز مميز بلغة اليوروبا أربعة أضعاف تكلفة إنشائه باللغة الإنجليزية. يقول إيساكا: ‘نحن ندفع المزيد للحصول على أداء أسوأ من هذه النماذج’.
كما تؤثر فجوة البيانات على جانب السلامة؛ فعمليات ضبط السلامة في نماذج الذكاء الاصطناعي تكون أقوى في اللغات ذات البيانات الوفيرة، مما يترك اللغات الأفريقية الأقل مواردًا معرضة لمخاطر أكبر. يؤكد إيساكا أن استخدام مطالبات ضارة في بعض اللغات الأفريقية يزيد من احتمالية تلقي المستخدمين لإجابات غير صحيحة بعشر مرات على الأقل، وهي إجابات تُحظر عادةً في اللغات ذات الموارد العالية.
في ظل هذه التحديات، تتزايد الجهود لسد هذه الفجوة. فبالإضافة إلى معمل اللغات الأفريقية، قامت جوجل بتوسيع أبحاثها في اللغات الأفريقية وأطلقت مجموعة بيانات كلامية مفتوحة المصدر (WAXAL) تغطي 21 لغة من منطقة أفريقيا جنوب الصحراء الكبرى. كما تعمل شركات ناشئة نيجيرية مثل إنترون (Intron) وسبتش (Spitch) على بناء أنظمة للتعرف على الكلام وتحويل النص إلى كلام للغات الأفريقية.
عقد من الزمن في جمع البيانات وبناء المجتمع
قضى فريق شريف إيساكا حوالي عقد من الزمن في جمع البيانات التي لم يتمكنوا من العثور عليها. لا تعتمد الشركة فقط على مجموعات البيانات المتاحة مجانًا أو المرخصة بشكل مفتوح، بل تعمل أيضًا بشكل مباشر مع المجتمعات وتدفع للأشخاص مقابل جمع البيانات الجديدة والتحقق من صحتها. يقول إيساكا: ‘لدينا الكثير من الأشخاص الذين يتصلون بنا كل أسبوع ليقولوا: مرحبًا، لغتي تعاني من نقص الموارد. أريد أن آتي وأعطيكم بيانات عن لغتي’.
تتفاوت كمية البيانات المتاحة بشكل كبير، حيث تمتلك لغات مثل اليوروبا والسواحيلية والزولو بيانات أكثر من اللغات الأصغر والأقل مواردًا. وعلى الرغم من أن معظم المجموعة عبارة عن نصوص، فقد استثمرت الشركة بشكل متزايد في البيانات الصوتية، إدراكًا لأهمية الكلام كوسيلة وصول رئيسية للأشخاص غير القادرين على القراءة والكتابة.
واجهت الشركة تحديًا آخر في أدوات جمع البيانات، حيث كان الباحثون غالبًا ما يضطرون إلى استخدام اللغة الإنجليزية كجسر عند جمع البيانات بين اللغات الأفريقية. لذا، قامت الشركة بتطوير منصة All Voices منذ حوالي ست سنوات. تسمح هذه المنصة للمساهمين بجمع البيانات والتحقق من صحتها مباشرة بين اللغات الأفريقية، دون الحاجة إلى لغة وسيطة، ويمكن للمساهمين أيضًا كسب المال مقابل توفير البيانات أو التحقق من صحتها. يقول إيساكا: ‘لا أبالغ، يمكنك الذهاب والمساهمة بالبيانات بأي لغة في العالم. ليس عليك المرور عبر أي لغات جسر’.
تتلقى All Voices الآن رسالتين أو ثلاث رسائل بريد إلكتروني أسبوعيًا من أشخاص يرغبون في المساهمة بالبيانات بلغات ممثلة تمثيلاً ناقصًا، مما يعكس اهتمام المجتمع بالمشاركة في هذا الجهد. وتلتزم الشركة بممارسات أخلاقية، حيث يتم إبلاغ المساهمين بالهدف من استخدام بياناتهم ويمكنهم اختيار عدم السماح بذلك. في مشاريع جمع البيانات واسعة النطاق، يُدفع للمساهمين مع إبلاغهم بأن الموافقة تعني إمكانية إتاحة البيانات للعامة لأغراض البحث. كما أن لديهم شراكات يحصل فيها المساهمون على حوافز عندما تساعد بياناتهم النموذج في الوصول إلى مستوى أداء معين. يؤكد إيساكا: ‘لا نريد أن نقتطع من هذه المجتمعات فحسب. نريد أن نتأكد من أنهم جزء من سلسلة القيمة’، مع الاعتراف بأن هذا النهج لا يزال يتطور نحو المثالية.
تقنية مانسا: بناء الذكاء الاصطناعي متعدد الوسائط للغات الأفريقية
بينما تغطي تقنية معمل اللغات الأفريقية أكثر من 70 لغة، فإن منصة مانسا تدعم حاليًا حوالي 30 لغة في مرحلة الإنتاج. يعكس هذا القرار فصل اللغات التي تم جمع بيانات عنها عن تلك التي تعتبر جاهزة للاستخدام العام، لضمان أعلى مستويات الدعم والأداء. هذه اللغات الثلاثين هي التي تحظى بأكبر قدر من الدعم، وتستطيع الشركة ضمان أدائها. أما اللغات المتبقية، فهي ليست غير مدعومة بالضرورة، ولكن الشركة لا تعتقد أن أداءها جيد بما يكفي بعد، على الرغم من القدرة على توسيع النطاق ليشمل السبعين لغة.
بالنسبة للغات المدعومة حاليًا، تدعم مانسا المحادثات النصية والصوتية، بالإضافة إلى معالجة الصور والفيديو. كما تقدم خدمات الترجمة، والنسخ، وتحويل النص إلى كلام، والترجمة الفورية. تتضمن المنصة وكيل ذكاء اصطناعي قادر على تنفيذ المهام بدلاً من مجرد الاستجابة للمطالبات؛ فيمكن للمستخدمين أن يطلبوا من مانسا قراءة رسائل البريد الإلكتروني وتلخيصها، أو البحث عن أبحاث جديدة في مجال معين، أو تتبع الأخبار واتجاهات وسائل التواصل الاجتماعي وتقديم ملخصات منتظمة.
لم يقم معمل اللغات الأفريقية ببناء النموذج الأساسي الذي يدعم مانسا من الصفر، بل استخدم نموذجًا موجودًا من شركة الذكاء الاصطناعي الصينية مينياكس (MiniMax) كقاعدة، ثم قام بتكييفه مع اللغات والسياقات وحالات الاستخدام الأفريقية. يوضح إيساكا: ‘نحن لا نخفي هذا: فنحن نرغب في إعادة الاستخدام قبل إعادة البناء’. تم اختيار MiniMax جزئيًا بسبب قدراته المتعددة الوسائط، التي تمنح مانسا القدرة على التعامل مع النصوص والكلام والصور والفيديو، ويحتوي النموذج على ما يقرب من نصف تريليون معلمة.
على الرغم من الاعتماد على نموذج MiniMax الرئيسي، يقوم معمل اللغات الأفريقية بتدريب بعض النماذج والمكونات من الصفر لعمليات محددة داخل بيئة مانسا. بدأت الشركة بنماذج الترجمة وبنت أدوات داخلية لمقارنة أدائها مع النماذج الأخرى، وتقوم بتقييم أنظمتها باستخدام معايير آلية وتقييم بشري، نظرًا لأن المعايير الحالية لا تقيس الأداء في اللغات الأفريقية بشكل جيد دائمًا. ‘نحن نبني مع المجتمع’، يؤكد إيساكا.
يعتقد إيساكا أن هذا العمل يمنح مانسا ميزة في الترجمة والكلام. ويشير إلى أن أداء النظام أفضل من أدوات مثل ChatGPT وGoogle Translate في بعض مهام ترجمة اللغة الأفريقية، في حين أن أنظمة الكلام الخاصة به معايرة بشكل أفضل للهجات الأفريقية، وقادرة على البث باللغات الأفريقية، وهي إمكانية لا تقدمها النماذج الأخرى حاليًا.
التغلب على تحديات اللهجات الأفريقية في الكلام
يُعد الكلام جزءًا حيويًا آخر لجعل الذكاء الاصطناعي متاحًا باللغات الأفريقية، لا سيما للأشخاص الذين لا يستطيعون الاعتماد على النص للتفاعل مع التكنولوجيا. يقول إيساكا: ‘بالنسبة للكثير من هؤلاء الأشخاص، لا يستطيعون القراءة والكتابة في البداية. ومن ثم يصبح الكلام الوسيلة التي يمكنك من خلالها الوصول حقًا إلى معظم الأشخاص الذين يحتاجون إلى أقصى قدر من الوصول إلى هذه التقنيات’.
لكن بناء أنظمة الكلام التي تعمل بشكل موثوق عبر اللغات واللهجات الأفريقية لا يزال أمرًا صعبًا. يعترف إيساكا: ‘سأكون صادقًا معك، إنها ليست مشكلة محلولة’. لا تزال الشركة تجمع البيانات عن اللهجات المختلفة وتعمل على شرحها بشكل صحيح، وهو أمر معقد لأن اللغات الأفريقية مترابطة ارتباطًا وثيقًا، مع اختلافات لا تتناسب دائمًا بشكل جيد مع فئات اللغات الفردية.
بدلاً من بناء لغة واحدة في كل مرة، تقوم الشركة بتدريب نماذجها عبر اللغات لمساعدتها على التعامل بشكل أفضل مع الاختلافات في اللهجات والمدخلات. يقول إيساكا: ‘إذا رسمتها كخريطة، فستجد أنها مترابطة إلى حد كبير’. يهدف هذا النهج إلى مساعدة النموذج على التعرف على الاختلافات بدلاً من التعامل مع كل لغة ولهجة كمشكلة منفصلة تمامًا، على الرغم من أنه لا يزال يمثل تحديًا مستمرًا.
من 30 لغة إلى رؤية 1000 لغة
يرى إيساكا أن التواصل يمثل إحدى أكبر الفرص التي توفرها مانسا. على سبيل المثال، يمكن للبنوك استخدام مانسا للتواصل مع العملاء بلغات أفريقية مختلفة، في حين يمكن للشركات الأخرى بناء قدرات الترجمة أو النسخ أو الكلام ضمن خدماتها الحالية. يقول: ‘أعتقد أن الاتصالات ستكون ذات أهمية كبيرة، لأن الطريقة التي نبني بها مانسا، هي أننا نحاول إنشاء بنية تحتية. بنية تحتية يمكن للجميع البناء عليها’.
تطمح الشركة أن يستخدم المبتكرون الأفارقة الذين يبنون منتجات للقارة منصة مانسا كطبقة لغوية وذكاء اصطناعي، على غرار الطريقة التي يبني بها المطورون التطبيقات فوق نماذج الذكاء الاصطناعي الرئيسية الأخرى.
ولكن بالنسبة لإيساكا، فإن الهدف على المدى الطويل أوسع بكثير من الإطلاق الحالي. فاللغات الثلاثون المتوفرة حاليًا في مانسا ليست سوى نقطة بداية. يهدف إيساكا إلى التوسع لتشمل 70 ثم 200، وفي النهاية 1000 لغة. يقول: ‘لا أعرف كم سنكون قادرين على تغطيته بشكل واقعي في حياتنا أو في أي وقت مضى. لكنني أحب أن أرى هذا العدد يزيد بمقدار واحد، على الأقل بمقدار واحد في كل مرة. كل زائد واحد سيجعلني سعيدًا للغاية’.