يعد Claude 3.5 Sonnet أفضل نموذج للذكاء الاصطناعي أداءً وفقًا لاختبار Google Proof Q&A المتقدم.
يعد مفهوم اختبار الذكاء الاصطناعي للأسئلة والأجوبة “المثبت من Google” والمعايير الأخرى لتقييم نماذج الذكاء الاصطناعي عالية الأداء أمرًا بالغ الأهمية في قياس قدرات الذكاء الاصطناعي وتقدمه. تهدف هذه الاختبارات إلى تقييم قدرة الذكاء الاصطناعي على الفهم والتفكير وإنشاء استجابات شبيهة بالبشر دون الاعتماد على مطابقة الكلمات الرئيسية البسيطة أو استرجاع البيانات السطحية. فيما يلي نظرة عامة على ما تستلزمه هذه الاختبارات ومعايير أخرى لتقييم الذكاء الاصطناعي عالي الأداء:
اختبار الذكاء الاصطناعي للأسئلة والأجوبة المعتمد من Google
تم تصميم اختبار “Google-proof” لتقييم قدرات الذكاء الاصطناعي على الفهم والتفكير بدلاً من قدرته على البحث عن المعلومات واسترجاعها. تركز هذه الاختبارات على:
الاستدلال المعقد: الأسئلة التي تتطلب استنتاجًا منطقيًا، واستدلالًا متعدد الخطوات، وتوليف المعلومات من مصادر مختلفة.
الفطرة السليمة: تقييم قدرة الذكاء الاصطناعي على تطبيق المعرفة اليومية والمنطق المنطقي للإجابة على الأسئلة.
الاستدلال: مطالبة الذكاء الاصطناعي بإجراء استنتاجات بناءً على بيانات أو سياق معين، بدلاً من استرجاع المطابقات الدقيقة من قاعدة البيانات.
الفهم السياقي: تقييم مدى فهم الذكاء الاصطناعي للسياق والحفاظ عليه عبر جمل أو تفاعلات متعددة.
أسئلة سبيل المثال:
“إذا كانت أليس أطول من بوب وبوب أطول من تشارلي، فمن هو الأقصر؟”
“لماذا قد يحمل شخص ما مظلة في يوم مشمس؟”
اختبارات أخرى للأداء العالي للذكاء الاصطناعي
SQuAD (مجموعة بيانات الإجابة على الأسئلة في جامعة ستانفورد):
المهمة: فهم المقروء.
التنسيق: يتم إعطاء النموذج مقطعًا ويجب أن يجيب على الأسئلة بناءً على هذا المقطع.
التقييم: يقيس التطابق التام (EM) ودرجة F1 (المتوسط التوافقي للدقة والاستدعاء).
GLUE (تقييم فهم اللغة العامة) المعيار:
المهمة: مجموعة من مهام البرمجة اللغوية العصبية المتنوعة بما في ذلك تحليل المشاعر وتشابه الجمل واستدلال اللغة الطبيعية.
التقييم: يوفر درجة مركبة بناءً على الأداء عبر مهام متعددة.
صمغ ممتاز:
المهمة: نسخة محسنة وأكثر تحديًا من GLUE، مع مهام تتطلب تفكيرًا وفهمًا أكثر تقدمًا.
التقييم: يشبه GLUE ولكنه يتضمن مهام مثل التفكير السببي والاستدلال متعدد الجمل.
تحدي مخطط فينوغراد:
المهمة: اختبار المنطق السليم.
التنسيق: يجب أن يحل النموذج الضمائر الغامضة في الجمل حيث تتطلب الإجابة الصحيحة فهم المنطق المنطقي.
مثال: “رفض أعضاء مجلس المدينة تصريحًا للمتظاهرين لأنهم كانوا يخشون العنف”. (من يخشى العنف؟)
ARC (تحدي التفكير AI2):
المهمة: إجابة الأسئلة العلمية.
التنسيق: أسئلة متعددة الخيارات من امتحانات العلوم للمرحلة الابتدائية والثانوية.
التقييم: يختبر قدرة النموذج على التفكير وتطبيق المعرفة العلمية.
سؤال وجواب التوافه:
المهمة: الإجابة على سؤال المجال المفتوح.
التنسيق: يتم إعطاء النموذج أسئلة تافهة ويجب أن ينتج إجابات من مجموعة كبيرة من المستندات.
التقييم: يقيس دقة الإجابات التي تم إنشاؤها.
هيلا سواج:
المهمة: الاستدلال المنطقي.
التنسيق: بالنظر إلى السياق، يجب أن يختار النموذج الاستمرارية الأكثر قبولا من بين عدة خيارات.
التقييم: يختبر فهم النموذج للأحداث اليومية والمنطق المنطقي.
أهمية اختبارات الذكاء الاصطناعي المتقدمة
قياس التقدم: تساعد هذه المعايير على تتبع التقدم في الذكاء الاصطناعي، مما يدفع حدود ما يمكن أن تحققه أنظمة الذكاء الاصطناعي.
تحديد نقاط الضعف: وهي تسلط الضوء على المجالات التي تحتاج فيها أنظمة الذكاء الاصطناعي إلى تحسين، مثل التعامل مع الغموض، والتفكير السياقي، وتطبيق المعرفة المنطقية.
تحفيز الابتكار: تحفز التحديات التي تفرضها هذه الاختبارات البحث والابتكار، مما يؤدي إلى تطوير نماذج ذكاء اصطناعي أكثر تطوراً.
اختبارات الذكاء الاصطناعي المتقدمة
يُعد اختبار الذكاء الاصطناعي للأسئلة والأجوبة “المثبت من Google” وغيره من المعايير المتقدمة أمرًا ضروريًا لتقييم القدرات الحقيقية لنماذج الذكاء الاصطناعي عالية الأداء. إنها تضمن أن أنظمة الذكاء الاصطناعي ليست جيدة فقط في استرجاع المعلومات ولكنها تتفوق أيضًا في الفهم والتفكير وتوليد استجابات متماسكة ومناسبة للسياق. تعمل هذه الاختبارات على التحسين المستمر لتقنيات الذكاء الاصطناعي، مما يجعلها أكثر قوة وتنوعًا وتتوافق مع الفهم والذكاء البشري.
بريان وانغ هو أحد قادة الفكر المستقبلي ومدون مشهور في مجال العلوم ويتابعه مليون قارئ شهريًا. تم تصنيف مدونته Nextbigfuture.com في المرتبة الأولى في مدونة أخبار العلوم. وهو يغطي العديد من التكنولوجيا والاتجاهات الثورية بما في ذلك الفضاء، والروبوتات، والذكاء الاصطناعي، والطب، والتكنولوجيا الحيوية لمكافحة الشيخوخة، وتكنولوجيا النانو.
وهو معروف بتحديد التقنيات المتطورة، وهو حاليًا مؤسس مشارك لشركة ناشئة وجمع التبرعات للشركات ذات الإمكانات العالية في المرحلة المبكرة. وهو رئيس قسم الأبحاث المخصصة لاستثمارات التكنولوجيا العميقة والمستثمر الملائكي في Space Angels.
وهو متحدث متكرر في الشركات، وكان متحدثًا في TEDx، ومتحدثًا في جامعة Singularity وضيفًا في العديد من المقابلات الإذاعية والبودكاست. إنه منفتح على التحدث أمام الجمهور وتقديم المشورة للتعاقدات.