ويدعي الباحثون أن SIMA 2 يمكنه تنفيذ مجموعة من المهام الأكثر تعقيدًا داخل العوالم الافتراضية، ومعرفة كيفية حل بعض التحديات بنفسه، والدردشة مع مستخدميه. ويمكنه أيضًا تحسين نفسه من خلال معالجة المهام الصعبة عدة مرات والتعلم من خلال التجربة والخطأ.
وقال جو مارينو، عالم الأبحاث في Google DeepMind، في مؤتمر صحفي هذا الأسبوع: “لقد كانت الألعاب قوة دافعة وراء أبحاث العملاء لفترة طويلة”. وأشار إلى أنه حتى الإجراء البسيط في اللعبة، مثل إضاءة الفانوس، يمكن أن يتضمن خطوات متعددة: “إنها مجموعة معقدة حقًا من المهام التي تحتاج إلى حلها لتحقيق التقدم”.
الهدف النهائي هو تطوير عملاء من الجيل التالي يكونون قادرين على اتباع التعليمات وتنفيذ مهام مفتوحة داخل بيئات أكثر تعقيدًا من متصفح الويب. على المدى الطويل، يريد Google DeepMind استخدام مثل هذه العوامل لقيادة الروبوتات في العالم الحقيقي. ادعى مارينو أن المهارات التي تعلمتها SIMA 2، مثل التنقل في البيئة، واستخدام الأدوات، والتعاون مع البشر لحل المشكلات، هي لبنات بناء أساسية لرفاق الروبوتات في المستقبل.
على عكس العمل السابق على وكلاء ممارسة الألعاب مثل AlphaZero، الذي تغلب على Go Grandmaster في عام 2016، أو AlphaStar، الذي”https://www.nature.com/articles/s41586-019-1724-z”> تغلب على 99.8% من لاعبي المنافسة البشرية المصنفين في لعبة الفيديو StarCraft 2 في عام 2019، كانت الفكرة وراء SIMA هي تدريب العميل على لعب لعبة ذات نهاية مفتوحة بدون أهداف محددة مسبقًا. وبدلاً من ذلك، يتعلم الوكيل تنفيذ التعليمات المقدمة إليه من قبل الأشخاص.
يتحكم البشر في SIMA 2 عبر الدردشة النصية، أو من خلال التحدث إليها بصوت عالٍ، أو من خلال الرسم على شاشة اللعبة. يأخذ الوكيل وحدات البكسل الخاصة بلعبة الفيديو إطارًا تلو الآخر ويكتشف الإجراءات التي يتعين عليه اتخاذها لتنفيذ مهامه.
مثل سابقتها، تم تدريب SIMA 2 على لقطات لبشر يلعبون ثماني ألعاب فيديو تجارية، بما في ذلك No Man’s Sky وGoat Simulator 3، بالإضافة إلى ثلاثة عوالم افتراضية أنشأتها الشركة. تعلم الوكيل مطابقة مدخلات لوحة المفاتيح والماوس مع الإجراءات.
يزعم الباحثون أن SIMA 2، المرتبطة بـ Gemini، أفضل بكثير في اتباع التعليمات (طرح الأسئلة وتقديم التحديثات أثناء سيرها) واكتشاف كيفية أداء بعض المهام الأكثر تعقيدًا.
قام Google DeepMind باختبار الوكيل داخل بيئات لم يسبق له مثيل من قبل. في إحدى مجموعات التجارب، طلب الباحثون من Genie 3، أحدث نسخة من الشركة”https://www.technologyreview.com/2024/02/29/1089317/google-deepminds-new-generative-model-makes-super-mario-like-games-from-scratch/”> النموذج العالميلإنتاج بيئات من الصفر وإسقاط SIMA 2 فيها. ووجدوا أن العميل كان قادرًا على التنقل وتنفيذ التعليمات هناك.
استخدم الباحثون أيضًا الجوزاء لإنشاء مهام جديدة لـ SIMA 2. إذا فشل العميل، قام Gemini في البداية بإنشاء نصائح أخذتها SIMA 2 على عاتقها عندما حاولت مرة أخرى. وقال مارينو إن تكرار المهمة عدة مرات بهذه الطريقة غالبًا ما سمح لـ SIMA 2 بالتحسين عن طريق التجربة والخطأ حتى نجح.
جيت والله
SIMA 2 لا تزال تجربة. يكافح الوكيل مع المهام المعقدة التي تتطلب خطوات متعددة ومزيدًا من الوقت لإكمالها. كما أنه يتذكر فقط أحدث تفاعلاته (لجعل SIMA 2 أكثر استجابة، قام الفريق بقطع ذاكرته طويلة المدى). كما أنها لا تزال بعيدة كل البعد عن جودة الأشخاص في استخدام الماوس ولوحة المفاتيح للتفاعل مع العالم الافتراضي.
ويعتقد جوليان توجيليوس، الباحث في الذكاء الاصطناعي بجامعة نيويورك والذي يعمل في مجال الإبداع وألعاب الفيديو، أنها نتيجة مثيرة للاهتمام. ويقول إن المحاولات السابقة لتدريب نظام واحد للعب ألعاب متعددة لم تسر بشكل جيد. وذلك لأن نماذج التدريب للتحكم في ألعاب متعددة بمجرد مشاهدة الشاشة ليست بالأمر السهل: “اللعب في الوقت الفعلي من خلال الإدخال المرئي فقط هو “الوضع الصعب””، كما يقول.
على وجه الخصوص، يستدعي توجيليوس نظام GATO، وهو نظام سابق من Google DeepMind، والذي – على الرغم من كونه”https://www.technologyreview.com/2022/05/23/1052627/deepmind-gato-ai-model-hype/”> ضجة في ذلك الوقت- لا يمكن نقل المهارات عبر عدد كبير من البيئات الافتراضية.
ومع ذلك، فهو منفتح بشأن ما إذا كان SIMA 2 يمكن أن يؤدي إلى روبوتات أفضل أم لا. ويقول: “إن العالم الحقيقي أصعب وأسهل من ألعاب الفيديو”. الأمر أصعب لأنه لا يمكنك الضغط على A لفتح الباب. وفي الوقت نفسه، سيعرف الروبوت في العالم الحقيقي بالضبط ما يستطيع جسمه فعله وما لا يستطيع فعله في أي وقت. ليس هذا هو الحال في ألعاب الفيديو، حيث يمكن أن تختلف القواعد داخل كل عالم افتراضي.
والبعض الآخر أكثر تشككا. لم يتفاجأ ماثيو جوزديال، الباحث في الذكاء الاصطناعي بجامعة ألبرتا، كثيرًا من قدرة SIMA 2 على لعب العديد من ألعاب الفيديو المختلفة. ويشير إلى أن معظم الألعاب تحتوي على عناصر تحكم متشابهة جدًا في لوحة المفاتيح والماوس: تعلم واحدة وستتعلمها جميعًا. ويقول: “إذا وضعت أمامها لعبة ذات مدخلات غريبة، فلا أعتقد أنها ستكون قادرة على تقديم أداء جيد”.
يتساءل Guzdial أيضًا عن مقدار ما تعلمته SIMA 2 والذي سينتقل بالفعل إلى الروبوتات. ويقول: “من الصعب جدًا فهم العناصر المرئية من الكاميرات في العالم الحقيقي مقارنة بالألعاب، التي تم تصميمها باستخدام عناصر مرئية يمكن تحليلها بسهولة للاعبين البشر”.
ومع ذلك، يأمل مارينو وزملاؤه في مواصلة عملهم مع Genie 3 للسماح للعميل بالتحسن داخل نوع من التدريب الافتراضي الذي لا نهاية له، حيث يقوم Genie بإنشاء عوالم لـ SIMA للتعلم فيها من خلال التجربة والخطأ مسترشدًا بتعليقات Gemini. وقال في المؤتمر الصحفي: “لقد خدشنا للتو سطح ما هو ممكن”.