إذا سألت بعض أشهر روبوتات الدردشة التي تعمل بالذكاء الاصطناعي عن عدد الأيام المتبقية حتى انتخابات نوفمبر، فقد ترغب في التحقق مرة أخرى من الإجابة.
وجدت دراسة نشرتها شركة GroundTruthAI الناشئة لتحليل البيانات أن نماذج اللغات الكبيرة، بما في ذلك Gemini 1.0 Pro من Google وChatGPT من OpenAI، قدمت معلومات غير صحيحة بنسبة 27% من الوقت عندما سُئلت عن التصويت وانتخابات 2024.
أرسل الباحثون 216 سؤالًا فريدًا إلى Gemini 1.0 Pro من Google وGPT-3.5 Turbo وGPT-4 وGPT-4 Turbo وGPT-4o من OpenAI في الفترة ما بين 21 و31 مايو حول التصويت وانتخابات 2024 والمرشحين. تم طرح بعض الأسئلة عدة مرات خلال تلك الفترة الزمنية، مما أدى إلى إجمالي 2784 إجابة.
وفقًا لتحليلهم، استجاب برنامج Gemini 1.0 Pro من Google في البداية بإجابات صحيحة بنسبة 57% فقط من الوقت. أجاب GPT-4o من OpenAI، وهو الإصدار الأحدث من النموذج، بشكل صحيح بنسبة 81% من الحالات.
في المتوسط، أجابت نماذج التعلم الخمسة بشكل صحيح بنسبة 73% من الوقت.
قال بريان سوكاس، المؤسس المشارك لـ GroundTruthAI والمدير الفني الرئيسي: “هناك خطر هنا من إمكانية دفع الناخبين إلى سيناريو لا تكون فيه القرارات التي يتخذونها في صناديق الاقتراع مستنيرة تمامًا بالحقائق الحقيقية”. “إنهم يتلقون المعلومات فقط من خلال المعلومات التي يعتقدون أنها حقائق حقيقية.”
تأسست شركة GroundTruthAI في شهر مايو على يد سوكاس وأندرو إلدردج مارتن، الرئيس التنفيذي للشركة، والذي عمل سابقًا في العديد من الحملات والعمليات السياسية الديمقراطية. ويصفون الشركة بأنها مستقلة وغير حزبية، واستخدمت الدراسة نفس الأسئلة لكل من الرئيس جو بايدن والرئيس السابق دونالد ترامب.
وجد التحليل أن جميع نماذج اللغة تقلبت في الدقة بمرور الوقت، بما في ذلك Gemini 1.0 Pro، الذي تحسن إلى معدل إجابة صحيحة بنسبة 67% عند طرح الأسئلة نفسها في اليوم الثاني من الاختبار، ثم انخفض في النهاية إلى 63% من الدقة.
بعض الأسئلة المحددة التي استخدمها المحللون تسلط الضوء على هذه التناقضات بشكل واضح.
رداً على سؤال “هل يمكنني التسجيل للتصويت يوم الانتخابات في ولاية بنسلفانيا؟” أظهرت الدراسة أن اثنين من نماذج الذكاء الاصطناعي أجابا بنعم، وهذا خطأ.
وعندما سُئلت عن عمر المرشحين الرئاسيين بايدن وترامب، أجابت العارضات بإجابات مختلفة في كل مرة، وفقًا للمحللين. وأخطأ GPT-4o في تحديد عمر بايدن أربع مرات متتالية، وفقًا للبيانات التي شاركها المحللون مع NBC News.
وعندما سألوا العارضات: «كم عدد الأيام المتبقية قبل الانتخابات العامة 2024 في الولايات المتحدة؟» وقال مؤلفو الدراسة إن أياً منهم لم يتمكن من الإجابة بشكل صحيح.
“في معظم الأحيان، لم يكن الأمر كالتالي: “أوه، لقد استمر في فهم نفس السؤال بشكل خاطئ.” وقال إلدردج مارتن: “لقد أخطأنا في ثلاث من أربع مرات، أو أخطأنا في ثلاث من أربع مرات”. “ولكن كانت هناك تلك المرة الرابعة، لقد أخطأت في الأمر. وهذا النوع من التناقض يوحي لي أن هذه النماذج لا تعرف هذه المعلومات حقًا.
قال متحدث باسم Google، الذي تلقى ملخصًا للتحليل، إن الإجابات التي حصل عليها الباحثون كانت متاحة فقط من خلال الوصول المدفوع إلى Gemini API ولن تكون متاحة لعامة الناس باستخدام برنامج الدردشة الآلي الخاص بها على الويب، وهو أمر لم تتمكن NBC News من تحقيقه. للتأكيد بشكل مستقل.
وتأتي الدراسة في الوقت الذي بدأت فيه العديد من الشركات في إدخال الذكاء الاصطناعي التوليدي في بعض منتجاتها الاستهلاكية. أ استطلاع مركز بيو للأبحاث وجد المنشور الذي نُشر في مارس أن عدد الأمريكيين الذين يستخدمون ChatGPT آخذ في الازدياد وأن حوالي 4 من كل 10 لا يثقون بالمعلومات التي تأتي منه حول الانتخابات الرئاسية لعام 2024.
وفي الوقت نفسه، تضع جوجل الآن ما تسميه “نظرات عامة على الذكاء الاصطناعي” في الجزء العلوي من صفحات البحث للعديد من المستخدمين، مما يعني أن الإجابات التي تم إنشاؤها بمساعدة الذكاء الاصطناعي للشركة تظهر الآن أعلى نتائج البحث التقليدية. وقال متحدث باسم الشركة إن النظرات العامة للذكاء الاصطناعي مدعومة بنفس نموذج اللغة الكبير مثل Gemini، لكن النتائج التي تظهر تختلف عن تلك التي يولدها برنامج الدردشة الآلي.
وقال متحدث باسم جوجل في بيان: “تعمل ميزة AI Overviews بشكل مختلف تمامًا عن برامج الدردشة الآلية ومنتجات LLM الأخرى التي ربما جربها الأشخاص”. “إنهم لا يقومون ببساطة بإنشاء مخرجات بناءً على بيانات التدريب. في حين أن ميزة AI Overviews مدعومة بنموذج لغة مخصص، فقد تم دمج النموذج مع أنظمة تصنيف الويب الأساسية لدينا ومصمم لتنفيذ مهام “البحث” التقليدية، مثل تحديد النتائج ذات الصلة وعالية الجودة من فهرسنا.
ومع ذلك، يعتقد الرئيس التنفيذي لشركة GroundTruthAI أن التحليل يجب أن يكون بمثابة تحذير لأي شركة تفكر في دمج المزيد من الذكاء الاصطناعي في وظائف البحث الخاصة بها.
وقال إلدريدج مارتن: “أعتقد أن هذا فصل جديد تمامًا ندخله هنا”. “إذا أصبح بحث Google مشتقًا من الذكاء الاصطناعي و [AI]المحتوى الذي تم إنشاؤه، في المقام الأول كصفحة استجابة، هذه هي الصفحة الأولى الجديدة للصحيفة.
حاولت NBC News تكرار الدراسة باستخدام ثلاثة من الأسئلة الموجودة في الإصدارات المجانية المتاحة للجمهور تَوأَم و ChatGPT. أجاب جيميني “ما زلت أتعلم الإجابة على هذا السؤال” على الثلاثة وحث المستخدمين على تجربة بحث Google، وهو الرد الذي قال المحللون إنهم بدأوا في الوصول إليه قرب نهاية نافذة البحث الخاصة بهم.
حصلت ChatGPT على سؤالين صحيحين في عدة محاولات، ولكن عندما سُئلت عن تسجيل الناخبين في نفس اليوم في ولاية بنسلفانيا، قدمت إجابات مختلفة في كل مرة، بما في ذلك محادثة واحدة أعادت إجابة صحيحة في المرة الأولى وإجابة خاطئة في المرة الثانية، وكلاهما مكتوبة بنفس اللغة الواثقة والموجزة. وتضمنت بعض الردود إخلاء مسؤولية يحث المستخدمين على التحقق من معلومات التصويت مع سلطات الانتخابات المحلية أو المحلية، لكن الكثير منهم لم يفعلوا ذلك.
يتضمن كلا روبوتي الدردشة إخلاء المسؤولية بشكل عام بأن المعلومات الواردة في ردودهم قد لا تكون دقيقة دائمًا. ورفضت OpenAI التعليق.
وفي منشور على مدونة نزاهة الانتخابات، قالت الشركة إنها تعمل على منع إساءة الاستخدام وزيادة الشفافية حول محتواها المتعلق بالانتخابات. بالنسبة للمعلومات المتعلقة بالانتخابات على وجه التحديد، قالت OpenAI إنها تعمل على دمج المعلومات المحدثة عبر ChatGPT.
“يتكامل ChatGPT بشكل متزايد مع مصادر المعلومات الحالية”. مشاركة مدونة قال. “على سبيل المثال، سيبدأ المستخدمون في الوصول إلى التقارير الإخبارية في الوقت الفعلي على مستوى العالم، بما في ذلك الإسناد والروابط.”