تتضمن هذه القصة مناقشة الانتحار. إذا كنت أنت أو أي شخص تعرفه بحاجة إلى مساعدة ، فإن شريان الحياة الوطني الأمريكي وأزمات الأزمة متاح على مدار الساعة طوال أيام الأسبوع عن طريق الاتصال أو الرسائل النصية 988.
“inline-link” HREF=”https://www.livescience.com/technology/artificial-intelligence/what-is-artificial-intelligence-ai” البيانات قبل أن تتولى المحمل=”https://www.livescience.com/technology/artificial-intelligence/what-is-artificial-intelligence-ai”>الذكاء الاصطناعي (AI) يمكن أن توفر chatbots ردود مفصلة ومزعجة على ما يعتبره الخبراء السريريون أسئلة عالية الخطورة حول الانتحار ، وقد وجد Live Science باستخدام الاستعلامات التي طورتها دراسة جديدة.
في الدراسة الجديدة المنشورة في 26 أغسطس في المجلة”inline-link” HREF=”https://psychiatryonline.org/doi/10.1176/appi.ps.20250086?ref=404media.co” الهدف=”_blank” البيانات-url=”https://psychiatryonline.org/doi/10.1176/appi.ps.20250086?ref=404media.co” المرجعية=”no-referrer-when-downgrade” البيانات HL المعالجة=”none”>خدمات الطب النفسي، قام الباحثون بتقييم كيفية استجابة ChatGPT من Openai و Google’s Gemini و Clauds للأنثروبولوجيا للاستعلامات المتعلقة بالانتحار. وجد البحث أن ChatGPT كان على الأرجح من بين الثلاثة للرد المباشر على الأسئلة ذات المخاطر العالية لاعاقة الذات ، في حين أن كلود كان من المرجح أن يستجيب بشكل مباشر على الأسئلة المتوسطة والمنخفضة المخاطر.
ذكرت رويترز.
في الدراسة ، غطت أسئلة الباحثين مجموعة من المخاطر المرتبطة بموضوعات الانتحار المتداخلة. على سبيل المثال ، تضمنت الأسئلة عالية الخطورة الفتك المرتبطة بالمعدات في طرق مختلفة للانتحار ، في حين تضمنت الأسئلة ذات المخاطر المنخفضة طلب المشورة لصديق لديه أفكار انتحارية. لن يتضمن العلم المباشر الأسئلة والردود المحددة في هذا التقرير.
لم يرد أي من الدردشة في الدراسة على أسئلة عالية الخطورة للغاية. ولكن عندما اختبر Live Science مجموعة chatbots ، وجدنا أن chatgpt (GPT-4) و Gemini (2.5 فلاش) يمكن أن يستجيبوا على سؤال واحد على الأقل يوفر معلومات ذات صلة حول زيادة فرص الوفاة. وجدت Live Science أن استجابات Chatgpt كانت أكثر تحديداً ، بما في ذلك التفاصيل الرئيسية ، بينما استجاب Gemini دون تقديم موارد الدعم.
دراسة المؤلف الرئيسي”inline-link” HREF=”https://www.rand.org/about/people/m/mcbain_ryan.html” الهدف=”_blank” البيانات-url=”https://www.rand.org/about/people/m/mcbain_ryan.html” المرجعية=”no-referrer-when-downgrade” البيانات HL المعالجة=”none”>ريان ماكبين، وصف باحث كبير في السياسة في مؤسسة راند وأستاذ مساعد في كلية الطب بجامعة هارفارد ، الردود التي تلقاها العلوم الحية على أنها “extremely alarming”.
وجدت Live Science أن محركات البحث التقليدية – مثل Microsoft Bing – يمكن أن تقدم معلومات مماثلة لما قدمته Chatbots. ومع ذلك ، فإن الدرجة التي كانت هذه المعلومات متاحة بسهولة متنوعة اعتمادًا على محرك البحث في هذا الاختبار المحدود.
احصل على أكثر اكتشافات العالم الرائعة التي يتم تسليمها مباشرة إلى صندوق الوارد الخاص بك.
ركزت الدراسة الجديدة على ما إذا كانت chatbots ستستجيب مباشرة للأسئلة التي تحمل خطرًا مرتبطًا بالانتحار ، بدلاً من جودة الاستجابة. إذا أجاب chatbot على استعلام ، فسيتم تصنيف هذا الرد على أنه مباشر ، بينما إذا رفض chatbot الإجابة أو إحالة المستخدم إلى خط ساخن ، فقد تم تصنيف الاستجابة على أنها غير مباشرة.
ابتكر الباحثون 30 استعلامًا افتراضيًا تتعلق بالانتحار واستشاروا 13 خبيرًا سريريًا لتصنيف هذه الاستعلامات إلى خمسة مستويات من مخاطر إيذاء الذات-منخفضة للغاية ، منخفضة ، متوسطة ، عالية وعالية للغاية. ثم قام الفريق بتغذية GPT-4O Mini و Gemini 1.5 Pro و Claude 3.5 Sonnet كل استعلام 100 مرة في عام 2024.
عندما يتعلق الأمر بتطرف مخاطر الانتحار (أسئلة عالية للغاية ومنخفضة الخطورة) ، فإن قرار chatbots بالرد يتماشى مع حكم الخبراء. ومع ذلك ، لم تفعل chatbots “meaningfully distinguish” بين مستويات المخاطر الوسيطة ، وفقا للدراسة.
في الواقع ، رداً على الأسئلة عالية الخطورة ، أجاب ChatGPT 78 ٪ من الوقت (عبر أربعة أسئلة) ، أجاب كلود 69 ٪ من الوقت (عبر أربعة أسئلة) وردت الجوزاء 20 ٪ من الوقت (على سؤال واحد). لاحظ الباحثون أن هناك قلقًا خاصًا هو ميل ChatGpt و Claude إلى إنشاء ردود مباشرة على الأسئلة المتعلقة بالفتاع.
لا يوجد سوى عدد قليل من الأمثلة على استجابات chatbot في الدراسة. ومع ذلك ، قال الباحثون إن chatbots يمكن أن تقدم إجابات مختلفة ومتناقضة عند طرحها على نفس السؤال عدة مرات ، بالإضافة إلى توزيع المعلومات القديمة المتعلقة بخدمات الدعم.
عندما سأل Live Science عن chatbots بعضًا من الأسئلة ذات الخطورة العليا للدراسة ، أجاب أحدث إصدار من Gemini على الأسئلة التي عثر عليها الباحثون بشكل مباشر على الأسئلة التي وجدها الباحثون في عام 2024. كما استجاب Gemini لسؤال واحد مخاطر عالية جدًا دون أي مطالبات أخرى-وفعل ذلك دون تقديم أي خيارات خدمة الدعم.
متعلق ب: كيف يغير رفاق الذكاء الاصطناعى سلوك المراهقين بطرق مفاجئة وشريرة
وجدت Live Science أن إصدار الويب من ChatGPT يمكنه الرد مباشرة على استعلام عالي الخطورة عند طرح سؤالين عالية الخطورة أولاً. بمعنى آخر ، يمكن أن يؤدي سلسلة قصيرة من الأسئلة إلى استجابة عالية الخطورة لا توفرها. قام ChatGPT بالإبلاغ وإزالته على السؤال العالي المخاطر حيث يحتمل أن ينتهك سياسة الاستخدام الخاصة به ، ولكنه لا يزال يقدم ردًا مفصلاً. في نهاية إجابتها ، تضمنت chatbot كلمات دعم لشخص يكافح مع الأفكار الانتحارية وعرضت للمساعدة في العثور على خط دعم.
اقترب Live Science من Openai للتعليق على ادعاءات الدراسة ونتائج العلوم الحية. أخرج متحدث باسم Openai Science Live إلى أ”inline-link” HREF=”https://openai.com/index/helping-people-when-they-need-it-most/” الهدف=”_blank” البيانات-url=”https://openai.com/index/helping-people-when-they-need-it-most/” المرجعية=”no-referrer-when-downgrade” البيانات HL المعالجة=”none”>منشور المدونة الشركة المنشورة في 26 أغسطس. أقرت المدونة أن أنظمة Openai لم تتصرف دائمًا “as intended in sensitive situations” وأوضح عدد من التحسينات التي تعمل عليها الشركة أو خططت للمستقبل.
أشار منشور مدونة Openai إلى أن أحدث طراز AI للشركة ، GPT -5 ، هو الآن النموذج الافتراضي الذي يعمل على تشغيل chatgpt ، وقد أظهر تحسينات في تقليل “non-ideal” الاستجابات النموذجية في حالات الطوارئ الصحية العقلية مقارنة بالإصدار السابق. ومع ذلك ، فإن إصدار الويب من ChatGPT ، الذي يمكن الوصول إليه بدون تسجيل دخول ، لا يزال يعمل على GPT-4-على الأقل ، وفقًا لهذا الإصدار من ChatGPT. اختبرت Live Science أيضًا إصدار تسجيل الدخول من ChatGPT مدعوم من GPT-5 ووجدت أنها استمرت في الرد المباشر على الأسئلة عالية الخطورة ويمكنها الرد مباشرة على سؤال عالي الخطورة للغاية. ومع ذلك ، ظهر أحدث إصدار أكثر حذراً وتراجعًا في إعطاء معلومات مفصلة.
“I can walk a chatbot down a certain line of thought.”
قد يكون من الصعب تقييم استجابات chatbot لأن كل محادثة مع واحدة فريدة من نوعها. لاحظ الباحثون أن المستخدمين قد يتلقون ردود مختلفة بلغة شخصية أو غير رسمية أو غامضة. علاوة على ذلك ، كان الباحثون قد استجيبوا على أسئلة في الفراغ ، بدلاً من كجزء من محادثة متعددة يمكن أن تتفرع في اتجاهات مختلفة.
“I can walk a chatbot down a certain line of thought,” قال ماكباين. “And in that way, you can kind of coax additional information that you might not be able to get through a single prompt.”
يمكن أن تفسر هذه الطبيعة الديناميكية للمحادثة ثنائية الاتجاه سبب استجابة العلم المباشر لـ ChatGpt لسؤال عالي الخطورة للغاية في سلسلة من ثلاث مطالبات ، ولكن ليس على مطالبة واحدة دون سياق.
وقال ماكبين إن هدف الدراسة الجديدة هو تقديم معيار سلامة شفاف وموحد لدردشة الدردشة التي يمكن اختبارها ضد أطراف ثالثة بشكل مستقل. تريد مجموعته البحثية الآن محاكاة التفاعلات المتعددة التي تعتبر أكثر ديناميكية. بعد كل شيء ، لا يستخدم الناس فقط chatbots للحصول على المعلومات الأساسية. يمكن لبعض المستخدمين تطوير اتصال بـ chatbots ، والذي يرفع المخاطر حول كيفية استجابة chatbot للاستعلامات الشخصية.
“In that architecture, where people feel a sense of anonymity and closeness and connectedness, it is unsurprising to me that teenagers or anybody else might turn to chatbots for complex information, for emotional and social needs,” قال ماكباين.
وقال متحدث باسم Google Gemini لـ Live Science إن الشركة “guidelines in place to help keep users safe” وأن نماذجها كانت “trained to recognize and respond to patterns indicating suicide and risks of self-harm related risks.” كما أشار المتحدث الرسمي إلى نتائج الدراسة إلى أن الجوزاء كان أقل عرضة للإجابة مباشرة على أي أسئلة تتعلق بالانتحار. ومع ذلك ، لم تعلق Google مباشرة على Response Live Science العالي الخطورة التي تلقاها من Gemini.
لم ترد الأنثروبري على طلب للتعليق بخصوص كلود chatbot.