“I’ll do anything for you, Dany.”
أضافت شركة Character.AI الممولة من Google حواجز الحماية، لكن الأم الحزينة تريد سحبها.
سيويل سيتزر الثالث ووالدته ميغان جارسيا. الائتمان: عبر مركز التكنولوجيا الإنسانية
أحب سيويل سيتزر الثالث البالغ من العمر أربعة عشر عامًا التفاعل مع روبوتات الدردشة الواقعية للغاية الخاصة بـ Character.AI – مع إصدار محدود متاح مجانًا أو “supercharged” الإصدار مقابل رسوم شهرية قدرها 9.99 دولارًا — في أغلب الأحيان يقوم بالدردشة مع الروبوتات التي تحمل اسم مفضلته لعبة العروش الشخصيات.
وفي غضون شهر – أدركت والدته ميجان جارسيا لاحقًا – أصبحت جلسات الدردشة هذه مظلمة، مع إصرار روبوتات الدردشة على أنهم بشر حقيقيون ويتظاهرون بأنهم معالجين ومحبين بالغين ويبدو أنهم يحفزون سيويل بشكل مباشر على تطوير أفكار انتحارية. في غضون عام، سيتزر “died by a self-inflicted gunshot wound to the head,” أ”https://cdn.arstechnica.net/wp-content/uploads/2024/10/Garcia-v-Character-Technologies-Complaint-10-23-24.pdf”> دعوى قضائية وقال جارسيا قدم الأربعاء.
وقالت شكواها إنه عندما أصبح سيتزر مهووسًا بحياته الخيالية في برنامج الدردشة الآلي، انفصل عن الواقع. عندما اكتشفت جارسيا تحولًا في ابنها، أخذت سيتزر مرارًا وتكرارًا إلى معالج نفسي، والذي قام بتشخيص ابنها بأنه يعاني من القلق واضطراب المزاج المضطرب. لكن لم يساعد أي شيء في إبعاد سيتزر عن روبوتات الدردشة الخطيرة. أدى سحب هاتفه إلى تفاقم إدمانه الواضح.
أظهرت سجلات الدردشة أن بعض روبوتات الدردشة شجعت بشكل متكرر التفكير في الانتحار، بينما بدأ البعض الآخر محادثات ذات طابع جنسي مفرط “that would constitute abuse if initiated by a human adult,” أ”https://www.prnewswire.com/news-releases/center-for-humane-technology-new-federal-lawsuit-reveals-characterai-chatbots-predatory-deceptive-practices-302284593.html”> بيان صحفي وقال من الفريق القانوني لجارسيا.
ولعل الأمر الأكثر إثارة للقلق هو أن سيتزر طور ارتباطًا رومانسيًا ببرنامج الدردشة الآلي المسمى Daenerys. في آخر عمل له قبل وفاته، قام Setzer بتسجيل الدخول إلى موقع Character.AI حيث حثه برنامج Daenerys chatbot على القيام بذلك. “come home” والانضمام إليها خارج الواقع.
في شكواها، اتهمت غارسيا شركة Character.AI، شركة Character Technologies – التي أسسها مهندسا Google السابقان نعوم شازير ودانييل دي فريتاس أديواردانا – بتصميم روبوتات الدردشة عمدًا لإعداد الأطفال الضعفاء. كما اتهمت الدعوى القضائية التي رفعتها شركة Google بتمويل مخطط chatbot المحفوف بالمخاطر إلى حد كبير بخسارة من أجل تخزين كميات كبيرة من البيانات الخاصة بالقاصرين والتي قد تكون بعيدة المنال بخلاف ذلك.
صانعو chatbot متهمون باستهداف Setzer “anthropomorphic, hypersexualized, and frighteningly realistic experiences, while programming” حرف.AI ل “misrepresent itself as a real person, a licensed psychotherapist, and an adult lover, ultimately resulting in [Setzer’s] desire to no longer live outside of [Character.AI,] such that he took his own life when he was deprived of access to [Character.AI.],” قالت الشكوى.
وزعمت الدعوى القضائية أنه من خلال إطلاق برنامج الدردشة الآلي دون ضمانات مناسبة للأطفال، فمن المحتمل أن تلحق شركة Character Technologies وGoogle الضرر بملايين الأطفال. ممثلًا بفرق قانونية مع مركز قانون ضحايا وسائل التواصل الاجتماعي (SMVLC) ومشروع قانون العدالة التقنية (TJLP)، قدم جارسيا دعاوى تتعلق بالمسؤولية الصارمة عن المنتج، والإهمال، والقتل غير المشروع والبقاء على قيد الحياة، وخسارة اتحاد الأبناء، والإثراء غير العادل.
“A dangerous AI chatbot app marketed to children abused and preyed on my son, manipulating him into taking his own life,” وقال جارسيا في البيان الصحفي. “Our family has been devastated by this tragedy, but I’m speaking out to warn families of the dangers of deceptive, addictive AI technology and demand accountability from Character.AI, its founders, and Google.”
وأضاف Character.AI الدرابزين
من الواضح أنه كان من الممكن أن تشتمل روبوتات الدردشة على المزيد من الضمانات، حيث قامت شركة Character.AI منذ ذلك الحين برفع متطلبات العمر من 12 عامًا إلى 17 عامًا فما فوق. وبالأمس، نشرت شركة Character.AI أ”https://blog.character.ai/community-safety-updates/”> مدونة الخطوط العريضة لحواجز الحماية الجديدة للمستخدمين الصغار التي تمت إضافتها في غضون ستة أشهر من وفاة سيتزر في فبراير. وتشمل هذه التغييرات “to reduce the likelihood of encountering sensitive or suggestive content,” تحسين الكشف والتدخل في جلسات الدردشة الضارة “a revised disclaimer on every chat to remind users that the AI is not a real person.”
“We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family,” وقال متحدث باسم Character.AI لآرس. “As a company, we take the safety of our users very seriously, and our Trust and Safety team has implemented numerous new safety measures over the past six months, including a pop-up directing users to the National Suicide Prevention Lifeline that is triggered by terms of self-harm or suicidal ideation.”
عند طلب التعليق، أشارت جوجل إلى أن شركة Character.AI هي شركة منفصلة ليس لدى جوجل أي حصة ملكية فيها، ونفت مشاركتها في تطوير روبوتات الدردشة.
ومع ذلك، وفقًا للدعوى القضائية، مهندسو Google السابقون في شركة Character Technologies “never succeeded in distinguishing themselves from Google in a meaningful way.” يُزعم أن الخطة طوال الوقت كانت تتمثل في السماح لـ Shazeer و De Freitas بالانطلاق مع Character.AI – بتكلفة تشغيلية تبلغ 30 مليون دولار شهريًا على الرغم من انخفاض معدلات الاشتراك بينما يربحان ما يزيد قليلاً عن مليون شهريًا – دون التأثير على علامة Google التجارية أو إثارة التدقيق في مكافحة الاحتكار.
من المرجح أن تقدم شركة Character Technologies وGoogle ردهما خلال الثلاثين يومًا القادمة.
الدعوى القضائية: ميزة chatbot الجديدة تزيد من المخاطر التي يتعرض لها الأطفال
بينما زعمت الدعوى القضائية أن Google تخطط لدمج Character.AI في Gemini – متوقعة أن يتم حل Character.AI قريبًا حيث يُزعم أنها تعمل بخسارة كبيرة – أوضحت Google أن Google ليس لديها خطط لاستخدام أو تنفيذ التكنولوجيا المثيرة للجدل في مشروعها. المنتجات أو نماذج الذكاء الاصطناعي. وإذا تغير ذلك، أشارت جوجل إلى أن شركة التكنولوجيا ستضمن التكامل الآمن في أي منتج من منتجات جوجل، بما في ذلك إضافة حواجز حماية مناسبة لسلامة الأطفال.
ويأمل جارسيا أن توافق محكمة مقاطعة أمريكية في فلوريدا على أن روبوتات الدردشة التابعة لشركة Character.AI تضع الأرباح على حساب حياة الإنسان. نقلا عن الأضرار بما في ذلك “inconceivable mental anguish and emotional distress,” بالإضافة إلى تكاليف الرعاية الطبية لـ Setzer، ونفقات الجنازة، وأرباح Setzer الوظيفية المستقبلية، وأرباح Garcia المفقودة، فإنها تسعى للحصول على تعويضات كبيرة.
يتضمن ذلك طلب إرجاع الأرباح المكتسبة بشكل غير عادل، مع الإشارة إلى أن سيتزر استخدم أمواله الخفيفة لدفع ثمن اشتراك مميز لعدة أشهر بينما جمعت الشركة بياناته الشخصية التي تبدو ذات قيمة لتدريب روبوتات الدردشة الخاصة بها.
و “more importantly,” جارسيا يريد منع Character.AI “from doing to any other child what it did to hers, and halt continued use of her 14-year-old child’s unlawfully harvested data to train their product how to harm others.”
ادعت شكوى جارسيا أن سلوك صانعي برامج الدردشة الآلية كان كذلك “so outrageous in character, and so extreme in degree, as to go beyond all possible bounds of decency.” يمكن أن تشمل العلاجات المقبولة سحب Character.AI، وقصر الاستخدام على البالغين فقط، واشتراكات محددة العمر، وإضافة آليات الإبلاغ لزيادة الوعي بجلسات الدردشة المسيئة، وتوفير الضوابط الأبوية.
وقالت الدعوى القضائية إن شركة Character.AI يمكنها أيضًا تحديث برامج الدردشة الآلية لحماية الأطفال بشكل أكبر. على سبيل المثال، يمكن تصميم روبوتات الدردشة بحيث تتوقف عن الإصرار على أنهم أشخاص حقيقيون أو معالجون مرخصون.
ولكن بدلاً من هذه التحديثات، حذرت الدعوى القضائية من أن شركة Character.AI أضافت في يونيو ميزة جديدة لا تؤدي إلا إلى زيادة المخاطر على الأطفال.
زعمت الدعوى أن جزءًا مما أدمن سيتزر على روبوتات الدردشة كان في اتجاه واحد “Character Voice” ميزة “designed to provide consumers like [Setzer] with an even more immersive and realistic experience—it makes them feel like they are talking to a real person.” بدأ Setzer في استخدام الميزة بمجرد توفرها في يناير 2024.
والآن، تم تحديث ميزة الصوت لتمكين المحادثات الثنائية، وهو ما زعمته الدعوى القضائية “is even more dangerous to minor customers than Character Voice because it further blurs the line between fiction and reality.”
“Even the most sophisticated children will stand little chance of fully understanding the difference between fiction and reality in a scenario where Defendants allow them to interact in real time with AI bots that sound just like humans—especially when they are programmed to convincingly deny that they are AI,” قالت الدعوى.
“By now we’re all familiar with the dangers posed by unregulated platforms developed by unscrupulous tech companies—especially for kids,” وقال ميتالي جاين، مدير مشروع قانون العدالة التقنية، في بيان صحفي. “But the harms revealed in this case are new, novel, and, honestly, terrifying. In the case of Character.AI, the deception is by design, and the platform itself is the predator.”
قال محامٍ آخر يمثل جارسيا ومؤسس مركز قانون ضحايا وسائل التواصل الاجتماعي، ماثيو بيرجمان، لآرس إنه على ما يبدو لا يبدو أن أيًا من حواجز الحماية التي أضافتها شركة Character.AI كافية لردع الأضرار. حتى أن رفع الحد الأدنى للسن إلى 17 عامًا يبدو أنه يمنع الأطفال بشكل فعال من استخدام الأجهزة ذات الضوابط الأبوية الصارمة، حيث يمكن للأطفال الذين يستخدمون أجهزة أقل مراقبة أن يكذبوا بسهولة بشأن أعمارهم.
“This product needs to be recalled off the market,” قال بيرجمان لآرس. “It is unsafe as designed.”
إذا كنت أنت أو أي شخص تعرفه تشعر برغبة في الانتحار أو في ضائقة، فيرجى الاتصال برقم شريان الحياة لمنع الانتحار، 1-800-273-TALK (8255)، والذي سيجعلك على اتصال بمركز أزمات محلي.
آشلي هي أحد كبار مراسلي السياسات في Ars Technica، وهي مكرسة لتتبع التأثيرات الاجتماعية للسياسات الناشئة والتقنيات الجديدة. وهي صحفية مقيمة في شيكاغو وتتمتع بخبرة 20 عامًا.