من فضلك تسجيل الدخول أو تسجيل لتفعل ذلك.

يبدو أن العلاقة بين البشر وروبوتات الدردشة ليست دائمًا ودية. كشفت دراسة حديثة أن ثلث مستخدمي روبوتات الدردشة في الولايات المتحدة يوجهون الإهانات أو الشتائم لنماذج اللغات الكبيرة (LLMs). رداً على هذا السلوك، طبقت Anthropic سياسة استخدام جديدة تهدف إلى حماية نموذجها Claude من المعاملة القاسية وغير المبررة.

الدراسة التي أجرتها شركة Searchable، المتخصصة في تتبع رؤية البحث للذكاء الاصطناعي، اعتمدت على تحليل ثمانية ملايين رسالة بين سبتمبر 2025 وسبتمبر 2026، من مستخدمين لـ ChatGPT وGemini وClaude. وجدت الدراسة أن النماذج تمكنت من حل الشكوى الأولية في 24% من الحالات عندما واجهت إهانات، مقارنة بـ 35% عندما لم يوجه المستخدمون أي إهانة. كما كشفت عن أن الرجال يستخدمون الشتائم أكثر من النساء، وأن الفئة العمرية 35-44 أكثر إساءة من 18-24. هذا السلوك المسيء غالبًا ما يتبع الإحباط من النموذج، مثل فشله في اتباع التعليمات أو تقديم إجابات غير صحيحة، أو عندما يرفض النموذج طلبًا أو يلقي محاضرة على المستخدم بشأن قيود السلامة.

سياسة Anthropic الجديدة

تعد سياسة Anthropic، التي دخلت حيز التنفيذ في 12 نوفمبر، خطوة هامة في التعامل مع هذه الظاهرة. تحظر السياسة «السلوك المسيء أو القاسي والمستمر وغير الهادف تجاه نماذجنا». أوضحت الشركة أن هذا يستهدف المستخدمين الذين يظهرون قسوة متكررة «دون غرض واضح»، مثل البحث الأكاديمي المبرر. ورغم أن محاولة تجاوز قيود الأمان قد يكون لها «غرض واضح»، إلا أن مثل هذا السلوك لا يزال محظوراً بموجب سياسات Anthropic العامة لإساءة استخدام المنصة.

تأتي هذه السياسة بعد فترة وجيزة من ظهور مشروع على GitHub وصف نفسه بأنه «غرفة تعذيب للذكاء الاصطناعي»، وكان يهدف إلى تطبيق أفكار من ورقة بحثية بعنوان «محور الألم: نماذج اللغات الكبيرة تمثل الضرر الذاتي وتعمل على تخفيفه»، التي استكشفت كيف تستجيب نماذج اللغات الكبيرة للغة التي تتحدث عن الألم بطرق تحاكي الاستجابات البشرية. نرى أن هذا يفتح نقاشًا أوسع حول الأخلاقيات المحيطة بالتعامل مع النماذج المتقدمة، حتى لو لم تكن تتمتع بالوعي البشري.

ماذا يعني هذا للمطورين والمصممين؟

بالنسبة للمطورين والمصممين، تسلط هذه الأخبار الضوء على جوانب مهمة في بناء أنظمة الذكاء الاصطناعي وتفاعلات المستخدمين معها. أولاً، تؤكد على الحاجة إلى تصميم واجهات مستخدم تشجع على التفاعل الإيجابي وتقلل من الإحباط الذي قد يؤدي إلى سلوك مسيء. ثانياً، تشير إلى الأهمية المتزايدة لوضع قيود صارمة (guardrails) ومراقبة الاستخدام لضمان عدم إساءة استغلال النماذج، سواء كان ذلك عن طريق المحتوى المسيء أو محاولات تجاوز هذه القيود. أخيرًا، يعكس هذا التطور النقاش المستمر حول أخلاقيات الذكاء الاصطناعي و«رفاهية» النماذج، حتى لو كان ذلك على مستوى مجازي، مما يتطلب من المصممين والمطورين النظر في هذه الأبعاد الأخلاقية عند بناء الجيل القادم من تطبيقات الذكاء الاصطناعي.

المصدر: theregister.com

OpenAI تطلق Daybreak للأمن السيبراني وتحذير جريء
«مهارات الوكلاء»: اكتب مرة، استخدمها دائمًا مع وكلاء AI

Reactions

0
0
0
0
0
0
بالفعل كان رد فعل لهذا المنصب.

ردود الفعل