عندما أعلن موقع Reddit الشهر الماضي أنه سيمنع جمع البيانات غير المصرح بها من موقعه، كان رد الفعل الأول (المحق) للجميع هو “الذكاء الاصطناعي، الذكاء الاصطناعي، الذكاء الاصطناعي”. ومع ذلك، الآن بعد أن دخل التغيير حيز التنفيذ، قد لا يكون صانعو روبوتات الدردشة هم الوحيدون الذين تم حظرهم. يبدو أن المنتدى المستخدم على نطاق واسع يحظر أيضًا محركات البحث الرئيسية بخلاف Brave وGoogle، والتي ورد أن الأخيرة أبرمت صفقة في وقت سابق من هذا العام مع Reddit. تبلغ قيمتها 60 مليون دولار سنويًا. ومع ذلك، قال متحدث باسم Reddit لـ Engadget إن نتائج البحث الفارغة تتعلق بعدم موافقة منافسي Google على متطلبات الشركة فيما يتعلق بتدريب الذكاء الاصطناعي. ويقول إنه يجري مناقشات مع العديد منهم.
404 وسائل الإعلام تم الإبلاغ عنه يوم الأربعاء (وقد أكد موقع Engadget في استفساراتنا) أن البحث عن نتائج Reddit من الأسبوع الماضي على محرك البحث المنافس Bing (باستخدام “site:reddit.com”) يعطي نتائج فارغة. وأفادت النشرة أن محرك البحث DuckDuckGo أنتج سبعة روابط بدون أي أوصاف، ولم يقدم سوى الملاحظة “نود أن نعرض لك وصفًا هنا ولكن الموقع لن يسمح لنا بذلك”. ويبدو الآن أن المحرك قد أزال حتى تلك الروابط، حيث أن اختبارنا أنتج صفحة فارغة فقط، مكتوبًا عليها “لم يتم العثور على نتائج”.
عندما ريديت قال الشهر الماضي في حين أعلنت جوجل أنها ستقوم بتحديث بروتوكول استبعاد الروبوتات (robots.txt) لمنع كشط البيانات الآلي، فمن الواضح الآن أن هذا لم يكن يهدف فقط إلى إحباط شركات الذكاء الاصطناعي مثل Perplexity و”محرك الإجابات” المثير للجدل. حاليًا، يبدو أن Google هو محرك البحث الوحيد المسموح له بفحص Reddit وإنتاج نتائج من “الصفحة الأولى من الإنترنت”.
صرح متحدث باسم Reddit لـ Engadget يوم الأربعاء أنه ليس دقيقًا القول بأن نتائج البحث المفقودة هي نتيجة لصفقة Google. قالت الشركة: “نحظر جميع أدوات الزحف التي لا ترغب في الالتزام بعدم استخدام بيانات الزحف لتدريب الذكاء الاصطناعي، وهو ما يتماشى مع فرض سياسة المحتوى العام لدينا وملف robots.txt المحدث”. “يجب على أي شخص يصل إلى محتوى Reddit الالتزام بسياساتنا، بما في ذلك تلك الموضوعة لحماية مستخدمي Reddit. نحن انتقائيون بشأن من نعمل معه ونثق في الوصول على نطاق واسع إلى محتوى Reddit”.
وفي الوقت نفسه، قال مصدر مطلع على تفكير Reddit لـ Engadget يوم الأربعاء أن إغفال Bing يرجع إلى رفض Microsoft الموافقة على شروط Reddit فيما يتعلق بالزحف بالذكاء الاصطناعي. وبدلاً من ذلك، زعم صانع Bing أن عناصر التحكم القياسية الخاصة به على الويب كانت كافية. ويزعم المصدر أن موقف Microsoft يتعارض مع سياسة خصوصية البيانات الخاصة بـ Reddit، مما أدى إلى الطريق المسدود ونتائج البحث الفارغة.
إن ملف robots.txt المنتشر على نطاق واسع هو المعيار الذي يحدد أجزاء الموقع التي يمكن زحفها. ورغم أن العديد من أدوات الزحف معروفة بتجاهلها لتعليماته، فإن الإجراء القياسي الذي تتبناه جوجل هو احترامه. لذا، من الناحية الفنية، يبدو أن الشركات المتواطئة في هذه الصفقة المربحة قد استخدمت بعض التجاوزات اليدوية.
يمكن النظر إلى الملحمة باعتبارها تأثيرًا متسلسلًا لـ روبوتات الدردشة التي تعمل بالذكاء الاصطناعي تبحث في الويب المباشر عن النتائج. مع تباطؤ المحاكم في تحديد ما مقدار الاستخدام العادل للويب المفتوح لتدريب روبوتات الدردشة عليه؟إن الشركات مثل Reddit، التي تعتمد أرباحها الآن على حماية بياناتها من أولئك الذين لا يدفعون، تبني جدرانًا على حساب الويب المفتوح. (على الرغم من الدور الأساسي الذي لعبته Microsoft في عصر الذكاء الاصطناعي هذا، التعرف على OpenAI في وقت مبكر، يبدو من الغريب أن يجد بينج نفسه في الجانب الخاسر على الأقل في جانب واحد من التداعيات.)
قال كولن هيهورست، الرئيس التنفيذي لمحرك البحث “غير المتتبع” الأقل شهرة Mojeek، 404 وسائل الإعلام وقال المسؤول التنفيذي إن ريديت “يقتل كل شيء في مجال البحث باستثناء جوجل”. وأضاف أن محاولاته للاتصال بالموقع قوبلت بالتجاهل. وقال: “لم يحدث لنا هذا من قبل. ولأن هذا يحدث لنا، فإننا نتعرض للحظر، عادة بسبب الجهل أو الغباء أو أي شيء آخر، وعندما نتواصل مع الموقع يمكنك بالتأكيد حل هذه المشكلة، لكننا لم نتلق أي رد من أي شخص من قبل”.
لم تخف شركة ريديت رغبتها في منع شركات الذكاء الاصطناعي من جمع كنزها من البيانات في عصر الذكاء الاصطناعي المزدهر هذا. في العام الماضي، خاطر الرئيس التنفيذي ستيف هوفمان بتنفير أجزاء كبيرة من قاعدة مستخدميها من خلال حظر طلبات واجهة برمجة التطبيقات التابعة لجهات خارجية، مما يؤدي إلى زوال من التطبيقات المحبوبة مثل أبولو لكريستيان سيليج. بالرغم من احتجاجات واسعة النطاق بين المشرفين ورواد المنتدىلقد خسرت الشركة مؤقتًا عددًا لا يُذكر من المستخدمين.
يبدو أن المجازفة قد نجحت، وتعافى موقع Reddit. تم طرحها للاكتتاب العام في مارس.
التحديث بتاريخ 24 يوليو 2024، الساعة 5:00 مساءً بالتوقيت الشرقي:تم تحديث هذه القصة لإضافة بيانات من Reddit وسياق إضافي من مصادر مطلعة على تفكير الشركة.