أطلق قسم الحوسبة السحابية في أمازون تحقيقًا في شركة Perplexity AI. والقضية المطروحة هي ما إذا كانت شركة البحث في مجال الذكاء الاصطناعي تنتهك خدمات الويب الأمازون علمت WIRED عن طريق حذف مواقع الويب التي حاولت منعها من القيام بذلك.
وأكد متحدث باسم AWS، الذي تحدث إلى WIRED بشرط عدم ذكر اسمه، التحقيق الذي أجرته الشركة بشأن Perplexity. وقد وجدت WIRED سابقا أن الشركة الناشئة — التي لديها دعم من صندوق عائلة جيف بيزوس وشركة Nvidia، وكان ذلك مؤخرًا قيمة بقيمة 3 مليارات دولار – يبدو أنها تعتمد على محتوى من مواقع الويب المسروقة التي منعت الوصول إليها من خلال بروتوكول استبعاد الروبوتات، وهو معيار ويب مشترك. على الرغم من أن بروتوكول استبعاد الروبوتات ليس ملزمًا قانونًا، إلا أن شروط الخدمة تكون ملزمة بشكل عام.
بروتوكول استبعاد الروبوتات هو معيار ويب عمره عقود من الزمن يتضمن وضع ملف نص عادي (مثل wired.com/robots.txt) على مجال للإشارة إلى الصفحات التي لا ينبغي الوصول إليها بواسطة برامج الروبوت وبرامج الزحف الآلية. في حين أن الشركات التي تستخدم الكاشطات يمكنها اختيار تجاهل هذا البروتوكول، إلا أن معظمها احترمته تقليديًا. صرح المتحدث باسم أمازون لـ WIRED أنه يجب على عملاء AWS الالتزام بمعيار robots.txt أثناء الزحف إلى مواقع الويب.
وقال المتحدث في بيان: “تمنع شروط خدمة AWS العملاء من استخدام خدماتنا لأي نشاط غير قانوني، وعملاؤنا مسؤولون عن الامتثال لشروطنا وجميع القوانين المعمول بها”.
التدقيق في ممارسات Perplexity يتبع تقرير من مجلة فوربس بتاريخ 11 يونيو التي اتهمت الشركة الناشئة بسرقة مقال واحد على الأقل من مقالاتها. وأكدت تحقيقات WIRED هذه الممارسة ووجدت أدلة أخرى على ذلك. كشط سوء المعاملة و سرقة علمية وقد قام مهندسو شركة كوندي ناست، الشركة الأم لمجلة WIRED، بحظر برنامج البحث الخاص بشركة Perplexity عبر جميع مواقعها الإلكترونية باستخدام ملف robots.txt. ولكن مجلة WIRED وجدت أن الشركة لديها إمكانية الوصول إلى خادم يستخدم عنوان IP غير منشور – 44.221.181.252 – والذي زار مواقع Condé Nast مئات المرات على الأقل في الأشهر الثلاثة الماضية، على ما يبدو لاستخراج مواقع Condé Nast الإلكترونية.
ويبدو أن الآلة المرتبطة بـ Perplexity منخرطة في عمليات زحف واسعة النطاق لمواقع الأخبار التي تمنع الروبوتات من الوصول إلى محتواها. ويقول المتحدثون باسم The Guardian وForbes وNew York Times أيضًا إنهم اكتشفوا عنوان IP على خوادمها عدة مرات.
تمكنت WIRED من تتبع عنوان IP إلى جهاز افتراضي يُعرف باسم مثيل Elastic Compute Cloud (EC2) المستضافة على AWS، والتي بدأت تحقيقاتها بعد أن سألنا عما إذا كان استخدام البنية الأساسية لـ AWS لكشط مواقع الويب التي تمنعها ينتهك شروط خدمة الشركة.
في الأسبوع الماضي، رد الرئيس التنفيذي لشركة Perplexity، أرافيند سرينيفاس، على تحقيق WIRED أولاً بقوله إن الأسئلة التي طرحناها على الشركة “تعكس سوء فهم عميق وجوهري لكيفية عمل Perplexity والإنترنت”. ثم قال سرينيفاس: قال لشركة فاست أن عنوان IP السري الذي لاحظته WIRED كان يقوم بحذف مواقع Condé Nast وموقع الاختبار الذي أنشأناه تم تشغيله من قبل شركة خارجية تقوم بخدمات الزحف على الويب وفهرستها. ورفض ذكر اسم الشركة، مستشهدا باتفاقية عدم الإفصاح. وعندما سُئل عما إذا كان سيطلب من الطرف الثالث التوقف عن الزحف إلى WIRED، أجاب سرينيفاس: “الأمر معقد”.
قالت سارة بلاتنيك، المتحدثة باسم Perplexity، لـ WIRED إن الشركة استجابت لاستفسارات أمازون يوم الأربعاء ووصفت التحقيق بأنه إجراء قياسي. يقول بلاتنيك إن شركة Perplexity لم تقم بإجراء أي تغييرات على عملها استجابةً لمخاوف أمازون.
تقول بلاتنيك: “إن برنامج PerplexityBot الخاص بنا – والذي يعمل على AWS – يحترم ملف robots.txt، وقد تأكدنا من أن الخدمات التي تتحكم فيها Perplexity لا تزحف بأي طريقة تنتهك شروط خدمة AWS”. ومع ذلك، تضيف أن PerplexityBot سيتجاهل ملف robots.txt عندما يدخل المستخدم عنوان URL معينًا في موجه الأوامر الخاص به – وهي حالة استخدام تصفها بلاتنيك بأنها “نادرة جدًا”.
يقول بلاتنيك: “عندما يطلب المستخدم عنوان URL محددًا، فإن هذا لا يؤدي إلى تحفيز سلوك الزحف. يتصرف الوكيل نيابة عن المستخدم لاسترداد عنوان URL. ويعمل بنفس الطريقة كما لو ذهب المستخدم إلى صفحة بنفسه، ونسخ نص المقالة، ثم لصقه في النظام”.
يؤكد هذا الوصف لوظيفة Perplexity النتائج التي توصلت إليها WIRED والتي تفيد بأن برنامج المحادثة الخاص بها يتجاهل ملف robots.txt في حالات معينة.
Digital Content Next هي جمعية تجارية لصناعة المحتوى الرقمي، وتضم في عضويتها صحيفة نيويورك تايمز، وصحيفة واشنطن بوست، وكوندي ناست. وفي العام الماضي، شاركت المنظمة مسودة مبادئ لإدارة الذكاء الاصطناعي التوليدي لمنع انتهاكات حقوق النشر المحتملة. يقول الرئيس التنفيذي جيسون كينت لمجلة WIRED أنه إذا كانت الادعاءات ضد Perplexity صحيحة، فإن الشركة تنتهك العديد من هذه المبادئ.
يقول كينت: “افتراضيًا، يجب على شركات الذكاء الاصطناعي أن تفترض أنه ليس لها الحق في أخذ محتوى الناشرين وإعادة استخدامه دون إذن”. ويضيف أنه إذا كانت شركة Perplexity تتجنب شروط الخدمة أو ملف robots.txt، “يجب أن تنطلق الإنذارات الحمراء بحدوث شيء غير لائق”.