هاري بوتر ودعوى حقوق الطبع والنشر
يمكن أن يكون للبحث آثار كبيرة على دعاوى حقوق النشر من الذكاء الاصطناعي.
Meta الرئيس التنفيذي مارك زوكربيرج. الائتمان: Andrej Sokolow/Picture Alliance عبر Getty Images
في السنوات الأخيرة ، العديد من المدعين – بما في ذلك ناشري الكتب والصحف ورمز الكمبيوتر والصور الفوتوغرافية -“https://www.understandingai.org/p/the-ai-community-needs-to-take-copyright” Rel> دعوى قضائية ضد شركات الذكاء الاصطناعيلنماذج التدريب باستخدام المواد المحمية بحقوق الطبع والنشر. كان السؤال الرئيسي في كل هذه الدعاوى هو مدى سهولة إنتاج نماذج الذكاء الاصطناعي مقتطفات حربية من المحتوى المحمي للمدعين.
على سبيل المثال ، في”https://www.understandingai.org/p/why-the-new-york-times-sued-microsoft” REL> ديسمبر 2023 دعوى ضد Openai ، أنتجت شركة New York Times العشرات من الأمثلة حيث قام GPT-4 بإعادة إنتاج مقاطع مهمة تمامًا من قصص Times. فيها”https://www.courthousenews.com/wp-content/uploads/2025/01/open-ai-motion-to-dismiss-ny-times.pdf” rel> الاستجابة، وصف Openai هذا بأنه “سلوك هامشي” و “مشكلة أن الباحثين في Openai وأماكن أخرى يعملون بجد لمعالجتها”.
ولكن هل هو في الواقع سلوك هامشي؟ وتناولت شركات AI الرائدة ذلك؟”https://arxiv.org/abs/2505.12546″ REL> بحث جديد- التركيز على الكتب بدلاً من مقالات الصحف والشركات المختلفة – يوفر رؤى مفاجئة في هذا السؤال. يجب أن تعزز بعض النتائج حجج المدعين ، في حين أن البعض الآخر قد يكون أكثر فائدة للمدعى عليهم.
تم نشر الورقة الشهر الماضي من قبل فريق من علماء الكمبيوتر والعلماء القانونيين من جامعة ستانفورد وكورنيل وجامعة ويست فرجينيا. لقد درسوا ما إذا كانت خمسة نماذج شهيرة مفتوحة الوزن-ثلاثة من Meta وواحدة من Microsoft و Eleutherai-قادرة على إعادة إنتاج النص من Books3 ، وهي مجموعة من الكتب التي تستخدم على نطاق واسع لتدريب LLMs. لا تزال العديد من الكتب تحت حقوق الطبع والنشر.
يوضح هذا المخطط اكتشافهم الأكثر إثارة للدهشة:
يوضح الرسم البياني مدى سهولة الحصول على نموذج لإنشاء 50 مقتطفات من أجزاء مختلفة منهاري بوتر وحجر الساحر. كلما كان الخط أغمق ، كلما كان من الأسهل إنتاج هذا الجزء من الكتاب.
يمثل كل صف نموذجًا مختلفًا. الصفوف السفلية الثلاثة هي طرز Llama من Meta. وكما ترون ، فإن LLAMA 3.1 70B-Moda Model Model Mode في يوليو 2024-من المرجح أن يعيد إنتاج نص هاري بوتر أكثر من أي من النماذج الأربعة الأخرى.
على وجه التحديد ، تقدر الورقة أن Llama 3.1 70B قد حفظ42 في المئةمن أول كتاب هاري بوتر جيدا بما يكفي لإعادة إنتاج 50 مقتطفات في سنتين على الأقل. (سأقوم بتفريغ كيف تم قياس هذا في القسم التالي.)
ومن المثير للاهتمام ، أن LLAMA 1 65B ، وهو نموذج مشابه الحجم صدر في فبراير 2023 ، لم يحفظ 4.4 في المائة فقط منهاري بوتر وحجر الساحر. هذا يشير إلى أنه على الرغم من المسؤولية القانونية المحتملة ، فإن Meta لم تفعل الكثير لمنع الحفظ لأنه قام بتدريب Llama 3. على الأقل بالنسبة لهذا الكتاب ، أصبحت المشكلة أسوأ بكثير بين Llama 1 و Llama 3.
هاري بوتر وحجر الساحركانت واحدة من العشرات من الكتب التي اختبرها الباحثون. وجدوا أن Llama 3.1 70b كان أكثر عرضة لإعادة إنتاج الكتب الشعبية – مثلالهوبيتوجورج أورويل1984– أكثر من الغموض. وبالنسبة لمعظم الكتب ، قام Llama 3.1 70B بحفظ أكثر من أي من النماذج الأخرى.
وقال جيمس جريميلمان ، أستاذ قانون كورنيل الذي تعاون مع العديد من مؤلفي الورقة: “هناك اختلافات مذهلة بالفعل بين النماذج من حيث مقدار النص الحرفي الذي حفظوه”.
فاجأت النتائج مؤلفي الدراسة ، بما في ذلك مارك ليملي ، أستاذ القانون في ستانفورد. (اعتاد Lemley أن يكون جزءًا من فريق Meta القانوني ، ولكن في يناير ، هو”https://www.wired.com/story/lawmaker-meta-copyright-cases/”> أسقطها كعميل بعد أن اعتمد Facebook المزيد من سياسات الاعتدال الصديقة للترامب.)
أخبرني ليملي: “كنا نتوقع أن نرى نوعًا من المستوى المنخفض من التكرار بترتيب 1 أو 2 في المائة”. “أول ما فاجأني هو مقدار التباين هناك.”
هذه النتائج تمنح الجميع في مناقشة حقوق النشر من الذكاء الاصطناعي. بالنسبة إلى منتقدي صناعة الذكاء الاصطناعى ، فإن الوجبات الجاهزة الكبيرة هي أنه – على الأقل بالنسبة لبعض النماذج وبعض الكتب – لا يمثل التمييز ظاهرة هامشية.
من ناحية أخرى ، وجدت الدراسة فقط حفظًا كبيرًا في عدد قليل من الكتب الشعبية. على سبيل المثال ، وجد الباحثون أن LLAMA 3.1 70B يحفظ فقط 0.13 في المائة منساندمان سليم، رواية 2009 للمؤلف ريتشارد كاديري. هذا جزء صغير من الرقم 42 في المئة لهاري بوتر.
يمكن أن يكون هذا صداعًا لشركات المحاماة التي رفعت دعاوى قضائية جماعية ضد شركات الذكاء الاصطناعى. Kadrey هو المدعي الرئيسي في دعوى جماعية ضد Meta. للتصديق على فئة من المدعين ، يجب أن تجد المحكمة أن المدعين في مواقف قانونية وحقيقية متشابهة إلى حد كبير.
نتائج متباينة مثل هذه يمكن أن تشك في ما إذا كان من المنطقي أن تضع JK Rowling و Kadrey وآلاف المؤلفين الآخرين في دعوى جماعية واحدة. وقد يعمل ذلك لصالح Meta ، لأن معظم المؤلفين يفتقرون إلى الموارد اللازمة لتقديم الدعاوى الفردية.
الدرس الأوسع لهذه الدراسة هو أن التفاصيل سوف تهم هذه الحالات حقوق الطبع والنشر. في كثير من الأحيان ، تعاملت المناقشات عبر الإنترنت “هل تنسخ النماذج التوليدية بيانات التدريب الخاصة بها أو مجرد تعلم منها؟” كمسألة نظرية أو حتى فلسفية. ولكن هذا سؤال يمكن اختباره تجريبياً – وقد تختلف الإجابة عبر النماذج وعبر الأعمال المحمية بحقوق الطبع والنشر.
من الشائع التحدث عن LLMs التي تتنبأ بالرمز التالي. ولكن تحت الغطاء ، فإن ما يفعله النموذج بالفعل هو توزيع الاحتمال أكثرالجميعإمكانيات الرمز المميز التالي. على سبيل المثال ، إذا قمت برحيل LLM بعبارة “زبدة الفول السوداني” ، فستستجيب بتوزيع احتمال قد يبدو مثل هذا المثال المكياج:
- P (“هلام”)=70 في المائة
- P (“السكر”)=9 في المائة
- P (“الفول السوداني”)=6 في المائة
- P (“الشوكولاتة”)=4 في المائة
- P (“كريم”)=3 في المائة
وهكذا دواليك.
بعد أن يولد النموذج قائمة من الاحتمالات مثل هذا ، سيختار النظام أحد هذه الخيارات عشوائيًا ، مرجحًا من احتمالاتها. لذلك 70 في المئة من الوقت سوف يولد النظام “زبدة الفول السوداني والهلام”. تسعة في المئة من الوقت ، سنحصل على “زبدة الفول السوداني والسكر”. ستة في المئة من الوقت ، سيكون “زبدة الفول السوداني والفول السوداني”. تحصل على الفكرة.
لم يكن على مؤلفي الدراسة توليد مخرجات متعددة لتقدير احتمال وجود استجابة معينة. بدلاً من ذلك ، يمكنهم حساب الاحتمالات لكل رمز ثم ضربها معًا.
لنفترض أن شخصًا ما يريد تقدير احتمال أن يستجيب النموذج إلى “شطيرة بلدي المفضلة” مع “زبدة الفول السوداني والهلام”. إليك كيفية القيام بذلك:
- تطور النموذج مع “شطيرة بلدي المفضلة” ، وابحث عن احتمال “الفول السوداني” (دعنا نقول إنه 20 في المئة).
- تطور النموذج مع “شطيرة بلدي المفضلة هي الفول السوداني” ، وابحث عن احتمال “الزبدة” (دعنا نقول إنه 90 في المئة).
- تطور النموذج مع “شطيرة بلدي المفضلة هي زبدة الفول السوداني” وابحث عن احتمال “و” (دعنا نقول إنه80 في المئة).
- تطور النموذج مع “شطيرة بلدي المفضلة هي زبدة الفول السوداني و” وابحث عن احتمال “الهلام” (دعنا نقول إنها كذلك70 في المئة).
ثم علينا فقط مضاعفة الاحتمالات مثل هذا:
0.2 * 0.9 * 0.8 * 0.7=0.1008
لذلك يمكننا التنبؤ بأن النموذج سوف ينتج “زبدة الفول السوداني والهلام” حوالي 10 في المائة من الوقت ، دون توليد 100 أو 1000 مخرجات بالفعل وحساب عددهم من هذه العبارة الدقيقة.
قللت هذه التقنية بشكل كبير من تكلفة البحث ، وسمحت للمؤلفين بتحليل المزيد من الكتب ، وجعلت من الممكن تقدير الاحتمالات المنخفضة للغاية.
على سبيل المثال ، قدّر المؤلفون أن الأمر سيستغرق أكثر من 10 عينة من Quadrillion لإعادة إنتاج بعض تسلسل 50 من بعض الكتب بالضبط. من الواضح ، لن يكون من الممكن توليد العديد من المخرجات. لكن لم يكن ذلك ضروريًا: يمكن تقدير الاحتمال فقط عن طريق ضرب احتمالات الرموز 50.
الشيء الرئيسي الذي يجب ملاحظته هو أن الاحتمالات يمكن أن تصبح صغيرة جدًا بسرعة. في مثالي المكياج ، فإن احتمال أن ينتج النموذج الرموز الأربعة “زبدة الفول السوداني والهلام” هي 10 في المائة فقط. إذا أضفنا المزيد من الرموز ، فإن الاحتمال سوف ينخفض. إذا أضفنا46 المزيد من الرموز، يمكن أن يسقط الاحتمال بعدة أوامر من الحجم.
بالنسبة لأي نموذج لغة ، فإن احتمال توليد أي تسلسل مبلغ 50-token “عن طريق الصدفة” صغير للغاية. إذا كان النموذج يولد 50 رمزًا من عمل محمي حقوق الطبع والنشر ، فهذا دليل قوي على أن الرموز “جاءت من” بيانات التدريب. هذا صحيح حتى لو كان يولد فقط تلك الرموز 10 في المائة أو 1 في المائة أو 0.01 في المائة من الوقت.
أخذ مؤلفو الدراسة 36 كتابًا وقاموا بتقسيم كل منهم إلى ممرات متداخلة من 100 ممر. باستخدام أول 50 رمزًا كمرض ، قاموا بحساب احتمال أن تكون الرموز المميزة 50 التالية متطابقة مع المقطع الأصلي. لقد أحسبوا مقطعًا على أنه “محفوظ” إذا كان لدى النموذج فرصة أكبر من 50 في المائة لإعادة إنتاجه للكلمة.
هذا التعريف صارم للغاية. للحصول على تسلسل 50-token أن يكون له احتمال أكثر من 50 في المائة ، يحتاج متوسط الرمز المميز في المقطع إلى احتمال 98.5 في المائة على الأقل! علاوة على ذلك ، لم يحسب المؤلفون سوى المطابقة الدقيقة. لم يحاولوا حساب الحالات التي – على سبيل المثال – يولد النموذج 48 أو 49 رمزًا من المقطع الأصلي ولكنهم أخطأوا في واحد أو اثنين من الرموز. إذا تم حساب هذه الحالات ، فإن مقدار الحفظ سيكون أعلى.
يوفر هذا البحث دليلًا قويًا على أن أجزاء كبيرة منهاري بوتر وحجر الساحر تم نسخها في أوزان LLAMA 3.1 70B. لكن هذا الاستنتاج لا يخبرنا لماذا أو كيف حدث هذا. أظن أن جزءًا من الإجابة هو أن LLAMA 3 70B تم تدريبه على 15 تريليون رمز – أكثر من 10 أضعاف الرموز المميزة 1.4 تريليون المستخدمة لتدريب LAMA 1 65B.
كلما زاد عدد الأوقات التي يتم فيها تدريب النموذج على مثال معين ، زاد احتمال حفظ هذا المثال. ربما واجه Meta مشكلة في العثور على 15 تريليون رموز مميزة ، لذلك تدرب على مجموعة بيانات Books3 عدة مرات. أو ربما أضافت Meta مصادر الطرف الثالث-مثل منتديات Harry Potter على الإنترنت ، أو مراجعات كتب المستهلك ، أو تقارير كتب الطلاب-التي تضمنت اقتباسات من هاري بوتروغيرها من الكتب الشعبية.
لست متأكدًا من أن أيًا من هذه التفسيرات يناسب الحقائق تمامًا. إن حقيقة أن الحفظ كان مشكلة أكبر بكثير بالنسبة للكتب الأكثر شعبية تشير إلى أن لاما ربما تم تدريبه على مصادر ثانوية تقتبس هذه الكتب بدلاً من الكتب نفسها. من المحتمل أن يكون هناك المزيد من المناقشات عبر الإنترنت لهاري بوتر بشكل كبير من ساندمان سليم.
من ناحية أخرى ، من المدهش أن يحفظ لاماالكثير منهاري بوتر وحجر الساحر.
وقال ليملي: “إذا كانت الاستشهادات والاقتباسات ، فأنت تتوقع أن تركز على بعض الأشياء الشائعة التي يقتبسها الجميع أو يتحدث عنها”. حقيقة أن Llama 3 قام بحفظ ما يقرب من نصف الكتاب يشير إلى أن النص بأكمله تم تمثيله جيدًا في بيانات التدريب.
أو يمكن أن يكون هناك تفسير آخر تماما. ربما قامت Meta بتغييرات دقيقة في وصفتها التدريبية التي ساءت عن طريق الخطأ مشكلة الحفظ. لقد قمت بإرسال بريد إلكتروني إلى التعليق الأسبوع الماضي ولكن لم أسمع مرة أخرى.
قال لي مارك ليملي: “لا يبدو أن كل الكتب الشعبية”. “بعض الكتب الشعبية لها هذه النتيجة وليس غيرها. من الصعب التوصل إلى قصة واضحة تقول لماذا حدث ذلك.”
- التدريب على العمل المحمي بحقوق الطبع والنشر ينتهك بطبيعته لأن عملية التدريب تتضمن إنشاء نسخة رقمية من العمل.
- تقوم عملية التدريب بنسخ المعلومات من بيانات التدريب إلى النموذج ، مما يجعل النموذج عمل مشتق بموجب قانون حقوق الطبع والنشر.
- يحدث الانتهاك عندما يقوم النموذج بإنشاء (أجزاء) عمل محمي بحقوق الطبع والنشر.
ركزت الكثير من النقاش حتى الآن على النظرية الأولى لأنها الأكثر تهديدًا لشركات الذكاء الاصطناعى. إذا كانت المحاكم تدعم هذه النظرية ، فستكون معظم LLMs الحالية غير قانونية ، سواء كانت قد حفظت أي بيانات تدريب أم لا.
صناعة الذكاء الاصطناعى لديها بعض الحجج القوية التي”https://www.understandingai.org/p/the-ai-community-needs-to-take-copyright” rel> استخدام الأعمال المحمية بحقوق الطبع والنشر أثناء عملية التدريب هو الاستخدام العادلتحت حكم كتب Google 2015. لكن حقيقة أن Llama 3.1 70b حفظ أجزاء كبيرة منهاري بوتر هل يمكن تلوين كيفية اعتبار المحاكم هذه أسئلة الاستخدام العادل.
جزء رئيسي من تحليل الاستخدام العادل هو ما إذا كان الاستخدام “تحويليًا” – سواء كانت الشركة قد جعلت شيئًا جديدًا أو مجرد استفادة من عمل الآخرين. حقيقة أن نماذج اللغة قادرة على تجديد أجزاء كبيرة من الأعمال الشعبية مثلهاري بوترو1984، والهوبيت يمكن أن يتسبب القضاة في النظر إلى حجج الاستخدام العادل هذه بشكل أكبر.
علاوة على ذلك ، كانت إحدى الحجج الرئيسية في Google في حالة الكتب هي أن نظامه قد تم تصميمه لعدم إرجاع أكثر من مقتطف قصير من أي كتاب. إذا أراد القاضي في دعوى التعريف أن يميز حجج Meta عن تلك التي صنعتها Google في قضية الكتب ، فيمكنه أن يشير إلى حقيقة أن Llama يمكنه توليد أكثر من بضعة أسطر منهاري بوتر.
أخبرني المؤلف المشارك مارك ليملي أن الدراسة الجديدة “تعقد القصة التي سلكها المدعى عليهم في هذه الحالات”. “وهو” نتعلم فقط أنماط الكلمات. لا شيء من ذلك يظهر في النموذج. “
لكن نتيجة هاري بوتر تخلق خطرًا أكبر على التعريف تحت تلك النظرية الثانية – أن لاما نفسها هي نسخة مشتقة من كتاب رولينج.
وقال ليملي: “من الواضح أنه يمكنك في الواقع استخراج أجزاء كبيرة من هاري بوتر ومختلف الكتب الأخرى من النموذج”. “هذا يشير لي إلى أنه ربما بالنسبة لبعض تلك الكتب ، هناك شيء سيطلق عليه القانون نسخة من الكتاب في النموذج نفسه.”
من المحتمل أن لا تستطيع سابقة كتب Google حماية Meta من هذه النظرية القانونية الثانية لأن Google لم تتاح أبدًا قاعدة بيانات الكتب الخاصة بها للتنزيل – من المؤكد أن Google قد فقدت القضية إذا فعلت ذلك.
من حيث المبدأ ، لا يزال بإمكان Meta إقناع القاضي بأن نسخ 42 في المائة من هاري بوتر مسموح به بموجب مذهب الاستخدام العادل المرن. لكنها ستكون معركة شاقة.
“إن تحليل الاستخدام العادل الذي يجب عليك القيام به ليس فقط” هو استخدام مجموعة التدريب العادلة “، ولكن” هل التأسيس في الاستخدام العادل النموذجي؟ “” Lemley said. “هذا يعقد قصة المدعى عليهم. “
وقال جريميلمان أيضًا إن هناك خطرًا من أن هذا البحث يمكن أن يضع نماذج مفتوحة الوزن في خطر قانوني أكبر من النماذج المغلقة. لا يمكن للباحثين في كورنيل وستانفورد القيام بعملهم إلا لأن المؤلفين تمكنوا من الوصول إلى النموذج الأساسي – وبالتالي لقيم احتمال الرمز المميز التي سمحت بحساب فعال لاحتمالات التسلسلات من الرموز.
معظم المختبرات الرائدة ، بما في ذلك Openai ، و Nothropic ، و Google ، قد تقيد الوصول بشكل متزايد إلى هذه السجلات المزعومة ، مما يجعل من الصعب دراسة هذه النماذج.
علاوة على ذلك ، إذا احتفظت الشركة بأوزان النموذج على خوادمها الخاصة ، فيمكنها استخدام المرشحات لمحاولة منع انتهاك الإنتاج من الوصول إلى العالم الخارجي. لذلك ، حتى لو كانت نماذج Openai و Hone -Anthropic و Google قد حفظت أعمالًا محمية بحقوق الطبع والنشر بنفس طريقة إثباتها.
علاوة على ذلك ، فإن هذا النوع من التصفية يجعل من السهل على الشركات التي لديها نماذج الوزن المغلقة استدعاء سابقة كتب Google. باختصار ، قد يخلق قانون حقوق الطبع والنشر مثبطًا قويًا للشركات لإصدار نماذج مفتوحة الوزن.
“إنه نوع من الانحناء” ، أخبرني مارك ليملي. “أنا لا أحب هذه النتيجة.”
من ناحية أخرى ، قد يستنتج القضاة أنه سيكون من السيئ معاقبة الشركات بشكل فعال على نشر نماذج الوزن المفتوح.
أخبرني جريميلمان: “هناك درجة تُعد فيها الانفتاح ومشاركة الأوزان نوعًا من الخدمة العامة”. “أستطيع أن أرى بصراحة أن القضاة أقل تشككًا في Meta وغيرهم ممن يقدمون نماذج مفتوحة الوزن.”
كان تيموثي بي لي على الموظفين في ARS Technica من 2017 إلى 2021. اليوم ، يكتب فهم الذكاء الاصطناعي ،رسالة إخبارية تستكشف كيفية عمل الذكاء الاصطناعي وكيف يغير عالمنا. يمكنك الاشتراكهنا.
“https://cdn.arstechnica.net/wp-content/uploads/2016/05/t.lee-26.jpg” alt=”Photo of Timothy B. Lee”>
تيموثي هو مراسل كبير يغطي سياسة التكنولوجيا ومستقبل النقل. يعيش في واشنطن العاصمة.