الشركات التي تسعى إلى بناء نماذج أكبر من الذكاء الاصطناعى قد تعثرت بشكل متزايد بسبب عدم وجود بيانات تدريب عالية الجودة. نظرًا لأن شركات التكنولوجيا تجذب الويب لمزيد من البيانات لتغذية نماذجها ، فقد تعتمد بشكل متزايد على بيانات المستخدم المحتملة الحساسة. يستكشف فريق في Google Research تقنيات جديدة لجعل نماذج اللغة الكبيرة الناتجة (LLMS) أقل عرضة “memorize” أي من هذا المحتوى.
LLMs لها مخرجات غير محددة ، مما يعني أنه لا يمكنك التنبؤ بالضبط بما سيقولون. على الرغم من أن الإخراج يختلف حتى بالنسبة للمدخلات المتطابقة ، إلا أن النماذج تقوم في بعض الأحيان بتجديد شيء ما من بيانات التدريب الخاصة بهم – إذا تم تدريبها على البيانات الشخصية ، فقد يكون الإخراج انتهاكًا لخصوصية المستخدم. في الحدث ، تجعل البيانات المحمية بحقوق الطبع والنشر في بيانات التدريب (إما عن طريق الخطأ أو”https://arstechnica.com/tech-policy/2025/06/judge-rejects-metas-claim-that-torrenting-is-irrelevant-in-ai-copyright-case/”> عن قصد) ، يمكن أن يسبب مظهره في المخرجات نوعًا مختلفًا من الصداع للديف. يمكن أن تمنع الخصوصية التفاضلية مثل هذا الحفظ من خلال إدخال الضوضاء المعايرة خلال مرحلة التدريب.
إضافة الخصوصية التفاضلية إلى نموذج تأتي مع عيوب من حيث الدقة وحساب متطلبات. لم يزعج أحد معرفة الدرجة التي يغير بها ذلك قوانين التحجيم لنماذج الذكاء الاصطناعى حتى الآن. عمل الفريق من افتراض أن أداء النموذج سيتأثر في المقام الأول بنسبة ضجة الضوضاء ، والتي تقارن حجم الضوضاء العشوائية بحجم بيانات التدريب الأصلية.
من خلال إجراء تجارب بأحجام نموذجية متفاوتة ونسب ضوضاء الضوضاء ، أنشأ الفريق فهمًا أساسيًا لقوانين تحجيم الخصوصية التفاضلية ، وهو توازن بين ميزانية الحساب وميزانية الخصوصية وميزانية البيانات. باختصار ، يؤدي المزيد من الضوضاء إلى مخرجات منخفضة الجودة ما لم يتم تعويضها بميزانية حسابية أعلى (تتخبط) أو ميزانية البيانات (الرموز).”https://arxiv.org/abs/2501.18914″> الورقة تفاصيل قوانين التحجيم الخاصة بـ LLMs الخاصة ، والتي يمكن أن تساعد المطورين في العثور على نسبة مثالية لضوضاء الضوضاء لجعل النموذج أكثر خصوصية.