في عالم الويب الحديث، أصبحت البوتات جزءًا لا يتجزأ من التفاعل الرقمي، لكن الثقة بها لا تقتصر فقط على معرفة هويتها. لقد أعلنت Cloudflare مؤخرًا عن إطلاق نظام جديد يهدف إلى تقييم سلوك البوتات الموثقة بشكل مستمر، متجاوزةً بذلك مجرد التحقق من الهوية لضمان التزامها المستمر بتفضيلات المواقع.
الثقة لا تتوقف عند الهوية
لطالما ركزت Cloudflare على سؤالين أساسيين حول البوتات: «هل أنت من تدعي أنك؟» و «هل يمكننا الوثوق بك؟». للبوتات الموثقة، الشروط كانت تتضمن تحديد الهوية بدقة وأمان، والقيام بما تقوله فقط، وعدم الانخراط في سلوكيات مسيئة. الآن، مع التركيز على السؤال الثاني، تقدم Cloudflare نظامًا جديدًا لتقييم وتقديم التقارير عندما يبدأ سلوك البوتات الموثقة في الانحراف عن هذه القواعد.
يفرق هذا النظام بين «المخاطر» التي تصف احتمالية أن يكون طلب أو إجراء معين ضارًا في لحظة ما، وبين «الثقة» التي تُبنى بمرور الوقت من خلال السلوك المتكرر والمتسق. على سبيل المثال، قامت Cloudflare بإزالة بوت Perplexity من قائمة البوتات الموثقة في عام 2025 عندما حاول الوصول إلى موارد على مواقع رفضت السماح بالزحف، وحاول لاحقًا التحايل على الضوابط عندما تم حظر هذه الطلبات.
كيف يتم قياس السلوك الموثوق؟
طورت Cloudflare نظامًا لقياس مدى احترام الزواحف (Crawlers) لتفضيلات المواقع. هذه الملاحظات تتحول إلى «نطاق ثقة قابل للتفسير» يوضح مدى احترام البوت لتفضيلات الموقع والسلوكيات المرصودة التي أثرت في هذا التقييم. تشمل الإشارات الأولية التي يتم تقييمها ما إذا كان البوت يحترم التعليمات، وما إذا كان يستجيب للملاحظات المباشرة.
يعتبر ملف robots.txt الطريقة الأساسية لإبلاغ تفضيلات مالك الموقع. يأخذ النظام في الاعتبار ما إذا كان سلوك البوت المرصود يتوافق مع هذه التفضيلات المنشورة بمرور الوقت، ويبحث عن أنماط متكررة من السلوك التي تتجاهل تفضيلات الموقع بدلًا من الانتهاكات المعزولة.
بالإضافة إلى ذلك، عندما يرسل موقع ويب استجابة HTTP 429 («طلبات كثيرة جدًا»)، فإن هذا توجيه للزائر لتقليل معدل طلباته. يدرس النظام ما إذا كانت حركة مرور البوت تتكيف بعد تلقي هذه الإشارة؛ هل يتباطأ أو يتوقف؟ يتم دمج هذا السلوك في نطاق ثقة البوت بمرور الوقت، حيث يؤدي التباطؤ أو التوقف المتسق إلى زيادة الثقة، بينما يؤدي تجاهل الإشارة مرارًا وتكرارًا إلى خفضها.
هذا النظام، جنبًا إلى جنب مع Bot Preference Sync و Bot Management، يشكل حلقة مساءلة لحركة المرور الآلية. تستخدم Cloudflare هذا النظام حاليًا داخليًا، وتخطط لجعله متاحًا لجميع عملائها في المستقبل، مما سيمكنهم من تحديد عتبة الثقة المستخدمة لتحديد كيفية التعامل مع حركة مرور البوتات الموثقة.
ماذا يعني هذا للمطورين؟
بالنسبة للمطورين وأصحاب المواقع، يعني هذا النظام الجديد مستوى أعلى من الشفافية والتحكم في كيفية تفاعل البوتات الموثقة مع مواقعهم. فهو يوفر طريقة واضحة لقياس سلوك البوتات والتأكد من التزامها بالتعليمات وتفضيلات الموقع. نرى أن هذا سيعزز الثقة في الأنظمة الآلية ويقلل من السلوكيات غير المرغوبة، مما يسهم في بيئة ويب أكثر استقرارًا وأمانًا.
المصدر: blog.cloudflare.com