1 دقيقة قراءة جوجل
مقتطف من مجلة محرك البحث
نشرت Google جزءًا جديدًا من سلسلة مقاطع الفيديو التعليمية “كيف يعمل البحث”، والتي تشرح كيفية اكتشاف محرك البحث الخاص به لصفحات الويب والوصول إليها من خلال الزحف.
في الحلقة التي مدتها سبع دقائق والتي استضافها محلل Google Gary Illyes، تقدم الشركة نظرة متعمقة على الجوانب الفنية لكيفية عمل Googlebot – البرنامج الذي تستخدمه Google للزحف إلى الويب.
كيف يزحف Googlebot إلى الويب
يبدأ Googlebot باتباع الروابط من صفحات الويب المعروفة للكشف عن عناوين URL الجديدة، وهي عملية تسمى اكتشاف URL.
فهو يتجنب التحميل الزائد على المواقع عن طريق الزحف إلى كل موقع بسرعة فريدة ومخصصة بناءً على أوقات استجابة الخادم وجودة المحتوى.
يعرض Googlebot الصفحات باستخدام الإصدار الحالي من متصفح Chrome لتنفيذ أي جافا سكريبت وعرض المحتوى الديناميكي الذي تم تحميله بواسطة البرامج النصية بشكل صحيح. كما أنه يزحف فقط إلى الصفحات المتاحة للعامة، وليس تلك التي تكون وراء عمليات تسجيل الدخول.
فيما يلي بعض الأساليب الإضافية لجعل موقعك أكثر قابلية للزحف:
- تجنب استنفاد ميزانية الزحف – يمكن أن تؤدي مواقع الويب التي يتم تحديثها بشكل متكرر إلى إرهاق ميزانية الزحف الخاصة بـ Googlebot، مما يمنع اكتشاف محتوى جديد. يمكن أن يساعد التكوين الدقيق لنظام إدارة المحتوى (CMS) وعلامات rel=“next” / rel=“prev”.
- تنفيذ ربط داخلي جيد – يؤدي الارتباط بمحتوى جديد من صفحات الفئات والمحور إلى تمكين Googlebot من اكتشاف عناوين URL الجديدة. تساعد بنية الارتباط الداخلي الفعالة على إمكانية الزحف.
- تأكد من تحميل الصفحات بسرعة – المواقع التي تستجيب ببطء لعمليات جلب Googlebot قد يتم تقليل معدل الزحف الخاص بها. يمكن أن يسمح تحسين الأداء للصفحات بالزحف بشكل أسرع.
- القضاء على أخطاء 404 الناعمة – إصلاح ملفات soft 404 الناتجة عن التكوينات الخاطئة لنظام إدارة المحتوى (CMS) يضمن أن تؤدي عناوين URL إلى صفحات صالحة، مما يؤدي إلى تحسين نجاح الزحف.
- فكر في تعديلات ملف robots.txt – يمكن أن يؤدي ملف robots.txt الضيق إلى حظر الصفحات المفيدة. قد يكشف تدقيق تحسين محركات البحث (SEO) عن القيود التي يمكن إزالتها بأمان.
انقر هنا لقراءة المقال كاملا على مجلة محرك البحث.