تكشف تجربة أجرتها الخبيرة الفنية في مجال تحسين محركات البحث (SEO) كريستينا أزارينكو عما يحدث عند تعطيل Googlebot من الزحف إلى موقع ويب باستخدام ملف robots.txt.
داني جودوين في 14 ديسمبر 2023 الساعة 3:23 مساءً | مدة القراءة: 2 دقيقة
هل تساءلت يومًا ماذا سيحدث إذا منعت Google من الزحف إلى موقع الويب الخاص بك لبضعة أسابيع؟ نشرت خبيرة تحسين محركات البحث الفنية كريستينا أزارينكو نتائج هذه التجربة.
ستة أشياء مفاجئة حدثت. ماذا حدث عندما لم يتمكن Googlebot من الزحف إلى موقع Azarenko في الفترة من 5 أكتوبر إلى 7 نوفمبر:
- تمت إزالة الرمز المفضل من نتائج بحث Google.
- حققت نتائج بحث الفيديو نجاحًا كبيرًا ولم تسترد عافيتها بعد بعد التجربة.
- وظلت المواقف مستقرة نسبيًا، باستثناء أنها كانت أكثر تقلبا قليلا في كندا.
- ولم تشهد حركة المرور سوى انخفاض طفيف.
- زيادة في الصفحات المفهرسة المبلغ عنها في Google Search Console. لماذا؟ انتهى الأمر بفهرسة الصفحات التي تحتوي على علامات noindex meta robots لأن Google لم يتمكن من الزحف إلى الموقع لرؤية تلك العلامات.
- تنبيهات متعددة في GSC (على سبيل المثال، “مفهرس، على الرغم من حظره بواسطة ملف robots.txt”، “محظور بواسطة ملف robots.txt”).
لماذا نهتم. يعد الاختبار عنصرًا حاسمًا في تحسين محركات البحث. يمكن أن تؤثر جميع التغييرات (المقصودة أو غير المقصودة) على تصنيفاتك وحركة المرور والنتيجة النهائية، لذلك من الجيد أن تفهم كيف يمكن أن تتفاعل Google. كما أن معظم الشركات غير قادرة على تجربة هذا النوع من التجارب، لذا فهذه معلومات جيدة يجب معرفتها.
التجربة. يمكنك قراءة كل شيء عنها في نتائج غير متوقعة لتجربتي للزحف على Google.
آخر تجربة مماثلة. شارك باتريك ستوكس من Ahrefs أيضًا نتائج حجب صفحتين رفيعتي المستوى باستخدام ملف robots.txt لمدة خمسة أشهر. كان التأثير على الترتيب ضئيلًا، لكن الصفحات فقدت جميع مقتطفاتها المميزة.
جديد على محرك البحث الأرض
عن المؤلف
داني جودوين كان مدير تحرير محرك البحث Land & معرض التسويق البحثي – SMX منذ عام 2022. انضم إلى Search Engine Land في عام 2022 كمحرر أول. بالإضافة إلى إعداد التقارير عن آخر أخبار التسويق عبر البحث، فهو يدير برنامج SME (Subject Matter Expert) التابع لشركة Search Engine Land. كما أنه يساعد في برمجة أحداث SMX الأمريكية.
يقوم جودوين بالتحرير والكتابة عن أحدث التطورات والاتجاهات في مجال البحث والتسويق الرقمي منذ عام 2007. وكان سابقًا محررًا تنفيذيًا لمجلة Search Engine Journal (من 2017 إلى 2022)، ومدير تحرير Momentology (من 2014 إلى 2016) ومحرر Search Engine. ساعة المحرك (من 2007 إلى 2014). لقد تحدث في العديد من مؤتمرات البحث الكبرى والأحداث الافتراضية، وتم الحصول على خبرته من خلال مجموعة واسعة من المنشورات والبودكاست.