إدارة ميزانية الزحف (Crawl Budget)
دليلك الشامل في تحسين محركات البحث
ما المقصود بميزانية الزحف؟#
هي حجم الزحف الذي يخصصه جوجل لموقعك خلال فترة. تتحدد بعاملين:
- حد سعة الزحف: كم يستطيع خادمك تحمّله دون تدهور. جوجل يرفع المعدل مع الخادم السريع ويخفضه فوراً عند بطء أو أخطاء 5xx.
- الطلب على الزحف: كم يريد جوجل زحف موقعك، ويتحدد بشعبية الصفحات ومعدل تحديثها وحجم الموقع.
هل هي مشكلتك أصلاً؟
إن كان موقعك أقل من بضعة آلاف صفحة، فميزانية الزحف على الأرجح ليست مشكلتك، وجوجل نفسه يقول ذلك. المشكلة تبدأ فعلياً مع المتاجر الكبيرة والمواقع ذات المعاملات اللانهائية.
أكبر مستهلكات الميزانية#
| المستهلك | العلاج |
|---|---|
صفحات الفلترة والفرز ?color=&size=&sort= | امنع الأنماط في robots.txt |
| نتائج البحث الداخلي | امنعها بالكامل، فهي لا نهائية |
| معرّفات الجلسات وروابط التتبع | canonical للنسخة النظيفة |
| ترقيم صفحات عميق جداً | حسّن البنية وقلّل العمق |
| سلاسل تحويل متعددة | اجعلها خطوة واحدة |
| صفحات رقيقة ومكررة | ادمج أو احذف |
| ملفات ضخمة غير ضرورية | راجع ما يُزحف إليه فعلاً |
خطة تحسين عملية#
1. قِس قبل أن تغيّر
افتح إحصائيات الزحف في Search Console، أو حلّل سجلات الخادم لشهر. حدد أين تذهب الطلبات فعلاً.
2. أوقف أكبر نزيف
غالباً صفحات المعاملات. امنع الأنماط في robots.txt وستحرر نسبة كبيرة فوراً.
3. أصلح الأخطاء
كل 404 و500 هو طلب ضائع. أصلح الروابط الداخلية المكسورة أولاً.
4. اختصر التحويلات
حوّل مباشرة للوجهة النهائية بدل سلسلة من ثلاث قفزات.
5. سرّع الخادم
خفض زمن الاستجابة يرفع سعة الزحف تلقائياً. هذا أقوى رافع منفرد.
6. نظّف الخريطة والربط
خريطة نظيفة وربط داخلي يوجّه نحو ما يستحق.
قراءة تقرير إحصائيات الزحف#
- إجمالي الطلبات: اتجاهه عبر الوقت أهم من قيمته المطلقة
- متوسط زمن الاستجابة: ارتفاعه يسبق انخفاض الزحف عادةً، فهو إنذار مبكر
- حسب الاستجابة: نسبة 200 مقابل 404 و301 و5xx. ارتفاع غير 200 هدر مباشر
- حسب الغرض: اكتشاف مقابل تحديث. غلبة التحديث تعني أن جوجل لا يجد جديداً لديك
- حسب نوع الملف: إن كان معظم الزحف صوراً وملفات CSS بدل HTML، فراجع بنيتك
انتبه
انخفاض الزحف ليس دائماً مشكلة. قد يعني أن موقعك صار أنظف وأن جوجل لم يعد يهدر طلبات على صفحات لا قيمة لها. اقرأ الرقم مع نسبة الصفحات المفهرسة، لا وحده.