الفصل 09
الزحف والفهرسة (Indexing)
دليلك الشامل في تحسين محركات البحث
مقدمة#
الفهرسة هي شرط الوجود في نتائج البحث. صفحة غير مفهرسة غير موجودة، مهما كان محتواها ممتازاً وسرعتها عالية.
ولهذا فإن أول سؤال يجب أن تسأله عن أي صفحة لا تجلب زيارات ليس "لماذا ترتيبها ضعيف؟" بل "هل هي مفهرسة أصلاً؟"
الفرق بين الزحف والفهرسة#
| الزحف (Crawling) | الفهرسة (Indexing) | |
|---|---|---|
| ما هو | طلب الصفحة وقراءتها | تخزينها في فهرس البحث |
| من يتحكم | robots.txt، الخادم، الروابط | noindex، canonical، الجودة |
| إن مُنع | جوجل لا يرى المحتوى | الصفحة لا تظهر في النتائج |
الخطأ القاتل
منع الصفحة في
robots.txt ثم وضع noindex فيها لا يعمل. جوجل ممنوع من الزحف، فلن يقرأ وسم noindex أبداً، وقد يفهرس الرابط دون محتوى. لإخراج صفحة من الفهرس: اسمح بالزحف وضع noindex.
لماذا لا تُفهرس صفحتك؟#
- Discovered - currently not indexed: جوجل يعرف الرابط لكنه لم يزحف إليه بعد. غالباً إشارة ضعف أولوية أو ضعف روابط داخلية.
- Crawled - currently not indexed: زحف ولم يفهرس. هذه إشارة جودة في الأغلب: محتوى رقيق أو مكرر أو بلا قيمة مضافة.
- Duplicate without user-selected canonical: محتوى مكرر ولم تحدد النسخة الأصلية.
- Alternate page with proper canonical tag: طبيعي ومقصود، لا يحتاج إصلاحاً.
- Excluded by noindex tag: تحقق أنه مقصود، فكثيراً ما يُترك بالخطأ بعد إطلاق الموقع.
- Soft 404: الصفحة ترجع 200 لكن محتواها فارغ أو يقول "لا توجد نتائج".
القاعدة العملية
إن كانت معظم صفحاتك في حالة "Crawled - currently not indexed"، فمشكلتك ليست تقنية بل مشكلة جودة محتوى. لا يوجد إعداد تقني يصلح محتوى لا يستحق الفهرسة.
ميزانية الزحف (Crawl Budget)#
جوجل يخصص لكل موقع قدراً محدوداً من الزحف. المواقع الصغيرة (أقل من بضعة آلاف صفحة) لا تحتاج القلق. المشكلة تبدأ في المتاجر والمواقع الكبيرة.
أكبر مستهلكات الميزانية:
- صفحات الفلترة والفرز اللانهائية:
?color=red&size=l&sort=price - نتائج البحث الداخلي في الموقع
- صفحات ترقيم الصفحات العميقة جداً
- سلاسل التحويلات المتعددة
- صفحات الأخطاء والصفحات الرقيقة
العلاج: امنع أنماط الفلترة في robots.txt، واستخدم canonical للنسخ المتعددة، وقصّر سلاسل التحويل إلى خطوة واحدة، ونظّف خريطة الموقع، وحسّن سرعة استجابة الخادم لأن الخادم البطيء يقلل معدل الزحف تلقائياً.
أدوات التشخيص#
- تقرير فهرسة الصفحات في Search Console: المصدر الأول والأدق لحالة كل صفحة.
- أداة فحص عنوان URL: تخبرك بحالة صفحة بعينها، وتعرض HTML المعروض بعد تنفيذ JavaScript.
- إحصائيات الزحف: عدد الطلبات اليومية، وزمن الاستجابة، وأنواع الملفات المزحوف إليها.
- سجلات الخادم (Log Files): أصدق مصدر على الإطلاق. تُظهر ما زحف إليه Googlebot فعلاً وبأي تكرار.
تسريع فهرسة المحتوى الجديد#
- اربط الصفحة الجديدة داخلياً من صفحة قوية ومزحوف إليها بكثرة
- أضفها لخريطة الموقع وحدّث
lastmod - استخدم "طلب الفهرسة" في أداة فحص الرابط للصفحات المهمة فقط
- انشرها حيث تُكتشف: نشرة بريدية، قنوات التواصل، مجتمعات متخصصة
- حافظ على وتيرة نشر منتظمة، فالمواقع النشطة تُزار أكثر