Robots.txt و Sitemap.xml

دليلك الشامل في تحسين محركات البحث

2 دقائق قراءة
6 أقسام
23 من 97

→ السابق: hreflang والمواقع متعددة اللغات التالي: البيانات المنظمة (JSON-LD) ←

ملف Robots.txt#

ملف نصي في جذر النطاق حصراً: example.com/robots.txt. يحدد ما يُسمح للزواحف بطلبه. أول ما يقرأه الزاحف قبل أي شيء آخر.

User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?sort=
Disallow: /*?filter=
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

القاعدة الأهم في الملف#

robots.txt لا يمنع الفهرسة هو يمنع الزحف فقط. إن كانت هناك روابط تشير للصفحة، قد يفهرسها جوجل معتمداً على تلك الروابط، فتظهر في النتائج بلا وصف. والأسوأ: إن منعت الزحف فلن يقرأ جوجل وسم noindex داخل الصفحة أبداً، فتبقى مفهرسة إلى الأبد.

القاعدة: لإخراج صفحة من النتائج، اسمح بزحفها وضع فيها noindex.

أخطاء شائعة في robots.txt#

منع CSS و JavaScript: يمنع جوجل من رؤية صفحتك كما يراها المستخدم، ويضر بتقييم تجربة الصفحة
Disallow: / منسي بعد الإطلاق: يحجب الموقع كله. من أشهر الكوارث في المجال
الاعتماد عليه لإخفاء محتوى حساس: الملف عام ويقرأه أي شخص، فأنت تعلن مواقع ما تخفيه
وضعه في مجلد فرعي: لا يعمل إلا في الجذر
حساسية الأحرف: /Admin/ و/admin/ مساران مختلفان

خريطة الموقع Sitemap.xml#

ملف يسرد الصفحات التي تريد اكتشافها. لا يضمن الفهرسة، لكنه يسرّع الاكتشاف، خصوصاً في المواقع الكبيرة أو ضعيفة الربط الداخلي.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/seo-guide</loc>
    <lastmod>2025-07-31</lastmod>
  </url>
</urlset>

قواعد الخريطة النظيفة#

الصفحات القابلة للفهرسة فقط: لا noindex، ولا تحويلات، ولا 404، ولا صفحات لها canonical يشير لغيرها
lastmod صادق: التاريخ الكاذب يفقدك ثقة الزاحف في الملف كله
روابط مطلقة كاملة بنفس البروتوكول والنطاق المعتمدين
الحد الأقصى: 50 ألف رابط أو 50 ميجابايت. قسّمها واستخدم ملف فهرس خرائط
تجاهل priority وchangefreq: جوجل صرّح بأنه لا يستخدمهما
اذكرها في robots.txt وأرسلها في Search Console

استخدام تشخيصي مفيد قسّم خريطتك حسب نوع المحتوى: مقالات، ومنتجات، وفئات. تقرير الفهرسة في Search Console يعرض النتائج لكل خريطة على حدة، فتعرف فوراً أي قسم يعاني من مشكلة فهرسة.

أدوات الفحص#

تقرير خرائط الموقع في Search Console: عدد المكتشف مقابل المفهرس
أداة فحص الرابط: تخبرك إن كان الرابط محجوباً بـ robots.txt
Screaming Frog: يقارن ما في خريطتك بما يجده في الزحف الفعلي ويكشف الفروق