الفصل 09

التحكم في زواحف الذكاء الاصطناعي

من يزحف لموقعك، وما الذي يمنعه فعلاً، وما لا يمنعه.

2 دقائق قراءة
5 أقسام
53 من 81

الزواحف الشائعة#

الزاحف	الجهة	الغرض المعلن
`Googlebot`	Google	فهرس البحث — ومنه تُبنى الإجابات المولّدة داخل البحث
`Google-Extended`	Google	التحكم في استخدام المحتوى لتدريب نماذج Gemini
`GPTBot`	OpenAI	جمع بيانات للتدريب
`OAI-SearchBot`	OpenAI	الفهرسة لميزات البحث
`PerplexityBot`	Perplexity	الفهرسة والاستشهاد
`ClaudeBot`	Anthropic	جمع بيانات
`CCBot`	Common Crawl	أرشيف عام تستخدمه جهات كثيرة

سوء الفهم الأخطر#

حجب Google-Extended لا يخرجك من الإجابات المولّدة داخل بحث جوجل الإجابات داخل البحث تُبنى من فهرس البحث نفسه الذي يجمعه Googlebot. الطريقة الوحيدة للخروج منها هي الخروج من الفهرس كله — أي أن تختفي من البحث تماماً. Google-Extended يتعلق باستخدام المحتوى في تدريب النماذج، وهو أمر مختلف.

هذا الخلط يقود مواقع إلى حجب ما لا يضرها، أو إلى توقّع نتيجة لا تحدث. اقرأ وصف كل زاحف من مصدره الرسمي قبل أن تحجبه.

كيف تحجب فعلياً#

# منع التدريب مع البقاء في بحث جوجل بشكل طبيعي
User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

# البقاء في البحث والفهرسة العادية
User-agent: Googlebot
Allow: /

robots.txt يعمل مع الزواحف الملتزمة فقط؛ من لا يلتزم يتجاهله
للحجب الصارم استخدم قواعد على مستوى الخادم أو CDN
راجع سجلاتك للتحقق من هوية من يزحف فعلاً بدل الافتراض

القرار: هل تحجب أصلاً؟#

اسمح إذا	فكّر في الحجب إذا
تريد ظهوراً واستشهاداً باسمك	محتواك هو المنتج نفسه (أرشيف مدفوع، بيانات حصرية)
تبني علامة وتريد أن تُعرف	لديك التزام تعاقدي تجاه مؤلفين أو عملاء
موقعك تعليمي أو مرجعي	الزحف يستهلك موارد خادمك بشكل ملموس

الوضع الافتراضي المعقول لمعظم المواقع اسمح. الظهور والاستشهاد يبنيان العلامة، والحجب يخرجك من قناة اكتشاف متنامية دون أن يعيد لك النقرات التي فقدتها.

ملاحظة على llms.txt#

مقترح، لا معيار llms.txt اقتراح مجتمعي بملف يلخّص محتوى الموقع للنماذج. حتى كتابة هذه السطور لا تعتمده جوجل ولا يُعرف أنه يؤثر على الظهور أو الاستشهاد. إضافته غير ضارة وتكلفتها دقائق، لكن لا تعامله كأنه robots.txt أو خريطة موقع، ولا تصدّق من يبيعه كعامل ترتيب.