زاحفات الذكاء الاصطناعي على موقع إعلاناتك: ما الذي يحدد فعليا أيها يجب حظره
الروبوتات التي تظهر في سجلّ خادمك ولا علاقة لها بغوغل
افتح سجل الوصول الخام لدليل تصنيفات ولو ليوم واحد فقط، فستجد أن قائمة الزوار لم تعد تبدو كقائمة بشر. فإلى جانب Googlebot والمتصفحات المعتادة، تظهر GPTBot وClaudeBot وPerplexityBot وBytespider وCCBot، وأسماء أخرى كثيرة لا تعني شيئا حتى تبحث عنها. فهذه البرامج تزور كل صفحة إعلان، بما في ذلك الصفحات التي عُدّلت منذ ساعة فقط، وتفعل ذلك بوتيرة منتظمة لا يسير عليها أي زائر بشري.
ودليل التصنيفات للبالغين هدف أكثر جاذبية لهذا النوع من الزحف مقارنة بمعظم المواقع، لأسباب لا علاقة لها بكون المحتوى موجها للبالغين. فالإعلانات تتغير باستمرار، وبنية المدن والفئات تضاعف عدد الصفحات المستقلة، وكل صفحة تحمل صورا ونصوصا يمكن لبرنامج الزحف جمعها في مسح واحد. والمزايا نفسها التي تجعل الموقع مفيدا للزائر هي ما يجعله هدفا سهلا للاستخراج الآلي.
ومن المفترض أن يحسم ملف robots.txt هذا الأمر: فهو قائمة نصية من القواعد تخبر كل برنامج زحف مسمى بما يحق له جلبه. يوجد هذا الملف في جذر النطاق، ويمكن لأي برنامج زحف قراءته، والشركات التي تعلن احترامها له، مثل OpenAI وAnthropic وغوغل، تلتزم به عموما. لكن الملف ليس أكثر من طلب، لا قفل حقيقي. فلا شيء في البروتوكول يمنع برنامج زحف من جلب صفحة محظورة إذا قرر ذلك، ولا شيء من جهة الموقع يفرض القاعدة فعليا ما لم يضف مشغّل الموقع وسيلة أخرى فوقها.
وهذه الثغرة أصبحت أكثر أهمية من ذي قبل، لأن برامج الزحف التي تظهر في ذلك السجل لا تنتمي إلى فئة واحدة. فبعضها يريد تدريب نموذج على الصفحة، وبعضها يريد الإجابة عن سؤال بشأنها فورا، وبعضها ليس إلا طلب شخص حقيقي موجّها عبر مساعد ذكي. ومعاملة هذه الفئات الثلاث بالطريقة نفسها، بحجب كل شيء أو عدم حجب أي شيء، يهدر خيارا يمكن لمشغّل الموقع أن يستخدمه بالفعل.
التدريب والإجابة و«سؤال من مستخدم»: ثلاث مهام مختلفة تتقنّع باسم واحد
تشغّل OpenAI ثلاثة برامج زحف مستقلة، والخلط بينها هو الخطأ الأكثر شيوعا في أي ملف robots.txt يُكتب على عجل. فـGPTBot يجمع الصفحات التي قد تُستخدم لتدريب نماذج مستقبلية، وتوضح وثائق OpenAI نفسها أن حظره يُبقي محتوى الموقع خارج بيانات ذلك التدريب. أما OAI-SearchBot فلا علاقة له بالتدريب: فهو ما يسمح لصفحة بالظهور كمصدر مُستشهد به في ميزة البحث داخل ChatGPT، ويُتحكم فيه بشكل مستقل عن GPTBot، بحيث يمكن لموقع ما حظر التدريب مع بقائه مؤهلا للاستشهاد به. وChatGPT-User مختلف عن الاثنين: فهو يعمل عندما يسأل شخص حقيقي ChatGPT سؤالا مباشرا عن صفحة ما، وتذكر OpenAI بوضوح أن قواعد robots.txt قد لا تنطبق عليه، لأن الجلب هنا استجابة لطلب بشري محدد وليس زحفا آليا.
وترسم Anthropic نفس التقسيم الثلاثي بأسماء مختلفة. فـClaudeBot يزحف لأغراض التدريب، وتذكر وثائق دعم Anthropic أن روبوتاتها تلتزم بتوجيهات robots.txt في هذا الجانب. أما Claude-User وClaude-SearchBot فيغطيان على التوالي حالة السؤال المباشر وحالة الاستشهاد في نتائج البحث، ولكل منهما خيار استبعاد مستقل.
أما نسخة غوغل فأضيق نطاقا لكنها كثيرا ما تُفهم بشكل معكوس. فـGoogle-Extended ليس برنامج زحف على الإطلاق، بل هو رمز يُضاف إلى robots.txt يتحكم في إمكانية استخدام المحتوى الذي سبق أن جمعه Googlebot لتدريب Gemini أو لتأسيس إجاباته عليه. وحظره لا يؤثر على ترتيب الموقع أو ظهوره في نتائج بحث غوغل العادية، لأن Googlebot يستمر في الزحف كما كان بالضبط. أما ما يغيّر حظوظ دليل التصنيفات في الظهور عندما يُجاب عن سؤال ما داخل ملخصات الذكاء الاصطناعي من غوغل بدل قائمة الروابط الزرقاء المعتادة فهو إعداد منفصل تماما عن Google-Extended: فهذه الملخصات تعتمد على زحف Googlebot العادي نفسه، وبالتالي فإن حظر رمز Extended يُخرج الموقع من تدريب Gemini دون أن يُخرجه من هذه الملخصات. والأداة الوحيدة التي تؤثر في الملخصات ومقتطفات البحث العادية معا هي عائلة وسوم nosnippet، وهي مقايضة أكبر بكثير مما يتصوره معظم المشغّلين قبل أن يُفعّلوها.
والنتيجة العملية هي أن مشغّل الموقع يستطيع كتابة ملف robots.txt يحظر كل برامج الزحف المخصصة للتدريب المذكورة بالاسم، مع ترك برامج زحف البحث والاستشهاد دون تغيير، فيحصل على إحدى النتيجتين دون الأخرى. ولا أحد يصل إلى هذا التمييز بالصدفة، بل يجب كتابته يدويا، برنامج زحف تلو الآخر.
ما تضيفه سياسة Cloudflare الجديدة، وما تبقى عاجزة عنه
صُمم ملف robots.txt للإجابة عن سؤال واحد: أي الصفحات يمكن جلبها. ولم يُصمم أبدا للإجابة عن سؤال ثانٍ: ما المسموح بفعله بالصفحة بعد الحصول عليها. وسياسة Content Signals Policy التي أطلقتها Cloudflare في سبتمبر 2025 تضيف تحديدا هذه الطبقة الثانية. فبإمكان أي موقع الآن إضافة سطر Content-Signal تحت أي مجموعة user-agent بثلاث قيم هي search وai-input وai-train، تُحدد كل منها بـyes أو no. وحذف أحد هذه القيم لا يعني أن الجواب هو no، بل يعني فقط أن مشغّل الموقع لم يُعبّر عن تفضيله بشأن ذلك الاستخدام.
وتكمن فائدة هذا النظام في أنه يتيح لمشغّل الموقع أن يقول في مكان واحد: «فهرسوا هذا للبحث، لكن لا تُدخلوه إلى أي نموذج ولا تدرّبوا عليه»، وهو تمييز لم يكن لصيغة robots.txt القديمة مفردات تعبّر عنه. والمواقع التي تستخدم خدمة robots.txt المُدارة من Cloudflare حصلت تلقائيا على search=yes وai-train=no لنحو 3.8 مليون نطاق يستخدمون هذه الخدمة؛ وأي موقع آخر يمكنه كتابة هذه الأسطر يدويا أو توليدها عبر contentsignals.org.
والقيد الصريح موجود في وصف Cloudflare نفسها لهذه السياسة: فهذه تفضيلات مُعلنة، لا حاجز تقني، وبرنامج الزحف الذي يقرر تجاهلها لا يواجه أي عائق حقيقي يوقفه، إلا ما يضيفه الموقع بشكل منفصل، كقاعدة في جدار حماية أو منتج لإدارة الروبوتات.
وهذا القيد لم يبق نظريا طويلا، بل تأكد بالفعل شهرا واحدا قبل إطلاق السياسة. فقد نشرت Cloudflare في أغسطس 2025 تقريرا يتهم Perplexity بتشغيل ما وصفته بروبوتات متسللة: روبوتات لم تكن تجلب ملف robots.txt قبل زحفها إلى نطاقات اختبار محظورة، وكانت تتحول إلى توقيع متصفح عام يشبه Chrome فور حظر PerplexityBot المُعلن، وتعمل عبر نطاقات عناوين IP لم تكن Perplexity قد نشرتها. وبناء على هذه النتائج، أزالت Cloudflare شركة Perplexity من برنامجها للروبوتات الموثقة. ووصفت Perplexity التقرير بأنه حيلة دعائية وطعنت في صحة إسناد هذا النشاط إليها، لكنها لم تردّ نقطة بنقطة على أدلة user-agent وعناوين IP المحددة التي قدمتها Cloudflare. وبصرف النظر عن الطرف الأقرب إلى الصواب، تبقى هذه الواقعة أوضح دليل متاح على أن أي قاعدة مُعلنة، سواء في robots.txt أو في سطر Content-Signal، لا تُلزم إلا برنامج زحف قرر هو نفسه الالتزام بها.
التكلفتان اللتان يتحملهما مشغّل الموقع فعليا
التكلفة الأولى هي تلك التي تظهر في الفاتورة. فدليل التصنيفات الذي يعمل على VPS محدود التكلفة أو على خطة استضافة مشتركة، وهو ما يعتمده معظم المشغّلين في هذا القطاع فعليا، يأتي عادة بحصة شهرية من نقل البيانات لا بخط غير محدود، ويُحتسب استهلاك برنامج الزحف من تلك الحصة تماما كاستهلاك أي زائر يدفع. وبرنامج زحف مخصص للتدريب يعيد جلب كل إعلان وكل صورة في دليل متعدد المدن بوتيرة متكررة يضيف حملا لا علاقة له بالأشخاص الذين وُجد الموقع لخدمتهم، كما أن الهشاشة نفسها في البنية التحتية التي تسمح لشركة استضافة أو CDN بإنهاء نشاط موقع تصنيفات بإشعار إلغاء مفاجئ تعني أيضا أن أي حساب يتجاوز حدود الاستخدام بسبب حركة الروبوتات معرّض لنفس هذا النوع من الإغلاق المفاجئ. وقد ذكرت شركة Imperva، وهي مزود خدمات إدارة الروبوتات، في تقريرها Bad Bot Report لعام 2026 أن حركة المرور الآلية شكّلت ما يزيد قليلا عن نصف إجمالي حركة الويب المقاسة، وأن نحو 40 في المئة من ذلك الإجمالي صُنّف على أنه ضار؛ وهذا الرقم صادر عن مزود واحد له مصلحة تجارية في هذه المشكلة، لكن الاتجاه العام، وهو أن حصة معتبرة من فاتورة النطاق الترددي لموقع ما ليست حركة بشرية على الإطلاق، يتوافق مع ما يظهر في أي سجل وصول خام.
أما التكلفة الثانية فلا تظهر في أي فاتورة على الإطلاق. فطلب حذف سجل من قاعدة بيانات الدليل نفسه أمر يستطيع المشغّل تنفيذه فعلا: يحدد السجل، يحذفه، ويتأكد من زواله. لكن صورة ونصا تعريفيا سبق أن جمعهما برنامج زحف مخصص للتدريب في مجموعة بيانات هدفها تعليم نموذج أنماطا عامة، لا يوجد له طلب مماثل يمكن إرساله. فلا عنوان دعم تقني يمكن التوجه إليه بخصوص مجموعة بيانات تدريبية، ولا تأكيد بأن صورة معلن معين احتُفظ بها أو لم يُحتفظ بها بعد مغادرتها الخادم. وهذا نسخة أشد صعوبة من مشكلة التحكم التي تنطبق أصلا على ما يسرّبه موقع تصنيفات عن المعلن من خلال البيانات الوصفية العادية المرفقة بالصورة: فبمجرد خروج المحتوى، تتراجع قدرة المشغّل على تتبع مصيره بشكل كبير، وأي معلن يسأل «أين ينتهي مصير صورة إعلاني» يستحق جوابا صادقا عن هذا الحد، لا تطمينا لا يستطيع المشغّل ضمانه.
ما ينبغي فعله عمليا حيال هذا الأمر
البداية تكون بقراءة ملف robots.txt الحالي فعليا، لا بافتراض محتواه. فعدد مفاجئ من مواقع التصنيفات المبنية من قالب جاهز لا يحتوي على هذا الملف أصلا، وهو ما يترك لكل برنامج زحف حرية تحديد حدوده الخاصة، أو يحمل سطرا شاملا واحدا من نوع "User-agent: *, Disallow: /" متبقيا من بيئة تجريبية سابقة، وهذا يحظر Googlebot مع كل شيء آخر ويُصفّر بصمت كامل قناة البحث العضوي للموقع دون أي رسالة خطأ تنبّه إلى ذلك.
يُحسم سؤال التدريب أولا، لأنه السؤال الذي له جواب حقيقي وواضح. تُكتب قواعد حظر صريحة لـGPTBot وClaudeBot وGoogle-Extended وBytespider وCCBot كحد أدنى، لأن هذه البرامج تغطي أهم برامج زحف تدريب النماذج الأساسية ذات معرّفات user-agent موثقة وعلنية. وهذا قرار يمكن لمشغّل الموقع اتخاذه عن وعي وقصد لا بالتخلف عن اتخاذ أي قرار.
ويُحسم سؤال البحث والاستشهاد بشكل مستقل تماما، ويُحسم فعليا بدل نسخ القاعدة ذاتها المطبقة على التدريب. فـOAI-SearchBot وClaude-SearchBot وPerplexityBot هي ما يحدد إمكانية الاستشهاد بالدليل عندما يسأل أحدهم مساعدا ذكيا سؤالا يمكن لإعلان ما أن يجيب عنه؛ وحظر هذه البرامج يُضيّع تلك الظهورية، والسماح لها يحافظ عليها، ولا يوجد سبب يفرض أن يتطابق هذا الجواب مع الجواب المُعطى لـGPTBot وClaudeBot في السطر الذي يسبقه.
وإذا كان الموقع يعمل على Cloudflare، فيجب التحقق مما إذا كانت أسطر Content-Signal قد أُضيفت تلقائيا ومما إذا كانت الإعدادات الافتراضية تتوافق مع تفضيل المشغّل الفعلي، لأن الإعداد التلقائي معقول لكنه عام الطابع وغير مُصمم خصيصا لموقع واحد بعينه. وإذا لم يكن كذلك، يمكن كتابة هذه الأسطر يدويا في دقائق معدودة أو توليدها عبر contentsignals.org ولصقها في الملف.
وفي النهاية، يجب التعامل مع قواعد robots.txt وContent-Signal باعتبارها الجزء السهل الذي يمثل تسعين في المئة من الحل، والتسليم بأن ما تبقى من برامج الزحف، أي تلك المستعدة لفعل ما اتهمت Cloudflare شركة Perplexity بفعله، لن يوقفها ملف نصي بصرف النظر عن دقة كتابته. وضبط هذه البرامج يتطلب رصد ظهور اسم روبوت مُعلن قادم من عنوان IP خارج نطاقه المنشور، وهو أمر تستطيع ميزة إدارة الروبوتات في أي CDN الإشارة إليه تلقائيا إذا سمحت الموازنة باقتنائها، أو يمكن رصده يدويا في سجل الوصول لمن يراجعه بشكل دوري. وفي كل الحالات، فإن الهدف ليس القضاء على كل برنامج زحف غير مرغوب فيه، وهذا أمر غير ممكن أصلا، بل التأكد من أن البرامج التي ستلتزم فعلا بالقواعد قد عُرّفت بوضوح بأي من المهام الثلاث يُسمح لها بالقيام به.
