ИИ-краулеры на вашем сайте объявлений: что на самом деле решает, кого из них блокировать
Боты в журнале сервера, которые вовсе не Google
Откройте необработанный лог доступа каталога объявлений хотя бы за один день, и список посетителей перестанет напоминать список людей. Рядом с Googlebot и привычными браузерами там обнаружатся GPTBot, ClaudeBot, PerplexityBot, Bytespider, CCBot и еще полдесятка названий, которые ничего не говорят, пока вы не разберетесь, что это такое. Они обращаются к каждой странице объявления, включая те, что обновились час назад, и делают это по графику, которому не следует ни один живой посетитель.
Каталог объявлений для взрослых оказывается более привлекательной мишенью для такого сканирования, чем большинство сайтов, и причины тут не связаны с характером контента. Объявления меняются постоянно, структура из городов и категорий умножает число отдельных страниц, а каждая страница несет фотографии и текст, которые краулер может собрать за один проход. Те же свойства, что делают сайт полезным для посетителя, делают его удобным объектом для скрейпинга.
Решить этот вопрос должен файл robots.txt: простой текстовый список правил, который сообщает каждому именованному краулеру, что ему разрешено забирать. Он лежит в корне домена, любой краулер может его прочитать, и боты компаний, заявляющих об уважении к этому файлу, OpenAI, Anthropic, Google, как правило, его соблюдают. Но сам файл это просьба, а не замок. Протокол никак не мешает краулеру забрать запрещенную страницу, если он того хочет, и на стороне сайта правило ничем не подкреплено, если оператор не добавит что-то сверх этого файла.
Этот разрыв сегодня значит больше, чем раньше, потому что краулеры, которые появляются в логе, вовсе не однородная масса. Одни хотят обучить на странице модель. Другие хотят прямо сейчас ответить на вопрос о ней. Третьи выполняют запрос конкретного человека, переданный через ассистента. Если относиться ко всем трем одинаково, блокируя либо все подряд, либо вообще ничего, оператор отказывается от выбора, который на самом деле в его власти.
Обучение, ответ на вопрос и запрос пользователя: три разные задачи под одним именем
У OpenAI работают три отдельных краулера, и путать их между собой самая распространенная ошибка в поспешно составленном robots.txt. GPTBot собирает страницы, которые могут пойти на обучение будущих моделей, и собственная документация OpenAI утверждает, что запрет этого бота исключает контент сайта из обучающих данных. OAI-SearchBot к обучению не имеет отношения: именно он позволяет странице появиться как источник ссылки в поисковой функции ChatGPT, и управляется он отдельно от GPTBot, так что сайт может заблокировать обучение, но при этом сохранить право быть процитированным. ChatGPT-User не похож ни на тот, ни на другой: он срабатывает, когда реальный человек задает ChatGPT прямой вопрос о странице, и OpenAI прямо говорит, что правила robots.txt на него могут не действовать, поскольку такое обращение это ответ на конкретный запрос человека, а не автоматическое сканирование.
Anthropic проводит такое же трехчастное разделение, только под другими именами. ClaudeBot сканирует страницы для обучения, и документация поддержки Anthropic утверждает, что в этой части боты компании соблюдают директивы robots.txt. Claude-User и Claude-SearchBot отвечают соответственно за живые вопросы пользователей и за цитирование в поиске, и у каждого из них есть собственный механизм отказа.
У Google версия уже, но ее легко перепутать местами. Google-Extended это вообще не краулер, а токен, который добавляется в robots.txt и определяет, может ли контент, уже собранный Googlebot, пойти на обучение Gemini или использоваться для формирования его ответов. Запрет этого токена не влияет на позиции сайта и на его присутствие в обычном поиске Google, потому что Googlebot продолжает сканировать точно так же, как раньше. То, что меняет шансы каталога объявлений оказаться упомянутым, когда ответ на вопрос пользователя формируется прямо внутри AI Overviews Google, а не выдается списком обычных ссылок, регулируется отдельной настройкой, а не Google-Extended: Overviews опираются на обычное сканирование Googlebot, поэтому блокировка токена Extended выводит сайт из обучения Gemini, но не выводит его из Overviews. Единственный рычаг, который затрагивает и Overviews, и обычные сниппеты в поиске одновременно, это семейство тегов nosnippet, а это компромисс куда серьезнее, чем кажется большинству операторов до того, как они его включают.
На практике это означает, что оператор может составить robots.txt, который запрещает все поименованные краулеры для обучения и при этом не трогает краулеры для поиска и цитирования, получая один результат без другого. Такое разделение никогда не возникает само собой, его приходится прописывать вручную, бота за ботом.
Что добавляет новая политика Cloudflare и чего она все равно не может
Robots.txt изначально создавался, чтобы отвечать на один вопрос: какие страницы можно забирать. Он никогда не был рассчитан на то, чтобы отвечать на второй вопрос: что можно делать со страницей, когда она уже получена. Именно этот второй уровень добавляет Content Signals Policy от Cloudflare, представленная в сентябре 2025 года. Теперь сайт может добавить строку Content-Signal в любую группу user-agent с тремя значениями, search, ai-input и ai-train, каждое из которых устанавливается в yes или no. Если какое-то из значений не указано, это означает, что оператор не выразил предпочтения по этому пункту, а не то, что ответ "нет".
Польза в том, что теперь оператор может в одном месте сказать: "индексируйте это для поиска, но не передавайте в модель и не обучайте на этом", а у старого синтаксиса robots.txt просто не было словаря для такого разграничения. Сайтам, подключенным к управляемому сервису robots.txt от Cloudflare, строки search=yes, ai-train=no были добавлены автоматически для примерно 3,8 миллиона доменов, которые его используют; все остальные могут прописать эти строки вручную или сгенерировать их на contentsignals.org.
Честное ограничение содержится в самом описании политики от Cloudflare: это заявленные предпочтения, а не техническое препятствие, и краулер, который решит их игнорировать, не встретит ничего, что его остановит, помимо того, что сайт выстроил отдельно, например правило файрвола или продукт для управления ботами.
Это ограничение перестало быть теоретическим еще за месяц до того, как политика вступила в силу. В августе 2025 года Cloudflare опубликовала отчет, в котором обвинила Perplexity в использовании так называемых скрытых краулеров: ботов, которые не запрашивали robots.txt перед сканированием запрещенных тестовых доменов и переключались на сигнатуру обычного браузера в стиле Chrome, как только заявленный PerplexityBot оказывался заблокирован, при этом трафик шел через диапазоны IP-адресов, которые Perplexity не публиковала. По итогам этих выводов Cloudflare исключила Perplexity из своей программы верифицированных ботов. Perplexity назвала отчет пиар-акцией и оспорила приписываемые ей действия, но не разобрала по пунктам конкретные доказательства с user-agent и IP-адресами. Независимо от того, чья позиция была ближе к истине, этот эпизод остается самой наглядной демонстрацией того, что заявленное правило, будь оно в robots.txt или в строке Content-Signal, связывает только того краулера, который сам решил ему подчиняться.
Два вида издержек, которые реально несет оператор
Первая издержка та, что отражается в счете. Каталог объявлений, работающий на бюджетном VPS или на тарифе с общим хостингом, а именно так работает большинство операторов в этой категории, обычно имеет месячный лимит на объем трафика, а не безлимитный канал, и краулер расходует этот лимит точно так же, как платящий посетитель. Краулер для обучения, который по повторяющемуся графику заново забирает каждое объявление и каждую фотографию на многогородском каталоге, создает нагрузку, не имеющую никакого отношения к людям, ради которых сайт существует, и та же инфраструктурная хрупкость, из-за которой хостинг или CDN может закрыть бизнес на классифайдах одним уведомлением о прекращении обслуживания, означает также, что аккаунт, который превышает лимит трафика из-за ботов, рискует получить точно такое же внезапное отключение. Imperva, поставщик решений для управления ботами, сообщила в своем Bad Bot Report за 2026 год, что автоматизированный трафик составил чуть больше половины всего измеренного веб-трафика, причем около 40 процентов этого объема было отнесено к вредоносному; эта цифра исходит от одного поставщика, у которого есть коммерческий интерес в самой проблеме, но направление, а именно что заметная доля трафика сайта это вовсе не люди, совпадает с тем, что видно в любом необработанном логе доступа.
Вторая издержка в счете вообще не отражается. Запрос на удаление данных из собственной базы каталога оператор может реально выполнить: найти запись, удалить ее, убедиться, что она исчезла. А у фотографии и биографии, которые краулер для обучения уже собрал в датасет, предназначенный для обучения модели общим закономерностям, такого эквивалентного запроса просто нет. У обучающего корпуса нет службы поддержки и нет подтверждения, была ли сохранена фотография конкретного рекламодателя после того, как она покинула сервер, или нет. Это более жесткая версия той же проблемы контроля, что уже касается того, что каталог объявлений выдает о рекламодателе через обычные метаданные, прикрепленные к фотографии: как только контент оказался снаружи, способность оператора отследить, куда он попал, резко падает, и рекламодатель, который спрашивает "куда в итоге попадет фотография из моего объявления", заслуживает честного ответа о пределах этой способности, а не успокоительных слов, которые оператор не может подтвердить.
Что с этим делать на практике
Начните с того, чтобы прочитать текущий robots.txt, а не предполагать, что в нем написано. На удивление много сайтов с объявлениями, собранных по шаблону, либо вообще не имеют этого файла, из-за чего каждый краулер сам решает свои границы, либо несут в себе единое общее правило "User-agent: *, Disallow: /", оставшееся от тестового окружения, которое блокирует Googlebot вместе со всеми остальными и тихо обнуляет весь органический поисковый канал сайта без единого сообщения об ошибке, по которому это можно было бы заметить.
Сначала решите вопрос с обучением, потому что здесь есть реальный, недвусмысленный ответ. Пропишите явные правила запрета как минимум для GPTBot, ClaudeBot, Google-Extended, Bytespider и CCBot, поскольку они покрывают основные краулеры для обучения базовых моделей с публичными, документированными строками user-agent. Это решение, которое оператор может принять осознанно, а не по умолчанию.
Вопрос поиска и цитирования решайте отдельно, и решайте его по-настоящему, а не копируя то же правило, что было применено к обучению. OAI-SearchBot, Claude-SearchBot и PerplexityBot определяют, может ли каталог быть процитирован, когда кто-то задает AI-ассистенту вопрос, на который могло бы ответить конкретное объявление; блокировка этих ботов означает отказ от такой видимости, разрешение ее сохраняет, и нет никакой причины, по которой ответ здесь должен совпадать с тем, что дан строкой выше для GPTBot и ClaudeBot.
Если сайт работает на Cloudflare, проверьте, были ли строки Content-Signal добавлены автоматически и совпадают ли эти настройки по умолчанию с реальными предпочтениями оператора, поскольку автоматическая настройка разумна, но универсальна, а не подобрана под конкретный сайт. Если строк нет, их можно прописать вручную за несколько минут или сгенерировать на contentsignals.org и просто вставить.
Наконец, считайте правила robots.txt и Content-Signal легкими девяноста процентами задачи и примите, что оставшихся краулеров, тех, что готовы делать именно то, в чем Cloudflare обвинила Perplexity, никаким текстовым файлом не остановить, как бы аккуратно он ни был составлен. Чтобы их выявлять, нужно отслеживать случаи, когда имя заявленного бота приходит с IP-адреса за пределами его опубликованного диапазона, и это может делать автоматически функция управления ботами в составе CDN, если бюджет позволяет ею пользоваться, либо это можно замечать вручную в логе доступа при периодической проверке. В любом случае цель не в том, чтобы устранить всех нежелательных краулеров целиком, это недостижимо, а в том, чтобы тем, кто действительно готов слушать, было четко сказано, какую из трех задач им разрешено выполнять.
