Os crawlers de IA no seu site de anúncios: o que realmente decide quais bloquear
Os bots no seu log de servidor que não são o Google
Basta abrir o log de acesso bruto de um diretório de classificados por um único dia para que a lista de visitantes deixe de parecer uma lista de pessoas. Ao lado do Googlebot e dos navegadores habituais aparecem GPTBot, ClaudeBot, PerplexityBot, Bytespider, CCBot e mais meia dúzia de nomes que não significam nada até serem pesquisados. Eles acessam todas as páginas de anúncio, incluindo as que mudaram uma hora antes, e fazem isso seguindo uma periodicidade que nenhum visitante humano segue.
Um diretório de classificados adultos é um alvo melhor para esse tipo de rastreamento do que a maioria dos sites, por motivos que nada têm a ver com o conteúdo ser adulto. Os anúncios mudam constantemente, a estrutura de cidades e categorias multiplica o número de páginas distintas, e cada uma delas traz fotos e textos que um rastreador consegue coletar em uma única passagem. As mesmas características que tornam o site útil para o visitante o tornam eficiente para ser raspado.
O robots.txt é o arquivo que deveria resolver essa questão: uma lista em texto simples de regras que diz a cada rastreador identificado o que ele pode buscar. Ele fica na raiz do domínio, qualquer rastreador pode lê-lo, e os construídos por empresas que afirmam respeitá-lo (OpenAI, Anthropic, Google) geralmente o fazem. Mas o arquivo é um pedido, não um cadeado. Nada no protocolo impede um rastreador de buscar uma página proibida mesmo assim, e nada do lado do site aplica a regra, a menos que o operador adicione outra camada por conta própria.
Essa lacuna importa mais do que antes, porque os rastreadores que aparecem nesse log não são todos iguais. Alguns querem treinar um modelo com a página. Alguns querem responder a uma pergunta sobre ela agora mesmo. Alguns são o próprio pedido de uma pessoa, encaminhado por um assistente. Tratar os três da mesma forma, bloqueando tudo ou não bloqueando nada, desperdiça uma escolha que o operador pode, de fato, fazer.
Treinar, responder e "um usuário perguntou" são três funções diferentes disfarçadas de uma só
A OpenAI opera três rastreadores distintos, e confundi-los é o erro mais comum em um robots.txt escrito às pressas. O GPTBot coleta páginas que podem ser usadas para treinar futuros modelos, e a própria documentação da OpenAI afirma que bloqueá-lo mantém o conteúdo do site fora desses dados de treinamento. O OAI-SearchBot não tem relação com o treinamento: é ele que permite que uma página apareça como fonte citada no recurso de busca do ChatGPT, e é controlado separadamente do GPTBot, de modo que um site pode bloquear o treinamento e ainda assim permanecer elegível para ser citado. O ChatGPT-User não é nenhum dos dois: ele entra em ação quando uma pessoa real faz ao ChatGPT uma pergunta direta sobre uma página, e a OpenAI declara claramente que as regras do robots.txt podem não se aplicar a ele, porque a busca é uma resposta a um pedido humano específico, e não um rastreamento automatizado.
A Anthropic traça a mesma divisão em três sob nomes diferentes. O ClaudeBot rastreia para fins de treinamento, e a documentação de suporte da Anthropic afirma que seus bots respeitam as diretivas do robots.txt nesse ponto. O Claude-User e o Claude-SearchBot cobrem, respectivamente, os casos de pergunta em tempo real e de citação em buscas, cada um com sua própria opção de exclusão.
A versão do Google é mais restrita, mas fácil de entender ao contrário. O Google-Extended não é um rastreador; é um token adicionado ao robots.txt que controla se o conteúdo que o Googlebot já buscou pode ser usado para treinar o Gemini ou fundamentar suas respostas. Bloqueá-lo não afeta o posicionamento do site nem sua presença na busca comum do Google, porque o Googlebot continua rastreando exatamente como antes. O que muda as chances de um diretório de classificados aparecer quando a pergunta de alguém é respondida dentro dos AI Overviews do Google, em vez de em uma lista de links azuis é um ajuste separado, e não o Google-Extended: os Overviews se baseiam no rastreamento comum do Googlebot, de modo que bloquear o token Extended retira o site do treinamento do Gemini sem retirá-lo dos Overviews. A única alavanca que afeta ao mesmo tempo os Overviews e os trechos comuns de busca é a família de tags nosnippet, uma troca muito maior do que a maioria dos operadores percebe antes de ativá-la.
Na prática, isso significa que um operador pode escrever um robots.txt que bloqueia todos os rastreadores de treinamento identificados, deixando intactos os rastreadores de busca e citação, obtendo um resultado sem o outro. Ninguém chega a essa distinção por acaso; ela precisa ser escrita à mão, bot por bot.
O que a nova política da Cloudflare acrescenta, e o que ela ainda não consegue fazer
O robots.txt foi criado para responder a uma única pergunta: quais páginas você pode buscar. Nunca foi criado para responder a uma segunda: o que você pode fazer com a página depois de obtê-la. A Content Signals Policy da Cloudflare, lançada em setembro de 2025, acrescenta exatamente essa segunda camada. Um site agora pode incluir uma linha Content-Signal sob qualquer grupo de user-agent com três valores, search, ai-input e ai-train, cada um definido como yes ou no. Deixar um deles de fora significa que o operador não declarou uma preferência para esse uso, não que a resposta seja não.
Isso é útil justamente porque permite que um operador diga, em um só lugar: "indexe isso para busca, mas não alimente um modelo com isso e não treine com isso", uma distinção para a qual a sintaxe antiga do robots.txt simplesmente não tinha vocabulário. Os sites que usam o serviço gerenciado de robots.txt da Cloudflare receberam automaticamente search=yes, ai-train=no, para os cerca de 3,8 milhões de domínios que utilizam esse serviço; qualquer outro operador pode escrever as linhas manualmente ou gerá-las em contentsignals.org.
A limitação, admitida pela própria Cloudflare na descrição da política, é a seguinte: trata-se de preferências declaradas, não de uma barreira técnica, e um rastreador que decida ignorá-las não encontra nada que o impeça, além do que o site tenha implementado separadamente, como uma regra de firewall ou um produto de gestão de bots.
Essa limitação deixou de ser teórica um mês antes mesmo de a política entrar em vigor. Em agosto de 2025, a Cloudflare publicou um relatório acusando a Perplexity de operar o que chamou de rastreadores furtivos: bots que não buscavam o robots.txt antes de rastrear domínios de teste proibidos, e que passavam a usar uma assinatura de navegador genérica no estilo Chrome quando o PerplexityBot declarado era bloqueado, roteados por faixas de IP que a Perplexity não havia publicado. A Cloudflare removeu a Perplexity de seu programa de bots verificados em razão dessas descobertas. A Perplexity classificou o relatório como um golpe publicitário e contestou a atribuição, mas não refutou ponto a ponto as evidências específicas de user-agent e IP. Independentemente de qual lado estava mais certo, o episódio é a demonstração mais clara disponível de que uma regra declarada, seja no robots.txt, seja em uma linha Content-Signal, só vincula um rastreador que tenha decidido se deixar vincular por ela.
Os dois custos que o operador realmente carrega
O primeiro custo é o que aparece na fatura. Um diretório de classificados hospedado em um VPS econômico ou em um plano de hospedagem compartilhada, que é onde a maioria dos operadores dessa categoria efetivamente opera, costuma ter uma cota mensal de transferência de dados, em vez de um canal ilimitado, e um rastreador consome essa cota exatamente como um visitante pagante consumiria. Um rastreador de treinamento que busca repetidamente todos os anúncios e fotos de um diretório com várias cidades, em uma rotina recorrente, acrescenta uma carga que nada tem a ver com as pessoas que o site existe para atender, e a mesma fragilidade de infraestrutura que permite a uma hospedagem ou CDN encerrar um negócio de classificados com um simples aviso de rescisão também significa que uma conta que dispara uma suspensão baseada em uso por causa de tráfego de bots fica exposta a esse mesmo tipo de encerramento abrupto. A Imperva, fornecedora de soluções de gestão de bots, relatou em seu Bad Bot Report de 2026 que o tráfego automatizado representou pouco mais da metade de todo o tráfego web medido, com cerca de 40% desse total classificado como malicioso; o número vem de um fornecedor com interesse comercial no problema, mas a tendência, de que uma parcela significativa da conta de banda larga de um site não é, de forma alguma, tráfego humano, é compatível com o que aparece em qualquer log de acesso bruto.
O segundo custo não aparece em fatura alguma. Um pedido de exclusão feito contra o próprio banco de dados do diretório é algo que o operador consegue efetivamente executar: localizar o registro, removê-lo, confirmar que ele desapareceu. Já uma foto e uma biografia que um rastreador de treinamento já coletou para um conjunto de dados destinado a ensinar padrões gerais a um modelo não têm um pedido equivalente a enviar. Não existe um endereço de suporte para um corpus de treinamento, nem confirmação de que a imagem de um anunciante específico foi ou não retida depois de sair do servidor. Trata-se de uma versão diferente, e mais dura, do mesmo problema de controle que já se aplica a o que um site de classificados revela sobre um anunciante por meio dos metadados comuns anexados a uma foto: uma vez que o conteúdo sai, a capacidade do operador de rastrear seu destino cai drasticamente, e um anunciante que pergunta "onde vai parar a foto do meu anúncio" merece uma resposta honesta sobre esse limite, em vez de uma garantia que o operador não tem como cumprir.
O que fazer, na prática, a respeito disso
Comece lendo o robots.txt atual, em vez de supor o que ele diz. Um número surpreendente de sites de classificados montados a partir de um modelo pronto simplesmente não tem esse arquivo, o que deixa cada rastreador decidir seus próprios limites, ou carrega um único "User-agent: *, Disallow: /" genérico, esquecido de um ambiente de testes, que bloqueia o Googlebot junto com todo o resto e zera silenciosamente todo o canal de busca orgânica do site, sem nenhuma mensagem de erro para alertar sobre isso.
Decida primeiro a questão do treinamento, porque é a que tem uma resposta objetiva. Escreva regras explícitas de bloqueio para GPTBot, ClaudeBot, Google-Extended, Bytespider e CCBot, no mínimo, já que esses nomes cobrem os principais rastreadores de treinamento de modelos de base com strings de user-agent públicas e documentadas. É uma decisão que o operador pode tomar deliberadamente, em vez de deixar por padrão.
Decida a questão da busca e da citação separadamente, e decida de fato, em vez de simplesmente copiar a regra usada para o treinamento. OAI-SearchBot, Claude-SearchBot e PerplexityBot determinam se o diretório pode ser citado quando alguém faz a um assistente de IA uma pergunta que um anúncio poderia responder; bloqueá-los sacrifica essa visibilidade, permiti-los a preserva, e não há motivo para que a resposta tenha de coincidir com a que foi dada ao GPTBot e ao ClaudeBot na linha anterior.
Se o site roda na Cloudflare, verifique se as linhas Content-Signal foram adicionadas automaticamente e se os valores padrão correspondem à preferência real do operador, já que a configuração automática é sensata, mas genérica, não ajustada a um site específico. Se não corresponderem, as linhas podem ser escritas manualmente em poucos minutos, ou geradas em contentsignals.org e coladas no arquivo.
Por fim, trate as regras de robots.txt e de Content-Signal como os noventa por cento fáceis, e aceite que os rastreadores restantes, os dispostos a fazer o que a Cloudflare acusou a Perplexity de fazer, não serão detidos por um arquivo de texto, por mais cuidadosamente que ele seja escrito. Detectar esses casos exige observar quando o nome de um bot declarado chega a partir de um endereço IP fora da faixa publicada por ele, algo que um recurso de gestão de bots de uma CDN pode sinalizar automaticamente, se o orçamento permitir um, ou que aparece manualmente no log de acesso para quem o verifica periodicamente. De um jeito ou de outro, o objetivo não é eliminar todo rastreador indesejado, o que não é viável; é garantir que os que de fato vão respeitar as regras sejam informados, com clareza, sobre qual das três funções têm permissão para desempenhar.
