Los rastreadores de IA en tu sitio de anuncios: qué decide realmente cuáles bloquear
Los bots que aparecen en el registro de su servidor y que no son Google
Basta revisar el registro de acceso (access log) sin procesar de un directorio de clasificados durante un solo día para notar que la lista de visitantes deja de parecer una lista de personas. Junto a Googlebot y los navegadores habituales aparecen GPTBot, ClaudeBot, PerplexityBot, Bytespider, CCBot y media docena de nombres que no significan nada hasta que se investigan. Visitan cada página de anuncio, incluidas las que cambiaron hace una hora, y lo hacen siguiendo un horario que ningún visitante humano sigue.
Un directorio de clasificados para adultos es un blanco más atractivo para este tipo de rastreo que la mayoría de los sitios, por razones que no tienen nada que ver con que el contenido sea para adultos. Los anuncios cambian constantemente, la estructura de ciudades y categorías multiplica la cantidad de páginas distintas, y cada una contiene fotos y texto que un rastreador puede recolectar en una sola pasada. Las mismas características que hacen útil al sitio para un visitante lo hacen eficiente para extraer datos (scraping).
El archivo robots.txt es el que debería resolver esto: una lista de reglas en texto simple que indica a cada rastreador identificado qué puede descargar. Se ubica en la raíz del dominio, cualquier rastreador puede leerlo, y los que construyen empresas que dicen respetarlo (OpenAI, Anthropic, Google) generalmente lo hacen. Pero el archivo es una solicitud, no un candado. Nada en el protocolo impide que un rastreador descargue de todos modos una página prohibida, y nada del lado del sitio web hace cumplir la regla a menos que el operador agregue algo más además de ella.
Esa brecha importa más que antes, porque los rastreadores que aparecen en ese registro no son todos iguales. Algunos quieren entrenar un modelo con la página. Otros quieren responder una pregunta sobre ella en este mismo momento. Otros son la propia solicitud de una persona, enrutada a través de un asistente. Tratar a los tres por igual, bloqueando todo o no bloqueando nada, desecha una decisión que el operador realmente puede tomar.
Entrenamiento, respuesta y "una persona preguntó": tres tareas distintas con un solo nombre
OpenAI opera tres rastreadores independientes, y confundirlos es el error más común en un robots.txt redactado a las apuradas. GPTBot recopila páginas que pueden usarse para entrenar futuros modelos, y la propia documentación de OpenAI indica que bloquearlo mantiene el contenido de un sitio fuera de esos datos de entrenamiento. OAI-SearchBot no tiene relación con el entrenamiento: es lo que permite que una página aparezca como fuente citada en la función de búsqueda de ChatGPT, y se controla por separado de GPTBot, de modo que un sitio puede bloquear el entrenamiento y seguir siendo elegible para ser citado. ChatGPT-User no es ninguno de los dos casos anteriores: se activa cuando una persona real le hace a ChatGPT una pregunta directa sobre una página, y OpenAI afirma con claridad que las reglas de robots.txt pueden no aplicarse en ese caso, porque la descarga responde a una solicitud humana específica y no a un rastreo automatizado.
Anthropic traza la misma división en tres bajo nombres distintos. ClaudeBot rastrea con fines de entrenamiento, y la documentación de soporte de Anthropic indica que sus bots respetan las directivas de robots.txt en ese frente. Claude-User y Claude-SearchBot cubren, respectivamente, los casos de pregunta en vivo y de citación en búsquedas, cada uno con su propia opción de exclusión.
La versión de Google es más acotada, pero fácil de interpretar al revés. Google-Extended no es un rastreador en absoluto; es un token que se agrega a robots.txt y que controla si el contenido que Googlebot ya descargó puede usarse para entrenar a Gemini o para fundamentar sus respuestas. Bloquearlo no afecta el posicionamiento ni la inclusión de un sitio en la búsqueda común de Google, porque Googlebot sigue rastreando exactamente igual que antes. Lo que cambia las probabilidades de que un directorio de clasificados aparezca cuando la pregunta de alguien se responde dentro de los AI Overviews de Google en lugar de en una lista de enlaces azules es una configuración distinta, no Google-Extended: los Overviews se nutren del rastreo normal de Googlebot, de modo que bloquear el token Extended excluye a un sitio del entrenamiento de Gemini sin excluirlo de los Overviews. La única palanca que afecta a la vez a los Overviews y a los fragmentos (snippets) comunes de búsqueda es la familia de etiquetas nosnippet, que implica una concesión mayor de lo que la mayoría de los operadores advierte antes de activarla.
La consecuencia práctica es que un operador puede escribir un robots.txt que bloquee a todos los rastreadores de entrenamiento identificados y, al mismo tiempo, deje intactos a los rastreadores de búsqueda y de citación, obteniendo un resultado sin el otro. Nadie llega a esa distinción por accidente: hay que escribirla a mano, bot por bot.
Lo que agrega la nueva política de Cloudflare, y lo que todavía no puede hacer
Robots.txt se diseñó para responder una sola pregunta: qué páginas se pueden descargar. Nunca se diseñó para responder una segunda: qué se puede hacer con la página una vez que se la tiene. La Content Signals Policy de Cloudflare, presentada en septiembre de 2025, agrega exactamente esa segunda capa. Un sitio ya puede incluir una línea Content-Signal bajo cualquier grupo de user-agent con tres valores (search, ai-input y ai-train), cada uno fijado en yes o no. Omitir uno de ellos significa que el operador no manifestó una preferencia para ese uso, no que la respuesta sea no.
Esto resulta útil justamente porque permite que un operador diga, en un solo lugar, "indexa esto para la búsqueda, pero no lo alimentes a un modelo ni entrenes con ello", una distinción para la cual la sintaxis antigua de robots.txt no tenía vocabulario. A los sitios que usan el servicio administrado de robots.txt de Cloudflare se les agregó automáticamente search=yes, ai-train=no, algo que abarca a los aproximadamente 3,8 millones de dominios que utilizan ese servicio; cualquier otro puede escribir esas líneas a mano o generarlas en contentsignals.org.
La limitación honesta está en la propia descripción que Cloudflare hace de la política: se trata de preferencias declaradas, no de una barrera técnica, y un rastreador que decide ignorarlas no encuentra nada que lo detenga más allá de lo que el sitio haya implementado por separado, como una regla de firewall o un producto de gestión de bots.
Esa limitación dejó de ser teórica un mes antes de que la política siquiera se lanzara. En agosto de 2025, Cloudflare publicó un informe en el que acusaba a Perplexity de operar lo que denominó rastreadores encubiertos (stealth crawlers): bots que no consultaban robots.txt antes de rastrear dominios de prueba con acceso prohibido, y que cambiaban a una firma de navegador genérica al estilo Chrome en cuanto se bloqueaba al PerplexityBot declarado, enrutados a través de rangos de IP que Perplexity no había publicado. Cloudflare retiró a Perplexity de su programa de bots verificados a raíz de estos hallazgos. Perplexity calificó el informe como una maniobra publicitaria y cuestionó la atribución, pero no refutó punto por punto la evidencia específica de user-agent e IP. Sin importar quién tuviera más razón, el episodio es la demostración más clara disponible de que una regla declarada, ya sea en robots.txt o en una línea Content-Signal, solo obliga a un rastreador que decidió dejarse obligar por ella.
Los dos costos que realmente asume un operador
El primer costo es el que aparece en una factura. Un directorio de clasificados que funciona sobre un VPS económico o un plan de hosting compartido, que es donde realmente opera la mayoría de los operadores de esta categoría, suele tener una cuota mensual de transferencia de datos en lugar de un ancho de banda ilimitado, y un rastreador consume esa cuota exactamente igual que un visitante que paga. Un rastreador de entrenamiento que vuelve a descargar cada anuncio y cada foto de un directorio con presencia en varias ciudades, de forma recurrente, agrega una carga que no tiene nada que ver con las personas a las que el sitio existe para servir, y la misma fragilidad de infraestructura que permite que un proveedor de hosting o una CDN termine un negocio de clasificados con un simple aviso de cancelación implica también que una cuenta que dispara una suspensión por exceso de uso debido al tráfico de bots queda expuesta exactamente a ese tipo de cierre abrupto. Imperva, un proveedor de gestión de bots, informó en su Bad Bot Report 2026 que el tráfico automatizado representó poco más de la mitad de todo el tráfico web medido, con alrededor del 40 por ciento de ese total clasificado como malicioso; la cifra proviene de un solo proveedor con un interés comercial en el problema, pero la tendencia (que una porción considerable de la factura de ancho de banda de un sitio no es, en absoluto, tráfico humano) coincide con lo que aparece en cualquier registro de acceso sin procesar.
El segundo costo no aparece en ninguna factura. Una solicitud de eliminación contra la propia base de datos del directorio es algo que un operador realmente puede ejecutar: encontrar el registro, eliminarlo, confirmar que ya no está. Una foto y una biografía que un rastreador de entrenamiento ya incorporó a un conjunto de datos destinado a enseñarle a un modelo patrones generales no tienen una solicitud equivalente que enviar. No existe una dirección de soporte para un corpus de entrenamiento, ni una confirmación de si la imagen de un anunciante en particular se conservó o no una vez que salió del servidor. Se trata de una versión distinta, y más difícil de resolver, del mismo problema de control que ya se aplica a lo que un sitio de clasificados revela sobre un anunciante a través de los metadatos comunes adjuntos a una foto: una vez que el contenido sale, la capacidad del operador para dar cuenta de adónde fue cae abruptamente, y un anunciante que pregunta "adónde termina la foto de mi anuncio" merece una respuesta honesta sobre ese límite, en lugar de una garantía que el operador no puede respaldar.
Qué hacer en la práctica
Empiece por leer el robots.txt actual, sin asumir lo que dice. Una cantidad sorprendente de sitios de clasificados construidos a partir de una plantilla no tiene ningún archivo, lo que deja que cada rastreador decida sus propios límites, o conserva una única regla general "User-agent: *, Disallow: /" que quedó de un entorno de pruebas (staging), la cual bloquea a Googlebot junto con todo lo demás y anula silenciosamente todo el canal de búsqueda orgánica del sitio, sin ningún mensaje de error que lo delate.
Decida primero la cuestión del entrenamiento, porque es la que tiene una respuesta clara. Escriba reglas explícitas de disallow para GPTBot, ClaudeBot, Google-Extended, Bytespider y CCBot como mínimo, ya que esos nombres cubren a los principales rastreadores de entrenamiento de modelos fundacionales con cadenas de user-agent públicas y documentadas. Es una decisión que el operador puede tomar de manera deliberada, en lugar de dejarla al criterio por defecto.
Decida la cuestión de la búsqueda y la citación por separado, y decídala de verdad, en lugar de copiar la misma regla que usó para el entrenamiento. OAI-SearchBot, Claude-SearchBot y PerplexityBot determinan si el directorio puede ser citado cuando alguien le hace a un asistente de IA una pregunta que un anuncio podría responder; bloquearlos renuncia a esa visibilidad, permitirlos la conserva, y no hay ninguna razón para que la respuesta deba coincidir con la que se le dio a GPTBot y ClaudeBot en la línea anterior.
Si el sitio funciona sobre Cloudflare, verifique si las líneas Content-Signal se agregaron automáticamente y si esos valores predeterminados coinciden con la preferencia real del operador, ya que la configuración automática es razonable pero genérica, no adaptada a un sitio en particular. Si no es así, las líneas pueden escribirse a mano en pocos minutos, o generarse en contentsignals.org y pegarse en el archivo.
Por último, trate las reglas de robots.txt y de Content-Signal como el noventa por ciento fácil, y acepte que los rastreadores restantes (los dispuestos a hacer lo que Cloudflare acusó a Perplexity de hacer) no se van a detener ante un archivo de texto, sin importar cuán cuidadosamente esté escrito. Detectarlos exige vigilar que el nombre de un bot declarado llegue desde una dirección IP fuera de su rango publicado, algo que una función de gestión de bots de una CDN puede marcar automáticamente si el presupuesto lo permite, o que aparece a mano en el registro de acceso para quien lo revisa periódicamente. De cualquier manera, el objetivo no es eliminar a todo rastreador no deseado, algo que no es alcanzable; es asegurarse de que a los que sí van a hacer caso se les indique con claridad cuál de las tres tareas tienen permitido realizar.
