I crawler dell'IA sul tuo sito di annunci: cosa decide davvero quali bloccare

I bot nel log del server che non sono Google

Basta aprire il log di accesso grezzo di un sito di annunci classificati anche per un solo giorno perché l'elenco dei visitatori smetta di somigliare a un elenco di persone. Accanto a Googlebot e ai normali browser compaiono GPTBot, ClaudeBot, PerplexityBot, Bytespider, CCBot e una mezza dozzina di altri nomi che non significano nulla finché non si va a cercarli. Visitano ogni pagina di annuncio, comprese quelle modificate un'ora prima, e lo fanno secondo una cadenza che nessun visitatore umano segue.

Un portale di annunci per adulti è un obiettivo più appetibile per questo tipo di scansione rispetto alla maggior parte dei siti, per ragioni che non hanno nulla a che fare con la natura del contenuto. Gli annunci cambiano di continuo, la struttura per città e categoria moltiplica il numero di pagine distinte, e ognuna contiene foto e testi che un crawler può raccogliere in un solo passaggio. Le stesse caratteristiche che rendono il sito utile a un visitatore lo rendono efficiente da estrarre in blocco.

Il file robots.txt dovrebbe essere lo strumento che risolve la questione: un elenco di regole in testo semplice che indica a ciascun crawler nominato cosa può prelevare. Si trova alla radice del dominio, qualsiasi crawler può leggerlo, e quelli realizzati da aziende che dichiarano di rispettarlo, OpenAI, Anthropic, Google, in genere lo fanno. Ma il file è una richiesta, non un lucchetto. Nel protocollo non c'è nulla che impedisca a un crawler di prelevare comunque una pagina vietata, e sul lato del sito non c'è nulla che faccia rispettare la regola a meno che l'operatore non aggiunga qualcos'altro sopra di essa.

Questo scarto conta più di prima, perché i crawler che compaiono in quel log non sono tutti uguali. Alcuni vogliono addestrare un modello sulla pagina. Altri vogliono rispondere subito a una domanda su quella pagina. Altri ancora sono la richiesta di una persona reale, inoltrata tramite un assistente. Trattare le tre categorie allo stesso modo, bloccando tutto o non bloccando nulla, significa rinunciare a una scelta che l'operatore può davvero fare.

Addestramento, risposta e "un utente ha chiesto": tre compiti diversi sotto lo stesso nome

OpenAI gestisce tre crawler distinti, e confonderli è l'errore più comune in un robots.txt scritto con poca attenzione. GPTBot raccoglie pagine che potrebbero essere usate per addestrare i futuri modelli, e la documentazione ufficiale di OpenAI afferma che bloccarlo tiene il contenuto del sito fuori da quei dati di addestramento. OAI-SearchBot non ha nulla a che fare con l'addestramento: è ciò che permette a una pagina di apparire come fonte citata nella funzione di ricerca di ChatGPT, e si controlla separatamente da GPTBot, quindi un sito può bloccare l'addestramento restando comunque citabile. ChatGPT-User non è né l'uno né l'altro: si attiva quando una persona reale pone a ChatGPT una domanda diretta su una pagina, e OpenAI dichiara espressamente che le regole del robots.txt potrebbero non applicarsi a questo caso, perché il prelievo risponde a una richiesta umana specifica e non a una scansione automatizzata.

Anthropic traccia la stessa distinzione in tre parti, con nomi diversi. ClaudeBot esegue la scansione per l'addestramento, e la documentazione di supporto di Anthropic afferma che i suoi bot rispettano le direttive del robots.txt su questo fronte. Claude-User e Claude-SearchBot coprono rispettivamente il caso della domanda in tempo reale e quello della citazione nei risultati di ricerca, ciascuno con la propria modalità di esclusione.

La versione di Google è più circoscritta, ma facile da capire al contrario. Google-Extended non è affatto un crawler; è un token da aggiungere al robots.txt che controlla se i contenuti già raccolti da Googlebot possano essere usati per addestrare Gemini o per fondare le sue risposte. Bloccarlo non incide sul posizionamento del sito né sulla sua presenza nella normale Ricerca Google, perché Googlebot continua a scansionare esattamente come prima. Ciò che cambia davvero le probabilità che un portale di annunci classificati compaia quando la domanda di un utente viene risolta dentro le AI Overviews di Google invece che in un elenco di link blu è un'impostazione separata, non Google-Extended: le Overviews si basano sulla normale scansione di Googlebot, quindi bloccare il token Extended esclude il sito dall'addestramento di Gemini senza escluderlo dalle Overviews. L'unica leva che agisce insieme su Overviews e snippet di ricerca ordinari è la famiglia di tag nosnippet, un compromesso più grande di quanto la maggior parte degli operatori immagini prima di attivarlo.

Nella pratica, un operatore può scrivere un robots.txt che blocca tutti i crawler di addestramento nominati lasciando intatti quelli di ricerca e citazione, ottenendo un risultato senza l'altro. Nessuno arriva a questa distinzione per caso: va scritta a mano, bot per bot.

Cosa aggiunge la nuova policy di Cloudflare, e cosa non può ancora fare

Il robots.txt è stato concepito per rispondere a una sola domanda: quali pagine si possono prelevare. Non è mai stato pensato per rispondere a una seconda domanda: cosa si può fare con la pagina una volta ottenuta. La Content Signals Policy di Cloudflare, introdotta nel settembre 2025, aggiunge esattamente questo secondo livello. Un sito può ora inserire una riga Content-Signal sotto qualsiasi gruppo di user-agent con tre valori, search, ai-input e ai-train, ciascuno impostabile su yes o no. Omettere un valore significa che l'operatore non ha espresso una preferenza per quell'uso, non che la risposta sia no.

È utile proprio perché permette a un operatore di dichiarare, in un unico punto, "indicizza questo per la ricerca, ma non darlo in pasto a un modello e non addestrarti su di esso", una distinzione che la vecchia sintassi del robots.txt non aveva modo di esprimere. Ai siti che usano il servizio di robots.txt gestito da Cloudflare sono state aggiunte automaticamente le righe search=yes, ai-train=no, per i circa 3,8 milioni di domini che se ne servono; chiunque altro può scrivere le righe a mano o generarle su contentsignals.org.

Il limite, onestamente dichiarato dalla stessa descrizione della policy fornita da Cloudflare, è che si tratta di preferenze dichiarate, non di una barriera tecnica: un crawler che decide di ignorarle non trova nulla a fermarlo, a parte quanto il sito abbia eventualmente aggiunto separatamente, come una regola del firewall o uno strumento di bot management.

Questo limite ha smesso di essere teorico un mese prima ancora che la policy venisse lanciata. Nell'agosto 2025 Cloudflare ha pubblicato un report che accusava Perplexity di utilizzare quelli che ha definito crawler occulti: bot che non scaricavano il robots.txt prima di scansionare domini di prova vietati, e che passavano a una firma da browser generico in stile Chrome una volta bloccato il PerplexityBot dichiarato, instradati attraverso intervalli di IP che Perplexity non aveva mai reso pubblici. Cloudflare ha escluso Perplexity dal proprio programma di bot verificati sulla base di questi risultati. Perplexity ha definito il report una trovata pubblicitaria e ne ha contestato l'attribuzione, ma non ha ribattuto punto per punto alle prove specifiche su user-agent e indirizzi IP. Indipendentemente da chi avesse più ragione, l'episodio è la dimostrazione più chiara disponibile del fatto che una regola dichiarata, nel robots.txt o in una riga Content-Signal, vincola solo un crawler che ha scelto di esserne vincolato.

I due costi che un operatore si trova davvero a sostenere

Il primo costo è quello che compare in fattura. Un sito di annunci classificati che gira su un VPS economico o su un piano di hosting condiviso, che è dove opera di fatto la maggior parte degli operatori di questo settore, ha in genere una soglia mensile di trasferimento dati e non una connessione illimitata, e un crawler incide su quella soglia esattamente come farebbe un visitatore pagante. Un crawler di addestramento che riscarica periodicamente ogni annuncio e ogni foto di un portale multi-città genera un carico che non ha nulla a che fare con le persone per cui il sito esiste, e la stessa fragilità infrastrutturale che permette a un host o a una CDN di chiudere un'attività di annunci classificati con un semplice avviso di cessazione comporta anche che un account che fa scattare una sospensione basata sui consumi a causa del traffico dei bot sia esposto esattamente a quel tipo di chiusura improvvisa. Imperva, un fornitore di soluzioni di bot management, ha riportato nel suo Bad Bot Report 2026 che il traffico automatizzato costituisce poco più della metà di tutto il traffico web misurato, con circa il 40 per cento di quel totale classificato come dannoso; il dato proviene da un singolo fornitore con un interesse commerciale nella questione, ma la tendenza, cioè che una quota significativa della bolletta di banda di un sito non è affatto traffico umano, è coerente con quanto si osserva in qualsiasi log di accesso grezzo.

Il secondo costo non compare affatto in fattura. Una richiesta di cancellazione sul database del sito è qualcosa che un operatore può effettivamente eseguire: trovare il record, rimuoverlo, verificare che sia sparito. Una foto e una biografia che un crawler di addestramento ha già raccolto in un dataset pensato per insegnare a un modello schemi generali non hanno una richiesta equivalente da inviare. Non esiste un indirizzo di assistenza per un corpus di addestramento, né una conferma che l'immagine di un determinato inserzionista sia stata o non sia stata conservata una volta uscita dal server. Si tratta di una versione diversa, e più dura, del problema di controllo che riguarda già ciò che un sito di annunci classificati rivela su un inserzionista tramite i normali metadati associati a una foto: una volta che il contenuto è uscito, la capacità dell'operatore di sapere dove sia finito si riduce drasticamente, e un inserzionista che chiede "dove finisce la foto del mio annuncio" merita una risposta onesta su questo limite, non una rassicurazione che l'operatore non può garantire.

Cosa fare davvero a riguardo

Si comincia leggendo il robots.txt esistente, senza presumere cosa contenga. Un numero sorprendente di siti di annunci costruiti a partire da un modello non ha alcun file, lasciando a ogni crawler la scelta dei propri limiti, oppure porta ancora una generica "User-agent: *, Disallow: /" rimasta da un ambiente di staging, che blocca Googlebot insieme a tutto il resto e azzera silenziosamente l'intero canale di ricerca organica del sito, senza alcun messaggio di errore che lo segnali.

Si decide prima la questione dell'addestramento, perché è quella con una risposta univoca. Si scrivono regole di disallow esplicite almeno per GPTBot, ClaudeBot, Google-Extended, Bytespider e CCBot, poiché coprono i principali crawler di addestramento dei modelli fondazionali con stringhe user-agent pubbliche e documentate. È una decisione che l'operatore può prendere consapevolmente, invece di lasciarla al caso.

Si decide separatamente la questione della ricerca e delle citazioni, e si decide davvero, invece di copiare la regola usata per l'addestramento. OAI-SearchBot, Claude-SearchBot e PerplexityBot determinano se il portale possa essere citato quando qualcuno pone a un assistente IA una domanda a cui un annuncio potrebbe rispondere; bloccarli significa rinunciare a quella visibilità, lasciarli passare la conserva, e non c'è alcuna ragione per cui la risposta debba corrispondere a quella data, nella riga sopra, a GPTBot e ClaudeBot.

Se il sito gira su Cloudflare, bisogna verificare se le righe Content-Signal siano state aggiunte automaticamente e se le impostazioni predefinite corrispondano alla reale preferenza dell'operatore, dato che l'impostazione automatica è ragionevole ma generica, non pensata per un singolo sito. In caso contrario, le righe si possono scrivere a mano in pochi minuti o generare su contentsignals.org e incollare.

Infine, le regole del robots.txt e del Content-Signal vanno considerate come il facile novanta per cento, accettando che i crawler restanti, quelli disposti a fare ciò di cui Cloudflare ha accusato Perplexity, non verranno fermati da un file di testo, per quanto scrupolosamente sia scritto. Per intercettarli bisogna sorvegliare il nome di un bot dichiarato che arriva da un indirizzo IP fuori dal suo intervallo pubblicato, cosa che una funzione di bot management di una CDN può segnalare automaticamente se il budget lo consente, oppure che emerge a mano scorrendo il log di accesso per chi lo controlla periodicamente. In ogni caso, l'obiettivo non è eliminare ogni crawler indesiderato, il che non è realizzabile; è assicurarsi che quelli disposti ad ascoltare davvero sappiano, con chiarezza, quale dei tre compiti sono autorizzati a svolgere.