KI-Crawler auf Ihrer Kleinanzeigen-Website: was wirklich entscheidet, welche Sie blockieren sollten
Die Bots in Ihrem Server-Log, die nicht Google sind
Wer sich auch nur für einen Tag das Rohprotokoll der Zugriffe auf ein Kleinanzeigen-Portal für Erotikanzeigen ansieht, erkennt schnell: Die Liste der Besucher sieht längst nicht mehr nach Menschen aus. Neben Googlebot und den üblichen Browsern tauchen GPTBot, ClaudeBot, PerplexityBot, Bytespider, CCBot und ein halbes Dutzend weiterer Namen auf, die erst nach einer Recherche überhaupt etwas bedeuten. Sie rufen jede Anzeigenseite ab, auch jene, die sich vor einer Stunde geändert hat, und folgen dabei einem Takt, dem kein menschlicher Besucher folgt.
Ein Verzeichnis für Erotikanzeigen ist für diese Art von Crawling ein lohnenderes Ziel als die meisten anderen Websites, und das hat nichts damit zu tun, dass die Inhalte erwachsenen Charakter haben. Anzeigen ändern sich ständig, die Struktur aus Städten und Kategorien vervielfacht die Zahl eigenständiger Seiten, und jede einzelne trägt Fotos und Texte, die ein Crawler in einem einzigen Durchlauf einsammeln kann. Genau die Eigenschaften, die die Seite für Besucher nützlich machen, machen sie für das Abgreifen von Inhalten effizient.
Robots.txt ist die Datei, die das eigentlich regeln soll: eine reine Textliste mit Regeln, die jedem namentlich genannten Crawler sagt, was er abrufen darf. Sie liegt im Stammverzeichnis der Domain, jeder Crawler kann sie lesen, und jene Anbieter, die von sich behaupten, sie zu respektieren, OpenAI, Anthropic, Google, tun das in der Regel auch. Doch die Datei ist eine Bitte, kein Schloss. Nichts im Protokoll hindert einen Crawler daran, eine gesperrte Seite trotzdem abzurufen, und nichts auf Seiten der Website setzt die Regel durch, sofern der Betreiber nicht zusätzlich etwas anderes einrichtet.
Diese Lücke wiegt heute schwerer als früher, weil die Crawler, die in diesem Protokoll auftauchen, keine einheitliche Gruppe sind. Manche wollen ein Modell mit der Seite trainieren. Manche wollen eine Frage dazu sofort beantworten. Manche sind schlicht die eigene Anfrage eines Nutzers, umgeleitet über einen Assistenten. Alle drei gleich zu behandeln, indem man entweder alles sperrt oder nichts sperrt, verschenkt eine Wahlmöglichkeit, die ein Betreiber tatsächlich hat.
Training, Antworten und "ein Nutzer hat gefragt" sind drei verschiedene Aufgaben unter einem Namen
OpenAI betreibt drei getrennte Crawler, und sie miteinander zu verwechseln ist der häufigste Fehler in einer hastig geschriebenen robots.txt. GPTBot sammelt Seiten, die möglicherweise zum Training künftiger Modelle verwendet werden, und laut OpenAIs eigener Dokumentation hält eine Sperrung die Inhalte einer Seite aus diesen Trainingsdaten heraus. OAI-SearchBot hat mit Training nichts zu tun: Er ist dafür verantwortlich, dass eine Seite in der Suchfunktion von ChatGPT als zitierte Quelle erscheinen kann, und wird getrennt von GPTBot gesteuert, sodass eine Seite das Training blockieren und trotzdem zitierfähig bleiben kann. ChatGPT-User ist wiederum etwas anderes: Er wird aktiv, wenn eine echte Person ChatGPT eine konkrete Frage zu einer Seite stellt, und OpenAI erklärt ausdrücklich, dass die Regeln der robots.txt hier möglicherweise nicht greifen, weil der Abruf eine Antwort auf eine konkrete menschliche Anfrage ist und kein automatisiertes Crawling.
Anthropic zieht unter anderen Namen dieselbe Dreiteilung. ClaudeBot crawlt für das Training, und laut Anthropics eigener Support-Dokumentation halten sich die Bots dabei an die Vorgaben der robots.txt. Claude-User und Claude-SearchBot decken jeweils den Fall der Live-Frage beziehungsweise der Zitierung in der Suche ab, jeweils mit eigener Opt-out-Möglichkeit.
Googles Variante ist enger gefasst, lässt sich aber leicht falsch verstehen. Google-Extended ist überhaupt kein Crawler, sondern ein Token, das der robots.txt hinzugefügt wird und steuert, ob Inhalte, die Googlebot bereits abgerufen hat, zum Training von Gemini oder zur Fundierung seiner Antworten verwendet werden dürfen. Eine Sperrung berührt weder das Ranking noch die Aufnahme in die gewöhnliche Google-Suche, denn Googlebot crawlt davon unberührt genau wie zuvor. Was die Chancen eines Verzeichnisses für Erotikanzeigen verändert, in Googles KI-Übersichten statt in einer Liste blauer Links aufzutauchen, wenn die Frage eines Nutzers beantwortet wird, ist eine andere Einstellung als Google-Extended: Die Übersichten greifen auf den gewöhnlichen Googlebot-Crawl zurück, sodass die Sperrung des Extended-Tokens eine Seite vom Gemini-Training ausnimmt, ohne sie aus den Übersichten herauszunehmen. Der einzige Hebel, der KI-Übersichten und gewöhnliche Suchausschnitte gemeinsam betrifft, ist die nosnippet-Familie von Tags, und das ist ein größerer Kompromiss, als den meisten Betreibern bewusst ist, bevor sie ihn umlegen.
Im Ergebnis kann ein Betreiber eine robots.txt schreiben, die jeden namentlich genannten Trainings-Crawler sperrt, während die Such- und Zitier-Crawler unberührt bleiben, und so das eine Ergebnis ohne das andere erreichen. Niemand richtet diese Unterscheidung versehentlich ein; sie muss von Hand, Bot für Bot, eingetragen werden.
Was Cloudflares neue Richtlinie leistet, und was sie weiterhin nicht kann
Robots.txt wurde entwickelt, um genau eine Frage zu beantworten: welche Seiten man abrufen darf. Eine zweite Frage sollte sie nie beantworten: was man mit der Seite tun darf, sobald man sie hat. Cloudflares Content Signals Policy, eingeführt im September 2025, fügt exakt diese zweite Ebene hinzu. Eine Seite kann nun unter jeder User-Agent-Gruppe eine Content-Signal-Zeile mit drei Werten ergänzen, search, ai-input und ai-train, jeweils gesetzt auf yes oder no. Lässt man einen Wert weg, bedeutet das lediglich, dass der Betreiber für diese Nutzung keine Präferenz angegeben hat, nicht, dass die Antwort Nein lautet.
Das ist deshalb nützlich, weil es einem Betreiber erlaubt, an einer einzigen Stelle zu sagen: „Indexiere das für die Suche, aber füttere es nicht in ein Modell und trainiere nicht damit", eine Unterscheidung, für die die alte robots.txt-Syntax kein Vokabular hatte. Bei Seiten, die Cloudflares verwalteten robots.txt-Dienst nutzen, wurde search=yes, ai-train=no automatisch für die rund 3,8 Millionen betroffenen Domains ergänzt; alle anderen können die Zeilen selbst schreiben oder sie auf contentsignals.org generieren lassen.
Die ehrliche Einschränkung steht in Cloudflares eigener Beschreibung der Richtlinie: Es handelt sich um erklärte Präferenzen, nicht um eine technische Schranke, und ein Crawler, der sich entscheidet, sie zu ignorieren, stößt auf keinen Widerstand außer dem, was die Seite zusätzlich und separat eingerichtet hat, etwa eine Firewall-Regel oder ein Bot-Management-Produkt.
Diese Einschränkung war schon einen Monat vor dem Start der Richtlinie keine Theorie mehr. Im August 2025 veröffentlichte Cloudflare einen Bericht, der Perplexity vorwarf, sogenannte Stealth-Crawler zu betreiben: Bots, die vor dem Crawlen gesperrter Testdomains keine robots.txt abriefen und, sobald der deklarierte PerplexityBot blockiert wurde, auf eine generische, Chrome-ähnliche Browser-Signatur umschwenkten, geleitet über IP-Bereiche, die Perplexity nicht veröffentlicht hatte. Cloudflare entfernte Perplexity daraufhin aus seinem Verified-Bot-Programm. Perplexity bezeichnete den Bericht als PR-Aktion und bestritt die Zuordnung, ging aber auf die konkreten Belege zu User-Agent und IP-Adressen nicht Punkt für Punkt ein. Unabhängig davon, welche Seite mehr recht hatte: Die Episode zeigt so deutlich wie kaum ein anderer Fall, dass eine erklärte Regel, ob in der robots.txt oder in einer Content-Signal-Zeile, nur jenen Crawler bindet, der sich entschieden hat, sich binden zu lassen.
Die zwei Kosten, die ein Betreiber wirklich trägt
Die erste Kostenart ist jene, die auf einer Rechnung auftaucht. Ein Erotikanzeigen-Verzeichnis, das auf einem günstigen VPS oder einem Shared-Hosting-Tarif läuft, was für die meisten Betreiber in diesem Segment die Realität ist, hat üblicherweise ein monatliches Datenübertragungskontingent statt einer unbegrenzten Anbindung, und ein Crawler zählt gegen dieses Kontingent genauso wie ein zahlender Besucher. Ein Trainings-Crawler, der auf einem mehrstädtischen Verzeichnis nach festem Takt jede Anzeige und jedes Foto erneut abruft, erzeugt Last, die mit den Menschen, für die die Seite eigentlich existiert, nichts zu tun hat, und dieselbe strukturelle Zerbrechlichkeit, die einen Host oder ein CDN ein Erotikanzeigen-Geschäft per Kündigung beenden lässt, bedeutet zugleich, dass ein Konto, das wegen Bot-Verkehrs eine nutzungsbasierte Sperre auslöst, genau dieser Art von abrupter Abschaltung ausgesetzt ist. Imperva, ein Anbieter von Bot-Management-Lösungen, berichtete in seinem Bad Bot Report 2026, dass automatisierter Verkehr knapp über die Hälfte des gesamten gemessenen Webverkehrs ausmachte, wobei rund 40 Prozent davon als bösartig eingestuft wurden; die Zahl stammt von einem einzelnen Anbieter mit kommerziellem Eigeninteresse an dem Problem, aber die Tendenz, dass ein nennenswerter Teil der Bandbreitenrechnung einer Seite überhaupt kein menschlicher Verkehr ist, deckt sich mit dem, was sich in jedem Rohprotokoll zeigt.
Die zweite Kostenart taucht auf keiner Rechnung auf. Eine Löschanfrage an die eigene Datenbank des Verzeichnisses kann ein Betreiber tatsächlich umsetzen: den Datensatz finden, entfernen, das Verschwinden bestätigen. Für ein Foto und eine Beschreibung, die ein Trainings-Crawler bereits in einen Datensatz eingesammelt hat, der einem Modell allgemeine Muster beibringen soll, gibt es kein vergleichbares Gesuch, das man stellen könnte. Es gibt keine Support-Adresse für einen Trainingskorpus und keine Bestätigung, ob das Bild eines bestimmten Inserenten erhalten blieb oder nicht, nachdem es den Server verlassen hat. Das ist eine andere, härtere Variante des Kontrollproblems, das bereits für das gilt, was eine Kleinanzeigen-Seite über einen Inserenten durch die gewöhnlichen Metadaten eines Fotos verrät: Sobald ein Inhalt einmal draußen ist, sinkt die Fähigkeit des Betreibers, nachzuvollziehen, wohin er gelangt ist, drastisch, und ein Inserent, der fragt, wo das Foto seiner Anzeige letztlich landet, verdient eine ehrliche Antwort über diese Grenze statt einer Beruhigung, die der Betreiber nicht einhalten kann.
Was konkret zu tun ist
Der erste Schritt ist, die aktuelle robots.txt tatsächlich zu lesen, statt anzunehmen, was darin steht. Überraschend viele aus einer Vorlage gebaute Kleinanzeigen-Seiten haben entweder überhaupt keine solche Datei, wodurch jeder Crawler seine Grenzen selbst festlegt, oder sie schleppen ein einzelnes pauschales "User-agent: *, Disallow: /" aus einer Staging-Umgebung mit, das Googlebot zusammen mit allem anderen aussperrt und den gesamten organischen Suchkanal der Seite lautlos auf null setzt, ohne dass irgendeine Fehlermeldung darauf hinweist.
Die Trainingsfrage sollte zuerst entschieden werden, denn sie ist diejenige mit einer klaren Antwort. Für GPTBot, ClaudeBot, Google-Extended, Bytespider und CCBot sollten mindestens explizite Sperrregeln formuliert werden, da diese die wichtigsten Trainings-Crawler der großen Foundation-Modelle mit öffentlich dokumentierten User-Agent-Kennungen abdecken. Das ist eine Entscheidung, die ein Betreiber bewusst treffen kann, statt sie dem Zufall zu überlassen.
Die Frage von Suche und Zitierung sollte getrennt entschieden werden, und zwar wirklich entschieden, statt einfach die Regel für das Training zu kopieren. OAI-SearchBot, Claude-SearchBot und PerplexityBot bestimmen, ob das Verzeichnis zitiert werden kann, wenn jemand einem KI-Assistenten eine Frage stellt, die eine Anzeige beantworten könnte; sie zu sperren verschenkt diese Sichtbarkeit, sie zuzulassen bewahrt sie, und es gibt keinen Grund, warum die Antwort hier dieselbe sein müsste wie die eine Zeile darüber für GPTBot und ClaudeBot.
Läuft die Seite über Cloudflare, lohnt sich ein Blick, ob die Content-Signal-Zeilen automatisch ergänzt wurden und ob die Standardwerte der tatsächlichen Präferenz des Betreibers entsprechen, denn die automatische Einstellung ist sinnvoll, aber generisch und nicht auf die einzelne Seite zugeschnitten. Ist das nicht der Fall, lassen sich die Zeilen in wenigen Minuten von Hand schreiben oder auf contentsignals.org erzeugen und einfügen.
Am Ende sollten robots.txt und Content-Signal-Regeln als der leichte Teil betrachtet werden, der etwa neunzig Prozent abdeckt, während bei den übrigen Crawlern, jenen, die bereit sind, genau das zu tun, was Cloudflare Perplexity vorgeworfen hat, akzeptiert werden muss, dass eine Textdatei sie nicht aufhält, wie sorgfältig sie auch geschrieben ist. Um diese zu erfassen, muss beobachtet werden, ob der Name eines deklarierten Bots von einer IP-Adresse außerhalb seines veröffentlichten Bereichs eintrifft, was eine Bot-Management-Funktion eines CDN automatisch melden kann, wenn das Budget dafür reicht, oder was bei regelmäßiger Kontrolle von Hand im Zugriffsprotokoll auffällt. In jedem Fall ist das Ziel nicht, jeden unerwünschten Crawler zu eliminieren, was ohnehin nicht erreichbar ist, sondern sicherzustellen, dass jenen, die tatsächlich zuhören, klar gesagt wird, welche der drei Aufgaben sie ausführen dürfen.
