KI-Support-Chatbots: was wirklich passiert, wenn Ihrer etwas verspricht, das Sie nie genehmigt haben
Fast jedes Verzeichnis fügt aus demselben Grund einen Chat hinzu: Tickets kommen um zwei Uhr nachts herein, ein Inserent will wissen, warum eine Zahlung fehlgeschlagen oder warum ein Foto abgelehnt wurde, und niemand will eine Nachtschicht bezahlen, um dieselben fünf Fragen zu beantworten. Ein auf den Hilfeseiten trainierter Assistent wirkt wie die naheliegende Lösung. Er schläft nie, verliert nie die Geduld mit einem schwierigen Inserenten, und kostet nur einen Bruchteil einer Support-Stelle.
Was bei dieser Rechnung untergeht, ist das, was beim ersten Fehler des Assistenten passiert. Kein Tippfehler, kein kaputter Link, sondern eine mit voller Überzeugung geäußerte falsche Antwort: ja, diese Rückerstattung ist genehmigt, ja, Sie können die erneute Verifizierung diesmal überspringen, ja, dieses Foto erfüllt die Regeln. Der Reflex ist, das wie einen Softwarefehler zu behandeln: korrigieren, entschuldigen, weitermachen. Mehrere Gerichte haben bereits entschieden, dass dieser Reflex falsch ist, und die Begründung, die sie verwendet haben, trifft auf ein Kleinanzeigenverzeichnis genauso präzise zu wie auf die Unternehmen, die tatsächlich verklagt wurden.
Ein Chatbot ist keine eigene Rechtsperson
Die klarste Formulierung dieses Grundsatzes stammt von einem Schlichtungsgericht für Bagatellstreitigkeiten in British Columbia, in einem Fall, der nichts mit Erwachseneninhalten zu tun hatte. Ein Reisender namens Jake Moffatt fragte den Chatbot der Air-Canada-Website nach einem Trauerfalltarif, nachdem ein Familienmitglied gestorben war, und der Chatbot sagte ihm, er könne den Rabatt innerhalb von neunzig Tagen nach der Buchung beantragen. Das war falsch. Eine andere Seite derselben Website besagte, der Rabatt müsse vor der Reise beantragt werden, und Air Canada weigerte sich, die Differenz zu erstatten, als Moffatt darauf hinwies, was ihm der eigene Chatbot gesagt hatte.
Air Canadas Verteidigung lautete, der Chatbot solle als eigenständige Einheit betrachtet werden, verantwortlich für seine eigenen Worte, nicht die Fluggesellschaft. Das Gericht wies dieses Argument mit Worten zurück, die es wert sind, jedem wiederholt zu werden, der einen Support-Bot baut: "Air Canada legt nahe, der Chatbot sei eine eigenständige Rechtsperson, die für ihre eigenen Handlungen verantwortlich ist. Das ist eine bemerkenswerte Behauptung. Auch wenn der Chatbot eine interaktive Komponente hat, bleibt er lediglich ein Teil der Air-Canada-Website. Es macht keinen Unterschied, ob die Information von einer statischen Seite oder von einem Chatbot stammt." Air Canada versuchte auch eine zweite Verteidigung, indem es sich auf Klauseln des eigenen veröffentlichten Tarifs berief, verlor aber auch diese, weil der tatsächliche Tariftext nie als Beweis vorgelegt wurde, nur eine Beschreibung dessen, was er angeblich besagte.
Der Streitwert war gering: rund 650 kanadische Dollar Schadenersatz plus Zinsen und Gerichtsgebühren, da es sich um ein Bagatellverfahren handelte und nicht um einen Geschworenenprozess. Und genau das ist der Punkt, bei dem man innehalten sollte. Der Rechtsgrundsatz, der den Fall entschied, hing nicht von der Summe ab, und er würde genauso für einen Chatbot gelten, der einem Inserenten einen falschen Verlängerungspreis nennt oder eine Rückerstattung bestätigt, die die Buchhaltung nie genehmigt hat. Es war außerdem ein Gericht in British Columbia, anderswo kein bindender Präzedenzfall und sicher kein US-Recht, aber die Argumentation spiegelt die übliche Doktrin der fahrlässigen Falschdarstellung wider, die in den meisten Common-Law-Rechtsordnungen existiert, einschließlich jener, vor denen ein in den USA ansässiger Betreiber tatsächlich Rechenschaft ablegt.
US-Gerichte kamen Jahrzehnte früher zum selben Schluss
Das ist kein neues Problem, das die generative KI erfunden hat. 1972 entschied ein US-Berufungsgericht den Fall State Farm Mutual Automobile Insurance Co. gegen Bockhorst, der eine viel ältere Art von Automatisierung betraf: einen Großrechner, der eine Benachrichtigung über die Wiederaufnahme einer Police auf Basis veralteter Informationen erzeugt hatte, die ein Mitarbeiter nicht rechtzeitig aktualisiert hatte. Das Gericht befand den Versicherer an das gebunden, was sein eigener Computer verschickt hatte, und schrieb, "ein Computer arbeitet nur nach den Informationen und Anweisungen, die ihm seine menschlichen Programmierer geben. Wenn der Computer nicht wie ein Mensch denkt, ist das die Schuld des Menschen."
Der rechtliche Mechanismus dieses Falls ist nicht identisch mit dem von Moffatt, und es wäre überzogen, beide als denselben Test darzustellen: Bockhorst drehte sich um das, was das Recht als eigenes Wissen des Versicherers über seine Mitarbeiter betrachtet, während Moffatt sich um eine Pflicht drehte, Tatsachen gegenüber einem Verbraucher korrekt darzustellen. Was beide Fälle gemeinsam haben, ist die Schlussfolgerung, die einem Betreiber wirklich nützt: Kein Gericht ließ das Unternehmen auf seine eigene Maschine zeigen und sich davonmachen. Ein Support-Bot ist keine Lücke im Gesetz, und er war es nie, weil die Doktrin, die diese Lücke schließt, den Chatbot um ein halbes Jahrhundert vorwegnimmt.
Zwei verschiedene Arten, wie das zurückschlägt, und ein Verzeichnis trägt beide
Im selben Chat-Widget verbergen sich zwei getrennte Risiken, und sie verlangen unterschiedliche Lösungen. Das erste ist, was der Bot einem bestimmten Inserenten in einem privaten Gespräch sagt, die Moffatt- und Bockhorst-Situation: ein falsches Versprechen, auf das sich der Inserent verlassen hat und das ihn Geld gekostet hat. Das zweite ist, was Sie im Marketingmaterial oder auf der Website selbst darüber behaupten, was der Bot oder die dahinterliegenden Systeme tatsächlich tun, eine Frage der Werbewahrheit statt des Vertragsrechts.
Das zweite Risiko hat seine eigene Durchsetzungsgeschichte. Im September 2024 eröffnete die US-Handelsaufsicht FTC fünf Verfahren unter dem Namen Operation AI Comply, gegen Unternehmen, die ihrer Ansicht nach übertrieben hatten, was ihre KI-Produkte tatsächlich leisten konnten. Eines davon, DoNotPay, hatte sich als "weltweit erster Roboteranwalt" präsentiert und behauptet, sein Werkzeug erlaube es, ohne Anwalt wegen Körperverletzung zu klagen und rechtsgültige Dokumente zu erstellen, ohne jemals das eigene Ergebnis am Niveau eines menschlichen Anwalts geprüft oder überhaupt einen Anwalt beschäftigt zu haben. Das Unternehmen zahlte 193.000 Dollar und akzeptierte ein Verbot, ohne Nachweis zu behaupten, der Dienst könne professionelle Beratung ersetzen. Der Kommentar der damaligen FTC-Vorsitzenden Lina Khan war unverblümt: "KI-Werkzeuge zu nutzen, um Menschen zu täuschen, in die Irre zu führen oder zu betrügen, ist illegal", und "es gibt keine KI-Ausnahme von den bestehenden Gesetzen".
Diese fünf Fälle richteten sich alle gegen Unternehmen, die ein KI-Produkt mit übertriebenen Behauptungen verkauften, nicht gegen ein Unternehmen, das lediglich einen Chatbot für den eigenen Kundensupport einsetzte, also sollte man dies eher als deutliche Warnung denn als Urteil über genau dieses Szenario behandeln. Das dahinterstehende Gesetz, Section 5 des FTC Act, verbietet allgemein unlautere oder irreführende Geschäftspraktiken, ohne Ausnahme danach, wer den fraglichen Satz formuliert hat. Ein Verzeichnis, das seinen Inserenten sagt "unsere KI verifiziert automatisch jedes Profil", obwohl der Prozess in Wirklichkeit eine softwaregestützte menschliche Prüfung ist, macht genau die Art von Behauptung, die dieses Gesetz ahnden soll, was sich gut zusammen mit dem, was tatsächlich zutreffen muss, bevor ein Inserat als verifiziert gekennzeichnet wird lesen lässt.
Die Versprechen, die ein Support-Bot am leichtesten macht
Stellen Sie sich die Fragen vor, die ein Inserent tatsächlich in den Chat eines Verzeichnisses tippt, denn dort konzentriert sich das Risiko. Abrechnungsfragen erzeugen die gefährlichsten Antworten: Ein auf Hilfsbereitschaft trainierter Bot neigt dazu, eine Rückerstattung, eine anteilige Gutschrift oder eine Kündigung zu bestätigen, um die der Inserent bittet, weil das die Antwort ist, die das Gespräch am schnellsten beendet. Jede dieser Antworten ist eine Zusage, die die Buchhaltung nie abgesegnet hat, und sie untergräbt den bewusst langsameren Rückerstattungsprozess, der verhindern soll, dass aus einer Streitigkeit eine Rückbuchung wird.
Fragen zur Verifizierung sind schlimmer, weil hier regulatorische und nicht nur finanzielle Risiken auf dem Spiel stehen. Ein Inserent, der ein Ausweisdokument nicht erneut einreichen möchte, formuliert die Frage so, dass das Überspringen vernünftig klingt, und ein auf kurze, zufriedenstellende Antworten optimierter Bot kann bestätigen, dass der vorhandene Datensatz in Ordnung ist, obwohl er veraltet ist oder nie wirklich geprüft wurde. Dasselbe Risiko taucht bei der Moderation auf: Ein Inserent, der gegen ein abgelehntes Foto oder ein entferntes Inserat Einspruch einlegt, fragt den Bot direkt, ob der Inhalt erlaubt ist, und eine selbstsicher falsche Antwort widerspricht hier einer Entscheidung, die ein Moderator bereits aus einem Grund getroffen hat, den der Bot nicht sehen kann.
Es braucht kein spektakuläres Versagen, damit es teuer wird. Ein einziger Inserent, der einen Screenshot des Bots zeigen kann, der etwas versprochen hat, das das Unternehmen nicht einhalten wird, hat bereits die grundlegenden Elemente einer Beschwerde, und ein Muster ähnlicher Versprechen bei vielen Inserenten verwandelt eine peinliche Rückerstattung in ein Muster, auf das eine Aufsichtsbehörde oder der Anwalt eines Klägers zeigen kann. Der Fall eines Autohauses in Toronto im Jahr 2026, dessen Bot mit dem Spitznamen Quinn einem Kunden per Nachricht ein Rückkaufangebot für sein Auto in Höhe von über 27.000 kanadischen Dollar machte, veranschaulicht die Kosten für das Unternehmen gut, auch wenn der Fall nie vor Gericht kam: Das Autohaus widerrief das Angebot als KI-Fehler und erfüllte es erst vollständig, nachdem ein landesweiter Nachrichtensender wegen einer Stellungnahme angerufen hatte, und änderte danach seinen Prozess so, dass Rückkaufangebote jetzt von einem Menschen kommen. Nichts an diesem Ausgang hing von einem Richter ab, und genau das ist der bemerkenswerte Punkt: Der teure Teil war der Rückzieher und die Berichterstattung, nicht ein Urteil.
Was wirklich zu tun ist, der Reihe nach
Legen Sie zunächst fest, was der Bot niemals allein entscheiden darf. Rückerstattungsbeträge, Ausnahmen bei der Verifizierung und jede Entscheidung darüber, ob ein bestimmter Inhalt erlaubt ist, sollten eine feste Antwort auslösen, die das Gespräch an einen Menschen weiterleitet, statt eine spontan erzeugte Antwort, denn genau das sind die Kategorien, in denen ein falscher Satz zu einem bindenden Versprechen oder einer Compliance-Lücke wird.
Halten Sie das, worauf der Bot trainiert oder angewiesen wurde, exakt mit den tatsächlich geltenden Richtlinienseiten synchron, und betrachten Sie eine Richtlinienänderung als unvollständig, bis das Quellmaterial des Bots noch am selben Tag aktualisiert wurde, nicht in derselben Woche. Ein Bot, der auf Basis einer vor einem Monat ersetzten Rückerstattungsrichtlinie antwortet, ist kein hypothetisches Risiko, sondern in der Praxis der häufigste Weg, auf dem das schiefgeht.
Protokollieren Sie jedes Gespräch vollständig und bewahren Sie die Protokolle an einem Ort auf, den eine Support-Leitung tatsächlich regelmäßig liest, nicht nur an einem Ort, an dem sie gespeichert werden. Eine wöchentliche Durchsicht einer Stichprobe von Transkripten erkennt ein fehlerhaftes Muster, solange es noch das Problem eines einzelnen Inserenten ist und nicht von hundert, und dieselben Protokolle sind es, die es Ihnen erlauben, im Zweifelsfall zu belegen, dass das Unternehmen angemessene Sorgfalt walten ließ, statt das Werkzeug nach der Aktivierung zu ignorieren.
Behandeln Sie eine Hinweiszeile nicht als Haftungsschutz für sich allein. Ein Hinweis, dass KI-Antworten ungenau sein können, lohnt sich trotzdem, weil er belegt, dass das Unternehmen eine gewisse Sorgfalt walten ließ, aber Air Canada verlor den Fall wegen der Ungenauigkeit dessen, was der Bot gesagt hatte, nicht wegen des Fehlens eines Hinweises, und der Einwand des Gerichts war, dass niemand die Antwort des Chatbots gegen die tatsächliche Richtlinie geprüft hatte, bevor sie Kunden gezeigt wurde. Ein Hinweis neben Antworten, die niemand je überprüft, nützt wenig.
Fragen Sie schließlich direkt bei Ihrer Versicherung schriftlich nach, ob Ihre aktuelle Police einen Anspruch deckt, der daraus entsteht, dass ein KI-Support-Werkzeug einem Kunden etwas gesagt hat, im selben Gespräch, in dem Sie ohnehin prüfen, was die Inhaltsausschlüsse einer Standardpolice tatsächlich ungedeckt lassen. Die meisten allgemeinen Haftpflichtpolicen wurden verfasst, bevor es all das gab, und die ehrliche Antwort eines Maklers, dem nie die direkte Frage gestellt wurde, ist meist eine Vermutung, keine Tatsache.
Der rote Faden durch all das ist einfach genug, um ihn jedem im Team zu wiederholen, der denkt, der Bot sei ein vom Unternehmen getrenntes Problem: Jedes Gericht, das sich bisher mit dieser Frage befasst hat, hat den Chatbot so behandelt, als spreche das Unternehmen selbst, mit seiner eigenen Stimme, nur über eine andere Schnittstelle. Bauen Sie die Leitplanken, die Protokollierung und die Kontrollgewohnheit auf, als hätte ein neuer, etwas zu selbstsicherer Mitarbeiter gerade über Nacht begonnen, jedes Ticket zu beantworten, denn rechtlich ist das nahezu genau das, was passiert ist.
