Chatbot AI per il supporto: cosa succede davvero quando il tuo promette qualcosa che non avevi autorizzato

Quasi tutte le directory aggiungono una chat per lo stesso motivo: i ticket arrivano alle due di notte, un inserzionista vuole sapere perché un pagamento è fallito o perché una foto è stata rifiutata, e nessuno vuole pagare un turno notturno per rispondere alle stesse cinque domande. Un assistente addestrato sulle pagine di aiuto sembra la soluzione ovvia. Non dorme mai, non perde la pazienza con un inserzionista difficile, e costa una frazione di un'assunzione in supporto.

Quello che sfugge in questo calcolo è cosa succede la prima volta che l'assistente sbaglia. Non un refuso, non un collegamento rotto, ma una risposta sbagliata detta con piena sicurezza: sì, quel rimborso è approvato, sì, puoi saltare la riverifica questa volta, sì, quella foto rispetta le regole. L'istinto è trattarlo come un bug di software: si corregge, ci si scusa, si va avanti. Diversi tribunali hanno già stabilito che quell'istinto è sbagliato, e il ragionamento che hanno usato si applica a una directory di annunci con la stessa precisione con cui si è applicato alle aziende effettivamente citate in giudizio.

Un chatbot non è un soggetto giuridico a sé

L'enunciazione più chiara del principio viene da un tribunale per controversie minori della British Columbia, in un caso che non aveva nulla a che fare coi contenuti per adulti. Un viaggiatore di nome Jake Moffatt ha chiesto al chatbot del sito di Air Canada informazioni sulla tariffa da lutto dopo un decesso in famiglia, e il chatbot gli ha detto che poteva chiedere lo sconto dopo aver prenotato, entro novanta giorni. Era sbagliato. Una pagina diversa dello stesso sito diceva che lo sconto andava richiesto prima del viaggio, e Air Canada ha rifiutato di riconoscere la differenza quando Moffatt ha fatto notare cosa gli aveva detto il suo stesso chatbot.

La difesa di Air Canada è stata che il chatbot andava considerato un soggetto separato, responsabile delle proprie parole, non la compagnia aerea. Il tribunale ha respinto l'argomento con parole che vale la pena ripetere a chiunque stia costruendo un bot di supporto: "Air Canada sostiene che il chatbot sia un soggetto giuridico separato, responsabile delle proprie azioni. È un'affermazione sorprendente. Pur avendo una componente interattiva, il chatbot resta comunque solo una parte del sito di Air Canada. Non fa differenza se l'informazione viene da una pagina statica o da un chatbot." Air Canada ha tentato anche una seconda difesa, citando clausole della propria tariffa pubblicata, ma ha perso anche quella perché non ha mai prodotto il testo effettivo della tariffa come prova, solo una descrizione di cosa dicesse presumibilmente.

La cifra in gioco era piccola: circa 650 dollari canadesi di danni più interessi e spese del tribunale, trattandosi di una procedura per controversie di modesto valore e non di un processo con giuria. Ed è esattamente il dettaglio su cui vale la pena soffermarsi. Il principio giuridico che ha deciso il caso non dipendeva dall'importo, e si applicherebbe allo stesso modo a un chatbot che quota a un inserzionista un prezzo di rinnovo sbagliato, o che conferma un rimborso che il reparto contabilità non ha mai approvato. Era anche un tribunale della British Columbia, non un precedente vincolante altrove e di certo non diritto americano, ma il ragionamento rispecchia la dottrina ordinaria della dichiarazione negligente che esiste nella maggior parte degli ordinamenti di common law, compresi quelli a cui risponde davvero un operatore con base negli Stati Uniti.

I tribunali americani ci erano arrivati decenni prima

Non è un problema nuovo, inventato dall'intelligenza artificiale generativa. Nel 1972 una corte d'appello statunitense ha deciso il caso State Farm Mutual Automobile Insurance Co. contro Bockhorst, riguardante un tipo di automazione molto più vecchio: un mainframe che aveva generato un avviso di riattivazione della polizza usando informazioni superate che un dipendente umano non aveva aggiornato per tempo. La corte ha ritenuto l'assicurazione vincolata da ciò che il proprio computer aveva inviato, scrivendo che "un computer opera solo secondo le informazioni e le istruzioni fornite dai suoi programmatori umani. Se il computer non ragiona come un uomo, è colpa dell'uomo."

Il meccanismo giuridico di quel caso non è identico a quello di Moffatt, e sarebbe una forzatura presentarli come lo stesso test: Bockhorst ruotava attorno a ciò che la legge considera conoscenza propria dell'assicuratore tramite i suoi dipendenti, mentre Moffatt ruotava attorno a un dovere di rappresentare i fatti in modo accurato verso un consumatore. Ciò che i due casi condividono è la conclusione che serve davvero a un operatore: nessuno dei due tribunali ha lasciato che l'azienda indicasse la propria macchina e se ne andasse. Un bot di supporto non è una scappatoia, e non lo è mai stato, perché la dottrina che chiude quella scappatoia precede il chatbot di mezzo secolo.

Due modi diversi in cui può mordere, e una directory rischia entrambi

Dentro lo stesso widget di chat si nascondono due esposizioni separate, e richiedono rimedi diversi. La prima è cosa dice il bot a un singolo inserzionista in una conversazione privata, la situazione di Moffatt e Bockhorst: una promessa sbagliata su cui l'inserzionista ha fatto affidamento e che gli è costata denaro. La seconda è cosa dichiari tu, nel materiale di marketing o sul sito stesso, su cosa fanno davvero il bot o i sistemi dietro di esso, questione di veridicità pubblicitaria piuttosto che di diritto contrattuale.

La seconda esposizione ha una propria storia di applicazione. Nel settembre 2024 la Federal Trade Commission statunitense ha aperto cinque procedimenti in quella che ha chiamato Operation AI Comply, contro aziende che secondo lei avevano gonfiato ciò che i loro prodotti AI sapevano davvero fare. Una di queste, DoNotPay, si era presentata come il "primo avvocato robot al mondo" e sosteneva che il suo strumento permettesse di fare causa per aggressione senza avvocato e di produrre documenti legalmente validi, senza aver mai testato il proprio output rispetto allo standard di un avvocato umano né aver mai assunto un avvocato. L'azienda ha patteggiato per 193.000 dollari e il divieto di affermare che il servizio possa sostituire una consulenza professionale senza prove a supporto. Il commento della presidente FTC Lina Khan dell'epoca è stato diretto: "Usare strumenti di intelligenza artificiale per ingannare, fuorviare o frodare le persone è illegale", e "non esiste un'esenzione per l'IA dalle leggi già in vigore".

Quei cinque casi riguardavano tutti aziende che vendevano un prodotto AI con affermazioni gonfiate, non un'azienda che si limitava a usare un chatbot per il proprio supporto clienti, quindi va trattato come un avvertimento forte piuttosto che una sentenza su questo scenario esatto. La norma dietro tutto ciò, la Section 5 del FTC Act, vieta in generale le pratiche sleali o ingannevoli, senza eccezioni su chi abbia scritto la frase incriminata. Una directory che dice agli inserzionisti "la nostra IA verifica automaticamente ogni profilo" quando il processo è in realtà un controllo umano assistito da software sta facendo esattamente il tipo di affermazione che quella norma esiste per colpire, da leggere assieme a cosa deve essere vero davvero prima che un annuncio venga stampato come verificato.

Le promesse che un bot di supporto fa più facilmente

Immagina le domande che un inserzionista digita davvero nella chat di una directory, perché è lì che si concentra il rischio. Le domande sui pagamenti producono le risposte più pericolose: un bot addestrato a essere utile tenderà a confermare un rimborso, un conguaglio o una disdetta che l'inserzionista sta chiedendo, perché è la risposta che chiude la conversazione più in fretta. Ognuna di quelle risposte è un impegno che il reparto contabilità non ha mai firmato, e mina il percorso di rimborso, volutamente più lento, costruito per evitare che una contestazione diventi uno storno.

Le domande sulla verifica sono peggio, perché la posta in gioco è regolamentare, non solo economica. Un inserzionista che non vuole reinviare un documento d'identità formulerà la domanda in modo da far sembrare ragionevole saltarla, e un bot ottimizzato per una risposta breve e soddisfacente può confermare che il record esistente va bene quando non è aggiornato o non è mai stato davvero controllato. Lo stesso rischio compare attorno alla moderazione: un inserzionista che fa ricorso contro una foto rifiutata o un annuncio rimosso chiederà direttamente al bot se il contenuto è ammesso, e una risposta sbagliata detta con sicurezza contraddice qui una decisione che un moderatore ha già preso per una ragione che il bot non può vedere.

Non serve un fallimento clamoroso perché la cosa diventi costosa. Un solo inserzionista che può mostrare uno screenshot del bot che promette qualcosa che l'azienda non onorerà ha già gli elementi base di un reclamo, e uno schema di promesse simili ripetuto su molti inserzionisti trasforma un rimborso imbarazzante in uno schema che un regolatore o l'avvocato di un attore possono indicare. Il caso del 2026 di una concessionaria di auto a Toronto il cui bot, soprannominato Quinn, ha mandato via messaggio a un cliente un'offerta di riacquisto della sua auto per oltre 27.000 dollari canadesi illustra bene il costo per l'azienda anche se non è mai arrivato in tribunale: la concessionaria ha revocato l'offerta definendola un errore dell'IA, poi l'ha onorata per intero solo dopo che una testata nazionale ha chiamato per un commento, e in seguito ha cambiato il proprio processo così che le offerte di riacquisto arrivino ora da una persona. Niente in quell'esito dipendeva da un giudice, ed è proprio questo il dettaglio da notare: la parte costosa è stata il ritiro dell'offerta e la storia finita sui giornali, non una sentenza.

Cosa fare davvero, in ordine

Comincia decidendo cosa il bot non può mai risolvere da solo. Importi dei rimborsi, eccezioni alla verifica, e qualunque giudizio su se un contenuto specifico sia ammesso dovrebbero far scattare una risposta fissa che passa la conversazione a una persona, invece di una risposta generata lì per lì, perché sono esattamente le categorie in cui una frase sbagliata diventa una promessa vincolante o una falla di conformità.

Tieni ciò su cui il bot è stato addestrato o istruito perfettamente allineato alle pagine di policy attuali davvero in vigore, e considera incompleto un cambio di policy finché il materiale di origine del bot non viene aggiornato lo stesso giorno, non la stessa settimana. Un bot che risponde da una policy di rimborso sostituita un mese prima non è un rischio ipotetico, è il modo più comune in cui questo va storto nella pratica.

Registra ogni conversazione per intero e tieni i log in un posto che un responsabile del supporto legge davvero a cadenza regolare, non solo in un posto dove vengono archiviati. Un controllo settimanale su un campione di trascrizioni intercetta uno schema sbagliato finché è ancora il problema di un inserzionista, non di cento inserzionisti, e gli stessi log sono ciò che ti permette di dimostrare, se mai servisse, che l'azienda stava usando ragionevole diligenza invece di ignorare lo strumento una volta acceso.

Non trattare una riga di avvertenza come uno scudo di responsabilità in sé. Un avviso che le risposte dell'IA possono essere inesatte vale comunque la pena averlo, perché è una prova che l'azienda ha avuto una qualche cura, ma Air Canada ha perso la causa per l'inesattezza di ciò che il bot aveva detto, non per l'assenza di un avviso, e l'obiezione del tribunale è stata che nessuno aveva controllato la risposta del chatbot rispetto alla policy reale prima che venisse mostrata ai clienti. Un avviso accanto a risposte che nessuno controlla mai serve a poco.

Infine, chiedi direttamente al tuo assicuratore, per iscritto, se la tua polizza attuale copre un reclamo nato da cosa uno strumento di supporto AI ha detto a un cliente, nella stessa conversazione in cui stai già verificando cosa lasciano davvero scoperto le esclusioni sui contenuti di una polizza standard. La maggior parte delle polizze di responsabilità generale sono state scritte prima che tutto questo esistesse, e la risposta onesta di un broker a cui non è mai stata posta la domanda diretta è di solito una supposizione, non un fatto.

Il filo comune in tutto questo è semplice abbastanza da ripetere a chiunque in squadra pensi che il bot sia un problema separato dall'azienda: ogni tribunale che ha guardato questa domanda finora ha trattato il chatbot come l'azienda che parla, con la propria voce, attraverso un'interfaccia diversa. Costruisci i paletti, i log e l'abitudine di controllo come se un dipendente nuovo e un po' troppo sicuro di sé avesse appena iniziato a rispondere a ogni ticket durante la notte, perché legalmente è quasi esattamente ciò che è successo.