ИИ-чат-боты поддержки: что на самом деле происходит, когда ваш обещает то, чего вы не разрешали
Почти каждый каталог добавляет чат по одной и той же причине: заявки приходят в два часа ночи, рекламодатель хочет знать, почему не прошел платеж или почему отклонили фото, и никто не хочет платить за ночную смену ради ответа на одни и те же пять вопросов. Помощник, обученный на страницах справки, кажется очевидным решением. Он никогда не спит, никогда не теряет терпение со сложным рекламодателем и стоит лишь часть зарплаты сотрудника поддержки.
Что ускользает из этого расчета, так это то, что происходит, когда помощник впервые ошибается. Не опечатка, не битая ссылка, а неверный ответ, сказанный с полной уверенностью: да, этот возврат одобрен, да, в этот раз можно пропустить повторную верификацию, да, это фото соответствует правилам. Инстинкт подсказывает отнестись к этому как к программному багу: исправить, извиниться, двигаться дальше. Несколько судов уже постановили, что этот инстинкт ошибочен, и логика, которую они использовали, применима к доске объявлений с той же точностью, с какой она применялась к компаниям, которых действительно судили.
Чат-бот не является отдельным юридическим лицом
Самая четкая формулировка этого принципа прозвучала в суде мелких тяжб Британской Колумбии, в деле, не имевшем никакого отношения к контенту для взрослых. Путешественник по имени Джейк Моффатт спросил у чат-бота на сайте Air Canada о тарифе на случай тяжелой утраты после смерти родственника, и чат-бот сказал ему, что можно подать заявку на скидку в течение девяноста дней после бронирования. Это было неверно. Другая страница того же сайта гласила, что скидку нужно запрашивать до поездки, и Air Canada отказалась признать разницу, когда Моффатт указал на то, что сказал ему их же собственный чат-бот.
Защита Air Canada заключалась в том, что чат-бот следует считать отдельным субъектом, отвечающим за свои собственные слова, а не авиакомпанию. Суд отклонил этот аргумент словами, которые стоит повторить любому, кто создает бота поддержки: "Air Canada предполагает, что чат-бот является отдельным юридическим лицом, которое несет ответственность за свои собственные действия. Это удивительное заявление. Хотя у чат-бота есть интерактивный компонент, он остается лишь частью сайта Air Canada. Не имеет значения, поступает информация со статической страницы или от чат-бота." Air Canada также попыталась выдвинуть вторую защиту, сославшись на положения собственного опубликованного тарифа, но проиграла и ее, поскольку так и не представила фактический текст тарифа в качестве доказательства, лишь описание того, что он якобы гласил.
Сумма в деле была небольшой: около 650 канадских долларов компенсации плюс проценты и судебные сборы, поскольку это была процедура мелких тяжб, а не суд присяжных. И именно на этой детали стоит остановиться. Правовой принцип, решивший дело, не зависел от суммы, и он применялся бы точно так же к чат-боту, который называет рекламодателю неверную цену продления или подтверждает возврат, который бухгалтерия никогда не одобряла. Это также было решение суда Британской Колумбии, не обязательное нигде больше и уж точно не являющееся американским правом, но рассуждение отражает обычную доктрину небрежного введения в заблуждение, существующую в большинстве систем общего права, включая те, перед которыми реально отвечает оператор, базирующийся в США.
Американские суды пришли к этому на десятилетия раньше
Это не новая проблема, изобретенная генеративным ИИ. В 1972 году американский апелляционный суд рассмотрел дело State Farm Mutual Automobile Insurance Co. против Бокхорста, касавшееся гораздо более старого вида автоматизации: мейнфрейма, который сформировал уведомление о восстановлении полиса на основе устаревшей информации, которую сотрудник-человек не успел обновить. Суд постановил, что страховщик связан тем, что отправил его собственный компьютер, написав, что "компьютер действует только в соответствии с информацией и инструкциями, предоставленными его программистами-людьми. Если компьютер не думает как человек, в этом виноват человек."
Правовой механизм этого дела не идентичен делу Моффатта, и было бы натяжкой представлять их как один и тот же тест: дело Бокхорста строилось на том, что закон считает собственным знанием страховщика через его сотрудников, тогда как дело Моффатта строилось на обязанности точно представлять факты потребителю. Что объединяет оба дела, так это вывод, который действительно нужен оператору: ни один из судов не позволил компании указать на свою собственную машину и уйти в сторону. Бот поддержки не является лазейкой в законе, и никогда ею не был, потому что доктрина, закрывающая эту лазейку, опередила чат-бот на полвека.
Два разных способа, которыми это бьет, и каталог рискует обоими
Внутри одного и того же чат-виджета скрываются два отдельных риска, и они требуют разных решений. Первый риск в том, что бот говорит конкретному рекламодателю в приватном разговоре, ситуация Моффатта и Бокхорста: неверное обещание, на которое рекламодатель положился и которое стоило ему денег. Второй риск в том, что вы утверждаете в маркетинговых материалах или на самом сайте о том, что реально делает бот или системы за ним, вопрос правдивости рекламы, а не договорного права.
У второго риска своя история правоприменения. В сентябре 2024 года Федеральная торговая комиссия США открыла пять дел в рамках того, что она назвала Operation AI Comply, против компаний, которые, по ее мнению, преувеличивали реальные возможности своих ИИ-продуктов. Одна из них, DoNotPay, позиционировала себя как "первого в мире робота-адвоката" и утверждала, что ее инструмент позволяет подать в суд за нападение без адвоката и создавать юридически действительные документы, ни разу не проверив свои результаты по стандарту адвоката-человека и ни разу не наняв ни одного юриста. Компания согласилась выплатить 193 000 долларов и приняла запрет заявлять, что ее сервис может заменить профессиональную консультацию без подтверждающих доказательств. Комментарий тогдашней председателя FTC Лины Хан был прямым: "использовать инструменты ИИ для обмана, введения в заблуждение или мошенничества в отношении людей незаконно", и "для ИИ не существует исключения из действующих законов".
Все эти пять дел были против компаний, продававших ИИ-продукт с завышенными заявлениями, а не против компании, которая просто использовала чат-бота для собственной поддержки клиентов, поэтому стоит относиться к этому как к серьезному предупреждению, а не как к решению именно по этому сценарию. Закон, лежащий в основе всего этого, раздел 5 FTC Act, в целом запрещает недобросовестные или вводящие в заблуждение практики, без исключения в зависимости от того, кто написал спорную фразу. Каталог, который говорит рекламодателям "наш ИИ автоматически верифицирует каждый профиль", когда процесс на самом деле представляет собой проверку человеком с помощью программного обеспечения, делает именно то заявление, против которого существует этот закон, что стоит читать вместе с тем, что на самом деле должно быть правдой, прежде чем объявление будет напечатано как проверенное.
Обещания, которые бот поддержки дает легче всего
Представьте вопросы, которые рекламодатель действительно вводит в чат каталога, потому что именно там концентрируется риск. Вопросы по оплате дают самые опасные ответы: бот, обученный быть полезным, будет склонен подтверждать возврат, перерасчет или отмену, о которых просит рекламодатель, потому что это ответ, который быстрее всего завершает разговор. Каждый такой ответ представляет собой обязательство, которое финансовый отдел никогда не подписывал, и он подрывает намеренно более медленный процесс возврата средств, созданный, чтобы спор не превращался в чарджбэк.
Вопросы по верификации хуже, потому что на кону регуляторные, а не только финансовые риски. Рекламодатель, не желающий повторно отправлять документ, удостоверяющий личность, сформулирует вопрос так, чтобы пропуск этого шага звучал разумно, и бот, оптимизированный под короткий удовлетворительный ответ, может подтвердить, что существующая запись в порядке, хотя она устарела или никогда реально не проверялась. Тот же риск возникает вокруг модерации: рекламодатель, оспаривающий отклоненное фото или снятое объявление, спросит бота напрямую, допустим ли контент, и уверенный неверный ответ здесь противоречит решению, которое модератор уже принял по причине, невидимой для бота.
Для того чтобы это обошлось дорого, не нужен громкий провал. У одного-единственного рекламодателя, способного показать скриншот бота, обещающего то, что компания не выполнит, уже есть базовые элементы жалобы, а повторяющаяся на множестве рекламодателей схема похожих обещаний превращает неловкий возврат средств в закономерность, на которую может указать регулятор или адвокат истца. Случай 2026 года с автосалоном в Торонто, чей бот по имени Квин отправил клиенту сообщение с предложением выкупить его автомобиль более чем за 27 000 канадских долларов, хорошо иллюстрирует цену для бизнеса, хотя дело так и не дошло до суда: автосалон отозвал предложение, назвав это ошибкой ИИ, а затем выполнил его полностью лишь после того, как национальный телеканал позвонил за комментарием, и впоследствии изменил свой процесс так, чтобы предложения о выкупе теперь исходили от человека. Ничто в этом исходе не зависело от судьи, и именно это стоит заметить: дорогой частью стали отказ от обещания и попавшая в новости история, а не судебное решение.
Что реально делать, по порядку
Начните с того, что определите, что бот никогда не может решать самостоятельно. Суммы возвратов, исключения из верификации и любое решение о том, допустим ли конкретный контент, должны запускать фиксированный ответ, передающий разговор человеку, а не ответ, сгенерированный на месте, потому что именно эти категории превращают одну неверную фразу в обязывающее обещание или брешь в соблюдении требований.
Держите то, на чем обучен или проинструктирован бот, в полном соответствии с реально действующими страницами политики, и считайте изменение политики незавершенным, пока исходные материалы бота не обновлены в тот же день, а не в ту же неделю. Бот, отвечающий по политике возвратов, замененной месяц назад, представляет собой не гипотетический риск, а самый распространенный способ, которым это ломается на практике.
Фиксируйте каждый разговор полностью и храните журналы там, где руководитель поддержки действительно регулярно их читает, а не просто там, где они хранятся. Еженедельный просмотр выборки стенограмм позволяет поймать плохую закономерность, пока она остается проблемой одного рекламодателя, а не сотни, и эти же журналы позволяют показать, если до этого дойдет, что компания проявляла разумную осмотрительность, а не игнорировала инструмент после включения.
Не относитесь к строке с предупреждением как к самостоятельному щиту от ответственности. Предупреждение о том, что ответы ИИ могут быть неточными, все же стоит иметь, потому что это доказательство определенной осмотрительности компании, но Air Canada проиграла дело из-за неточности того, что сказал бот, а не из-за отсутствия предупреждения, и возражение суда заключалось в том, что никто не сверил ответ чат-бота с реальной политикой, прежде чем показать его клиентам. Предупреждение рядом с ответами, которые никто никогда не проверяет, мало что дает.
Наконец, напрямую спросите своего страховщика, в письменном виде, покрывает ли ваш текущий полис претензию, возникшую из-за того, что ИИ-инструмент поддержки сказал клиенту, в том же разговоре, где вы уже уточняете, что на самом деле остается непокрытым из-за исключений по контенту в стандартном полисе. Большинство полисов общей гражданской ответственности были составлены до того, как все это появилось, и честный ответ брокера, которому никогда не задавали этот прямой вопрос, обычно является предположением, а не фактом.
Общая нить во всем этом достаточно проста, чтобы повторить любому в команде, кто считает бота проблемой, отдельной от компании: каждый суд, рассматривавший этот вопрос до сих пор, относился к чат-боту как к самой компании, говорящей своим собственным голосом через другой интерфейс. Стройте ограничения, журналирование и привычку проверки так, будто новый, слегка самоуверенный сотрудник только что начал ночью отвечать на каждую заявку, потому что с юридической точки зрения это почти в точности то, что произошло.
