AIサポートチャットボット、あなたが許可していないことを約束したとき実際に何が起きるか

ほとんどのディレクトリサイトが同じ理由でチャットを導入する。サポート依頼は深夜二時にも届き、広告主は支払いがなぜ失敗したのか、写真がなぜ却下されたのかを知りたがる。そして同じ五つの質問に答えるためだけに夜勤の人件費を払いたい者はいない。ヘルプページで訓練されたアシスタントは、いかにも明快な解決策に見える。決して眠らず、扱いにくい広告主に苛立つこともなく、サポート担当者を一人雇う費用のほんの一部で済む。

この計算から抜け落ちているのは、そのアシスタントが初めて間違えたときに何が起きるかだ。誤字でもリンク切れでもなく、完全な自信を持って語られる誤った答えである。はい、その返金は承認されています。はい、今回は再確認を省略できます。はい、その写真は規定に適合しています。本能的にはこれをソフトウェアの不具合として扱い、修正し、謝罪し、前に進みたくなる。だがいくつもの裁判所は、その本能自体が誤りだとすでに判断しており、そこで用いられた論理は、実際に訴えられた企業に対してと同じ精度で、成人向け分類広告サイトにも当てはまる。

チャットボットは独立した法人格ではない

この原則をもっとも明確に述べたのは、成人向けコンテンツとは一切関係のない事件を扱った、ブリティッシュコロンビア州の少額請求審判所である。ジェイク・モファットという旅行者が、家族を亡くした後にエア・カナダのウェブサイトのチャットボットに弔事運賃について尋ねたところ、ボットは予約後九十日以内であれば割引を申請できると答えた。これは誤りだった。同じサイトの別のページには、割引は旅行前に申請しなければならないと書かれており、モファットが自社のチャットボットから言われた内容を指摘しても、エア・カナダは差額の返金を拒んだ。

エア・カナダの弁護は、チャットボットは航空会社ではなく自らの発言に責任を負う独立した存在として扱われるべきだ、というものだった。審判所はこの主張を、サポートボットを構築するすべての人に繰り返す価値のある言葉で退けた。「エア・カナダは、チャットボットが自らの行動に責任を負う別個の法人格であると示唆している。これは驚くべき主張である。チャットボットに対話的な要素があるとしても、それはあくまでエア・カナダのウェブサイトの一部にすぎない。情報が静的なページから来たものかチャットボットから来たものかは問題ではない。」エア・カナダは自社が公開していた運賃規定の条項を根拠とする二つ目の弁護も試みたが、それも敗れた。規定の実際の文面を証拠として一度も提出せず、それが何を定めていたとされるかの説明に終始したからである。

争われた金額は小さく、損害賠償としてカナダドルで約650ドル、これに利息と審判所の手数料が加わった程度だった。陪審裁判ではなく少額請求手続きだったからだ。そしてこれこそが、立ち止まって考える価値のある部分である。この事件を決定づけた法律上の原則は金額に左右されるものではなく、広告主に誤った更新料金を提示するチャットボットや、経理部門が一度も承認していない返金を確認してしまうチャットボットにも、まったく同じように適用される。これはブリティッシュコロンビア州の審判所の判断にすぎず、他の場所での拘束力はなく、もちろんアメリカの法ではない。しかしその論理は、アメリカを拠点とする事業者が実際に服するコモンロー諸法域を含む、その大半に存在する通常の過失による不実表示の法理を映し出している。

アメリカの裁判所はすでに数十年前に同じ結論に達していた

これは生成AIが生み出した新しい問題ではない。1972年、アメリカの控訴裁判所ははるかに古い種類の自動化をめぐる州ファーム自動車保険会社対ボックホースト事件を審理した。人間の担当者が時間内に更新しなかった古い情報をもとに、メインフレームが保険証券の復活通知を自動生成した事件である。裁判所は保険会社を、自社のコンピュータが送った内容に拘束されると判断し、「コンピュータは人間のプログラマーが与えた情報と指示にのみ従って動作する。コンピュータが人間のように考えないのであれば、それは人間の落ち度である」と記した。

この事件の法的な仕組みはモファット事件とまったく同じではなく、両者を同一の判断基準として提示するのは無理がある。ボックホースト事件は、法が従業員を通じて保険会社自身が持つ知識とみなすものを争点としていたのに対し、モファット事件は消費者に対して事実を正確に伝える義務を争点としていた。両事件に共通するのは、事業者が本当に必要としている結論である。どちらの裁判所も、企業が自社の機械を指さして立ち去ることを許さなかった。サポートボットは抜け道ではなく、これまでも抜け道だったことは一度もない。その抜け道を塞ぐ法理は、チャットボットより半世紀も前から存在していたからだ。

これが噛みつく二つの異なる形と、ディレクトリサイトが抱える両方のリスク

同じチャットウィジェットの中には、二つの異なるリスクが潜んでおり、それぞれ異なる対処が必要になる。一つ目は、ボットが個人的な会話の中で特定の広告主に何を伝えるかであり、モファットやボックホーストの状況がこれにあたる。広告主が信頼し、そのために金銭的損失を被る誤った約束である。二つ目は、マーケティング資料やサイト自体の中で、ボットやその背後のシステムが実際に何をしているかについてあなたが主張している内容であり、これは契約法の問題というより広告の真実性の問題である。

二つ目のリスクには、独自の法執行の歴史がある。2024年9月、アメリカ連邦取引委員会は「オペレーションAIコンプライ」と名付けた取り組みのもとで、自社のAI製品が実際にできることを誇張したとみなした企業を相手に五件の案件を立ち上げた。そのうちの一社ドゥーノットペイは、自らを「世界初のロボット弁護士」と称し、自社のツールを使えば弁護士なしで暴行事件を提訴でき、法的に有効な書類を作成できると主張していたが、自社の出力を人間の弁護士の水準と一度も比較検証したことがなく、弁護士を一人も雇用したこともなかった。同社は19万3000ドルの和解金を支払い、証拠なしに自社サービスが専門家の助言の代わりになると主張することを禁じられた。当時のFTC委員長リナ・カーンの発言は率直だった。「人を騙し、誤解させ、あるいは欺くためにAIツールを使うことは違法である」とし、「既存の法律にAIの適用除外は存在しない」と述べた。

これら五件はいずれも、誇張された主張とともにAI製品を販売していた企業に対するものであり、自社の顧客サポートのために単にチャットボットを導入しただけの企業に対するものではない。したがってこれは、このまさにそのシナリオに対する判決としてではなく、強い警告として受け止めるべきだろう。この背後にある法律、FTC法第五条は、問題となる文章を誰が書いたかにかかわらず、不公正または欺瞞的な行為一般を禁じている。実際には人間がソフトウェアの補助を受けて抜き打ち確認しているだけなのに、「当社のAIがすべてのプロフィールを自動的に確認しています」と広告主に伝えるディレクトリサイトは、まさにこの法律が取り締まるために存在するタイプの主張をしていることになる。これは掲載情報が確認済みと表示される前に実際に何が真実でなければならないかと合わせて読む価値がある。

サポートボットがもっとも容易にしてしまう約束

広告主がディレクトリサイトのチャットに実際に打ち込む質問を思い浮かべてほしい。リスクが集中するのはそこだからだ。料金に関する質問はもっとも危険な回答を生む。役に立とうと訓練されたボットは、広告主が求める返金や日割り計算、解約を確認する方向に傾きやすい。それが会話をもっとも早く終わらせる回答だからだ。そうした回答の一つひとつが、経理部門が一度も承認していない約束であり、紛争がチャージバックへと発展するのを防ぐために意図的に遅く設計された返金プロセスを掘り崩す。

本人確認に関する質問はさらに悪い。規制上のリスクが伴い、金銭面だけの問題では済まないからだ。身分証明書を再提出したくない広告主は、それを省略するのが妥当に聞こえるように質問を組み立て、短く満足のいく回答を出すよう最適化されたボットは、既存の記録が最新でなかったり、実際には一度も確認されていなかったりしても、問題ないと答えてしまうことがある。同じリスクはコンテンツモデレーションの周辺にも現れる。却下された写真や削除された掲載情報について不服を申し立てる広告主は、その内容が許可されるかどうかをボットに直接尋ね、自信満々の誤った答えは、ボットには見えない理由によってモデレーターがすでに下した判断と、ここで矛盾してしまう。

これが高くつくようになるのに、劇的な失敗は必要ない。企業が守らないことをボットが約束したスクリーンショットを見せられる広告主が一人いるだけで、苦情の基本的な要素はすでに揃っている。そして同様の約束のパターンが多数の広告主にわたって繰り返されれば、一件のばつの悪い返金が、規制当局や原告側弁護士が指摘できるパターンへと変わってしまう。2026年、トロントのある自動車販売店で、クインという愛称のボットが顧客にメッセージで車の買い取りを27,000カナダドル超で提案した事件は、裁判には至らなかったものの、企業側のコストをよく物語っている。販売店はその申し出をAIの誤りとして撤回したが、全国メディアがコメントを求めて連絡した後にようやく全額を履行し、その後は買い取りの提示を人間が行うよう手順を変更した。この結末の何一つとして、裁判官の判断に依存していなかった。そしてまさにこの点こそ、注目に値する。高くついたのは撤回とニュースになったことであり、判決ではなかったのだ。

実際にすべきこと、順を追って

まず、ボットが単独で決して解決してはならないことを定めるところから始める。返金額、本人確認の例外、そして特定のコンテンツが許可されるかどうかについての判断は、その場で生成された回答ではなく、会話を人間に引き継ぐ固定の応答を発動させるべきだ。これらはまさに、たった一文の誤りが拘束力のある約束やコンプライアンス上の穴に変わってしまう部類だからである。

ボットが訓練あるいは指示されている内容を、実際に現在有効なポリシーページと完全に一致させ続け、ボットの情報源が同じ週ではなく同じ日のうちに更新されるまでは、ポリシー変更を未完了として扱うこと。一か月前に差し替えられた返金ポリシーをもとに答えるボットは仮定の話ではなく、実際にこれがうまくいかなくなるもっとも一般的な形である。

すべての会話を完全に記録し、保管されているだけの場所ではなく、サポート責任者が実際に定期的に目を通す場所にログを保管すること。会話記録のサンプルを毎週確認することで、それが百人の広告主ではなく一人の広告主の問題であるうちに悪いパターンを捕まえられる。そして必要になったときに、企業がツールを起動したまま放置していたのではなく合理的な注意を払っていたことを示せるのも、まさにこれらのログである。

免責事項の一文だけで責任の盾になると考えないこと。AIの回答は不正確な場合があるという警告は、それでも掲げておく価値がある。企業が一定の注意を払っていたことの証拠になるからだ。しかしエア・カナダが敗訴したのは、ボットが言ったことの不正確さゆえであり、免責事項がなかったからではない。審判所の指摘は、チャットボットの回答が顧客に表示される前に、誰もそれを実際のポリシーと照らし合わせていなかったという点にあった。誰も監査しない回答の隣にある免責事項は、ほとんど役に立たない。

最後に、現在加入している保険が、AIサポートツールが顧客に伝えた内容から生じるクレームに対応するかどうかを、保険会社に直接、書面で確認すること。これは、標準的な保険契約のコンテンツ除外条項が実際に何をカバーしていないかをすでに確認しているのと同じやり取りの中で行えばよい。ほとんどの一般賠償責任保険は、こうした事態が存在する以前に作成されており、この直接的な質問を一度も投げかけられたことのない代理店からの正直な答えは、たいてい事実ではなく推測にすぎない。

この一連の話を貫く共通点は、ボットは企業とは別の問題だと考えるチーム内の誰にでも繰り返せるほど単純である。これまでこの問題を検討したすべての裁判所は、チャットボットを、別のインターフェースを通じて自らの声で語っている企業そのものとして扱ってきた。ガードレールとログ記録、そして見直しの習慣を、まるで少し自信過剰な新人社員が夜通しすべてのチケットに答え始めたかのように構築すること。法的には、それはほとんど実際に起きたことそのものだからだ。