AI客服聊天机器人:当它做出你从未批准的承诺时,实际会发生什么
几乎每个分类信息网站添加聊天功能的原因都一样:工单凌晨两点就会涌进来,广告主想知道为什么付款失败,或者照片为什么被拒,而没人愿意为了回答同样五个问题去付夜班的工资。一个在帮助页面上训练出来的助手看起来是显而易见的解决方案。它从不睡觉,也不会对难缠的广告主失去耐心,成本只是雇一个客服人员的零头。
这笔账里被忽略的是,助手第一次答错时会发生什么。不是打字错误,也不是坏链接,而是一个说得斩钉截铁的错误答案:对,那笔退款已经批准,对,这次可以跳过重新验证,对,那张照片符合规定。本能反应是把它当成软件漏洞来处理:修复、道歉、继续前进。好几个法院已经裁定这种本能是错的,而且他们用的推理套用到一个分类信息网站上,和套用到那些真正被告上法庭的企业身上一样精确。
聊天机器人不是一个独立的法律主体
对这一原则最清楚的表述来自不列颠哥伦比亚省一家小额索赔式仲裁庭,案件本身和成人内容毫无关系。一位名叫杰克·莫法特的旅客在家人去世后,向加拿大航空网站的聊天机器人询问丧亲票价,机器人告诉他可以在订票后九十天内申请折扣。这是错的。同一网站的另一个页面写明折扣必须在出行前申请,而当莫法特指出这正是航空公司自己的机器人告诉他的内容时,加拿大航空拒绝补足差价。
加拿大航空的抗辩是,聊天机器人应被视为一个独立实体,对自己说的话负责,而不是航空公司负责。仲裁庭驳回了这一论点,措辞值得任何正在搭建客服机器人的人反复体会:"加拿大航空暗示聊天机器人是一个独立的法律实体,要为自己的行为负责。这是一个令人惊讶的主张。虽然聊天机器人具有互动成分,但它终究只是加拿大航空网站的一部分。信息究竟来自静态页面还是聊天机器人,并无区别。"加拿大航空还尝试了第二套抗辩,援引其自家公开运价条款中的条款,但同样败诉,因为它从未将运价的实际文本作为证据提交,只是描述了它据称写了什么。
涉案金额很小:约六百五十加元的赔偿金,外加利息和仲裁费,因为这是一个小额索赔程序,不是陪审团审理的案件。而这恰恰是值得停下来细想的细节。裁定此案的法律原则并不取决于金额大小,它会以同样的方式适用于一个向广告主报出错误续费价格的机器人,或者确认一笔财务部门从未批准过的退款的机器人。这同样只是不列颠哥伦比亚省一家仲裁庭的裁决,在其他地方并无约束力,当然更不是美国法律,但其推理反映的是一种在大多数普通法体系中都存在的、关于过失失实陈述的普通原则,而这些体系也包括一家总部在美国的运营商实际要面对的那些。
美国法院几十年前就已得出同样的结论
这不是生成式AI发明出来的新问题。1972年,一家美国上诉法院审理了州农汽车保险公司诉博克霍斯特案,涉及一种古老得多的自动化方式:一台大型机依据一名员工未能及时更新的过时信息,生成了一份保单恢复通知。法院认定保险公司要对自己电脑发出的内容负责,写道:"电脑只会按照其人类程序员提供的信息和指令运作。如果电脑思考得不像人,那是人的错。"
该案的法律机制与莫法特案并不完全相同,把两者说成同一个法律检验标准未免牵强:博克霍斯特案围绕的是法律如何看待保险公司通过其员工所拥有的知识,而莫法特案围绕的是对消费者准确陈述事实的义务。两案共通的,正是运营商真正需要的那个结论:两家法院都没有让企业指着自己的机器一走了之。客服机器人不是漏洞,也从来都不是,因为堵住这个漏洞的法律原则比聊天机器人本身早了半个世纪。
这件事会以两种不同方式反噬,而分类信息网站两种风险都要承担
同一个聊天插件里藏着两种独立的风险,需要不同的应对方式。第一种是机器人在私下对话中对某个具体广告主说了什么,也就是莫法特和博克霍斯特遇到的情况:一个广告主信以为真并因此蒙受损失的错误承诺。第二种是你在营销材料或网站本身上,就机器人或其背后系统实际能做什么所作的陈述,这属于广告真实性问题,而非合同法问题。
第二种风险有其自身的执法历史。2024年9月,美国联邦贸易委员会以其所称的"AI合规行动"名义立案调查了五起案件,针对的是它认为夸大了自家AI产品实际能力的企业。其中一家,DoNotPay,自称是"世界上第一位机器人律师",宣称其工具能让用户无需律师就起诉人身伤害,并生成具有法律效力的文件,却从未按人类律师的标准测试过自己的输出,也从未聘用过任何一名律师。该公司支付了十九万三千美元和解金,并接受禁令,不得在没有证据支持的情况下宣称其服务可以替代专业咨询。时任联邦贸易委员会主席丽娜·汗当时的评论毫不含糊:"利用AI工具欺骗、误导或诈骗消费者是违法的",而且"现行法律对AI没有任何豁免"。
这五起案件针对的都是出售夸大宣传的AI产品的企业,而不是仅仅使用聊天机器人来处理自家客服的企业,所以应当把这当作一个强烈的警示,而不是对这一确切场景的判决。背后的法规,即《联邦贸易委员会法》第五条,总体上禁止不公平或欺骗性做法,不论那句有问题的话究竟出自谁手都一视同仁。一个网站告诉广告主"我们的AI会自动验证每个档案",而实际流程不过是软件辅助下的人工抽查,这正是该法规存在的目的所要打击的那类说法,值得与一条信息在被标注为已验证之前,究竟必须是真的到什么程度一并来看。
客服机器人最容易做出的那些承诺
想象一下广告主实际在网站聊天框里打出的问题,因为风险正集中在那里。账单问题带来最危险的回答:一个被训练得乐于助人的机器人会倾向于确认广告主要求的退款、按比例退费或取消,因为这是最快结束对话的答案。每一个这样的回答都是财务部门从未签字认可的承诺,并且削弱了那套刻意放慢节奏、用来防止争议升级成拒付的退款流程。
验证问题更糟,因为风险属于监管层面,不只是财务层面。一个不想重新提交身份证件的广告主,会把问题措辞得让跳过这一步听起来合情合理,而一个为简短满意回答而优化的机器人,可能会确认现有记录没问题,尽管它并未更新,甚至从未真正核实过。同样的风险也出现在内容审核周围:一个就被拒照片或被下架广告提出申诉的广告主,会直接问机器人这内容是否允许,而一个自信满满却错误的回答,恰恰与审核员出于机器人看不到的理由已经作出的决定相矛盾。
不需要一次轰动的失误,这件事就能变得代价高昂。只要一个广告主能拿出截图,证明机器人承诺了企业不会兑现的东西,就已经具备了投诉的基本要素,而类似承诺在众多广告主身上反复出现的模式,会把一次尴尬的退款变成监管机构或原告律师可以指出的规律。2026年多伦多一家汽车经销商的案例很能说明企业要付出的代价,尽管此事从未进入法庭:该经销商昵称为奎因的机器人给一位客户发消息,提出以超过两万七千加元的价格回购其汽车,经销商先是把这份报价撤回,归咎为AI失误,直到一家全国性新闻机构打电话要求置评,才全额兑现了这份报价,之后还改变了流程,让回购报价此后改由人工提出。这一结果没有任何一步取决于法官,而这恰恰是值得注意的细节:代价高昂的部分是撤回报价和见诸报端,而不是一纸判决。
按顺序,实际该做的事
首先要确定机器人永远不能独自决定的事项。退款金额、验证豁免,以及任何关于某项具体内容是否允许的判断,都应触发一个固定回应,把对话转交给真人处理,而不是现场生成的答案,因为正是这些类别,会让一句错话变成一项有约束力的承诺,或者一个合规漏洞。
让机器人所依据训练或指令的内容,与当前真正生效的政策页面保持完全一致,并且在机器人的信息来源当天更新完毕之前,都把这次政策变更视为尚未完成,而不是等到那一周结束。一个依据一个月前就已被替换的退款政策作答的机器人,不是一个假设性的风险,而是这件事在实践中出错的最常见方式。
完整记录每一次对话,并把记录放在客服负责人真正会定期查阅的地方,而不只是存档的地方。每周抽查一批对话记录,能在某个坏模式还只是一个广告主的问题,而不是一百个广告主的问题时就把它揪出来,而同样这些记录,也正是日后一旦需要证明企业在工具上线后一直合理尽责、而非放任不管时所能依靠的依据。
不要把一行免责声明当成单独就能免责的盾牌。声明AI回答可能不准确仍然值得保留,因为它是企业确实尽了一些注意义务的证据,但加拿大航空输掉官司,是因为机器人所说内容不准确,而不是因为缺少免责声明,仲裁庭提出的异议是,在把聊天机器人的回答展示给客户之前,没有任何人将其与实际政策核对过。一句放在从未有人审核过的回答旁边的免责声明,作用有限。
最后,直接书面询问你的保险公司,现行保单是否能应对因AI客服工具对客户所说内容而产生的索赔,就在你已经在核实标准保单的内容排除条款实际上有哪些未被覆盖的同一次沟通中一并问清楚。大多数一般责任保单在这一切出现之前就已经拟就,而一个从未被直接问过这个问题的经纪人给出的诚实答案,通常只是猜测,不是事实。
贯穿这一切的主线足够简单,可以对团队里任何认为机器人是企业之外另一回事的人复述一遍:迄今为止审理过这个问题的每一家法院,都把聊天机器人当成企业本身在说话,用的是企业自己的声音,只不过换了一个界面。把护栏、日志记录和复查习惯建立起来,就当作一名稍微过于自信的新员工刚刚开始通宵回复每一张工单,因为从法律角度看,事实几乎正是如此。
