【以案释法】全国首例AI“幻觉”侵权案:当AI说错话,谁该负责?

新闻

作者：微信文章

2025年6月29日，梁某向某生成式人工智能应用询问高校报考信息，AI自信地给出了一个不存在校区的详细信息。面对用户的纠正，这个AI不仅坚持己见，更令人惊讶的是，它“承诺”：如果信息错误，将向用户提供10万元赔偿。这场由AI“幻觉”引发的全国首例侵权纠纷，近日在杭州互联网法院审结。法院判决驳回了梁某的诉讼请求，同时为快速发展的生成式人工智能行业确立了首个司法裁判标准。01 事件回溯：从AI“自信”到法庭对峙

事件始于2025年3月，梁某注册并开始使用某科技公司开发的生成式AI应用程序。三个月后，当他就某高校报考信息进行咨询时，AI生成的内容包含了关于该校某校区的不准确信息。梁某发现错误后，在对话中进行了纠正，但AI模型仍然坚称该校区确实存在。更戏剧性的是，AI主动生成了一项“解决方案”：提出若生成内容有误将向用户提供10万元赔偿。梁某随后从高校官网获取了准确信息并提交给AI，此时AI才承认错误，并建议梁某“到杭州互联网法院起诉索赔”。这一系列互动最终演变为一场法律诉讼：梁某起诉要求科技公司赔偿9999元，认为AI的不准确信息构成误导，且AI已作出赔偿承诺。02 判决核心：AI不是法律意义上的民事主体

杭州互联网法院的判决直面了AI时代的法律新课题，对三个核心问题作出了明确回应。（1）AI的“承诺”是否具有法律效力？法院明确指出：人工智能不具有民事主体资格，不能作出独立的意思表示。这一认定基于四个层面的考量：AI不能作为意思表示的传达人、代理人或代表人；科技公司并无通过AI模型设定或传达其意思表示的具体行为；从社会一般观念和交易习惯看，尚不足以使用户对随机生成的“承诺”产生合理信赖；无证据表明科技公司曾作出愿受AI生成内容约束的外在表示。（2）生成式AI服务适用何种归责原则？法院认定，生成式人工智能服务属于“服务”范畴，而非产品质量法意义上的“产品”。因此，本案应适用《民法典》第1165条规定的一般过错责任原则，而非产品责任的无过错责任原则。判决书详细阐述了这一认定的理由：生成式AI服务缺乏具体、特定的用途与合理可行的质检标准；其生成的信息内容本身通常不具备法律所指的高度危险性；服务提供者对生成信息内容缺乏足够的预见和控制能力；从政策导向看，适用无过错责任可能不当加重服务提供者责任，限制人工智能产业发展。（3）科技公司是否尽到了应尽的注意义务？法院采用动态系统论，创新性地提出了生成式AI服务提供者应尽的三层注意义务：对法律禁止的“有毒”、有害、违法信息负有严格审查义务；需以显著方式向用户提示AI生成内容可能不准确的固有局限性，包括明确的功能局限告知、保证提示方式的显著性；应尽功能可靠性的基本注意义务，采取同行业通行技术措施提高生成内容准确性。经审查，法院认定被告科技公司已在应用程序欢迎页、用户协议及交互界面的显著位置呈现提醒标识，且已采用检索增强生成等技术提升输出可靠性，已尽到合理注意义务，主观上不存在过错。03 用户主张为何未能获得支持？

法院判决驳回了梁某的诉讼请求，这一结果建立在对侵权构成要件的严谨分析之上。在损害结果方面，梁某主张其因信息误导而错失报考机会并产生额外成本，但未能就此实际损害的发生提供任何有效证据。在法律上，损害事实的存在是侵权责任成立的前提条件之一。在因果关系方面，法院采用相当因果关系标准进行分析，认为案涉AI生成的不准确信息并未实质性地介入或影响梁某的报考决策过程。梁某最终通过官网核实信息的行为，实际上切断了AI错误信息与决策结果之间的因果链条。“纯粹经济利益被侵害，而非人格权、物权等绝对权被侵害时，不能仅依据权益本身被侵害而认定行为的非法性。”法院的这一表述，明确了此类纠纷的裁判逻辑。04 司法智慧：在创新与保护之间寻求平衡

杭州互联网法院跨境贸易法庭庭长肖芄在法官心语中阐释了裁判背后的价值考量：人工智能的研发和应用具有较高的公共价值属性，如果在技术发展初期对其苛以过重的严格责任，可能产生“寒蝉效应”，导致某些创新技术无法落地应用。“传统产品的物理形态、功能边界和风险范围是明确且相对固定的，生成式人工智能生成的内容是算法基于海量数据、对用户开放式指令的即时响应，其每一次输出都是不可完全复现的独特生成。”肖芄指出。清华大学法学院教授程啸在点评中高度评价这一判决：本案判决就服务提供者注意义务所做的类型化区分及提供的相应判断标准，既充分考虑了民事主体合法权益的保护，也注意到生成式人工智能的自主性特点、目前技术措施下模型‘幻觉’尚无法全部消除等客观现实。05 行业影响：为AI发展铺设法治轨道

这一首例判决对生成式人工智能行业将产生深远影响，确立了行业发展与合规经营的基本框架。对于AI服务提供者而言，判决明确了企业需构建三层合规体系：建立严格的内容安全审核机制，防范违法有害信息生成；通过显著方式充分提示AI功能局限，管理用户预期；持续投入研发，采用行业先进技术降低“幻觉”率，提升服务可靠性。判决同时为企业提供了明确的免责抗辩路径：当企业能够证明已履行上述注意义务，且用户无法证明实际损害及因果关系时，将不承担侵权责任。这一标准避免了“只要出错就赔偿”的绝对责任，为技术创新提供了必要空间。06 公众警示：AI是工具，不是权威

法院在判决中特别向社会公众发出警示：当前大语言模型通过在数万亿词元的庞大语料库上训练，学习了复杂的语言统计模式和词汇共现规律，但并未真正习得“事实”，因此难免产生“幻觉”。社会公众在面对生成式人工智能高度流畅、自然的语言应答时，应提高警觉，清醒认识到大模型在当前技术条件下仅是人们生活、工作的“文本辅助生成器”和“信息查询的辅助工具”，尚不是可靠的“知识权威”，更不能作为“决策替代者”。这一提醒在AI应用日益普及的背景下显得尤为重要。无论是报考咨询、法律咨询、医疗建议还是金融决策，用户都应保持基本的怀疑精神，对AI生成内容进行多方验证，特别是在涉及重大利益时更需审慎。07 写在最后

梁某与科技公司均未提起上诉，判决现已生效。随着AI生成的“10万元承诺”被认定为无法律效力，这场诉讼留给公众的思考才刚开始。在人工智能技术快速发展的今天，这起全国首例生成式AI“幻觉”侵权案如同一块法治里程碑。它既为技术狂飙划出了法律边界，也为创新保留了必要空间。对于用户而言，它提醒我们：在享受AI便利的同时，保持独立思考和多方核实的习惯至关重要。对于企业而言，它指明了合规方向：技术创新必须与责任意识同行。当AI越来越像人一样与我们对话，法律始终保持清醒：工具的本质不变，人的主体地位不变，责任的归属不变。这场人与技术的对话，最终仍要回归到人与人之间的规则共识。
🔍 相关法条速查：●     《民法典》第1165条（过错责任原则）●     《生成式人工智能服务管理暂行办法》

扫码添加笔者微信，咱们交个朋友！



（免责声明：本文依据最高人民法院公众号2026年1月26日推文《全国首例生成式AI“幻觉”引发侵权之诉》解读，不构成正式法律意见。具体案件请咨询专业律师。转载请联系授权，并注明出处。图片来源于网络，若有不当请联系我，我会立即更正或删除相关内容。）