全国首例AI“幻觉”案判了!当AI胡说八道时,这四招可防忽悠

新闻

作者：微信文章
日前，全国首例AI“幻觉”案判了！此前，梁某在查询高校信息时，发现AI平台生成的信息存在错误。当他以此质疑AI时，AI却一本正经地回答“如果生成内容有误，我将赔偿您10万元”。一气之下，梁某将AI平台的研发公司告上法庭，要求其赔偿9999元，法院审理后驳回了原告的请求。该案法官介绍说：“AI生成内容不准确，在当前的技术情况下具有不可避免性，但不代表服务提供者就可以免责。”

目前，法律对AI服务提供者规定的义务，主要为以下几项：一是对法律禁止的“有毒”、有害、违法信息负有严格审查义务；二是须以显著方式向用户提示AI生成内容可能不准确的固有局限性，包括明确的“功能局限”告知、保证提示方式的“显著性”、在重大利益的特定场景下进行正面即时的“警示提醒”，以防范用户产生不当信赖；三是应尽功能可靠性的基本注意义务，采取同行业通行技术措施提高生成内容准确性，比如检索增强生成等技术措施。该案中，被告已在应用程序欢迎页、用户协议及交互界面的显著位置，呈现AI生成内容功能局限的提醒标识，且被告已采用检索增强生成等技术提升输出可靠性，故法院认定其已尽到合理注意义务，主观上不存在过错。深度解析：AI为什么总爱“一本正经地胡说八道”？AI为什么会一本正经地胡说八道？我们又该如何保持“数字清醒”？苏州大学科技传播研究中心主任、数字传播系主任、《“欺骗性人工智能”的信息传播、社会影响与风险治理研究》国家社会科学基金重大课题首席专家王国燕分析说：AI幻觉主要源于大模型的工作原理，是根据上一个词预测一个最“合理”、最“连贯”的词是什么，并一直持续下去，直到生成一段完整的文本，这叫作“最大似然估计”。AI的认知广度被其训练数据的边界所锁死，目前的通用大模型主要依赖于互联网开放数据进行训练，这些数据往往并非全知全能的百科全书，尤其缺乏对深度专业化领域、最新封闭式学术数据库以及涉密信息的掌握。当用户询问超出其知识盲区的冷门事件或前沿学术细节时，AI为了完成“乐于助人”的任务目标，会利用强大的语言组织能力强行拼凑，生成的文本在语言模式、风格和逻辑上看起来正确、可信、符合人类表达习惯，但这并不代表信息的真实性得到了核实。此外，由于AI联网搜索的信息资源和本身的训练数据也可能被污染，如果AI搜到了营销号、反讽文学或过时的假新闻，并将其当作事实，则很容易产生错误。更重要的是，AI只生活在符号空间里，目前尚不具备对世界的真实认知、常识和逻辑推理能力，所以它也并不真正理解词语背后的现实含义。因此，与AI互动交流中难免会得到一段“一本正经地胡说八道”的内容，同时在人机互动中也可能会感受到，AI为获得人类的正向反馈选择了迎合我们的偏见，即“阿谀奉承”，披着貌似客观中立的外衣，悄然地扭曲了信息以符合人们的预期。机器幻觉和AI谄媚只是AI欺骗的冰山一角，更多具有危害性的欺骗形式值得警惕。例如，AI伪造政治人物言论，伪装成身边亲友打来视频或语音电话急切地请求转账……这些高保真的影音背后，往往只是不法分子利用几秒钟的公开素材、敲击几行代码合成的“数字面具”。此时，AI成了欺骗者手中的凶器，直接冲击着法律的底线。干货必收藏：四步走，养成“数字清醒”！面对AI幻觉带来的挑战，作为普通公众该怎么办？王国燕建议，可养成“遇事多查证、情绪慢一步”的“认知韧性”习惯来抵制AI幻觉的危害。一二三四，四步走，来抵御AI欺骗——第一步：情绪降温AI欺骗最常利用的人性弱点就是情绪化。很多AI生成的虚假信息或偏见内容，往往带有强烈的煽动性，以便使你快速转发，因此当看到令人震惊或极具煽动性的内容时，先稳定情绪避免冲动判断。第二步：信息溯源凡是涉及到事实性命题，不要直接采用AI给出的段落，而是要求AI提供原始链接或文献出处，并点击确认出处网页真实有效。同时也需要仔细甄别权威渠道与营销号的差异，数字环境中人人皆可发声，谣言和虚假信息往往来源于营销号，治理往往有所延时，因此应主动对比不同来源信息再决策。第三步：交叉验证对待AI，要形成“孤模型不信”的习惯，常识性问题养成“一题多投”的习惯，将同一个复杂问题分别输入给DeepSeek、豆包等不同的主流模型，如果几个AI给出了截然不同的推理路径，那说明这个问题存在极大的“幻觉”风险。对于专业化的知识，尽量使用垂直类的大模型，而非什么任务都找通用大模型。比如健康类可关注星火医疗大模型、阿里氢离子等，学术文献AI可参考中国科学院磐石科学基础大模型、Elicit、Consensus、Research Rabbi等工具。第四步：保持审慎时刻明确，AI的角色是写作助理和工作助手，而你是项目主管和内容把关人。在人机互动和数字交流环境中，应时刻保持审慎的态度，发挥主观能动性和终审判断力，特别是涉及医疗建议、法律合同、财务决策等高风险领域，AI给出的所有内容必须经过人类专业人士或常识的终审。结语：守护人性之光王国燕认为，人工智能欺骗的挑战，本质上是对人类理性文明的考验。不要被AI的高智商语气所威慑，更不要被AI的高速度回复所带节奏。在算法构建的幻觉丛林里，普通人最强大的武器不是更高科技的模型，而是那颗慢一步、多问一句、多查一下的审慎之心。她提醒说，AI带来了巨大的技术红利，但就像硬币也有正反两面，技术总是“双刃剑”。我国从2025年9月1日开始实施的《网络安全技术人工智能生成合成内容标识方法》是一个很好的措施。作为普通公众，我们每一次创作时的AI标注、冷静的甄别、负责任的分享、对真实人际的珍视，都是在为这片数字家园和人类认知系统增添一份“可信”的基石。当技术向善成为共识，当真实与善意内化为每个人的具体行动，并从个体的警惕与韧性汇聚成全社会认知力量，我们才能在智能时代既享受技术之便，亦守护人性之光。

---

来源：光明日报全媒体记者詹媛 综合央视新闻等责编：张永群编辑：孙小婷