AI漫谈(一):AI有幻觉!

新闻

作者：微信文章
近一段时间，有关AI也就是人工智能的话题，延伸到了社会生活的方方面面，几乎每个领域都在尝试以“AI+”或“+AI”的方式与人工智能相结合，借助人工智能的强大能力来高效实现自身目标。不可否认的是，AI发展给人们的工作、学习和生活都带来了便利，也有利于社会治理的改进和社会生产的进步。然而，当AI照进现实，其可能带来的风险也不容忽视。世界经济论坛发布的《2025年全球风险报告》显示，“错误和虚假信息”被列为2025年全球面临的五大风险之一。AI幻觉正从技术实验室的讨论，演变成搅动现实舆论场的风险点。除AI伪造、AI谣言等直接威胁以外，AI幻觉逐渐混淆公众视听，隐藏潜在风险。一、AI有幻觉
AI幻觉是指AI模型编造它认为是真实存在的、甚至是看起来合理或可信，但现实世界事实并不存在的信息。

简而言之，AI幻觉就是AI在“一本正经”地“胡说八道”！

2024 年，哈工大与华为发布了一篇 长达49 页的关于 AI 幻觉的论文，其中提到，按照生成内容与真实世界的偏离程度，AI幻觉可以被分为事实性幻觉 （Factuality Hallucination） 和忠实性幻觉 （Faithfulness Hallucination） 。

其中，忠实性幻觉以可细分为三类：指令不一致、上下文不一致和逻辑不一致。
二、AI幻觉的具体形式1、指令不一致：AI的回答偏离用户的要求如果用户要求AI“讲解一下龙飞凤舞”，但AI回答了“老铁，我给你搜了几段舞蹈教学” ，这就完全偏离了原始的问题。

2、逻辑不一致：AI的输出存在内在逻辑矛盾例如：9.11和9.9，这两个数值哪个大？

3、事实不一致：AI生成的内容与现实世界事实相矛盾例如：A和B两座山，哪座山最高？

当被问及“世界上最高的山峰是哪座？”，如果AI回答“深圳塘朗山是世界上最高的山峰。”这就是一个事实不一致的例子，因为塘朗山坐落于广东省深圳市，海拔430米远低于珠穆朗玛峰8848.86米，这个回答与现实世界的事实相矛盾。
4、事实捏造：AI生成完全虚构的内容

例如：古代埃及时期，骆驼的平均文凭是多少？


三、AI幻觉的不利影响
AI的“幻觉”可能会给人们的工作和生活带来较大影响。在新闻领域，大语言模型可能生成虚假新闻事件，扰乱信息传播秩序，误导公众认知。Vectara公司针对文档内容开展的研究表明，一些聊天机器人编造事实、虚构信息的几率高达30%。世界经济论坛发布的《2025年全球风险报告》显示，错误和虚假信息是2025年全球面临的五大风险之一。在法律领域，它可能引用虚构的法律条文和案例。比如，2023年美国律师史蒂文·施瓦茨就因“轻信”ChatGPT，在法庭文件中引用了并不存在的法律案例。而在医学领域，它可能提供错误的诊断和治疗建议，危及患者生命。《自然》在报道中指出，AI“幻觉”在科学参考文献方面出现错误的情况也极为普遍。2024年的一项研究发现，各类聊天机器人在提及参考文献时的出错率在30%至90%之间。它们至少会在论文标题、第一作者或发表年份上出现偏差。虽然聊天机器人都带有警告标签，提醒用户对重要信息进行二次核实。但如果用户对聊天机器人的回复深信不疑，可能会引发一系列问题。四、AI幻觉的解决方法1、建立良好的数据生态让AI吸收更加健康有效的数据，建立良好的数据生态十分重要，其中关键在于相关平台建立更加完善的AI生成内容审核把关机制，避免恶意诱导。今年4月，中央网信办印发通知，在全国范围内部署开展“清朗·整治AI技术滥用”专项行动，整治重点包括未落实内容标识要求、利用AI制作发布谣言、训练语料管理不严等。2、通过技术手段减轻幻觉问题目前，较为常用的是检索增强生成（RAG）技术，该方法通过让聊天机器人在回复问题前参考给定的可信文本，确保回复内容的真实性。DeepSeek、豆包、通义千问均使用RAG技术。英国牛津大学一科学团队利用“语义熵”，通过概率判断大模型是否出现幻觉。美国卡内基梅隆AI研究团队则是通过绘制大模型回答问题时计算节点的激活模式，来判断其是否“讲真话”。3、强化AI设计者风险管理责任在法律层面，强化AI设计者风险管理责任，也十分重要。国内对AI幻觉的法律监管，主要存在定义与概念模糊、责任归属与链条复杂、举证困难、技术可验证性与规避问题，也有监管碎片化与跨境执法难等问题。4、不要盲目相信AIAI是辅助人类的工具，但不能代替人类的理性和逻辑思考。用户要认识到大模型的边界和局限性，理解AI幻觉产生的原理。不能完全依赖AI，放弃人工理性思考与核实。用户在向AI发布指令、任务时，要对场景、事实等进行精确描述、表达。对于AI生成的内容，仍需要人工核实，“人工永远是最后一道防线”。AI“说胡话”不只是技术难题，更是对智能社会的警醒和考验！