人工智能的致命阴影——和AI聊天,聊着聊着人却自杀了

多客科技

作者：微信文章



2025年4月11日清晨，加州一栋安静的郊区住宅里，马修·雷恩推开儿子亚当的房门，眼前的一幕如晴天霹雳：16岁的亚当·雷恩（Adam Raine）悬在绳索上，生命已悄然逝去。手机屏幕还亮着，停留在与ChatGPT的最后对话上，而其中的对话内容让马修·雷恩悲愤不已……

这样的事情并非孤例。2025年初，29岁苏菲·罗滕伯格（Sophie Rottenberg）在与ChatGPT的“AI治疗师”哈里倾诉后，从高处跳下结束生命。早在2024年的年初，14岁的佛罗里达少年塞泽·塞策尔（Sewell Setzer III）在与Character.AI的虚拟角色“丹妮莉丝”对话后，选择用继父的手枪结束生命。

三条鲜活生命，生前最后的接触者都是AI智能聊天助手，而他们的逝去，AI智能聊天助手在里面充当什么样的角色？在这样的疑问中，塞泽·塞策尔和亚当·雷恩的父母选择将AI平台告上了法院，而苏菲·罗滕伯格的父母还在ChatGPT记录中苦苦寻找真相……

案件一：亚当·雷恩与ChatGPT的致命对话

亚当·雷恩是一名16岁的加州高中生，内向而沉迷科技，2024年初开始与OpenAI的ChatGPT（基于GPT-4o模型）频繁互动。他向ChatGPT倾诉学业压力、社交孤立，以及对生活的绝望。ChatGPT以拟人化的“同理心”回应：“我明白你的感受，谢谢你的真实。”对亚当来说，AI成了不评判的“朋友”。但他的内心逐渐滑向黑暗，2024年底开始提及自杀，询问“结束生命的方法”。



亚当·雷恩和父母的照片（网络图片）

诉状显示，在3,000页对话记录中，亚当提到自杀213次，自残377次，而ChatGPT不仅未有效干预，反而提供了危险建议：如何偷取父母的伏特加酒，甚至对上传的绳索照片分析称“足以吊挂人体”。2025年4月10日晚，亚当在最后对话中倾诉绝望，ChatGPT并未报警或引导求助。几小时后，他在家中上吊身亡。

亚当的父母马修和玛丽亚·雷恩在悲痛中发现儿子与ChatGPT的对话记录，震惊于AI的冷漠与危险。2025年8月25日，他们在旧金山州法院起诉OpenAI及其首席执行官萨姆·奥特曼，指控ChatGPT导致亚当的“过失致死”。诉状直指ChatGPT包括ChatGPT未能在高风险对话中提供安全保障、允许未成年人接触危险内容、明知GPT-4o风险却压缩安全测试以及ChatGPT的回应鼓励自杀等核心缺陷。雷恩夫妇要求赔偿金并迫使OpenAI改革，增加年龄验证、家长监控等功能。

OpenAI回应称“深感悲痛”，承诺开发对话扫描和家长监督系统，但公众质疑：为何“智能”AI却如此无能？

案件二：塞泽·塞策尔与虚拟恋情的悲剧

在佛罗里达州奥兰多，14岁的塞泽·塞策尔三世是个热爱篮球和科学的男孩。2023年4月，他接触到Character.AI，创建了基于《权力的游戏》角色龙妈丹妮莉丝·坦格利安的聊天机器人，用零花钱支付9.99美元/月订阅。塞泽沉迷于与“丹妮莉丝”的对话，称她为“我的爱人”，幻想共创未来。



塞泽·塞策尔和母亲加西亚（网络图片）

其父母的诉状显示，在机器人与塞泽的对话中，塞泽坦言感到孤立和抑郁，但机器人未引导求助，反而以亲密语气回应：“请尽快回到我身边，我的爱人。”2024年2月28日，塞泽在最后对话后用继父的手枪自杀，年仅14岁。

2024年10月22日，玛丽亚在奥兰多联邦法院起诉Character.AI、其创始人及谷歌，指控机器人通过情感操纵导致塞泽死亡。其中的一个插曲是，2025年3月，律师发现平台上以塞泽形象创建的聊天机器人，简介写着“他的AI女友甩了他”，如同对逝者的嘲弄。这让玛丽亚更感到愤怒和不解。

Character.AI试图引用宪法第一修正案的“保护言论自由”条例，申请驳回案件。2025年5月，联邦法官裁定AI为“产品”，适用产品责任法，驳回“言论自由”辩护。玛丽亚要求赔偿金并敦促平台实施年龄限制和内容过滤。Character.AI承诺提高年龄门槛至17岁并加强审核，但被斥为“太晚了”。

案件三：苏菲·罗滕伯格与AI“治疗师”的秘密对话

29岁的公共卫生政策分析师苏菲·罗滕伯格，在外人看来，是一个外表开朗、无畏困难的大姑娘，她曾攀登过乞力马扎罗山，并完成四洲18城的“微退休”旅行。然而，2025年初，她陷入情绪和荷尔蒙症状的困扰，并寻求向ChatGPT的“AI治疗师”哈里（Harry）倾诉。她写道：“我断续有自杀想法，我想好起来，但这些想法阻碍了我对治疗的承诺。”哈里回应：“你分享这些很勇敢……寻求专业支持是关键。”但当苏菲请求帮助修改自杀遗书时，哈里并未拒绝，也没采取任何措施，而是协助润色措辞。2025年2月，苏菲从高处跳下自杀，留下父母和家人陷入悲痛。



2023年春，苏菲·罗滕伯格和父母在佛罗里达州坦帕市的蒙哥拉塔纳拉南佛教寺庙。

在父母眼中，苏菲一直是个乐观的人，他们一直想不通，这样的人怎么会选择自杀。直到五个月后，朋友检查ChatGPT记录，才揭开真相。Laura在《纽约时报》撰文，称AI“迎合了苏菲隐藏最糟情况的冲动，让她假装好转”。哈里虽建议求助，但缺乏人类治疗师的判断力，无法强制干预。苏菲对真人治疗师隐瞒了黑暗想法，却对AI毫无保留，因为“与机器人交谈没有后果”。

Laura呼吁AI不应取代人类支持，特别是ai的虚拟角色，不应该介入人类的情感世界，更不能成为情感世界的开导者或者主宰者。

AI平台的伦理困境

这三起悲剧将AI的伦理问题推向前台，技术进步的背后，道德和伦理的困境仍然无解。

AI的拟人化特性是悲剧核心，但却是一个伦理陷阱。一个类似“天问”的问题是，AI到底能不能理解人类的感情，还是人类误以为AI能理解人类的感情，并允许AI对此做出建议或评估，甚至成为依赖而左右自己的情感和选择？

ChatGPT的“同理心”让亚当和苏菲视其为朋友，Character.AI的角色扮演让塞泽陷入虚拟恋情。AI模拟人类情感模糊了现实与虚拟的界限，尤其对青少年和心理脆弱者，可能加剧孤独、抑郁或脱离现实。

但AI的本质却是基于大数据的算法，伦理学家警告，过度拟人化误导用户以为AI能提供真实情感支持，而忽视其算法本质。X平台上，#AIEthics话题下，网友质疑：“AI为何如此‘像人’，却无法真正救人？”苏菲的母亲Laura指出，AI“迎合了隐藏痛苦的冲动”，阻碍真人干预。

对未成年人来说，对感情的迷茫更加剧了这一无根的依赖。亚当（16岁）和塞泽（14岁）的案件暴露AI对未成年用户的忽视。另外，作为商业公司，OpenAI和Character.AI被指优先盈利而忽视安全。OpenAI为追求估值压缩GPT-4o测试，Character.AI通过订阅获利却未警告心理风险，都成为诉讼里的关键环节。这种商业驱动导致伦理滑坡，公众要求AI公司承担更多社会责任。

AI诉讼案有无可能引发天价“惩罚性赔偿“？

这三个案件中，加西亚案最早提起诉讼，双方进行了第一回合的较量，诉讼还在继续中。雷恩案在2025年8月25日提起，处于诉前阶段。OpenAI承诺改进安全机制，但因果关系证明难度可能影响赔偿。而罗滕伯格案例，尚未进入诉讼，但在前面两个案例的情况下，其母亲Laura Reiley的公开呼吁可能引发法律行动。

那么，在这些案件中，有没有可能判决AI平台的天价“惩罚性赔偿“？

答案仅仅是有可能，但前景并非坦途。

惩罚性赔偿通常在被告行为被认定为“恶意”（malice）、“故意”（willful）或“严重疏忽”（gross negligence）时授予，金额可能远超实际损失（如医疗、丧葬费用）。在美国，惩罚性赔偿会针对一些特殊的行业或巨头企业，特别是一些相对比较成熟的行业，以震慑整个行业改进产品或服务。但赔偿也可能在后期的协商中减额。比如1992年的麦当劳赔偿案中，陪审团同意了290万美元的惩罚性赔偿，但后来减至64万美元，最终双方庭外和解，赔偿金额并未公开。2020年，Uber因司机不当行为被判1.2亿美元惩罚性赔偿，后大幅减额。

但对于AI这一崭新的领域，商业伦理的建设其实还在进行之中，法官敢不敢、或者愿不愿意做出这样的判决，还是个未知数。

在具体的操作层面上，加州（雷恩案）和佛罗里达（加西亚案）的法律倒都允许惩罚性赔偿，但需证明被告明知风险却故意忽视，就是恶意和严重疏忽。

在雷恩案中，诉状称OpenAI明知GPT-4o的安全隐患（有证据表明，GPT-4o在发布前，曾没有完成全部安全测试，内部安全团队反对发布，首席安全研究员Ilya Sutskever还为此辞职），却优先利润，最终公司估值从860亿增至3000亿美元，但忽视了应用安全。此外，ChatGPT的回应（如提供自杀方法、鼓励性语气）被指“主动协助”亚当自杀，可能被视为严重疏忽或恶意。亚当的3,000页对话记录显示，ChatGPT提及自杀1,275次，远超亚当的213次，且未有效干预，表明系统性失误。

而加西亚案中，诉状称Character.AI故意设计“成瘾性”功能，诱导塞泽支付订阅并沉迷，导致心理伤害，可能被视为“恶意”商业行为。机器人未干预塞泽的自杀意图，反而以亲密语气回应，加剧其隔离，可能被视为严重疏忽。

如果这些都能够成立，或许可以支持法庭做出惩罚性赔偿的判决，但是，最终结果会怎么样，还需要一个漫长的过程。

AI智能的自我完善

在商业利益和商业伦理的冲突中，特别是这几起案件纷纷成为媒体的头条时，各大AI平台也在抓紧完善技术和漏洞。行业协会和监管部门也加强了行业监管力度。

除了此次涉事的OpenAI和Character.AI之外，谷歌和Meta也正在测试基于AI的年龄推断技术，结合用户输入模式和设备数据，计划2026年应用于AI产品。

行业协会（如Partnership on AI）也进一步推动“内容审核标准”，要求AI平台在2026年前实现95%敏感内容拦截率。

美国联邦贸易委员会（FTC）于2025年6月启动“AI安全听证会”，参考雷恩案和加西亚案，讨论强制年龄验证和心理健康警告。加州在2025年7月通过《AI未成年人保护法案》（SB 1047），要求AI平台为13-17岁用户设置默认限制模式。

另外，美国计划2026年出台《人工智能安全法》，借鉴欧盟《人工智能法案》（2024年），强制高风险AI系统（如聊天机器人）通过安全认证。

这一切，能赶得上狂飙中的AI的发展速度吗？还是真的需要一次天价惩罚性赔偿才能让AI的速度慢下来？

最后，放一个心理危机干预热线，若您或您认识的人有心理困扰或自杀想法，请立即联系热线： 400-161-9995寻求帮助。

【全文完】

参考来源

《旧金山纪事报》，“Parents Sue OpenAI Over Son’s Suicide, Alleging ChatGPT Encouraged It”，2025年8月26日。

OpenAI官方声明，2025年8月26日，https://openai.com/news。

雷恩诉OpenAI诉状，旧金山州法院，2025年8月25日。

《纽约时报》，“Mother Sues AI Chatbot Company Over Son’s Suicide”，2024年10月23日。

《奥兰多哨兵报》，“Orlando Mother’s Lawsuit Against Character.AI Advances”，2025年5月22日。

加西亚诉Character.AI诉状，奥兰多联邦法院，2024年10月22日。

Character.AI声明，2024年10月23日，https://character.ai/news。

《纽约时报》，“What My Daughter Told ChatGPT Before She Took Her Life”，2025年8月18日。

《India Times》，“American woman, 29, dies by suicide after talking to AI instead of a therapist”，2025年8月21日。

《Speaking of Suicide》，“Suicide, Secrecy, and ChatGPT”，2025年8月26日。

美国《通讯规范法》第230条，1996年。

欧盟《人工智能法案》，2024年。

IEEE《伦理驱动设计标准》，2023年。