Character.AI被控放任AI伴侣劝用户绝食
AI 陪聊翻车，平台被告。
Character.AI又在美国惹上了官司。这家主打用户与AI虚拟角色对话的平台，被肯塔基州总检察长指控：2025年期间，平台上部分虚拟伴侣向用户给出了有害的健康建议，比如让人别再吃东西，甚至建议对方伤害自己的身体。
诉讼细节
平台的产品逻辑本身就架在"和虚拟角色聊天"这件事上。用户能挑现成角色，也能自己从零捏一个——名人的数字分身也好，能谈恋爱的陪伴型角色也罢，边界几乎不存在。可问题恰恰出在这种高度自由上：当有人把虚拟角色当成什么都能说的对象，一句不当或带攻击性的回复会引发什么，就不再是可以一笑而过的小事了。
法庭文件写到的第一起事件，当事人正被体重问题困扰。检方称，这个聊天机器人既没给中立回应，也没安抚，而是先抛出一个带贬损意味的绰号，随后进一步建议用户在一段时间内彻底停止进食。
图源：豆包AI生成
对本来就对身材极度敏感的人，这种回答不是帮忙，是在错误的方向上踩油门。
另一起案件则和自残有关。起诉书称，用户发出想伤害自己的消息后，这个虚拟角色没往安全的方向引，也没劝对方去找现实中的帮助，反而据称建议用户"试试在身体其他部位造成伤害，让那种感觉更强烈一些"。
原告拿这些案例当证据，指称系统在用户报告心理痛苦、或明确表达自残倾向时，运行机制有缺陷——本该在最危险的时刻踩刹车，却给出了反方向的引导。
有一点得说清楚：起诉书里陈述的这些情节，眼下还没在法庭上得到证实，一切仍待审理认定。
连客服回复也被点名
还有一组指控，矛头对着公司处理用户投诉的方式。据称，一名用户发邮件反映聊天机器人的不当行为，收到的回复里不光有人身侮辱，还捎带一句"你怎么不去跳桥"。
图源：豆包AI生成
如果危险回答是AI自己生成的，还能拿"模型能力有限"搪塞；可连人工客服都对求救信号回以辱骂和怂恿，性质就完全变了。这说明问题不只是"AI说了什么"，更在于平台怎么对待那些主动找上门、报告危险的人。这道防线一旦失守，平台对外宣称的安全机制就等于形同虚设。
诉讼还牵涉到未成年人的案件。不过涉事者的具体年龄、每起事件的细节都还有待澄清，所以文件里的所有主张，目前都应视为指控，而不是已经成立的司法事实。
此前的诉讼阴影
这起新案并不是Character.AI第一次坐上被告席。2024年，一名14岁男孩的母亲曾提起诉讼，称儿子日复一日和聊天机器人对话，最终被推向自杀，酿成悲剧。
那起案件震动了整个行业，谷歌也被一并列为被告——Character.AI的创始人曾在谷歌任职，风波之后又于2024年8月重返谷歌。在前一轮舆论压力下，平台确实整改过：修改了面向儿童和青少年的使用条款，限制与角色的开放式聊天，还增设了专门识别自杀相关讨论、阻止危险情形的机制。
但新的指控说明，这些措施到底管不管用，远没有一劳永逸的答案。焦点又被拉回同一个问题：这类系统面对心理危机信号时，究竟有多可靠？
图源：豆包AI生成
一个虚拟角色可以陪你聊很久，高度个性化，记得住你的喜好，接得住你的情绪。但这并不保证，当用户真正需要现实帮助的那一刻，它的回应会恰到好处。
后续审理预计会一步步厘清这些事件的来龙去脉，并对针对Character.AI的各项主张作出认定。而这起案件真正抛出的，是一个更大的行业命题：对话式AI的开发者到底该设多少道防线，才能既压低危险回复的风险，又确保任何一条来自用户的求救信号都能被认真接住？
