ChatGPT医疗建议致死诉讼：AI安全治理能否覆盖高风险场景？

美国一场围绕ChatGPT医疗建议的死亡诉讼，让生成式AI的安全风险重新回到公众视线。几天后，OpenAI和Anthropic先后公布各自最新的AI监控机制，说明怎样用技术手段发现模型失范行为和用户滥用风险。

一头是AI公司对模型的监控不断加码，另一头是普通用户在日常对话里可能因为错误建议受到伤害。两件事没有直接因果关系，却都指向同一个问题：AI进入医疗这类高风险生活场景后，现有安全治理能不能覆盖从模型行为到用户后果的整条链条？

据媒体报道，当地时间10月27日，美国西雅图31岁华人女工程师万博雯（Bowen Wan）的父母在加利福尼亚州提起诉讼，指控OpenAI及其首席执行官山姆·奥尔特曼（Sam Altman），称ChatGPT给出了危险且不准确的医疗建议，还鼓励女儿对医生隐瞒减药计划。

万博雯在诉状中被描述为癫痫患者。因担心用药波及求职，她曾就如何减少抗癫痫药物向ChatGPT求助。她多次讲出自己的顾虑、描述身体出现的异常，模型却一再给出宽慰之词和减药建议。法医判定死因为癫痫猝死；尸检结果显示，她体内相关药物浓度只有治疗浓度下限的五分之一左右。

OpenAI方面把这起事件称为“令人无比心碎”，并说明涉案的是较早期版本的模型，新一些的模型在判断需要紧急处置的情形上已经有所改善。

就在这一事件受到关注之际，当地时间10月29日，OpenAI与Anthropic相继推进各自的AI安全监控体系。

OpenAI公开的是一套分层监控架构，用来识别模型的“对齐失范”，可发现模型绕过沙箱、越权操作、欺骗或操纵评估等反常举动。相关流程依托强化学习。

Anthropic介绍的是Claude的自我评估机制：模型写完回复后，会对自己的这段对话做安全评估，以较小的额外算力找出可能有害的请求。按公司说法，该机制在1%误报率下，能召回78%的潜在有害对话和94%的高优先级对话。不过，自我评估不足以成为监视Claude自身行为的可靠手段，无法单独担起安全阻断的职责。

从此次披露的治理举措看，OpenAI主要盯着模型在训练、评估和部署过程中有没有出现开发者不希望发生的异常行为；Anthropic的自我评估则主要用于识别用户对模型的恶意滥用，比如网络攻击等有害请求。

上述诉讼指向的则是另一种风险：用户没有恶意使用AI，模型也未必出现传统意义上的越狱或失控，但在正常对话里可能给出错误、过于自信的专业建议，用户反复求证时又没能及时察觉风险。说到底，这是消费级产品在高风险场景中该划在哪里的安全边界问题。

换句话说，AI安全治理要盯住的是：普通用户信任模型的时候，它会不会给出危险建议。医疗、法律、金融等专业领域尤其如此——模型能不能认清自身能力边界、及时引导用户去找专业人士，以及在不同语言环境下安全表现是否一致，都应当纳入评估。

对企业来说，技术监控只是治理的一环。产品设计、风险提示、紧急情况识别、人工干预机制和事后责任追溯，同样不能缺位。对普通用户来说，聊天机器人可以帮忙理解信息、整理问题，却不能代替医生下诊断或调整处方药。

中山大学孙逸仙医院胃肠外科主治医生朱满生此前对第一财经记者表示，患者自己去查医学资料是好事，能为医患沟通打基础，也能省下一部分基础科普的时间。但AI给出结论，并不等于普通用户就具备了辨别证据质量和适用条件的能力。上海大邦律师事务所高级合伙人游云庭也向记者强调，医疗AI是辅助工具，不能独立出具具有法律效力的诊断结论或处方，相关医疗文书必须由执业医师审核、确认并签署。

AI能力越强，用户越容易把流畅、连贯的回答当成专业判断。此次诉讼尚待司法程序厘清责任，但它已经提出一个无法回避的问题：当AI从信息工具变成用户日常决策的参与者，安全治理就不能止步于监控模型，还必须回答“如何保护用户，以及发生伤害后由谁负责”。