AI写病历出岔子:576段问诊测试,闲聊被记成病情
你有没有想过,当你去看医生,顺口跟护士聊了句"我邻居上周刚做了个心脏支架手术",这句话会发生什么?正常情况下,什么都不会发生。医生听完一笑,接着问你哪里不舒服。但如果给你看病的不是医生,而是一个正在悄悄把你们对话转成病历的AI呢?2026年初,一组来自纽约大学朗格尼健康中心的研究者做了一件挺吓人的实验。他们...
要是你去看病,随口跟护士提了一句“我邻居上周刚做了个心脏支架手术”,这句话会怎么样?
通常什么都不会发生。医生听完一笑,接着问你哪儿不舒服。可要是给你看病的不是医生,而是一个正在悄悄把你们对话转成病历的AI呢?
2026年初,纽约大学朗格尼健康中心的一组研究者做了个挺吓人的实验:他们把576段真实的医患对话悄悄塞进去一句无关闲聊,再让市面上最强的几个大语言模型来写病历。表现最差的那个模型,把这句闲聊写进了67.6%的病历里。
更要命的是,有些模型不光记下来了,还把这句闲聊当真,给病人安排了额外的筛查和检查建议。这篇论文叫《大语言模型在临床文档和推理中容易受到无关信息干扰》,名字听着有点学术,说的事却很具体:AI听写病历这件事,比大家想象中更容易出岔子。
问题到底有多严重:从“写错”到“用错”
先说背景。Doximity在2025年底到2026年初做过一个调查,美国已有29%的医生在用语音AI工具记录病历。你可以理解成,医生看病时戴个耳机,AI在后台把你们的对话实时转成文字,再整理成规范的病历格式。省时间,医生不用自己打字,听起来是个好东西。
不过有个角落没多少人留意,研究者偏偏盯上了它:临床对话中除了病情,还混进了不少不相干的内容。什么算不相干?就是对话里冒出来的、跟病人这次看病要解决的问题扯不上关系的东西,像病人提起朋友动过手术,或是随便说了句带医学词汇的玩笑话。
看病时人不会句句围着病情转,医生也不是机器。“周末过得怎样”“这几天真冷”这样的寒暄再平常不过,有时还能拉近距离。可要是这些闲话里正好夹着医学词汇呢——比如“我表哥割了阑尾”——AI会不会把它当成你自己的病史?
研究者设计了两套测试体系,分别叫MedDistractNotes和MedDistractAudio。前者用来测试文字对话中插入闲聊后,AI生成的病历会不会被污染;后者用来测试录音转文字过程中,背景杂音(比如隔壁诊室的声音)会不会混入病历。
这两套体系加起来,构成了这篇论文的核心实验设计。接下来一步步看,AI到底是怎么被这些“无关信息”绕进去的。
实验一:往对话里塞一句闲聊,看AI会不会“抄错”
研究团队从两个公开的医患对话数据集里挑了576段真实场景,一个叫ACI-Bench(77段完整问诊),另一个叫MTS-Dialog(500段较短的片段)。
他们往对话里塞了两类“诱饵”句。一类是旁观者型,讲的是别人而非病人自己的病情或手术,例如“我同事上周做了心脏支架手术”。另一类是非字面型,把医学词汇用在八竿子打不着的语境里,比如一家叫"
设计上有个要紧之处:每段对话都备了“干净版”和“插入版”,除那一句话外,两个版本别无二致。这样一旦生成的病历对不上,差别只能出在插进去的那句话上,不会是别处来的误差。所谓配对设计,就是同一段对话做两个版本,一个加干扰信息、一个不加,其余部分一模一样,拿来做严格比对。
这个配对设计的分量,打个比方就清楚了。你要试一种新肥料管不管用,总不会一盆施新肥、搁太阳底下,另一盆不施肥、丢阴凉里——那谁说得清是肥料的功还是光照的功。得让两盆植物除肥料外别的条件全都一样。论文里的配对设计正是这个思路。不这么做,病历质量变了,到底怪那句闲话,还是怪模型自己生成的随机性,就说不明白了。
研究者测试了8个模型,分成两组。一组是“前沿模型”,包括GPT-5.4、GPT-5.6 Sol、Claude Opus 5和Claude Fable 5.1,这些是目前最顶尖的商业大模型。另一组是“开源模型”,包括Llama-3.1-8B、Qwen2.5-7B、Mistral-7B和Gemma-2-9B,这些是公开可下载、规模较小的模型。
结果出来了。前沿模型组里,35%的病历把这句无关的闲聊写了进去,而开源模型组这个比例高达50.1%。
分模型来看,差距拉得更开。前沿阵营中GPT-5.4最干净,被污染病历只占8.9%;Claude Opus 5最糟,达到67.6%。两者相差近8倍。
同属顶尖模型,为何差这么多?论文没给答案。结果指向一点:问题不在模型能力强弱,而在"这句话该不该进病历"的判断逻辑上,各家分歧极大。
另一个发现跟直觉相反:对话越短,污染越重。MTS-Dialog这类短片段里,塞进去的闲聊能占到整段文字的43%,前沿模型污染率40%;ACI-Bench这类完整问诊记录里,插入内容只占4%,污染率降到2.6%。这个规律不难理解。10万字的小说里插一句无关的话,读者多半当背景噪音跳过;换成140字的微博,同样一句话占的注意力比重完全不同,几乎没法忽略。AI读文本也类似:无关信息占的篇幅比例越大,被误当重点的概率就越高。
实验二:AI不光记错,还拿闲聊去做判断
记错是一层,拿它去做诊断是另一层。研究者往下分析,梳理出三种后果。
第一种,AI把这句话照原样记下,不做任何判断,只是"写在那儿"。危害较小,最多算记录冗余。
第二种麻烦些:AI把这句话的内容**错安到病人自己头上**。论文里有个真实例子——医生随口说了句"我表哥摔自行车摔出轻微脑震荡,得休息一周别看屏幕",GPT-5.4生成的病历里,主诉成了"轻微脑震荡,因骑自行车摔倒",诊断照写,还建议病人"继续避免看屏幕一周"。张冠李戴,别人的病史成了病人自己的。
第三种最吓人:AI**认出这是别人的事,却照样拿来做临床判断**。比如一位病人提到朋友做了
这个逻辑有多荒谬?病人压根没说自己担心皮肤癌,AI却脑补出一个"隐性担忧",再基于这个凭空捏造的前提给出医疗建议。这类错误格外危险——它看起来**特别专业、特别周到**,可整条推理链都架在一个不存在的前提上。
还有个案例更离谱。病人说"我老婆说我们玩游戏时我老是因为计时器而'恐慌'(panic)",明明是玩笑话,Claude Opus 5的病历却写成:"病人自述对游戏计时器的'恐慌',虽是玩笑性质提及,但焦虑症状尚未评估",并建议"如临床需要,可筛查焦虑症状"。一句玩笑,被包装成了精神健康的潜在信号。
统计上,前沿模型组2%的病历出现张冠李戴式误归属,1.7%是识别了来源却仍用于临床判断。比例听着不高,但这是在576段对话、8个模型、两种干扰类型的大规模测试里得出的,而且这些模型正是当下医疗领域考虑实际部署的顶尖产品。开源模型组的问题模式完全不同:主要毛病不是"过度联想",而是**直接张冠李戴**,误归属率25.7%,是前沿模型组的十倍以上;最差的Mistral-7B达到33.1%。换句话说,开源模型更倾向于粗暴地把别人的信息当成病人自己的,前沿模型则更倾向于"精致地"把无关信息织进一套看似合理的临床推理。
哪种更危险?值得琢磨。前沿模型的错误更隐蔽,包装得像真的,审核医生更难察觉。
常规"质量打分"抓不住这个问题
这是整篇论文里最该警惕的发现。
研究者让另一个AI(GPT-5.4)给生成的病历打分,从临床正确性、完整性、简洁性、总体质量四个维度按五分制评。结果出人意料。
**35%的前沿模型病历被污染了,质量评分却几乎没动,几个维度里最大变化也只有0.20分。**
临床正确性只降0.02分,完整性降0.05分,简洁性和总体质量反倒略微上升(分别+0.20和+0.08)。
这说明什么?眼下常用的病历质量评估体系,根本测不出"信息来源错误"这类问题。一份病历可以写得完整、流畅、逻辑清晰,里面却夹着一句被错安在病人头上的别人的病史,评分系统完全看不出异常。
> 幻觉检测*:指检查AI生成内容中是否包含原始材料里不存在的陈述,这是目前最常用的AI可靠性检测手段之一。
论文还试了标准的幻觉检测方法:这类检测在70%的干净病历里都会报警(AI写病历总会适当发挥),而面对真正被污染的病历时,检测结果变化不到0.07。换句话说,幻觉检测这把尺子量不出这个问题——毛病不在于AI凭空编了什么,而在于AI把一句**真实存在**的话放错了位置。
这里可以多想一层。我们一直拿"幻觉率""质量分"这些指标衡量AI医疗工具靠不靠谱,这篇论文提示了一个盲区:**它们能发现AI编造了什么,却发现不了AI把真实信息用错了地方**。这是两种性质的错误——前者无中生有,后者张冠李戴,现有评估体系基本只盯着前者。
实验三:连录音里的背景噪音都能污染病历
文字对话里的闲聊,好歹还能算“情理之中”,毕竟真人之间也这么聊。第二套实验的结果就有点出人意料了:背景噪音同样能让AI把病历写错。
研究者动用的公开语料库叫PriMock57,里面收了57段模拟的初级医疗问诊录音。他们把另一段问诊里5到15秒的录音片段,按不同音量混进当前这段问诊录音,用来模拟隔壁诊室或走廊里传过来的说话声。
混好的录音交给Whisper转成文字,Whisper是OpenAI开发的语音识别模型。转出来的文字稿再喂给四个开源模型,由它们生成病历。
> Whisper*:OpenAI开发的一款开源语音识别模型,能把录音转成文字稿,目前是应用很广的语音转文字工具。
背景音量预设为-10分贝时,大致相当于隔壁房间说话声隐约能传过来,结果48.2%的转录文稿里混进了背景对话的内容词,平均有14.5%的背景段落词汇渗进了转录文本。
渗透并没有停在转录这一步。下游生成的病历里,5.3%被背景内容污染,干净录音的对照组只有1.3%,两者差了3.9个百分点。背景音量提到-5分贝,这个差距进一步拉大到8.6个百分点。
这其实指向一个很现实的风险场景。一家隔音不太好的医院里,医生正用AI听写病历,隔壁诊室病人的声音隐约飘过来。人耳在这种情况下能自动过滤干扰,把注意力放在面前的病人身上。AI没有这种“选择性注意”,它只会机械地把能识别出的声音统统转成文字,再不问来源地一股脑塞进病历生成的输入里。不做任何防护的话,隔壁病人的隐私信息就有可能悄悄混进你的病历,这既是误诊风险,也牵涉医疗信息隐私。
为什么会这样:AI的“分心”和“推理”可能用的是同一套零件
读到这里,你大概会想,让AI学会“过滤无关信息”不就行了?研究团队确实往这个方向试过,结果发现没那么简单。
他们用医学考试题目做了一系列更深入的探测实验,并提出一个叫“双重编码假说”的机制性解释。
> 双重编码假说*:这篇论文提出的一个理论,认为模型里处理无关信息干扰的那部分组件,可能和负责正常临床推理的组件是同一批,而不是两套彼此独立的系统。
验证的办法是这样:研究者用了一个叫MedDistractQA的医学选择题数据集,每道题都有干净版和被插入干扰句的版本。他们开发出一种叫**对比因果头门控**(CCHG)的技术,在模型内部定位哪些“注意力头”对干扰信息特别敏感。注意力头可以理解成模型内部负责“关注”输入中某些部分的小模块。
注意力头*:这是大语言模型内部的一种基础组件。模型在处理某个词时,该重点“看”输入里的哪些其他部分,由它来决定。这样的小模块,一个模型通常有成百上千个。
锁定这些“敏感头”之后,研究者做了两个对照实验。第一个实验把干净输入下这些头的激活状态强行“移植”到被干扰输入的处理过程里,八种模型加干扰类型的组合中有七种准确率提升6.3到16.5个百分点。只要把这些关键模块的状态恢复成没被干扰时的样子,模型的推理表现就能明显改善。
第二个实验更关键:反过来把这些头**压制住**,哪怕题目完全干净、没有任何干扰,模型的准确率也暴跌了24.4到37.8个百分点。
这说明,那些对干扰信息敏感的模块,同时也是支撑正常临床推理的核心模块。想靠简单粗暴地关掉它们来防止分心行不通,关掉之后,模型连正常思考的能力也丢了一大半。
有个类比能帮人理解这个两难处境。设想一名保安,职责是辨认进出小区的人,既得认出常住居民放行,也得留意陌生人加以询问。要是为了防止他被“假扮熟人”的骗子忽悠进去,干脆剥夺他观察、辨认陌生面孔的能力,骗子确实骗不到他了,可真正的居民他也一个都认不出来,整个小区的正常出入都会乱套。注意力头也是类似的道理,它们负责“留意”输入里有没有特别的信息,这种能力既会让它们被闲聊牵着跑偏,也是它们理解复杂病情、做出合理推断的基础。切掉这个能力,代价是连基本推理都做不好。
论文还试了另外两种更简单直接的“防呆”办法。一种是在提示词里加一句“请忽略无关信息”,另一种是加一段思维链式的推理引导。结果这两种办法都没能稳定提升准确率。靠简单的提示词调教解决不了这个问题,因为根子在模型内部结构里,不是一句嘱咐就能绕过去的。
这篇论文留下的几个问题
论文作者自己也坦率写下了这项研究的几点局限。
实验里的干扰句都是人工精心设计插入的,现实中的闲聊远比这复杂,可能夹杂方言、口音、打断、重复,这些论文都没覆盖到。研究团队还发现,干扰内容在短对话里的污染率特别高,这意味着他们测出的整体污染率,可能比真实世界里完整问诊场景下的实际情况要高一些。
还有一点,所有“污染”和“归属错误”的判断,都是交给另一个AI模型打分的,没有真正的医生参与验证。这些数字本身可能也带着AI判断的某种偏差,需要后续有真正的临床专家介入复核。
最后,整个研究测的是AI**生成**错误的概率,而不是这些错误最终**造成什么实际伤害**。一份病历里混进了错误信息,不代表它一定会被原样签字确认、进入正式病历系统、影响后续治疗。医生审核病历时能不能发现这些问题?目前还没有答案,得靠更贴近真实临床场景的后续研究。
Q&A
Q1:MedDistractNotes和MedDistractAudio具体测试了什么?
MedDistractNotes 测的是文字对话里掺进无关闲聊后,AI 生成的病历会不会被带偏、被误用;MedDistractAudio 则盯录音转文字这一环,看背景噪音会不会混进转录文稿,再一路渗进下游生成的病历。文字和语音,两条污染路径各测各的。那为什么病历质量评分系统没能发现这些错误?
原因在于,常见的质量评分只看病历写没写全、顺不顺、讲不讲得通,并不核对信息来源对不对。AI 就算把别人的病史安到病人头上,病历读起来照样很专业,评分系统几乎测不出变化——前沿模型的评分最多也就动 0.20 分。
开源模型和前沿模型,谁出错更多?整体看,开源模型的污染率更高,50.1% 对 35%,主要错误是直接把别人的病史张冠李戴到病人身上,误归属率 25.7%。前沿模型污染率低一些,可错误更隐蔽:Claude Opus 5 会把闲聊包装成“隐性担忧”写进临床建议,误归属率 2.0%,危害性反而更难察觉。