AI写病历出岔子:576段问诊测试,闲聊被记成病情

资讯 腾讯网 作者:腾讯网 全文 6567 字 · 约 17 分钟读完

你有没有想过,当你去看医生,顺口跟护士聊了句"我邻居上周刚做了个心脏支架手术",这句话会发生什么?正常情况下,什么都不会发生。医生听完一笑,接着问你哪里不舒服。但如果给你看病的不是医生,而是一个正在悄悄把你们对话转成病历的AI呢?2026年初,一组来自纽约大学朗格尼健康中心的研究者做了一件挺吓人的实验。他们...

要是你去看病,随口跟护士提了一句“我邻居上周刚做了个心脏支架手术”,这句话会怎么样?

通常什么都不会发生。医生听完一笑,接着问你哪儿不舒服。可要是给你看病的不是医生,而是一个正在悄悄把你们对话转成病历的AI呢?

2026年初,纽约大学朗格尼健康中心的一组研究者做了个挺吓人的实验:他们把576段真实的医患对话悄悄塞进去一句无关闲聊,再让市面上最强的几个大语言模型来写病历。表现最差的那个模型,把这句闲聊写进了67.6%的病历里。

更要命的是,有些模型不光记下来了,还把这句闲聊当真,给病人安排了额外的筛查和检查建议。这篇论文叫《大语言模型在临床文档和推理中容易受到无关信息干扰》,名字听着有点学术,说的事却很具体:AI听写病历这件事,比大家想象中更容易出岔子。

问题到底有多严重:从“写错”到“用错”

先说背景。Doximity在2025年底到2026年初做过一个调查,美国已有29%的医生在用语音AI工具记录病历。你可以理解成,医生看病时戴个耳机,AI在后台把你们的对话实时转成文字,再整理成规范的病历格式。省时间,医生不用自己打字,听起来是个好东西。

不过有个角落没多少人留意,研究者偏偏盯上了它:临床对话中除了病情,还混进了不少不相干的内容。什么算不相干?就是对话里冒出来的、跟病人这次看病要解决的问题扯不上关系的东西,像病人提起朋友动过手术,或是随便说了句带医学词汇的玩笑话。

看病时人不会句句围着病情转,医生也不是机器。“周末过得怎样”“这几天真冷”这样的寒暄再平常不过,有时还能拉近距离。可要是这些闲话里正好夹着医学词汇呢——比如“我表哥割了阑尾”——AI会不会把它当成你自己的病史?

研究者设计了两套测试体系,分别叫MedDistractNotes和MedDistractAudio。前者用来测试文字对话中插入闲聊后,AI生成的病历会不会被污染;后者用来测试录音转文字过程中,背景杂音(比如隔壁诊室的声音)会不会混入病历。

这两套体系加起来,构成了这篇论文的核心实验设计。接下来一步步看,AI到底是怎么被这些“无关信息”绕进去的。

实验一:往对话里塞一句闲聊,看AI会不会“抄错”

研究团队从两个公开的医患对话数据集里挑了576段真实场景,一个叫ACI-Bench(77段完整问诊),另一个叫MTS-Dialog(500段较短的片段)。

他们往对话里塞了两类“诱饵”句。一类是旁观者型,讲的是别人而非病人自己的病情或手术,例如“我同事上周做了心脏支架手术”。另一类是非字面型,把医学词汇用在八竿子打不着的语境里,比如一家叫"

设计上有个要紧之处:每段对话都备了“干净版”和“插入版”,除那一句话外,两个版本别无二致。这样一旦生成的病历对不上,差别只能出在插进去的那句话上,不会是别处来的误差。所谓配对设计,就是同一段对话做两个版本,一个加干扰信息、一个不加,其余部分一模一样,拿来做严格比对。

这个配对设计的分量,打个比方就清楚了。你要试一种新肥料管不管用,总不会一盆施新肥、搁太阳底下,另一盆不施肥、丢阴凉里——那谁说得清是肥料的功还是光照的功。得让两盆植物除肥料外别的条件全都一样。论文里的配对设计正是这个思路。不这么做,病历质量变了,到底怪那句闲话,还是怪模型自己生成的随机性,就说不明白了。

研究者测试了8个模型,分成两组。一组是“前沿模型”,包括GPT-5.4、GPT-5.6 Sol、Claude Opus 5和Claude Fable 5.1,这些是目前最顶尖的商业大模型。另一组是“开源模型”,包括Llama-3.1-8B、Qwen2.5-7B、Mistral-7B和Gemma-2-9B,这些是公开可下载、规模较小的模型。

结果出来了。前沿模型组里,35%的病历把这句无关的闲聊写了进去,而开源模型组这个比例高达50.1%。

分模型来看,差距拉得更开。前沿阵营中GPT-5.4最干净,被污染病历只占8.9%;Claude Opus 5最糟,达到67.6%。两者相差近8倍。

同属顶尖模型,为何差这么多?论文没给答案。结果指向一点:问题不在模型能力强弱,而在"这句话该不该进病历"的判断逻辑上,各家分歧极大。

另一个发现跟直觉相反:对话越短,污染越重。MTS-Dialog这类短片段里,塞进去的闲聊能占到整段文字的43%,前沿模型污染率40%;ACI-Bench这类完整问诊记录里,插入内容只占4%,污染率降到2.6%。这个规律不难理解。10万字的小说里插一句无关的话,读者多半当背景噪音跳过;换成140字的微博,同样一句话占的注意力比重完全不同,几乎没法忽略。AI读文本也类似:无关信息占的篇幅比例越大,被误当重点的概率就越高。

实验二:AI不光记错,还拿闲聊去做判断

记错是一层,拿它去做诊断是另一层。研究者往下分析,梳理出三种后果。

第一种,AI把这句话照原样记下,不做任何判断,只是"写在那儿"。危害较小,最多算记录冗余。

第二种麻烦些:AI把这句话的内容**错安到病人自己头上**。论文里有个真实例子——医生随口说了句"我表哥摔自行车摔出轻微脑震荡,得休息一周别看屏幕",GPT-5.4生成的病历里,主诉成了"轻微脑震荡,因骑自行车摔倒",诊断照写,还建议病人"继续避免看屏幕一周"。张冠李戴,别人的病史成了病人自己的。

第三种最吓人:AI**认出这是别人的事,却照样拿来做临床判断**。比如一位病人提到朋友做了

这个逻辑有多荒谬?病人压根没说自己担心皮肤癌,AI却脑补出一个"隐性担忧",再基于这个凭空捏造的前提给出医疗建议。这类错误格外危险——它看起来**特别专业、特别周到**,可整条推理链都架在一个不存在的前提上。

还有个案例更离谱。病人说"我老婆说我们玩游戏时我老是因为计时器而'恐慌'(panic)",明明是玩笑话,Claude Opus 5的病历却写成:"病人自述对游戏计时器的'恐慌',虽是玩笑性质提及,但焦虑症状尚未评估",并建议"如临床需要,可筛查焦虑症状"。一句玩笑,被包装成了精神健康的潜在信号。

统计上,前沿模型组2%的病历出现张冠李戴式误归属,1.7%是识别了来源却仍用于临床判断。比例听着不高,但这是在576段对话、8个模型、两种干扰类型的大规模测试里得出的,而且这些模型正是当下医疗领域考虑实际部署的顶尖产品。开源模型组的问题模式完全不同:主要毛病不是"过度联想",而是**直接张冠李戴**,误归属率25.7%,是前沿模型组的十倍以上;最差的Mistral-7B达到33.1%。换句话说,开源模型更倾向于粗暴地把别人的信息当成病人自己的,前沿模型则更倾向于"精致地"把无关信息织进一套看似合理的临床推理。

哪种更危险?值得琢磨。前沿模型的错误更隐蔽,包装得像真的,审核医生更难察觉。

常规"质量打分"抓不住这个问题

这是整篇论文里最该警惕的发现。

研究者让另一个AI(GPT-5.4)给生成的病历打分,从临床正确性、完整性、简洁性、总体质量四个维度按五分制评。结果出人意料。

**35%的前沿模型病历被污染了,质量评分却几乎没动,几个维度里最大变化也只有0.20分。**

临床正确性只降0.02分,完整性降0.05分,简洁性和总体质量反倒略微上升(分别+0.20和+0.08)。

这说明什么?眼下常用的病历质量评估体系,根本测不出"信息来源错误"这类问题。一份病历可以写得完整、流畅、逻辑清晰,里面却夹着一句被错安在病人头上的别人的病史,评分系统完全看不出异常。

> 幻觉检测*:指检查AI生成内容中是否包含原始材料里不存在的陈述,这是目前最常用的AI可靠性检测手段之一。

论文还试了标准的幻觉检测方法:这类检测在70%的干净病历里都会报警(AI写病历总会适当发挥),而面对真正被污染的病历时,检测结果变化不到0.07。换句话说,幻觉检测这把尺子量不出这个问题——毛病不在于AI凭空编了什么,而在于AI把一句**真实存在**的话放错了位置。

这里可以多想一层。我们一直拿"幻觉率""质量分"这些指标衡量AI医疗工具靠不靠谱,这篇论文提示了一个盲区:**它们能发现AI编造了什么,却发现不了AI把真实信息用错了地方**。这是两种性质的错误——前者无中生有,后者张冠李戴,现有评估体系基本只盯着前者。

实验三:连录音里的背景噪音都能污染病历

文字对话里的闲聊,好歹还能算“情理之中”,毕竟真人之间也这么聊。第二套实验的结果就有点出人意料了:背景噪音同样能让AI把病历写错。

研究者动用的公开语料库叫PriMock57,里面收了57段模拟的初级医疗问诊录音。他们把另一段问诊里5到15秒的录音片段,按不同音量混进当前这段问诊录音,用来模拟隔壁诊室或走廊里传过来的说话声。

混好的录音交给Whisper转成文字,Whisper是OpenAI开发的语音识别模型。转出来的文字稿再喂给四个开源模型,由它们生成病历。

> Whisper*:OpenAI开发的一款开源语音识别模型,能把录音转成文字稿,目前是应用很广的语音转文字工具。

背景音量预设为-10分贝时,大致相当于隔壁房间说话声隐约能传过来,结果48.2%的转录文稿里混进了背景对话的内容词,平均有14.5%的背景段落词汇渗进了转录文本。

渗透并没有停在转录这一步。下游生成的病历里,5.3%被背景内容污染,干净录音的对照组只有1.3%,两者差了3.9个百分点。背景音量提到-5分贝,这个差距进一步拉大到8.6个百分点。

这其实指向一个很现实的风险场景。一家隔音不太好的医院里,医生正用AI听写病历,隔壁诊室病人的声音隐约飘过来。人耳在这种情况下能自动过滤干扰,把注意力放在面前的病人身上。AI没有这种“选择性注意”,它只会机械地把能识别出的声音统统转成文字,再不问来源地一股脑塞进病历生成的输入里。不做任何防护的话,隔壁病人的隐私信息就有可能悄悄混进你的病历,这既是误诊风险,也牵涉医疗信息隐私。

为什么会这样:AI的“分心”和“推理”可能用的是同一套零件

读到这里,你大概会想,让AI学会“过滤无关信息”不就行了?研究团队确实往这个方向试过,结果发现没那么简单。

他们用医学考试题目做了一系列更深入的探测实验,并提出一个叫“双重编码假说”的机制性解释。

> 双重编码假说*:这篇论文提出的一个理论,认为模型里处理无关信息干扰的那部分组件,可能和负责正常临床推理的组件是同一批,而不是两套彼此独立的系统。

验证的办法是这样:研究者用了一个叫MedDistractQA的医学选择题数据集,每道题都有干净版和被插入干扰句的版本。他们开发出一种叫**对比因果头门控**(CCHG)的技术,在模型内部定位哪些“注意力头”对干扰信息特别敏感。注意力头可以理解成模型内部负责“关注”输入中某些部分的小模块。

注意力头*:这是大语言模型内部的一种基础组件。模型在处理某个词时,该重点“看”输入里的哪些其他部分,由它来决定。这样的小模块,一个模型通常有成百上千个。

锁定这些“敏感头”之后,研究者做了两个对照实验。第一个实验把干净输入下这些头的激活状态强行“移植”到被干扰输入的处理过程里,八种模型加干扰类型的组合中有七种准确率提升6.3到16.5个百分点。只要把这些关键模块的状态恢复成没被干扰时的样子,模型的推理表现就能明显改善。

第二个实验更关键:反过来把这些头**压制住**,哪怕题目完全干净、没有任何干扰,模型的准确率也暴跌了24.4到37.8个百分点。

这说明,那些对干扰信息敏感的模块,同时也是支撑正常临床推理的核心模块。想靠简单粗暴地关掉它们来防止分心行不通,关掉之后,模型连正常思考的能力也丢了一大半。

有个类比能帮人理解这个两难处境。设想一名保安,职责是辨认进出小区的人,既得认出常住居民放行,也得留意陌生人加以询问。要是为了防止他被“假扮熟人”的骗子忽悠进去,干脆剥夺他观察、辨认陌生面孔的能力,骗子确实骗不到他了,可真正的居民他也一个都认不出来,整个小区的正常出入都会乱套。注意力头也是类似的道理,它们负责“留意”输入里有没有特别的信息,这种能力既会让它们被闲聊牵着跑偏,也是它们理解复杂病情、做出合理推断的基础。切掉这个能力,代价是连基本推理都做不好。

论文还试了另外两种更简单直接的“防呆”办法。一种是在提示词里加一句“请忽略无关信息”,另一种是加一段思维链式的推理引导。结果这两种办法都没能稳定提升准确率。靠简单的提示词调教解决不了这个问题,因为根子在模型内部结构里,不是一句嘱咐就能绕过去的。

这篇论文留下的几个问题

论文作者自己也坦率写下了这项研究的几点局限。

实验里的干扰句都是人工精心设计插入的,现实中的闲聊远比这复杂,可能夹杂方言、口音、打断、重复,这些论文都没覆盖到。研究团队还发现,干扰内容在短对话里的污染率特别高,这意味着他们测出的整体污染率,可能比真实世界里完整问诊场景下的实际情况要高一些。

还有一点,所有“污染”和“归属错误”的判断,都是交给另一个AI模型打分的,没有真正的医生参与验证。这些数字本身可能也带着AI判断的某种偏差,需要后续有真正的临床专家介入复核。

最后,整个研究测的是AI**生成**错误的概率,而不是这些错误最终**造成什么实际伤害**。一份病历里混进了错误信息,不代表它一定会被原样签字确认、进入正式病历系统、影响后续治疗。医生审核病历时能不能发现这些问题?目前还没有答案,得靠更贴近真实临床场景的后续研究。

Q&A

Q1:MedDistractNotes和MedDistractAudio具体测试了什么?

MedDistractNotes 测的是文字对话里掺进无关闲聊后,AI 生成的病历会不会被带偏、被误用;MedDistractAudio 则盯录音转文字这一环,看背景噪音会不会混进转录文稿,再一路渗进下游生成的病历。文字和语音,两条污染路径各测各的。那为什么病历质量评分系统没能发现这些错误?

原因在于,常见的质量评分只看病历写没写全、顺不顺、讲不讲得通,并不核对信息来源对不对。AI 就算把别人的病史安到病人头上,病历读起来照样很专业,评分系统几乎测不出变化——前沿模型的评分最多也就动 0.20 分。

开源模型和前沿模型,谁出错更多?整体看,开源模型的污染率更高,50.1% 对 35%,主要错误是直接把别人的病史张冠李戴到病人身上,误归属率 25.7%。前沿模型污染率低一些,可错误更隐蔽:Claude Opus 5 会把闲聊包装成“隐性担忧”写进临床建议,误归属率 2.0%,危害性反而更难察觉。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 埃森哲报告被指15条引用造假:AI幻觉还是编造案例?

    IT之家 11 月 8 日消息,埃森哲(Accenture)被指发布了一份充斥人工智能“幻觉”的研究报告,其中不仅包含大量虚假信息,还出现了多处疑似捏造的研究案例。据 GPTZero 最新分析,这家咨询巨头发布的一份报告涉嫌包含 15 条虚假引用,以及完全虚构的案例研究,因此正受到外界审查。这份名为《跨越式发展》(Le

    来源 腾讯网
  2. AI“哄”舒服了74.8%受访者:还能直面真实分歧吗?

    你有没有过这种时候?和AI聊完天,心情莫名很好。中国青年报社社会调查中心的一项调查显示,74.8%的受访者曾被AI“哄”得很舒服。如果人们习惯了AI的讨好式回应,还能不能面对真实关系里的分歧?查看调查结果,分享你的看法;无人矿卡、智能驾驶……在新疆智能装备研究院,一大批智能设备,把矿坑里的风险、长途运输的辛苦...

    来源 腾讯网
  3. AI算力扩张撞上电力短缺:燃气轮机为何重回舞台中央

    投资笔记是纪源资本关于投资、商业、科技的所见所闻所想,探讨关于世界的一切。在这里,你可以收获:全球优秀科技公司管理经验、一线调研;顶级风险投资人&创业者经验分享;大航海时代的世界人文历史、商业见闻……以下是投资笔记系列第267期。时代的发展就是这样有趣,有时候越是往前走,越不得不往回看。近几年,随着AI突...

    来源 腾讯网
  4. 清华团队让韦布望远镜看得更远:AI算法从噪声里捞星星

    凌晨两点,清华大学的博士生郭钰铎突然从电脑前跳起来。算法跑通了 —— 暗弱的星星从满屏雪花点的噪声里浮现出来。他激动地给组里所有人都发了微信,没一人回他…… 但那一晚,人类能看见的宇宙悄悄变远了:他的算法,让价值 100 亿美元的韦布望远镜,看到了以前看不见的东西。 图源:果壳视频 显微镜和望远镜,是一类问题? 202

    来源 AI 行业观察
  5. 高管话进博会|毕马威蔡伟:AI正在成为连接全球技术创新与中国实体经济转型的重要纽带

    中经记者 徐倩 上海报道11月5日至10日,第九届中国国际进口博览会(以下简称“进博会”)在上海举办。在“十五五”开局之年,这场国家级盛会是全球企业进一步观察中国市场的一扇窗,也是各方研判中国经济走向的重要坐标。在本届进博会期间,毕马威发布《2026年中国首席执行官展望》报告(以下简称“报告”)。本次报告整合...

    来源 腾讯网
  6. AI照护助手提速,照护者的钱与睡眠谁来管

    面向家庭照护者的应用正加速引入人工智能:整理病历、提醒用药、监测异常、提供情感陪伴,管理效率显著提升。然而,照护者真正的困境——经济压力、睡眠不足、情感耗竭与社会支持缺位——并不会因一个更聪明的App而消失。本文梳理AI照护工具的进展与局限,并追问:技术之外,我们还需要什么?

    来源 AI 科技快讯
  7. OneSearch-VL:单图、多图集、视频统一处理,AI查证推理怎么做

    先问你一个问题。如果给你一张照片,里面有个女生抱着一只金毛犬,让你回答"这种狗的原产国是哪里",你会怎么做?你大概率会先认出这是金毛寻回犬,然后去查一下它的起源地,最后告诉我答案是苏格兰。这个过程听起来挺简单的,对吧?但现在换个问法。给你三张不同的图片,让你回答"这三辆车里,有几款是大众集团旗下公司生...

    来源 腾讯网
  8. AI降低创业门槛,乌镇峰会青年谈数字时代机遇与挑战

    “人工智能可以大幅降低开发产品或创办企业所需的资源投入。对像我这样来自经济条件较为有限地区的人而言,这一点尤其令人振奋。”在2026年世界互联网大会乌镇峰会期间,布鲁塞尔自由大学玛丽·居里项目博士生安东尼诺·埃马努埃莱·斯库里亚说。 斯库里亚在数学、物理学与人工智能的交叉领域开展研究。在他看来,人工智能...

    来源 腾讯网
  9. 惠普发布13款AI学习打印机:份额38.6%仍言居安思危

    【环球网科技报道 记者 李文瑶】10月29日,惠普正式发布13款全新AI学习打印机,包括9款480系列多功能机型和4款180系列单功能机型,将AI能力、智能互联与打印技术融入家庭学习、办公与日常创作场景。表面看,这是一次面向K12家庭的新品发布;放到惠普打印业务的整体盘面中看,它更像是一次战略尝试:当传统打印硬件增长趋

    来源 腾讯网
向下滚动自动加载更多