纽约大学研究：医生用AI多在写文书，医疗测评题库与实际需求脱节

2026年初，纽约大学朗格尼健康中心完成了一项此前无人系统做过的梳理：他们收集了过去八个月里六千多名医生、护士和临床助理与院内AI助手的全部对话，逐条分析这些人究竟在问什么。

结论出乎不少人预料。

很多人会以为，医生用AI主要是问诊断——比如“这个病人的症状像什么病”。这恰恰是AI被捧得最高的能力，那些能和病人对话做鉴别诊断的系统，论文标题常挂着“迈向对话式诊断人工智能”。可真实数据摆出来，诊断类提问只占全部查询的3.7%。

反倒是写文档和查资料这两件听上去没什么技术含量的事，合计占了将近三分之二。

相关论文发在arXiv上，题目为《临床医生使用语言模型的方式，与模型评估方式存在分歧》，作者来自纽约大学朗格尼医学中心神经外科团队。他们除了统计医生的真实提问，还拿58个业内常用的AI医疗测评题库，按同一套标准重新打分。结果显示，这些题库和医生实际在问的内容基本对不上。

下文要说的是这个落差如何被发现，以及它指向什么问题。

为什么要做这件事

先说说这件事为什么值得做。

LLM

LLM即大语言模型，指ChatGPT这类能理解并生成自然语言的人工智能系统。

如今越来越多医院把它接进日常工作流程，美国已有超过80%的医生称自己在专业工作中用过AI。可评估这类系统靠不靠谱的手段，仍停留在让它做医学考试题。

问题随之而来：衡量系统好坏的尺子，跟它实际要干的活根本不是一回事，那这把尺子量出的分数还有什么意义？

论文引用了一个挺扎心的数字：截至2024年初发表的519项LLM医疗评估研究中，仅5%用到了真实的病人护理数据。另一项规模更大的综述覆盖4609项研究、截止到2025年9月，发现77.3%的研究压根没碰过任何真实临床数据。

也就是说，多数测评AI医疗能力的论文，用的是精心设计的考题或专家编写的案例，而非真实世界里医生会问的那些杂乱、不完整、夹着缩写和口语的问题。

这好比想知道一个新司机车开得怎么样，让他在驾校标准场地里倒车入库、侧方停车，考完发个驾照。可真实马路上有变道加塞的大货车，有突然窜出的外卖电动车，还有导航突然失灵的隧道。驾校考试能证明这人学过开车，却没法说明他在真实路况下会不会手忙脚乱。驾照考试的内容若与真实路况完全脱节，驾照本身能说明的东西其实非常有限。

医生到底在问什么

研究团队搭了一套名为RCQ-Map的分析框架。

RCQ-Map是Real Clinical Query Map的缩写，一套给医生真实提问打标签的分类系统，共20个维度，记录每条提问的任务类型、意图、能否被直接回答、缺了哪些信息、潜在风险多大。

这套框架并非拍脑袋想出来的，它基于以往的临床问题分类研究和LLM评估文献整理而成，并经过真实医生验证可靠性。

团队用这套框架分析了127833条医生对AI助手说的第一句话，也就是每次对话的开场白。数据来自6342名临床工作者，横跨35个专科，覆盖主治医生、专科医师、住院医生、执业护士和注册护士。

结果显示，文档与行政类任务占36.2%，知识检索类占28.9%，两项合计接近三分之二。而真正需要临床推理的任务，比如治疗方案制定、诊断鉴别、检验结果解读，加在一起也只有14.3%。

文档与行政类具体指什么？

具体做法是借助AI生成出院小结、书写病历、整理病历内容，以及答复病人在医院系统里发来的消息。在这些请求里，95.6%是要产出一段文字，68.9%涉及某位具体患者。

这个发现与斯坦福大学此前对自家医院内部AI助手的研究结果吻合：那边系统同样主要被用来写作和查资料，而斯坦福另一个与电子病历系统集成的工具ChatEHR，主要用途是病历总结和病历审阅。

这说明一件事：医生对AI最大的需求，不是让它替自己做诊断决策，而是帮自己处理那些耗时又重复的文书工作。

这和此前的时间动作研究结论对得上。有研究专门追踪医生一天的时间去向，发现电子病历和行政文书吃掉了大量时间；针对护士的时间动作研究也呈现类似结果。医生把AI助手用来写文书，多少说明这个工具正好压中了一线临床工作者最疼的地方——病历书写负担太重。

设想一位每天要接诊二三十个病人的医生，下班后还得花一两个小时补病历。这时候手头这个AI工具会怎么用？大概率不是拿去讨论疑难病例的鉴别诊断，而是让它把刚才和病人聊的内容整理成一份规范的出院小结。

诊断类查询只占3.7%，原因也在这里。诊断本身要医生亲自动脑子，AI能插手的空间有限，并不是诊断不重要。文书工作则是另一回事：纯粹的体力活加格式活，恰好是AI最擅长的。

风险藏在哪里

任务类型统计完之后，研究团队又做了一件更关键的事：逐条评估每个提问背后潜藏的风险。

他们设了一个标准——假设医生拿到错误答案后直接照做，会造成多大伤害。评分参照美国医疗研究与质量局（AHRQ）的伤害分级量表，分为minimal（轻微）、low（低）、moderate（中等）、high（高）、critical（严重）五个等级。

结果是，13.2%的提问被评为高风险或严重风险。这些高风险提问高度集中在特定任务类型上。

全部提问中，药物信息类只占14.1%，可高风险和严重风险查询里有38.8%出自这一类，严重风险查询更是超过一半由它贡献。治疗管理类更少，仅占6.2%，高风险查询中却有21.2%来自这里。

意图分析的结果更有意思。研究者把提问的12种意图归并成5组，其中属于“做决定或核实”这一组的提问（比如确认某个剂量、核实一个临床判断是否正确）风险最高，达到50.2%，远高于其他几组的3.9%到9.5%。

这个发现背后的逻辑其实不难理解：医生如果只是想了解某个概念是什么，答错了顶多让他多查一次资料；但医生如果是在问“这个剂量对吗”，说明他已经在准备执行这个决定了。此时AI给出错误答案而医生信了，后果可能真的会落到病人身上。

团队另做了一项更细的验证：不看任务类别，单凭提问文本自身的特征，能否提前判断出这条提问属于高风险？他们挑出11个能从文本直接观察到的特征——有没有提到具体病人、是否属于紧急情况、写没写具体剂量、用没用医学缩写等，据此搭了一个简单的逻辑回归模型，交叉验证后AUC为0.78。

AUC：Area Under Curve，一个衡量分类模型区分能力的指标，取值在0.5到1之间，越接近1说明模型区分两类样本的能力越强

换句话说，一个不算复杂的系统，只要扫一眼提问里有没有“病人具体信息”“紧急”“剂量”这类关键词，就能比较准地识别出这条提问要不要格外当心。研究者也没有回避局限：要想筛出90%的高风险查询，就得把所有查询中的60%一并标记为待审查，假阳性率相当高。

这和机场安检是一个道理。灵敏度调得极高，危险品几乎都能拦住，可大量无害的充电宝、水杯也会被扣下重检，队伍越排越长。灵敏度与误报率之间始终要做取舍，没有白得的好处。

超过三分之一的问题根本答不好

论文里另一个让人印象深刻的数字是：36.1%的提问，按照医生原本提问的方式，根本没法被好好回答。

根源在于提问本身没带上回答所需的关键信息。22.2%的提问要看病人的具体病历，或者医院内部的制度信息（用药目录、医嘱套餐、诊疗流程之类），而这些内容问题里根本没有；还有12.6%的提问得查最新的医学文献证据，AI掌握的知识却可能已经过时。

风险等级越高，这个比例涨得越猛：轻微风险提问中缺必要信息的只占4.3%，到严重风险一档，数字一下冲到72.7%。

据此，研究者列出了一套“最安全怎么答”的判断标准，共五档：直接回答、先查权威资料再回答、向医生反问澄清、交给人类专家处理、拒绝回答。

从数据看，61.2%的提问可以直接回答；26.8%的提问，最稳妥的做法其实是反问澄清；12%要先检索资料再作答；需要转交人类专家或直接拒答的，合计不到千分之一。

真正该盯住的是高风险提问的分布：高风险或严重风险提问中，84.5%最安全的应对方式都不是直接给答案，其中60%应当先反问澄清。

去药房买药也是同样的情形。你只问“布洛芬一般怎么吃”，药师照着常规用法讲就行。可你要是说“我这个病人正在吃华法林，现在想加一个新药，能不能一起吃”，负责任的药师不会马上抛个答案，他一定会先问肾功能如何、现用剂量多少、还有没有其他基础病。

缺了这些信息就贸然给答案，哪怕答案听起来很专业，也可能是在错误的前提下给出的正确废话。

眼下多数已部署的AI助手恰恰相反：问题完整与否都不管，一律老老实实给出答案，主动反问极少。这篇论文的数据其实是在说，这种应答方式本身，或许就是当前AI医疗助手设计里最大的安全隐患之一。

那测评题库的问题究竟出在哪儿？

论文最核心的一步在这儿：团队拿同一套分析框架，去套了业界常用的58个公开AI医疗测评题库，这些题库来自13个主流评估体系，也包括各大前沿模型（像GPT系列、Gemini系列）发布技术报告时引用的测评集，他们给这批题库起了个名字叫“临床AI基准图谱”（Clinical AI Benchmark Atlas，简称CABA）。一比对，这些题库的任务构成和真实医生提问的任务构成之间，中位数重合度只有31%。

研究者还给了条参照线：假如把题目完全平均摊到十个任务类别里，什么都不偏重，重合度也能到55%。换句话说，眼下大多数测评题库，跟真实世界的贴合度还不如一个完全随机均匀分布的假想题库。

更扎眼的是文档与行政类提问：这些题库的中位数占比是0%，可这类提问在真实使用里占了36.2%。58个题库当中，文档类题目占比超过5%的只有13个。

被前沿模型技术报告引用的那12个测评集稍好一点，跟真实用法的重合度中位数是40%；可那些本来就宣称贴近临床实践设计的题库（比如MedHELM、BRIDGE、ClinicBench、HealthBench这几个体系下的29个子题库），重合度中位数也只有35%，跟没专门做贴近性设计的题库比，统计上并没有显著更好。

研究者挑了5个题库做深入对比，其中两个属于经典的医学考试型：MedQA（美国执业医师资格考试风格题库）和MAST体系下的脚本一致性测试。诊断类题目在这两个题库里分别占48%和56.3%，而真实用法里诊断只占3.7%。文档类题目在两者中几乎都是0。

考试型题目还有个共同点：信息几乎都是完整的，MedQA里缺必要信息的题目只占0.7%，真实提问里这个比例却是22.2%。

这意味着什么？一个AI系统如果只在MedQA这类题库上刷出高分，这个分数几乎说明不了它在真实临床场景里能不能靠谱干活——面对一条信息不完整、带着缩写、还夹着病人隐私信息的真实提问时，它到底行不行。

这就像拿一本题干完整、标准答案清晰的数学习题集，去考察一个人解决实际生活问题的能力。习题集里不会出现“小明有若干个苹果，具体多少不知道”这种残缺条件，可生活里的决策，恰恰经常是在信息不全时做出的。只会做条件给得明明白白的题，碰上真实世界里缺斤少两的信息，可能根本不知道从哪儿下手，而习题集满分这件事，压根不会暴露这个弱点。

另外三个由临床医生实际撰写的题库（HealthBench Professional、Real-POCQi、NOHARM）相对更贴近真实情况。HealthBench Professional尤其突出，是唯一覆盖全部十个任务类别的题库，文档类题目占到25.5%。但这三个题库普遍偏重咨询类和高风险场景，高风险/严重风险题目占比在34.5%到54.5%之间，远高于真实数据里的13.2%，某种程度上又滑向了另一个极端，过度集中在疑难和危急情况上。

数据背后不只是统计，还有验证

这里要说说论文方法论上的一个细节：127833条真实提问的打标签工作，他们是怎么保证可信的。

20个维度、十万多条数据，全靠人工标注不现实，论文用的是GPT-5.6这个模型本身来做自动标注。问题是，贴标签的工具本身要是不靠谱，整个研究的地基就是歪的。

所以团队先做了一轮验证：随机抽100条真实提问，找7名医生，每条提问由其中3人独立打标签，AI meanwhile也用同一套标注指南打一遍，然后互相比对。

结果，在23个需要主观判断的字段上，AI标注结果和一个“留一法”构建的参考标准之间的匹配率是84.6%，人类医生彼此之间的匹配率是83.0%，两者基本持平，AI甚至略高一点。

留一法是一种验证方式：先挑出一名评分者暂时“藏起来”，拿其余评分者形成的共识结果当参照，再比对这名被藏起来的评分者或 AI 模型的打分与参照标准之间的接近程度。

不过偏差也有一处很明显：判断“风险等级”时，AI比人类医生更谨慎。它把24%的验证集提问标为高风险或严重风险，而三位医生的多数共识只把6%标为高风险。说白了，AI在风险判断上更倾向“宁可错杀，不可放过”。

这提醒一件事：就连这篇论文用来生成结论的自动标注系统，也存在系统性偏差。研究团队没回避，而是把这个偏差量化出来，并在正文里明确说明，13.2%这个高风险占比应当理解为一个偏保守的上限估计，而不是精确值。

这种坦诚挺难得。不少研究倾向于把自己的工具包装得无懈可击，这篇论文却直接告诉你：我们的测量工具有偏差，偏差有多大，往哪个方向偏，自己心里要有数。

专科之间的边界其实很模糊

论文里还有个挺有意思的发现，跟专科划分有关。

团队把各专科的提问内容，按“这个问题本该归哪个科室管”重新归类，结果在38647条能明确归到某个专科的提问里，有43.9%问的其实是其他科室管辖范围内的问题。

落到各科室看，差异就更明显了。眼科、神经外科的提问里，跨出本科室范围的超过80%；重症医学科和儿童青少年精神科则低得多，只有约10%。

这背后是专科医生每天要接的问题早就溢出了自己的专业圈子。眼科医生会被问到心血管用药，神经外科医生也会碰上内分泌代谢的疑问。

对想开发“专科专用AI工具”的人来说，这信号不太乐观。假设模型只拿眼科专业问题去训练和调优，那科室实际提问里有一大半它可能根本接不住——这些问题本来就不归眼科管。

打个比方，给外科医生编一本只讲手术刀法的教材，可他们日常大量时间花在调整糖尿病用药、处理术后感染该用什么抗生素上，和刀法关系不大。教材里的专科边界清清楚楚，真实工作里的边界却糊得多。

研究的局限

论文末尾，团队也如实交代了这项研究的边界在哪。

首先，样本只来自一个医疗系统、一个AI助手。不同医院的科室设置、人手安排、工具设计，都会让任务分布发生变化。其次，医生是否另开了网页搜索、专业数据库，或者用个人账号登录ChatGPT，研究者都看不到。所以统计出的任务分布，或许只反映医生愿意交给这个特定工具处理的那部分问题，而非他们全部的AI使用行为。

还有，分析范围仅限于每轮对话的第一句话。医生后面补充追问的内容，没有被计入。这也解释了为什么有9%的提问“无法识别出具体请求”——不少情况是医生先贴了一大段病历，真正的疑问到后面几轮才冒出来。

另一点不能忽略：研究统计的是提问本身带有的风险，并未核查AI助手给出的回答是否真的出错。说白了，它评估的是“问题有多危险”，不是“AI答错的概率有多高”。两码事。

写在后面

读这篇论文时，让我感触最深的倒不是那些百分比，而是团队干活的路子。

他们没有点名批评哪个测评题库做得差，而是拿一套统一的、经医生验证过的标准，把真实世界的数据和题库数据放到同一把尺子底下量，让数字自己开口。这种克制不太常见。

有个细节单拎出来说：诊断类任务在真实使用中只占3.7%。可论文提到，诊断恰恰是过去几年AI医疗研究投入最密集的方向之一，已发表的评估研究里约五分之一是它，两个经典考试型题库中诊断题目的占比更是接近一半。

这个落差说明什么？整个领域砸下的大量研究精力，可能一直对准的是真实工作负荷里占比很小的那块任务。诊断当然重要，诊断出错的后果也可能很严重。但如果资源分配和真实需求长期对不上，这件事值得整个领域停下来想想。

另一点也让我印象很深：高风险提问里，一半以上集中在“核实”这个动作上——医生心里已经有了判断，只想让AI帮忙确认一下。这种确认型提问，往往意味着医生下一步就要照着这个判断去执行了。研究团队能把这么细微的意图差别从海量文本里剥出来，本身就说明：搞清“人到底想干什么”，比单纯判断“这句话问的是什么主题”难得多，也重要得多。

论文留下了一个没答的问题：既然现有测评体系和真实使用场景差这么远，那些已经上线、医生每天都在用的AI助手，真实表现究竟如何？目前还没有人系统测过。

这或许才是整个故事里最该继续追下去的部分。

Q&A

Q1：这篇论文发现医生最常用AI医疗助手做什么？

写病历、出院小结、回复患者消息这类文档和行政任务，加上知识检索类任务，两者合计接近总使用量的三分之二；真正用来问诊断的只占3.7%，大众的预期远没有这么低。

Q2：现有的AI医疗测评题库和医生真实提问差距有多大？

58个公开测评题库与真实用法中的任务构成相比，重合度的中位数仅有31%，这个数字甚至比把题目平均摊到各个类别所得到的55%还低；中位数题库里完全找不到文档类提问。

Q3：医生提问中有多少是AI无法安全直接回答的？

有超过三分之一（36.1%）的提问没法直接答好，原因是要么缺病人具体信息，要么缺医院内部制度，要么缺最新证据；在高风险提问里，这一比例升到66.8%。