AI医疗问答验证实测：顶配系统只揪出四分之一错误

一个AI医疗助手回答患者提问时如果说错一句，谁能发现？这个问题值得先想一想。

多数人的答案是用AI去查AI。具体做法叫检索增强验证：先把模型生成的内容拆成一条条独立的事实陈述，再去权威医学数据库里找资料当证据，最后交给另一个AI模型判断每条陈述有没有证据支撑。生成一套、核查一套，听起来分工明确。

约翰霍普金斯大学的研究团队真去试了。他们请来几位临床医生，对着AI生成的540条医疗问答逐句标注错在哪里，然后让当前最强的检索系统配上最强的AI验证模型，把“用AI查AI”这套流程跑一遍，看能揪出多少医生已经发现的错误。

结果不太好看。医生标出的真实错误中，这套顶配组合只找得出大约四分之一。换成具体数字：医生发现100个错，系统最多抓25个，剩下75个照样原样送到患者眼前，没有任何提醒。

更奇怪的是另一组对比。同一套验证流程拿去跑SciFact、CovidFact这类业内常用的医学事实核查基准，准确率能到70%到80%。同样的技术，场景一换，成绩从接近八成跌到不足一成。

这篇论文要做的，就是撬开这个黑箱，看问题卡在哪个环节。

一、问题到底难在哪

两种任务的本质差别得先讲清楚。SciFact这类测试集属于封闭式事实核查：研究者先写好一句科学声明，再专门找对应的证据段落放进题库，证据和声明是配对来的，证据库也不大，搜索范围可控。

开放式问答验证完全不是这个路子。AI医生生成一句“孕期头晕可能是体位性低血压”，没有人提前备好证据，系统得自己从3000万份医学文献里捞材料来核实。这句话对不对、人类医学知识库里有没有现成答案支持它，全是未知数。

研究团队把这个落差归到三个具体原因上。

头一个是证据库的完整性不够。研究者统计发现，SciFact这类数据集里约90%的标准答案证据，恰好就躺在他们所用的医学语料库MEDIC里。MEDIC包含3030万份医学段落，来源有PubMed论文、医学教科书和临床百科StatPearls，由学者Xiong等人在2024年发布，是目前检索增强医疗问答系统最常引用的证据来源之一。

证据本来就在库里，检索出来核实一下，分数自然高。可到了真实世界的开放式问答，AI随口说的一句话，往往压根没有权威文献讨论过；或者相关讨论散在十几份文献的角落里，没人专门写一篇论文去证实或反驳它。让系统去找一个根本不存在的东西，它当然找不到。

打个比方：封闭式任务像侦探破案，现场留着指纹和监控录像；开放式任务则是案子发生了，现场什么线索都没有，甚至这案子有没有真发生过都存疑。侦探本事再大，没线索可查也破不了案。不区分这两种处境，直接拿破指纹案的效率去要求破无头案的侦探，等于用错了标尺。

第二个原因是证据的可定位性。证据就算真躺在某个庞大语料库里，能不能找到是另一回事。封闭式数据集的语料库围着题目量身定做，范围小、干扰项少；开放式场景下，系统要在3000万份文档里大海捞针，证据可能埋在成千上万份看起来差不多的无关文档中间。这一块倒还算乐观，检索模型越强，找得越准，技术进步能解决。

第三个原因最棘手，是证据和声明之间的对齐。AI说“成年人每6小时可以吃400毫克布洛芬”，检索到的权威文献写的是“每公斤体重5到10毫克”。两句话说的是同一件事，一个是绝对剂量，一个是按体重折算的剂量，系统得先做单位换算、补上人群假设，才判断得出矛不矛盾。再比如AI说“老年人需要调整剂量”，证据库里可能只有两条分开的信息，一条讲年龄增长导致肝功能下降，另一条讲肝功能下降需要调整剂量，系统得把这两条串起来才能验证。对齐问题不是检索能解决的，也不是换个更大的模型就能解决的，它要的是真正的临床推理能力：剂量换算、人群泛化的边界、不同研究结论冲突时怎么权衡，系统得像个医生那样去想。

二、换更好的检索器，换更大的模型，都没用

研究团队做了一轮又一轮“升级测试”，想看砸资源到底能不能解决问题。

先看检索器。他们测了四种主流检索方案，其中包括专门用医学数据微调过的MedCPT。MedCPT于2023年发布，目前在生物医学信息检索领域下载量最高。

研究团队还把关键词检索与语义检索混搭的RRF方案纳入测试。RRF全称倒排排名融合，做法是把多个检索系统的排序结果合并到一起，例如将传统关键词匹配BM25和语义向量检索的结果按排名加权融合，让两者取长补短。另外被测的还有Qwen3-Embedding模型，它在2025年通用领域检索排行榜上排第一。

测试下来，Qwen3的表现确实最好，它遇到"无证据可用"的情况最少，大多数查询都能找到相关内容。可就算是这个最强的检索器，召回证据里真正够得上高质量的也只占14.5%——每找回100份文档，大约只有14份真能帮上忙。排名靠后的MedCPT更惨，这个比例仅有2%。

有个发现出乎研究团队意料。他们原本以为，改用实时的谷歌搜索、再按权威域名筛选（比如只看.edu、.gov、.org后缀的网站），效果会好过固定的静态语料库，毕竟谷歌信息更新更及时、覆盖面也更广。实际结果却反过来：谷歌通用搜索、谷歌学术搜索以及两者合并，召回率全都低于固定的MEDIC语料库，从25.6%掉到15%左右。

研究者还挖出一个具体案例。有AI称"站立性头晕也叫体位性低血压"，这话并不严谨——头晕只是体位性低血压的一个症状，并非它的别名。用MedCPT语料库检索出的证据准确识别出了这处混淆，判定该说法被反驳。换成谷歌通用搜索后，检索到的九条结果里包括加州大学洛杉矶分校健康中心UCLA Health这样的权威医疗机构网站，表述却是"站立时感到头晕（体位性低血压）"，直接把症状和诊断画了等号。AI验证模型拿着这些权威来源的网页内容做判断，反而得出相反结论，认定这句话是对的。这事挺值得琢磨：权威机构网站给普通人做健康科普，语言天然会简化，把专业诊断和常见症状混着说很正常，读者才看得懂。可这种为传播而简化的表达，进了严谨的事实核查场景，反倒成了误导证据的来源。证据的权威性和证据的精确性，原来不是一回事。

验证模型这一端，研究团队测了六种主流AI模型，从GPT-5.4到专门用医学数据微调过的MedGemma，另外还对比了几个通用大模型。结果彻底打破了"模型越大越强、排行榜分数越高越可靠"的直觉。研究者查了专门给医疗AI模型打分的排行榜Best AI for Healthcare，发现模型在该榜的排名与它们在这次开放式验证任务里的实际召回率几乎呈反方向走。参数量最小的Mistral Small 3在健康基准榜上排154，位置靠后，可它这次任务的召回率却是六个模型里最高的，达到34.9%。反倒是GPT-5.4和Qwen3.6这两个榜上排名靠前的模型，召回率只有25.6%和22.1%。

换句话说，能把标准医疗知识问答做好，跟能在真实场景里判断一句话是真是假，压根是两码事。就好比有人把医学教材背得一字不差、考试回回高分，真坐到病人跟前，边听主诉边察觉对方哪句话有漏洞，他未必做得到。知识面宽不宽，和纠错时够不够敏锐，本就不在同一条能力曲线上。

更让人意外的是关于"推理时间"的实验。研究团队给GPT-5.4调高了推理强度，让它多想一会儿再作答。结果推理标记数从5.7万个暴涨到46.6万个，整整多花8倍算力，召回率却纹丝不动，还是25.6%。换句话说，多出来的计算量都耗在反复斟酌、犹豫不决上，并没帮它多找出几个错误。这个发现有点意思：让模型"想久一点"这招在很多任务上管用，在医疗验证上却失灵了。模型多想的那部分时间，大概率是在给自己找更多模棱两可的措辞，而不是真正校验证据和声明之间到底哪里对不上。

医学专项微调也没带来质变。MedGemma相比通用版本Gemma3，召回率确实翻了一倍，从8.1%涨到16.3%，但离表现最好的模型还差一大截。微调能带来提升，却没法突破模型自身架构和预训练能力的天花板。

三、拆开黑箱才看得清楚哪里出了问题

光看最后的分数，只能知道系统做得好不好，看不出它为什么做得不好。这正是研究团队想解决的核心问题——他们不满足于一个总分，决定把这套验证流程彻底拆开，一步一步看每个环节崩在哪里。为此他们开发了一套人机协同的分类体系构建方法：先由团队里的研究者结合与真实临床医生交流得到的直觉，搭出初步分类框架，再拿这个框架去标注更多数据，看有没有新模式冒出来需要补进去，如此反复迭代六轮，直到不再出现新的错误类型为止。这套方法不需要提前准备标准答案，也不需要人工标好的"正确证据"，而这正是开放式场景的刚需——前面已经说过，开放式问答里压根不存在这种标准答案。

LLM-as-Judge指的是用一个大语言模型充当"评委"，对另一个模型生成的内容做质量打分或分类标注，这是目前自动化评估领域常用的手段，好处是能大规模处理数据，省去大量人工标注成本。

拆解之后，研究团队把整个验证流程切成两段——检索和验证推理，分别建了两套细致的问题分类框架。检索这一段，他们从五个维度给每份检索回来的证据打分：证据的主题是否真的匹配声明里提到的实体、证据的适用范围是否对得上声明所说的特定人群、证据来源靠不靠谱、证据到底支持还是反对该声明抑或压根没表态、以及文档切分时有没有把上下文切坏。

结果发现，最大的拦路虎出在"适用范围"这个维度上，71.5%的证据存在范围不匹配，比如声明讲的是孕妇这个特定人群，证据给的却是普通人群的笼统信息。另外还有62%的证据来源不够权威，55%的证据只是提到相关话题、压根没给出明确的支持或反对表态——看起来相关，其实什么都没说。

验证推理环节被切分成六个连续动作：先挑证据，再理解证据，接着做推理，然后校准自己对判断的确信程度，之后给出结论，最后保证理由和证据对得上号，一步一步往前推。研究者发现，出现频率最高的错误是模型只覆盖了一部分证据，把支持或矛盾的其他段落漏在一边，占20.8%；排第二的是推理过头，也就是证据本身并不矛盾，模型却硬推出一个矛盾结论，占18.8%。

这里冒出来一个挺颠覆的结果。前面说的那个召回率最高的小模型Mistral Small 3，只看最终答对多少题，它成绩最好；可要拆开看每一步推理的正确率，它反倒成了六个模型里最差的那个，推理链条完全正确的只有66%。GPT-5.4正好反过来，终答分数不是最高的，推理过程完整正确率却有90%。

这说明一件挺反常识的事：Mistral Small 3表面上的高分，很大程度上是蒙对的。它的推理过程本身是错的，结论却恰好撞对了。好比一个学生考试全靠蒙选择题，分数单看挺好看，可你让他把每一步解题思路写出来，就会发现他压根没理解题目，纯粹是运气。不拆开看中间过程、只盯最后分数，你完全看不出这个区别，甚至可能因此选了一个"看起来表现最好"、实际上最不可靠的系统。

四、所以这套方法到底哪里行不通，哪里还有救

把前面这些发现串起来看，会得出一个让人略感无力的结论：规模化扩张在这里基本不管用。换更大的模型没用，给模型更多思考时间没用，专门做医学微调效果有限，把证据来源扩大到整个互联网反而更差。这些手段在很多AI任务上都是立竿见影的升级路径，放到这个场景里全部失效了。

研究团队由此得出的看法是：开放式医疗事实验证面临的麻烦，并非出在某个系统的设计缺陷上，根源在于检索增强验证这一整套范式本身，一旦落到完全开放、没有标准答案可供比对的真实场景里，就会暴露出结构性的短板。

这个结论的分量不轻。它说的是：问题不在哪个团队调参没调到位，也不是等更强模型发布就能抹平，症结在整条技术路线，在这类任务上单靠堆资源压根突不破瓶颈。

研究团队又给出了什么方案？他们拿出的是一套颗粒更细的评估办法：别只盯着检索结果和问题关键词能否对上，得照这篇论文的做法去拆——看证据的适用范围准不准、来源够不够权威、表态清不清晰。验证推理那头同理，不能光看最终判断对错，还要逐步追查推理链上哪一环出了岔子；就算结论是蒙对的，过程有错也该记下来。

说白了，这套思路很朴素：别只看结果，要看过程。可眼下这个大环境讲效率、讲端到端自动打分，肯静下心一步步拆解、去建一套没有标准答案可依的分类体系，光工作量和耐心成本就高得吓人。这篇论文干的，正是这件没人乐意做却总得有人做的事。

写在后面

读到那个UCLA Health网页案例的时候，我停下来想了很久。

权威机构网站并非存心误导，它们是在给普通读者做科普，用词简化有其必要——看健康科普的人，哪能个个都懂医学术语。可这种为传播效果做的简化，一旦被当成严谨验证的证据来源，造成的处境反而比没有证据更危险：判断看上去权威、读起来顺理成章，实际却把关键区别抹糊了。

这背后牵出一个更大的问题。我们向来把“权威来源”和“准确信息”当成一回事，这篇论文却说明，两者中间还隔着一样东西，叫“信息传播目的”。给专家看的文献和给大众看的科普，讲的是同一件事，精确度要求却差得远。AI系统若分不清这两种语境，就会拿科普级别的模糊说法，当专家级别的精确判断来用。

还有一处让我反复琢磨。论文里反复出现“规模扩张失效”这个结论：换大模型没用，给更多思考时间没用，扩证据库也没用。这跟我们平时对AI能力提升的直觉正好相反——我们习惯相信砸资源总能换来进步，哪怕边际收益递减，方向至少没错。可这回连方向都错了，砸资源有时解决不了问题，因为症结不在“量”，而在“这件事本身需不需要一种完全不同的能力结构”。

如果一套方法在简单场景里表现完美，在复杂场景里却彻底失灵，那它到底算不算真的"有效"过？

Q&A

Q1：检索增强医疗事实验证系统到底靠不靠谱？

A：目前并不靠谱。就算用最强的检索器配上最强的验证模型，在开放式医疗问答场景中，也只能找出医生标注的大约四分之一的事实错误；同样的技术在标准测试集上准确率能到70%到80%，差距非常大。

Q2：为什么换更大的AI模型或者让模型多思考，没能解决医疗验证不准的问题？

A：研究显示，模型在健康知识基准榜上的排名，跟它实际验证陈述真伪的能力几乎反着走，知识广度和纠错能力并不是同一种本事。另外，把模型推理时间拉长8倍，召回率一点没升，多出来的算力大多耗在犹豫和模糊措辞上。

Q3：扩大证据来源到谷歌搜索，为什么反而效果更差？

A：权威网站的健康科普内容往往为了方便大众理解而简化表达，容易把专业诊断和常见症状混为一谈，比如直接把“头晕”和“体位性低血压”划等号，这种为传播而简化的内容，反倒成了误导验证系统的证据来源。