AI医生看病变聪明：NVIDIA与马里兰大学给模型装外挂记忆

一个刚拿下执业医师资格的AI系统，十年后接诊水平会和上岗第一天完全相同？这事听起来怪，但确实存在。

它见过一万个病人也不会更可靠，记不住上周某人用某种新疗法效果奇佳，反复试错也攒不出“这种情形该先排除另一种可能”的判断。说白了，它像个失忆的大夫，天天都在重复头一天上班。

这并不夸张。大语言模型和多模态模型只要部署上线，参数就冻结了。

**模型参数：决定AI行为方式的一堆数字，相当于AI的“大脑结构”。一旦训练完成并部署，这些数字通常就不再改变。**

放到写诗、闲聊上问题不大。搁在医学里就很要命。医学指南年年更新，新药不停上市，旧的诊疗方案还可能被证明有害。AI若不能从经手的病例里吸取经验，那它看的病人越多，白白流走的东西也越多。

NVIDIA和马里兰大学团队的这篇论文，想的就是这个事。模型参数他们没碰，走的是另一条路：给AI外挂一套记忆系统，让冻住的大脑之外再长出一套持续更新的专业知识。

### 为什么不能直接微调一下就完事？

有人会说，这有什么难，效果不好就拿新病例微调一把呗。

其实，操作起来远没那么轻松。

头一条，微调得拿到模型权重。闭源模型（比如通过API调用的GPT类产品）根本没戏——你连它“大脑”长什么样都看不见，谈何修改？

再一条，开源模型也得掏真金白银的算力，效果还高度依赖数据质量。病例攒得不够多、不够干净，微调完可能还不如原来。

那有没有绕开参数的办法？此前已有研究在做，思路是让AI把处理案例时的“反思”写成文字存起来，下次碰上类似情形翻出来参考。可这类做法有个致命弱点：哪些“反思”值得保留，通常由一批固定的验证集来裁定。

**验证集：用来检验一个更新或方案好不好的一批测试样本，通常固定不变。**

同一批验证集上反复调，时间一长AI就会去“讨好”这批样本，而非真正变强。这跟学生死磕同一套模拟题一个道理：分数越刷越高，换套真题立刻现原形。验证标准一直不动，被优化的对象迟早会变成专门应付标准的样子，而不是解决真问题的能力。

纯文字记录还有一处短板：视觉细节容易丢。X光片里一道细微阴影，用文字很难说清，那次影像经验等于白瞎。

### 三件外挂装备，撑起一个会进化的AI

论文给冻住的模型配了三样东西，对应医学实践最要紧的三类需求：做事的流程、靠得住的事实知识、视觉经验。

头一样叫Skill（技能文档）。

**Skill：它其实是一份用自然语言写出来的操作指南，讲清楚模型碰到哪种情形要按哪些步骤走、到什么时候该停手，相当于一本一直在修订的工作手册。**

打个比方，Skill起初可能写着“咳嗽发烧的病人要拍胸片”。后来发现不少病例生命体征和肺部听诊都正常，拍片纯属浪费，Skill就改写成“咳嗽发烧且生命体征或听诊异常时才拍胸片”。

这里有个细节：系统选的是整篇重写，不是往后不断追加新规则。看着麻烦，其实必要。

设想一本工作手册，每碰到新情况就添一页新规则，旧内容从不删。几个月下来这手册又厚又乱，第3页的规则还可能跟第47页打架，新同事翻开来压根不知道该听哪页。只追加不重写，模型每次要往上下文里塞的东西越来越长，还可能同时挂着两条互相矛盾的指令，表现反倒更差。整体重写虽然每次都得把全部内容过一遍，但手册始终干净、无矛盾、能执行。

第二样叫Knowledge Memory，知识记忆库。

**Knowledge Memory：这是一个专放“可靠事实”的仓库，每条知识都带着支撑它的证据和适用范围，并非随便一句总结就能放进去。**

收进知识库的门槛不低：一个事实通常得有两个独立病例作证，单凭一个病例不算数，除非这个病例有PubMed这类权威外部文献直接支持。另外，涉及患者个人信息、答案key的内容，一律不许混进来。

这套规矩跟医学界的审稿逻辑有几分相似。单个病例的巧合谁都见过，可能这个病人恰好特殊；可要是两三个互不相关的病例都指向同一个结论，事情就不一样了。门槛不设，AI就容易把“这个病人恰好这样”的偶然当成普遍规律，下回照搬到完全不同的病人身上，很可能出大问题。

第三样东西是整篇论文里最有意思的设计：MMKB，多模态知识库。

**MMKB（Multimodal Knowledge Base）：一个保存着原始图像、源问题、标准答案以及现有解释的参考案例库，专门用来支撑带图像的医学任务。**

![框架总览图]

图上画得明白：新病例进来后，系统用图像加文字联合检索，找出几个相似的历史参考病例，再让模型做一件很具体的事——逐个分析参考病例的图像证据是怎么支撑它的标准答案的，然后把这些观察和条件拿去跟当前病例比对，看哪里相似、哪里不同、还缺什么信息。

这个“强制对比”的步骤，是MMKB设计里最关键的一环。研究者专门做了对照实验来验证：只把参考图像和答案原样丢给模型当上下文，不要求它分析和比较，会怎样？

结果挺戳人。MedChain任务3是带影像的诊断任务，标准检索方式下分数从51.4%掉到49.6%，比完全不用参考资料还差。换成加了“分析加对比”这一步的MMKB，同一批参考资料，分数直接冲到63.7%，提升了23.9%。

说白了，光把答案摆在那儿，模型可能被带偏，照抄一个表面相似、实际不对的案例。就像给一个学生参考答案，却不要求他对照自己的题目逐条核对异同，他很可能抄一个看起来差不多的答案交上去，而不是真正搞懂这道题怎么解。强制对比这一步，就是逼着模型把“参考”真正当参考，而不是当抄本。

### 怎么判断一次更新到底该不该留下？

Skill、Memory、MMKB这三样东西有了，还有一个核心问题没解决：某次更新是不是真的有效，谁来判？

论文设计了一套验证机制，核心思路是双重把关。

每攒够一批新病例（论文里是32个一批），系统会生成一个“候选更新版本”的Skill和Memory。接下来不直接拿来用，而是让当前版本和候选版本在同一批新病例上、以及一个“历史案例缓冲池”上各跑一遍，比谁的分数更高。

**历史病例缓冲池：收录若干典型旧病例，专门用来检验新版本在回看老数据时会不会表现变差，避免系统一味迎合最新数据、反倒把原来的本事弄丢。**

接受一次更新，得同时满足几个条件：在新病例上平均分数高于旧版本，且赢的病例数不能少于输的；在历史病例上平均分数不能下降，赢的病例数也不能少于输的。这个设计很像公司招新员工，既要看他在新项目上的表现，也要确认他没把老项目搞砸。

只盯着新数据会出问题吗？论文专门做了实验：让系统跳过这层验证，所有更新无条件接受，结果六个评测基准上分数全部下跌，跌幅在21.8%到37.8%之间，而且全部跌到比“什么都不做”的基线还差。

这揭示了一个挺反直觉的事实：允许AI不断学习，不等于AI会越学越好。没有筛选机制的学习，很可能是在往错误的方向疯狂加速。验证关卡不设，一次糟糕的更新被接受后，会被用在后面所有病例上，错误不断放大，而不是被纠正。

### 这套系统到底有多管用？

光讲设计思路还不够，数字才是硬道理。

论文在六个评测基准上做了测试，覆盖互动式临床诊断（AgentClinic-MedQA）、多步骤临床工作流（MedChain）、纯文字医学推理（MedThink-Bench）、多图像医学诊断（MedThinkVQA），还特意加了两个跟医学完全无关的任务（视觉逻辑推理VisuLogic和量子校准图理解QCalEval），用来验证这套方法是不是只对医学管用。

测试用了四个不同的基础模型，包括开源的Qwen3.8-27B、Nemotron-3-Nano-Omni-30B，以及闭源的GPT-5.6-Sol和GPT-4o-mini。

| 评测基准 | Nemotron-30B基线→本方法 | GPT-4o-mini基线→本方法 | Qwen3.8-27B基线→本方法 | GPT-5.6-Sol基线→本方法 |

|---|---|---|---|---|

| AgentClinic（诊断） | 42.1→**56.5**（+34.2%） | 42.5→**54.2**（+27.5%） | 67.3→**73.4**（+9.1%） | 79.0→**83.6**（+5.8%） |

| MedChain（工作流） | 0.334→**0.375**（+12.3%） | 0.353→**0.400**（+13.3%） | 0.413→**0.460**（+11.4%） | 0.435→**0.513**（+17.9%） | VisuLogic（非医学视觉） | 14.4→**23.9**（+66.0%） | 26.6→29.3（+10.2%） | 21.5→**39.1**（+81.9%） | 45.8→**50.0**（+9.2%） | QCalEval（非医学视觉） | 47.3→**55.5**（+17.3%） | 40.9→**58.5**（+43.0%） | 62.9→**82.3**（+30.8%） | 72.3→**84.2**（+16.5%） |

24个「模型×基准」组合摆在一起看，有22个组合的最高分被这套方法拿走，平均涨17.6%。作为对照，ACE平均只涨5.6%，还有7个组合的成绩反倒不如什么方法都不上。ACE的做法是不断把新上下文塞给AI，不设验证环节，来一段新经验就收一段。

涨得最猛的，偏偏是那些要来回好几步、或者同类问题反复冒出来的任务——AgentClinic上去了34.2%，VisuLogic更是抬了81.9%。换成MedThink-Bench这种题目彼此独立、全靠模型自己医学底子的问答，增幅就缩到0.4%至5.0%之间。

这个落差说得通。流程也好、视觉经验也好，得碰上「相似情形一再出现」才使得上劲。老医生看够一千个相近病例，第1001个类似病人进门时能马上有反应；可要是每次来的都是八竿子打不着的怪病例，攒下的经验就派不上多大用场。

团队另外查了稳定性：把病例顺序随机打乱，重跑五遍。AgentClinic平均提升5.7%，QCalEval平均提升16.5%，标准差都不大。可见涨分靠的不是病例排列碰巧带来的运气。

### 拆开来看，每个零件各管什么

既然摆着Skill、Memory、MMKB三样东西，那就要问一句：随便留一个行不行？

论文用消融实验回答，逐个拿掉组件，看分数跌多少。

拿掉Skill，MedChain掉12.1%，AgentClinic掉5.5%，分数直接滑回基线。多步骤工作流、互动诊断这类任务里，流程指导显然是最吃劲的一环。

拿掉MMKB，QCalEval掉14.0%，VisuLogic掉8.2%，同样退回基线。视觉任务的那点增益，几乎全靠视觉参考撑着。

去掉Knowledge Memory，动静小些，最明显的是MedThink-Bench掉了2.5%——这个任务恰好最倚重纯医学知识的积累。

三个组件各管一摊，并非彼此重叠的冗余设计。去掉哪一个，漏出来的都是不同方向的窟窿。

### 学到的经验能不能带着走？

论文里这个实验挺有想法：让一个模型攒下的Skill、Memory、MMKB，原样交给另一个完全不同的模型，中间不做任何额外训练。

结果是，Qwen3.8-27B学出来的经验直接给GPT-4o-mini用，AgentClinic任务涨47.3%；给闭源的GPT-5.6-Sol用，QCalEval涨23.2%。36组迁移测试里33组为正，平均提升20.0%。

关键在于这些经验存在模型之外，不绑某个模型的参数结构。哪天部署的模型从旧版本升到新版本，不必从零重新攒，把旧「经验包」接过来接着用就行。好比诊所换了主治医生，病历本、诊疗规范、典型病例图谱都还在，新医生接手当天就能翻着用，不用从头摸起。

### 冻住的参数之外，还能长出点别的

没有验证机制、放任直接学，会是什么下场？前面已经试过，答案很难看。那只靠固定验证集反复优化行不行？论文拿来对比的SkillOpt走的就是这条路，冻结泛化测试里它在7个组合上反而不如不学习；本文方法在24个组合里只有1次略低于基线。同一批数据上反复打磨，容易把能力调成专门迎合这批数据的样子，这又一次得到印证。

论文还专门做了「冻结泛化」实验：先用大约前70%的病例流学习，随后把所有经验彻底冻住，再拿后30%没见过的病例去考。学到的经验在生病例上平均提升20.7%，比前面在线学习阶段的17.6%还高。攒下来的不是针对特定病例的小聪明，而是真能复用的流程和知识。

写在后面

通读下来，最让人琢磨的不是三个组件怎么设计，而是标准检索与MMKB那组对比里冒出的现象：参考资料一样，检索结果一样，仅仅差在要不要模型做「对比分析」这一步，分数就能拉开23.9个百分点；标准检索甚至比完全不检索还差。

这里藏着一个常被忽略的事实：往AI里塞更多信息，不等于它会用好这些信息。不少所谓的「检索增强」系统，可能正在悄悄拖后腿，只是没人去量过「给资料但不要求分析」和「给资料并强制对比」之间到底差多远。

另一处让我没想到的设计，是知识记忆库那条门槛——至少两个独立病例才能收录。这等于把医学循证的逻辑直接写进了AI的记忆更新规则里，没让AI自己去判断哪些信息可信、哪些不可信。不轻信AI的单次判断，硬性要求外部证据交叉验证，这套思路恐怕比那三个组件的架构本身更值得别的领域拿去用。

一个被冻住的大脑，能不能靠外挂的笔记本越变越聪明？论文的回答是能，但有个条件：这本笔记得有人把关，不是记下来的东西都值得留下。那接下来要问的是，等这套系统跑上一年、十年，那本反复重写的Skill文档会变成什么样，会不会哪天因为太复杂而失控？

Q&A

Q1：这篇论文提出的框架核心解决了什么问题？

A：它针对的是AI模型部署之后没法从新病例里学东西的毛病。参数一冻住，模型就不会自己变聪明，于是论文搭了Skill、Knowledge Memory、MMKB三个外挂组件，让AI在不改参数的前提下也能持续攒经验。

Q2：MMKB和普通的图像检索有什么不同？

A：普通检索只是把相似的图像连同答案丢给模型当参考；MMKB则强制模型去分析每个参考案例里的证据，再拿它跟当前病例一条条比对。实验里这一步能让分数涨超过20个百分点，而普通检索有时候反倒把分数拉低了。

Q3：学到的经验能不能用到别的AI模型上？

A：能。论文做了跨模型迁移实验，把一个模型学到的Skill、Memory、MMKB直接挪给另一个完全不同的模型用，不用重新训练，36组测试里有33组是正向提升，平均提升20%。