AI开药引争议:RefCheck工具上线,逐句核对AI医疗建议出处
针对近期医生使用AI辅助诊疗引发的信任危机,开发者构建了RefCheck工具。该工具利用元宝搜索API,对AI生成的医学陈述和参考文献进行逐条溯源核查。文章详细记录了从参数调优、坑点排查到实际测试的全过程,展示了如何通过技术手段区分AI回答中的事实与幻觉,为医疗AI的可信度提供了一套可落地的验证方案。
当AI走进诊室,它说的每一句话由谁来核实?
上周,一段“医生在诊室用AI查新药”的视频登上热搜。视频中,患者家属质疑医生不专业,医生则想借AI获取最新药物信息。争论很快蔓延到全网:AI给出的医疗建议,到底该不该信?
官媒后续评论给出的定调很明确:AI可以充当医疗的“外部监督员”,但诊疗的最终关口得由医生把住。听上去稳妥,可它绕开了一个更底层的技术问题——AI自己就在胡说八道的时候,医生拿什么去监督它?
AI大模型有个出了名的毛病叫“幻觉”,编造事实时语气还极其自信。医疗领域容错率极低,一个编造的 drug name(药物名)或者错误的 dosage(剂量),后果都可能很严重。既然AI的输出不能盲目信任,那就得有一套独立的验证机制。
顺着这个思路,我做了个叫 RefCheck 的小工具。逻辑不复杂:不判断对错,只查证出处。AI生成的每句医学陈述或参考文献,拆解后送进搜索引擎,看能不能找到权威源头。找得到,标记“已核实”;找不到,标记“查无出处”或“存疑”。
为什么普通搜索搞不定这件事?
很多人的第一反应是:“我自己百度一下不就行了?”或者“让AI自己检查一遍不行吗?”
这两个方案放到实际操作里都行不通。
先说让AI自查,这是无效的。大模型并不知道自己在撒谎,你问它“这条文献是真的吗”,它常常为了迎合你再编一段确认信息,语气比第一次还笃定。
再说普通搜索引擎,结果噪音太大。搜一个复杂的医学术语,排在前面的往往是营销号、健康自媒体,或者是AI批量生成的“内容农场”文章。这些内容本身可能就建立在错误信息上,拿它们验证AI,等于在垃圾堆里找金子。
这也是我选择接入元宝搜索的原因。元宝搜索和普通搜索不一样,它返回的是结构化数据,包括原始链接、发布时间和相关性打分。更关键的是,它支持Industry(行业限定)和Site(站点排除)等高级参数。
通过设置 Industry=acad,可以尝试锁定学术信源;通过Site=exclude:xxx.com,能直接屏蔽已知的低质内容农场。查资料和查权威资料,就这样被物理隔开了,这是搭起可信验证链路的基础。
RefCheck 的核心实现逻辑
整个工具跑起来分五步:输入文本、抽取实体、构造查询、调用搜索、三重匹配判定。
1. 实体抽取与查询构造
AI生成的回答里通常夹着大量修饰性语句,比如“患者应在医生指导下”、“根据临床需要”等。整句话直接扔进搜索引擎,结果往往偏离核心事实。
所以第一步是清洗。参考文献提取“标题、期刊、年份”三个关键字段;医学陈述提取核心实体,比如药物名、病症、禁忌症等。举个例子,“缬沙坦可能引起高尿酸血症”会被简化成查询词“缬沙坦 高尿酸”。
2. 调用元宝搜索 API
这里用的是腾讯云的 WSA (Web Search API) SDK。代码层面不算复杂,但有几个坑容易踩。
from tencentcloud.common import credential
from tencentcloud.wsa.v20250508 import wsa_client, models
import json
# 初始化客户端
cred = credential.Credential(SECRET_ID, SECRET_KEY)
client = wsa_client.WsaClient(cred, "")
req = models.SearchProRequest()
# 构造请求
req.Query = query
req.Mode = 2 # 混合模式:公开网页 + 权威垂直信源
req.Cnt = 10 # 返回结果数量
req.Industry = "acad" # 尝试限定学术信源
req.Site = "exclude:baidu.com|sohu.com" # 排除特定站点
# 发送请求
resp = client.SearchPro(req)
# 解析结果:注意 Pages 是 JSON 字符串数组
pages = [json.loads(p) for p in resp.Pages]这段代码看着简单,实际调试中我却发现Response.Pages返回结果并不是对象数组,实际拿到的是 JSON 字符串数组。每个元素都得再解析一遍。json.loads()不然提取出来的全是字符串,字段压根没法取。这类细节官方文档通常一句话带过,只有真正调过接口的人才知道。
3. 三重匹配与判定
搜完不能只看“有没有结果”。搜索引擎总会凑够10条,哪怕你要找的东西根本不存在。于是我们从三个维度打分:
- 关键词重合度:结果标题和查询实体之间有多接近。
- 来源权威性:是不是来自药品监管局、核心期刊、官方指南这类白名单域名。
- 时效性:发布时间落在合理区间内没有。
三个维度打完分,结果分成三档:
- 已核实:重合度高,来源也权威。
- 存疑:有结果,但来源偏弱(百科、聚合站之类),或者重合度一般。
- 查无出处:找不到任何相关支撑材料。
“存疑”这一档必须留着。查不到不等于结论就错,也可能是文献太冷门,或者表述差得远。非黑即白的判定,会让工具失去参考价值。
实战测试:AI 真的在瞎编吗?
为验证工具是否有效,我设计了两组实验。
实验一:参考文献溯源
我让通用大模型生成20条护理学和病理学方向的参考文献。格式挑不出毛病,期刊名、卷号、页码全齐。光看肉眼几乎分不出真假。
用 RefCheck 逐条核查,结果如下:
- 11条可溯源:在权威期刊官网或数据库里能找到对应文章。
- 7条存疑:标题搜得到,但来源是“博禾医生”、“民福康”这类内容聚合站,或者命中了百度百科。这些内容也许存在,却不具备学术引用价值。
- 2条查无出处:全网搜不到任何匹配,确认是彻底编造。
这个结果比我预想的好。本以为AI会大规模编造,实际上大部分文献都有原型,只是AI可能在细节上做了微调,或者引用了非学术来源。学生写论文时,那7条“存疑”文献要是直接引用,照样会被导师打回。
实验二:复刻热搜场景
我照着热搜里的场景,向AI提问:“高血压患者,对地平类降压药过敏,尿酸偏高,有哪些替代用药?”
AI 给出详细建议,我从中抽出19条事实性陈述进行核查:
- 有12条能查到出处。比如“氯沙坦具有促尿酸排泄作用”这一条,就在科普中国和卫健委的文章里找到了依据。
- 另有4条属于弱支撑,要么来源不够权威,要么表述存在偏差。
- 剩下3条完全没找到。其中一条提到“避开盘托洛尔”,可中文资料里根本查不到这个药,疑似译名有误或模型自己编的(实际应为吲哚洛尔 Pindolol)。
实验暴露出一个关键问题:AI的建议读起来相当专业,里面却掺着不易察觉的错误。要是没有工具帮忙,普通用户也好,医生也好,都很难一眼认出“盘托洛尔”这种生僻又可能出错的译名。
文档里不会写的六个坑
开发过程踩了不少坑,这些经验比代码本身更有价值。
1. Mode=1 参数慎用。文档把 Mode=1 描述为“优质权威垂直信源”,看上去最适合查文献。可实测下来,这个模式返回的结果极少,甚至常常一条都没有,调用额度照样扣。中文语境下做医学搜索,反倒是 Mode=2(混合模式)效果更好。
2. Industry=acad 会误伤中文文献
设定 Industry=acad这个参数本意是筛出学术内容,但它似乎对知网、维普等中文数据库过滤过头,大量中文文献因此无法命中。查中文医学资料时,不限定行业反而更全。
3. Score 分值不可靠。官方文档说 score 取值0-1,越接近1越相关。实测中同一查询调用两次,score 分别是 0.777 和 3.832。这个分值的计算逻辑显然不透明,也不稳定。所以我只拿它做排序,不用来做阈值判定。
4. 返回10条不等于找到了。搜索引擎的机制是“尽力返回”,哪怕没有完全匹配的结果,也会给出主题相近的内容。所以“有结果”不能当作验证通过的依据,内容的匹配度还得靠人工或算法核对。
5. 百度百科的高匹配陷阱。查询“中国高血压防治指南”,百度百科往往排在第一位,匹配度100%。但学术论文或专业报告严禁引用百度百科。于是我在工具里把百度百科和内容农场单独列为“低权重”,永不标记为“已核实”。
6. 实体过少导致虚高。一句话如果只包含“监测血钾”两个实体,那么任何提到血钾的文章都会匹配成功,可这并不代表文章支持该结论。遇到实体过少的句子,工具会保守地标为“弱支撑”,避免给出错误的“已核实”信号。
结语:技术不是终点,信任才是
RefCheck 只是一个原型工具,替代不了医生的诊断,也保证不了100%的准确率。它的核心价值在于提供了一种“可验证”的可能性。
如今AI越来越普遍,难题已经不在“如何获取信息”,而落在“如何验证信息”上。AI能编出天衣无缝的谎言,要应对,只能靠一套独立、以真实数据源为依据的核查机制。
普通用户下次再看到AI给出的惊人建议,不妨多问一句:“这话有出处吗?”开发者则可以利用搜索API构建这样的验证层,这或许是让AI从“好玩”走向“好用”的关键一步。
目前,RefCheck 的代码已在 GitHub 开源。如果你也对AI可信度感兴趣,欢迎一起交流改进。