AI开药引争议:RefCheck工具上线,逐句核对AI医疗建议出处

资讯 AI 应用前沿 全文 3886 字 · 约 10 分钟读完 分类医疗 AI

针对近期医生使用AI辅助诊疗引发的信任危机,开发者构建了RefCheck工具。该工具利用元宝搜索API,对AI生成的医学陈述和参考文献进行逐条溯源核查。文章详细记录了从参数调优、坑点排查到实际测试的全过程,展示了如何通过技术手段区分AI回答中的事实与幻觉,为医疗AI的可信度提供了一套可落地的验证方案。

所属频道 行业落地

当AI走进诊室,它说的每一句话由谁来核实?

上周,一段“医生在诊室用AI查新药”的视频登上热搜。视频中,患者家属质疑医生不专业,医生则想借AI获取最新药物信息。争论很快蔓延到全网:AI给出的医疗建议,到底该不该信?

官媒后续评论给出的定调很明确:AI可以充当医疗的“外部监督员”,但诊疗的最终关口得由医生把住。听上去稳妥,可它绕开了一个更底层的技术问题——AI自己就在胡说八道的时候,医生拿什么去监督它?

AI大模型有个出了名的毛病叫“幻觉”,编造事实时语气还极其自信。医疗领域容错率极低,一个编造的 drug name(药物名)或者错误的 dosage(剂量),后果都可能很严重。既然AI的输出不能盲目信任,那就得有一套独立的验证机制。

顺着这个思路,我做了个叫 RefCheck 的小工具。逻辑不复杂:不判断对错,只查证出处。AI生成的每句医学陈述或参考文献,拆解后送进搜索引擎,看能不能找到权威源头。找得到,标记“已核实”;找不到,标记“查无出处”或“存疑”。

为什么普通搜索搞不定这件事?

很多人的第一反应是:“我自己百度一下不就行了?”或者“让AI自己检查一遍不行吗?”

这两个方案放到实际操作里都行不通。

先说让AI自查,这是无效的。大模型并不知道自己在撒谎,你问它“这条文献是真的吗”,它常常为了迎合你再编一段确认信息,语气比第一次还笃定。

再说普通搜索引擎,结果噪音太大。搜一个复杂的医学术语,排在前面的往往是营销号、健康自媒体,或者是AI批量生成的“内容农场”文章。这些内容本身可能就建立在错误信息上,拿它们验证AI,等于在垃圾堆里找金子。

这也是我选择接入元宝搜索的原因。元宝搜索和普通搜索不一样,它返回的是结构化数据,包括原始链接、发布时间和相关性打分。更关键的是,它支持Industry(行业限定)和Site(站点排除)等高级参数。

通过设置 Industry=acad,可以尝试锁定学术信源;通过Site=exclude:xxx.com,能直接屏蔽已知的低质内容农场。查资料和查权威资料,就这样被物理隔开了,这是搭起可信验证链路的基础。

RefCheck 的核心实现逻辑

整个工具跑起来分五步:输入文本、抽取实体、构造查询、调用搜索、三重匹配判定。

1. 实体抽取与查询构造

AI生成的回答里通常夹着大量修饰性语句,比如“患者应在医生指导下”、“根据临床需要”等。整句话直接扔进搜索引擎,结果往往偏离核心事实。

所以第一步是清洗。参考文献提取“标题、期刊、年份”三个关键字段;医学陈述提取核心实体,比如药物名、病症、禁忌症等。举个例子,“缬沙坦可能引起高尿酸血症”会被简化成查询词“缬沙坦 高尿酸”。

2. 调用元宝搜索 API

这里用的是腾讯云的 WSA (Web Search API) SDK。代码层面不算复杂,但有几个坑容易踩。

from tencentcloud.common import credential
from tencentcloud.wsa.v20250508 import wsa_client, models
import json
# 初始化客户端
cred = credential.Credential(SECRET_ID, SECRET_KEY)
client = wsa_client.WsaClient(cred, "")
req = models.SearchProRequest()
# 构造请求
req.Query = query
req.Mode = 2          # 混合模式:公开网页 + 权威垂直信源
req.Cnt = 10          # 返回结果数量
req.Industry = "acad" # 尝试限定学术信源
req.Site = "exclude:baidu.com|sohu.com" # 排除特定站点
# 发送请求
resp = client.SearchPro(req)
# 解析结果:注意 Pages 是 JSON 字符串数组
pages = [json.loads(p) for p in resp.Pages]

这段代码看着简单,实际调试中我却发现Response.Pages返回结果并不是对象数组,实际拿到的是 JSON 字符串数组。每个元素都得再解析一遍。json.loads()不然提取出来的全是字符串,字段压根没法取。这类细节官方文档通常一句话带过,只有真正调过接口的人才知道。

3. 三重匹配与判定

搜完不能只看“有没有结果”。搜索引擎总会凑够10条,哪怕你要找的东西根本不存在。于是我们从三个维度打分:

  • 关键词重合度:结果标题和查询实体之间有多接近。
  • 来源权威性:是不是来自药品监管局、核心期刊、官方指南这类白名单域名。
  • 时效性:发布时间落在合理区间内没有。

三个维度打完分,结果分成三档:

  • 已核实:重合度高,来源也权威。
  • 存疑:有结果,但来源偏弱(百科、聚合站之类),或者重合度一般。
  • 查无出处:找不到任何相关支撑材料。

“存疑”这一档必须留着。查不到不等于结论就错,也可能是文献太冷门,或者表述差得远。非黑即白的判定,会让工具失去参考价值。

实战测试:AI 真的在瞎编吗?

为验证工具是否有效,我设计了两组实验。

实验一:参考文献溯源

我让通用大模型生成20条护理学和病理学方向的参考文献。格式挑不出毛病,期刊名、卷号、页码全齐。光看肉眼几乎分不出真假。

用 RefCheck 逐条核查,结果如下:

  • 11条可溯源:在权威期刊官网或数据库里能找到对应文章。
  • 7条存疑:标题搜得到,但来源是“博禾医生”、“民福康”这类内容聚合站,或者命中了百度百科。这些内容也许存在,却不具备学术引用价值。
  • 2条查无出处:全网搜不到任何匹配,确认是彻底编造。

这个结果比我预想的好。本以为AI会大规模编造,实际上大部分文献都有原型,只是AI可能在细节上做了微调,或者引用了非学术来源。学生写论文时,那7条“存疑”文献要是直接引用,照样会被导师打回。

实验二:复刻热搜场景

我照着热搜里的场景,向AI提问:“高血压患者,对地平类降压药过敏,尿酸偏高,有哪些替代用药?”

AI 给出详细建议,我从中抽出19条事实性陈述进行核查:

  • 有12条能查到出处。比如“氯沙坦具有促尿酸排泄作用”这一条,就在科普中国和卫健委的文章里找到了依据。
  • 另有4条属于弱支撑,要么来源不够权威,要么表述存在偏差。
  • 剩下3条完全没找到。其中一条提到“避开盘托洛尔”,可中文资料里根本查不到这个药,疑似译名有误或模型自己编的(实际应为吲哚洛尔 Pindolol)。

实验暴露出一个关键问题:AI的建议读起来相当专业,里面却掺着不易察觉的错误。要是没有工具帮忙,普通用户也好,医生也好,都很难一眼认出“盘托洛尔”这种生僻又可能出错的译名。

文档里不会写的六个坑

开发过程踩了不少坑,这些经验比代码本身更有价值。

1. Mode=1 参数慎用。文档把 Mode=1 描述为“优质权威垂直信源”,看上去最适合查文献。可实测下来,这个模式返回的结果极少,甚至常常一条都没有,调用额度照样扣。中文语境下做医学搜索,反倒是 Mode=2(混合模式)效果更好。

2. Industry=acad 会误伤中文文献 设定 Industry=acad这个参数本意是筛出学术内容,但它似乎对知网、维普等中文数据库过滤过头,大量中文文献因此无法命中。查中文医学资料时,不限定行业反而更全。

3. Score 分值不可靠。官方文档说 score 取值0-1,越接近1越相关。实测中同一查询调用两次,score 分别是 0.777 和 3.832。这个分值的计算逻辑显然不透明,也不稳定。所以我只拿它做排序,不用来做阈值判定。

4. 返回10条不等于找到了。搜索引擎的机制是“尽力返回”,哪怕没有完全匹配的结果,也会给出主题相近的内容。所以“有结果”不能当作验证通过的依据,内容的匹配度还得靠人工或算法核对。

5. 百度百科的高匹配陷阱。查询“中国高血压防治指南”,百度百科往往排在第一位,匹配度100%。但学术论文或专业报告严禁引用百度百科。于是我在工具里把百度百科和内容农场单独列为“低权重”,永不标记为“已核实”。

6. 实体过少导致虚高。一句话如果只包含“监测血钾”两个实体,那么任何提到血钾的文章都会匹配成功,可这并不代表文章支持该结论。遇到实体过少的句子,工具会保守地标为“弱支撑”,避免给出错误的“已核实”信号。

结语:技术不是终点,信任才是

RefCheck 只是一个原型工具,替代不了医生的诊断,也保证不了100%的准确率。它的核心价值在于提供了一种“可验证”的可能性。

如今AI越来越普遍,难题已经不在“如何获取信息”,而落在“如何验证信息”上。AI能编出天衣无缝的谎言,要应对,只能靠一套独立、以真实数据源为依据的核查机制。

普通用户下次再看到AI给出的惊人建议,不妨多问一句:“这话有出处吗?”开发者则可以利用搜索API构建这样的验证层,这或许是让AI从“好玩”走向“好用”的关键一步。

目前,RefCheck 的代码已在 GitHub 开源。如果你也对AI可信度感兴趣,欢迎一起交流改进。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI越聪明选择越单调:马茨实验揭示算法如何压平人类多样性

    我们对 AI 的信任,正在达到史无前例的高度。 无论是在屏幕前码字,还是在生活中做决策,我们都习惯向 AI 寻求那个「完美建议」。用得多了,你甚至会发现它总是精准地踩中我们预期中的最优解。 这种顺滑,很可能是一种被精心设计的心理按摩。 哥伦比亚大学教授桑德拉·马茨用冰淇淋店 Baskin Robbins 做了一个实验。

    来源 AI 行业观察
  2. 三大厂内存涨价7倍的锅,AI不背了

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。 更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。 这一年

    来源 AI 行业观察
  3. 三星美光海力士内存涨价7倍,法官戳破AI背锅说法

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。这一年多来

    来源 腾讯网
  4. 可灵AI上线Kling Image 4.0:原生8K生成,单图可写2000字

    【TechWeb】11月17日晚,可灵AI全新一代图像创作模型Kling Image 4.0正式上线。 真实、文字表现、指令理解和一致性,是这一代模型升级的核心方向。Kling Image 4.0聚焦影视创作、广告营销等专业图像创作场景,在三个方向实现集中突破:画面真实感全面升级,光影、肤质与材质纹理呈现接近相机直出的

    来源 AI 行业观察
  5. 李沐加盟的Aimotion,是一家什么AI公司?

    最新消息,这位前AWS AI资深首席科学家、Apache MXNet创始人之一、卡内基梅隆计算机博士,已经正式出任硅谷AI公司Aimotion的联合创始人兼CTO,亲自带队搭建其下一代产业级AI技术体系。

    来源 量子位
  6. 雷军谈AI落地:手机与具身智能机器人空间大,三四年内或现颠覆时刻

    IT之家 11 月 18 日消息,小米创办人、董事长兼 CEO 雷军 11 月 17 日出席 APEC 工商领导人峰会。今日(11 月 18 日),雷军接受了人民日报采访。 谈及人工智能,雷军坦言,人工智能浪潮席卷各行各业,作为 AI 从业者能感受到一些焦虑。 雷军认为,“AI+ 手机”“AI+ 具身智能机器人”等领域

    来源 AI 行业观察
  7. 小米雷军:AI 是一个全新的时代,一定会带来非常多的商业机会

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。 据新浪科技报道,小米集团创始人、董事长兼首席执行官雷军表示,过去四年,AI 大模型技术突飞猛进,给我们的生活和工作带来了巨大的变化。但 AI 能够落地的场景非常有限,能够真

    来源 AI 行业观察
  8. Qwen4-Max以2.4T参数MoE架构切入工业生产,单任务成本降58%

    阿里巴巴推出新一代基座大模型Qwen4-Max,采用稀疏注意力MoE架构,总参数达2.4T。新模型在编程评测中得分提升28%,Token用量减半,单任务费用降低58%。它不仅能处理百万级上下文,还能深入汽车制造、药物研发等工业场景,自主完成从设计到仿真的长周期闭环任务,目前已通过千问AI平台向开发者开放。

    来源 AI 应用前沿
  9. 百度三季度营收308亿,53%靠AI

    智东西11月16日报道,刚刚,百度公布2026年第二季度财报。其第二季度营收为308亿元,同比下降1%,环比下降2%;归属于百度净利润13.95亿元,摊薄后每ADS收益为4.35元,非GAAP净利润24亿元,摊薄后每ADS收益为6.78元。

    来源 网易科技
  10. AMD 高管:AI 不会取代超级计算机,高精度计算仍不可替代

    IT之家 11 月 17 日消息,科技媒体 Tom's Hardware 昨日(11 月 16 日)发布博文,报道称 AMD 负责高性能计算(HPC)与主权 AI 的企业副总裁 Scott Tease 表示,多数 HPC 研究机构已经认识到,AI“永远不会取代”传统高性能计算。即便 AI 应用持续扩张,依赖双精度 FP

    来源 AI 行业观察
  11. AMD高管:AI取代不了超算,FP64高精度计算仍长期不可缺

    科技媒体 Tom's Hardware 昨日(11 月 16 日)发布博文,报道称 AMD 负责高性能计算(HPC)与主权 AI 的企业副总裁 Scott Tease 表示,多数 HPC 研究机构已经认识到,AI“永远不会取代”传统高性能计算。即便 AI 应用持续扩张,依赖双精度 FP64 的高精度科学计算仍将长期存在

    来源 IT之家
  12. TOTO、味之素、花王:这些"超市品牌"正给全球AI芯片供货

    近日,TOTO宣布在福冈县丰前市新建一座半导体制造装置核心部件的量产工厂,投资约600亿日元,加上大分县中津市两座工厂约110亿日元的设备投资,合计约710亿日元。 是不是很惊讶,怎么印象里做马桶的巨头TOTO怎么也开始跨界进军半导体了,可如果你在2026年的东京证券交易所随便扫一眼涨幅榜,会产生一种强烈的错觉:AI算

    来源 AI 行业观察
  13. OVHcloud推出首个AI模型家族Olala,首发7A1B开源模型

    IT之家 11 月 17 日消息,欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。 Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、

    来源 AI 行业观察
向下滚动自动加载更多