InclusionMed上线:全球首个医疗健康AI独立评测平台,首期测22个模型
近日,全球首个医疗健康 AI 独立评测与分析平台InclusionMed 正式上线
全球首个医疗健康AI独立评测与分析平台InclusionMed已正式上线。平台同步推出医疗AI评测图谱InclusionMed Atlas和首期医疗AI评测指数InclusionMed Index,为医疗健康AI提供更系统的评估依据。这一平台由斯坦福大学、哈佛大学、北京协和医学院、蚂蚁集团、InclusionMed.AI等29家机构的研究人员共同建设,被看作医疗健康领域的Artificial Analysis(AA),补上了全球医疗健康AI综合测评的空白。

健康问答里表现亮眼的AI,放到复杂专业医疗任务中还能不能干好?在疑难病例中找出关键线索、在电子病历系统里准确操作、完成医学研究和医疗运营中的多步骤任务,每种场景对模型的要求都不一样。针对具体医疗任务下的模型能力,业内已经有不少评测基准,但单项测试的成绩很难完整反映模型在不同医疗任务中的表现。
据介绍,InclusionMed Atlas从“面向谁”和“考察什么能力”两个维度切入,把患者与公众、医疗专业人员、医疗管理人员三类角色,与知识、推理、任务执行三类能力交叉,组成九宫格评测图谱。每项基准按主要评测内容归入对应位置,使用者能看清当前评测覆盖了哪些医疗需求、哪些方面还需要补充。InclusionMed Index则汇集纳入基准的评测结果,呈现模型的综合表现,以及在各项任务中的长处和短板。

首期评测盯住临床诊疗与医疗管理两大方向,纳入五项评测基准、1034项任务,对国内外11家厂商的22个模型做了系统比较。经过独立复测,综合考察医疗相关性、评测可信度、场景互补性等因素,最终选出四项公开评测基准,和团队自建的InclusionMed-DxFiles一起构成首期指数。InclusionMed-DxFiles基于顶级医学期刊刊载的疑难病例构建,考察的是模型结合病例线索做出临床判断的能力。
项目组已经在跟医疗机构、研究团队对接合作,计划再设计一批评测任务,方向包括资源受限条件下的诊疗调度,以及复杂治疗方案选择中医患如何共同决策,借此更全面地观察AI在临床诊疗、患者决策支持和医疗健康管理上的实际表现。