DeepMind发布MKA基准：200项专业任务考多模态智能体

如需转载，请联络本公众号取得授权，并注明出处。

Google DeepMind 推出了多模态知识智能体评测基准（MKA），测试范围覆盖了从读图到交付成果的整个流程。200 项专业任务由领域专家设计，智能体须自行查阅资料、调用工具，并按职业场景的要求交出成果。4 个参评模型在上一代模型已能稳定满足的要求上得分都超过 95%；至于其余难度更高的要求，最高加权满足率为 56.6%。

拿建筑平面图来说，房间用途写在文字标注里，空间布局和尺寸却得靠线条与比例去推。换成审查建筑方案的任务，专业人员还要对着规范核图纸，再把判断依据写进报告。多模态 AI 如今答对单张图像的不少问题已不成问题。可当线索散落在图纸、表格和文档之间，智能体能不能自己把相关信息找齐，并据此写出一份经得起核查的专业报告？

Google DeepMind 为此推出多模态知识智能体评测基准（MKA），把从读图到交付成果的这一过程纳入测试。研究人员请领域专家设计了 200 项专业任务，智能体要自己查资料、调工具，再按职业场景的要求提交成果。结果是：4 个参评模型在上一代模型已能稳定满足的要求上得分均超过 95%，其余更具挑战性的要求上，最高加权满足率为 56.6%。

相关成果题为「MKA: Evaluating Multimodal Knowledge Agents on end-to-end professional tasks」。

论文地址：
https://hyper.ai/papers/mka_tech_paper

覆盖 83 种职业的 200 项任务

MKA 正式评测集涉及建筑、工程、金融、医疗、法律与政府等 10 个领域，每个领域 20 项任务。出题人都有至少 5 年相关从业经验，他们负责梳理任务所需资料，亲手做出一份参考成果，并写明判定依据，然后交给另一位同岗位背景的专家复核。正式评测集不对外公开，目的是降低测试内容提前混入模型训练数据的可能。另有一批 10 道示例题对外发布，每个领域各一道，完整的任务说明、原始文件和评分细则都能看到。

正式任务共 200 项，分布在 10 个领域，每个领域 20 项。

示例题里有一道，要求智能体替市议会挑出适合装屋顶光伏的建筑。题目给了 9 份资料，第一步就是读图：智能体得从一张没标地名的地图上认出英国诺丁汉市，才能划定分析范围。接着，它要把市议会资产登记表和地图上的建筑轮廓对上，再结合激光雷达高程、太阳辐照度与历史遗产保护信息，按题目规定的条件选出排名前五的建筑，交一份带地图的报告。光照数据算得再准，只要资产登记表里有一栋建筑被匹配到错误的屋顶，最终推荐名单就可能出错。

公开示例共三项，分别演示人力规划、屋顶光伏选址和工程课件制作

正式评测集一共用了 1,459 份文件，每项任务涉及 2 至 45 份，平均 7.3 份。PDF 占 43.0%，其中既有便于提取文字的合同和监管手册，也有靠线条、比例和标注传递信息的工程图纸。图像与扫描件占 22.9%，剩下的资料包括电子表格、演示文稿和地理空间数据等。

1,459 份输入文件的格式分布，按文件数统计

不同岗位对成果的要求也不一样。200 项任务里，允许直接用文字作答的只有 24 项，其余 176 项都要制作或修改独立文件，比如带公式的财务工作簿、附有工程判断的评估报告，或者用于授课的演示文稿。

200 项任务的主要交付形式，按任务数统计

智能体自主查阅资料，评分器同时核对页面与文件结构

面对这样一堆文件，先读哪份、什么时候该看图、哪些数据交给代码处理，全由智能体自己拿主意。研究人员把现成的多模态模型接入同一个开源框架 Stirrup，没有针对 MKA 做额外训练。任务开始时，模型拿到的只有工作说明和文件路径。处理一份工程 PDF 时，它可以先提取文字定位相关章节，再把图纸所在页面转成图像，查看尺寸标注和部件之间的位置关系。报告写完，它也能用同样的办法自查输出，看图表是否完整、排版会不会影响阅读。所有模型使用同样的工具和资源限额，每项任务最多跑 250 轮，限时 8 小时。

提交的文件怎么评，同样少不了视觉判断。以电子表格为例，看渲染后的页面能发现图表缺没缺标签、较宽的工作表有没有被截断，却看不出单元格里的数值是怎么算出来的。为了两头都顾上，研究人员让 GPT-6 Luna 担任自动评分器，在独立的离线环境中查看渲染后的页面，并通过代码读取公式和文件结构。评分器依据任务说明、最终答复和提交文件核验，不必重新分析作答时的原始资料。领域专家一共编写了 14,284 条评分标准，其中 99.6% 附有参考判据，包括预期数值、允许误差或文件应具备的具体属性。评分器据此逐条判断，并给出理由。

平均下来，每项任务约有 71 条评分标准。漏掉一个图表标签，和算错影响最终结论的数值，后果并不一样。专家按重要程度给每条标准赋 1 至 5 的权重。计分时先算出一项任务中已满足标准的权重占比，再对各项任务等权取平均，得到总体加权满足率（Overall WSR）。

总体得分能反映交付质量，但有些要求已有模型普遍能做到，对区分前沿模型的能力帮助有限。研究人员先让 4 个上一代模型各完成 3 轮测试。一条标准如果在每个模型的 3 次运行中至少有 2 次得到满足，就归入「回归项」，用来检验已有能力是否保持。符合这一条件的标准共有 6,396 条，其余 7,888 条归入「攻坚项」。攻坚项加权满足率（Climb-WSR）衡量的就是模型在这些较难要求上的表现，计分单位仍是任务中的具体要求。

攻坚项最高得分为 56.6%

自动评分到底靠不靠谱？研究团队先做了核验。他们从9个领域挑出50项任务，每项安排3位领域专家，在不知道成果由哪个模型生成的前提下各自独立审阅同一份成果。抽查结果显示，对高权重标准，评分器与专家的判定一致率为96.2%，专家彼此之间则为99.8%。分歧部分源于对「答对」的界定不同。比如一份报告列出了正确的备选数值，最终却采用了错误结果，评分器仍可能给出通过。这次核验盯的是事实、计算、文件结构这类较重要的要求，至于低权重的格式细节能否也维持96.2%的一致率，还得另做检验。

这50项任务中，自动评分器与专家在高权重标准上的判定一致率为96.2%，专家之间为99.8%。

正式测试里，4个模型在回归项上的得分都超过95%，差距主要出现在攻坚项。Claude Fable 5.2、Gemini 4 Carbon、Claude Opus 5.5、GPT-6 Astra的攻坚项得分依次是56.6%、54.3%、53.0%和50.2%。Fable虽然排第一，但它与第二、第三名之间的差距没有达到统计显著。真正显著的是，Fable和Carbon都明显高于Astra。

四款模型在交付质量与计算用量上的对照

交付质量接近，时间和花费却可能差出好几倍。总体得分上，Fable为73.3%，Carbon为71.9%。Fable平均每项任务跑约129轮，耗时83.2分钟；Carbon约47轮、29.2分钟。Fable的总词元用量约是Carbon的5.7倍。按论文采用的公开价格并计入提示词缓存，两者完成一项任务的平均API费用分别为35.28美元和5.63美元。Astra每项平均只要18.5分钟，是四款中最快的，可它的攻坚项得分也最低。

攻坚项得分与平均每项任务总词元用量之间的关系

以上比的是整项工作的表现。要单独看直接读图贡献了多少，研究人员在Carbon上做了一组对照：关掉图像查看工具，文字识别、代码执行和图像处理能力照旧保留。在另一项专业工作评测GDPval上，关工具前后总体得分分别是88.1%和88.2%，基本没动。同样的改动放到MKA上，总体得分掉了4.58个百分点，攻坚项得分掉了5.94个百分点。与此同时，平均交互轮数多了28%，输出词元多了40%。

多出来的计算花在哪了？运行记录显示，失去直接看图的能力后，Carbon会写脚本去量机械图纸上的尺寸，有时还把局部图像转成字符图，靠这个判断部件的位置。这些办法能从线条清晰的图纸里还原主要几何关系，细小的间隙却容易漏掉。

机械CAD图与模型用代码生成的点阵图

碰上道路巡检照片或医学影像，反复改脚本也未必能看清局部特征。论文分析的若干案例中，关掉图像查看工具后，攻坚项得分下降了约34至72个百分点。

道路巡检现场照片与按亮度生成的字符图

两套评测对同一改动反应不同，原因在于完成任务所需的信息不一样。GDPval的许多关键信息能直接从文本和表格里提取，MKA则不然，有些决定结论的细节只藏在图像里。

写在最后

MKA把读图放回了它在专业工作中原本的位置。一处部件间隙有没有看清，最终会体现在工程报告有没有点出相应风险；一栋建筑有没有匹配正确，关系到它该不该进光伏选址名单。要判断智能体能不能胜任这类工作，既得看它从图中读出了什么，也得看这些信息能不能准确进入后续计算和最终判断。目前每个模型对每项正式任务只作答一次，关掉图像查看工具的对照实验也只在Carbon上做过。对专业应用来说，还有一个问题没有答案：同一项工作重复交给模型，那些足以改变结论的细节能不能被稳定识别出来。