Gemini 4 Carbon在MKA基准测试中质量排第二，平均成本多少？
IT之家 11 月 11 日消息，当地时间 11 月 10 日，谷歌宣布联合 AI 模型评测机构 Artificial Analysis 推出多模态知识智能体基准测试 MKA（Multimodal Knowledge Agent），用于评估 AI 智能体处理视觉复杂文件、完成现实世界知识工作任务的能力。谷歌表示，其最新
当地时间 11 月 10 日，谷歌与 AI 模型评测机构 Artificial Analysis 共同发布了一款多模态知识智能体基准测试，名称是 MKA（Multimodal Knowledge Agent），考察的是 AI 智能体能不能应对视觉信息复杂的文件、把现实里的知识工作任务做下来。谷歌提到，刚发布的 
Gemini 4 Carbon 在该测试中排在参测模型质量第二位，而完成每项任务的平均成本，只有第一名的大约六分之一。
在谷歌 DeepMind 高级产品经理 Rohan Doshi 和首席工程师 Ben Caine 看来，眼下不少知识工作基准测试光靠文本就能做完，可现实中的工作经常要处理大量视觉信息。建筑师要交叉核对建筑蓝图，工程师要分析工程示意图，专业人员还得把来自不同渠道的信息汇总成演示文稿、报告和电子表格。
MKA 想测的，正是 AI 智能体在这些复杂工作场景里能拿出什么表现。评测集由谷歌和领域专家一起搭建，专家来自 10 个行业、83 种职业，共包含 200 项任务，商业、建筑、教育、工程、金融、医疗、法律与政府、物流与地图、科学、软件与数据等领域都在其中。
每一项任务都对应一个多步骤的专业项目，既配上真实的工作提示词，也附带一组多模态输入文件。谷歌称，这类任务通常要由经验丰富的专业人员花上 3 至 8 小时才能完成；每项任务另有专家编写的评分标准，平均约 70 项是非判断检查项，事实准确性占 75%，视觉设计占 25%。
评测机制上，各参测模型统一运行在开源智能体框架 Stirrup 里，工具、沙箱环境和交互轮次预算都保持一致。交付成果交给一个智能体评审系统打分，该系统基于非谷歌模型搭建，会逐一打开文件、渲染页面、检查电子表格公式，再按专家评分标准核验。谷歌表示，领域专家人工给模型输出打分时，结果与自动评审系统的一致率达到 96%。
为防止题目泄露、流进模型训练数据，Artificial Analysis 把 200 项正式评测任务设为私有；项目同时也在 Hugging Face 上公开了另外 10 项任务，开发者可以借此了解测试格式，并评估自己的智能体。
谷歌公布的测试结果显示，Gemini 4 
Carbon 的质量排名在参测模型中位列第二，平均任务成本却只有第一名模型的六分之一。谷歌还提到，不同模型跑同一批任务时效率差别明显，平均每项任务消耗的交互轮次从 30 轮到 130 轮不等。
目前 MKA 基准测试已通过 Artificial Analysis 开放，开发者能借助该平台评估自己的模型；Gemini 4 Carbon 则已在 Google AI Studio 中通过 Gemini API 提供。
