Artificial Analysis Intelligence Index v5：60%权重首压私有测试集
Artificial Analysis 重构 Intelligence Index v5 基准，60% 评测权重采用私有测试集减少跑分注水。DeepSeek V4.1 Flash 在 FrontierCode 2.0 单项得分 28%，为已发布开源模型最高。#DeepSeek#AI 基准测试
Artificial Analysis 在 10 月 29 日的前一天推出 Intelligence Index v5。这是该机构 2026 年 1 月 v4 上线至今动作最大的一轮基准重构。
改动最直接的一点：60% 的评测权重头一回压在私有测试集或隐藏答案上。这么做是为了压缩公开题库被模型训练数据“污染”的余地，也让厂商为刷分而设的“注水”项目少了下来。
指数仍由九项评测组成，知识工作、编码、科学、通用能力各占 25%。编码这 25% 里，Cognition 同日发布的 FrontierCode 2.0 拿走 15%，Terminal-Bench 4.0 占 10%。
变化最大的是 FrontierCode 2.0，评分逻辑整个换掉了。132 项任务清一色取自真实开源仓库；模型交上来的代码改动，不再只看单元测试过不过，改由仓库维护者按“是否愿意合并这个 PR”打分。任何一项阻塞性检查失败，直接记零分。
Cognition 6 月发布 FrontierCode 初版时说过，传统基准只管代码能不能跑通，可合并决策还牵扯改动范围是否克制、风格跟代码库合不合、回归风险可不可控，这些维度测试覆盖不全。v5 把该基准升到 2.0 并放进主指数，相当于把“可合并性”摆到了编码能力评价的正中央，而不是“可运行性”。
按这套口径，
DeepSeek V4.1-Flash 1017（max）在 FrontierCode 2.0 上拿到 28%，在已发布权重的模型里排第一。
Kimi K3.1 Pro 以 25.5% 排在后面。不过按月之暗面官方博客的说法，它的完整权重要到 11 月 4 日前才放出，AA 在 v5 报告里给它标了“weights not yet released”。
谷歌 Gemini 4 Argon（high）是 25.7%，GPT-6 Luna 是 25.2%，都低于 DeepSeek V4.1 Flash。需要说明，这只是 FrontierCode 2.0 单项的成绩；放到 Intelligence Index v5 综合得分上，DeepSeek V4.1 Flash 与 GLM-5.3 同为 32 分，比榜首 Claude Opus 5.5（58 分）低 26 分，也低于 Claude Haiku 5.5 的 36 分。
Artificial Analysis 认为，v5 真正拉大的是开源与闭源前沿之间的整体距离。v4.3 那会儿，最强开源模型跟榜首差 3 分；v5 把大部分公开题换成私有题，又大幅加重智能体实战任务的比重，差距变成 12 分。Kimi K3.1 Pro 以 46 分成为名义上最强的开源权重模型，可权重还没发布；已发布权重的模型里，32 分就是眼下天花板。
差距在 HLE-Diamond 和 Terminal-Bench-Science 两项上最扎眼：Kimi K3.1 Pro 分别是 37% 和 34%，Claude Opus 5.5 在 HLE-Diamond 上是 68%，GPT-6 Astra 在 Terminal-Bench-Science 上是 63%。
开源模型并没有被 v5 弄得“一夜变差”。变的是测量的东西——题目不再公开、评分不再只看通过率，靠公开题库优化出来的分数就被系统性地挤掉了水分。
v5 放大的另一个变量是“努力值”（思考等级）带来的成本优势。Claude Opus 5.5 从低努力档到 max 档跨了 23 分，单任务成本从 0.98 美元涨到 10.04 美元，相差约 10 倍。
Claude Sonnet 5.5 在不同努力档之间的分差，从 v4.3 的 20 分扩大到 29 分；GPT-6.1 Sol 的跨度翻倍到 20 分。同一个模型在“省钱模式”和“全力模式”下表现差这么远，已经不太像一个模型了。
得分最高的十款模型里，GPT-6.1 Terra 每任务成本最低，0.96 美元；Claude Fable 5.1 最高，13.04 美元，相差超过 13 倍。
同步推出的 Progress Index v1 处理的是另一个问题：基准隔几个月就换一版，不同年代的模型怎么放到同一把尺子上比。Progress Index 把 2022 年 11 月以来发布的主要语言模型映射到一条连续的能力尺度上，方法上参考了 Epoch AI 的 Epoch Capabilities Index。Intelligence Index 继续衡量“当下前沿”，Progress Index 用来看“能力随时间怎么演进”，两者回答的不是同一件事。
其实 v5 的九项评测里，没有哪个模型项项领先：Claude Opus 5.5 拿下 FrontierCode 2.0、HLE-Diamond 和 AA-Omniscience 三项，GPT-6 Astra 在 Terminal-Bench-Science 和 CritPt v2 困难子集上居首，Kimi K3.1 Pro 在 Terminal-Bench 4.0 上以 67% 领先。单项优势这么分散，比总分排名更值得看。
