Bug Hunt Bench 埋 bug 修复榜

Name: Bug Hunt Bench 埋 bug 修复榜
Creator: Pawel Huryn / The Product Compass

Bug Hunt Bench

两个真实仓库里预先埋了 105 个 bug（仓库 A 45 个、仓库 B 60 个），每个模型在自己的 Agent CLI 里跑同一份 prompt，独立裁判拿着模型看不到的答案卷盲评；多轮运行取均值，被官方标为 superseded 的历史行不收录。

收录成绩 133 条成绩 · 49 个模型 修好的埋入 bug 数（/105） · 数据日期 2026-10-28 23:55

本页收录 133 条成绩（49 个模型，不同推理档位与 CLI 各占一条），主指标是修好的埋入 bug 数（/105）；榜首是 Sonnet 5.5（max）（51.3），榜内平均 23.7。这份数据的时间是 2026-10-28 23:55（北京时间）。

收录条数 133 各榜官方公布，条条可回查

主指标 修好的埋入 bug 数（/105） 两个真实仓库里预先埋了 105 个 bug（仓库 A 45 个、仓库 B 60 个），每个模型在自己的 Agent CLI 里跑同一份 prompt，独立裁判拿着模型看不到的答案卷盲评；多轮运行取均值，被官方标为 superseded 的历史行不收录。

平均分 23.7 同榜内直接可比

数据日期 2026-10-28 23:55 这一批成绩的公布时间

105 个埋入 bug：谁都没修好的是哪些

80 / 105 有人修过

至少一个模型修过 80 个至今没人修过 25 个按官方已公布的 207 轮成绩统计，从左到右是 bug 编号顺序；官方自己那把尺标 80 / 25，因为它把没公布的历史轮次也算进去了。

修好的埋入 bug 数（/105）排名

Pawel Huryn / The Product Compass · 133 条成绩 · 49 个模型

名次与分数均取自官方榜单，与官方一致。条形长度按当前这些成绩里的最大值算，领跑那条填满整列，其余按比例缩短（灰斜纹是「额外真实缺陷」，只与同列比、不与分数比）。官方没给的数据显示「—」。

Bug Hunt Bench 埋 bug 修复榜修好的埋入 bug 数（/105）排名
名次	模型 / 运行	修好的埋入 bug 数（/105）	额外真实缺陷（个）	耗时（分钟）	成本（美元）	日期
1	Sonnet 5.5 MAX Anthropic · Claude Code · 3 次运行	51.3/105	26.3	287.1	$154.03	2026-09-29
2	GPT-6 Astra MAX OpenAI · Codex CLI · 3 次运行	45/105	55	89.8	$33.03	2026-09-14
3	GPT-6.1 Sol MAX OpenAI · Codex CLI · 3 次运行	44.3/105	65.3	139.3	$5.88	2026-09-30
4	GPT-6 Astra XHIGH OpenAI · Codex CLI · 1 次运行	43/105	53	58.8	$24.22	2026-09-04
5	Fable 5.1 MAX Anthropic · Claude Code · 1 次运行	43/105	11	73.1	$87.18	2026-09-01
6	DeepSeek V4.1 Flash 1017 MAX DeepSeek · DeepSeek Harness / DeepSeek API · 7 次运行	42.7/105	44	62.1	$1.84	2026-10-18
7	GPT-6.1 Sol XHIGH OpenAI · Codex CLI · 3 次运行	42.7/105	56.7	98.7	$4.35	2026-09-30
8	Muse Wonder Full 1.0 MAX Meta · Muse Code / Meta API · 2 次运行	42/105	36.5	145.3	—	2026-10-14
9	Opus 5.5 MAX Anthropic · Claude Code · 3 次运行	41.7/105	9	66.9	$58.53	2026-09-23
10	Muse Wonder Full 1.0 XHIGH Meta · Muse Code / Meta API · 2 次运行	41.5/105	24.5	90.5	—	2026-10-14
11	Gemini 4 Argon HIGH Google · Antigravity CLI · 3 次运行	40.7/105	7.3	56.5	$7.16	2026-10-14
12	Gemini 4 Argon MEDIUM Google · Antigravity CLI · 3 次运行	39.3/105	11.3	59.9	$7.50	2026-10-14
13	DeepSeek V4.1 Flash 1017 HIGH DeepSeek · DeepSeek Harness / DeepSeek API · 5 次运行	39.2/105	43.8	53.0	$1.27	2026-10-18
14	Kimi K3.1 Pro MAX Moonshot AI · Claude Code / Moonshot API · 3 次运行	36/105	29.3	64.8	$13.76	2026-10-23
15	Opus 5.5 XHIGH Anthropic · Claude Code · 3 次运行	36/105	13.3	42.5	$34.98	2026-09-23
16	Sonnet 5.5 XHIGH Anthropic · Claude Code · 3 次运行	36/105	14	72.7	$42.86	2026-09-29
17	Muse Spark 1.3 MAX Meta · Muse Code / Meta API · 5 次运行	32.2/105	24	85.6	$18.11	2026-09-17
18	Muse Wonder 1.0 MAX Meta · Muse Code / Meta API · 3 次运行	31.7/105	13.3	96.2	$27.87	2026-10-13
19	Grok 4.7 XHIGH xAI · Grok Build CLI (ACP) · 5 次运行	29/105	32.2	44.7	$22.96	2026-10-08
20	Qwen3.8-Max MAX 阿里 · Claude Code / Alibaba API · 3 次运行	25.7/105	7	117.1	$26.76	2026-09-15
21	MiMo-V2.6-Pro DEFAULT Xiaomi · Claude Code / OpenRouter · 3 次运行	22.7/105	5.3	90.9	$0.86	2026-09-22
22	Haiku 5.5 MAX Anthropic · Claude Code · 2 次运行	21.5/105	9	32.5	$5.83	2026-10-07

评分方式与读法

这份成绩怎么看

回到官方榜核对最稳

收录成绩133 条成绩 · 49 个模型分数与名次按该榜官方公布的结果列出，同一模型的不同推理档位各占一行

主指标修好的埋入 bug 数（/105）两个真实仓库里预先埋了 105 个 bug（仓库 A 45 个、仓库 B 60 个），每个模型在自己的 Agent CLI 里跑同一份 prompt，独立裁判拿着模型看不到的答案卷盲评；多轮运行取均值，被官方标为 superseded 的历史行不收录。

成绩时间2026-10-28 23:55这份成绩的日期（北京时间）；官方不更新时这里也会停住

同榜内怎么看看分档比看名次稳相邻名次常常只差统计噪声，差 1–2 分不宜直接判定优劣

评分方式按官方原样列出，以官方榜为准官方调整评分方式时这里跟着变，旧成绩不作为结论

横向比模型配合模型智商榜一起看跨厂商综合分与降智趋势见 /model-iq，基准本身的说明见 /glossary

满分 105 个埋入 bug，分数＝修好并验证通过的数量，官方按多轮运行取均值。「额外真实缺陷」是模型顺手修好的、不在答案卷里的真 bug，官方单列展示，不计入分数。成本多为按官方价目表估算的标价，只有官方标为账单实付的行才是真花掉的钱；官方对个别本地跑的模型只给成本下限。官方把被后续重跑替代的历史行标为 superseded，本站不收录这些行，与官方默认视图一致。本次跳过 74 条 superseded 历史行。