Bug Hunt Bench 埋 bug 修复榜

Name: Bug Hunt Bench 埋 bug 修复榜
Creator: Pawel Huryn / The Product Compass

Bug Hunt Bench

两个真实仓库里预先埋了 105 个 bug（仓库 A 45 个、仓库 B 60 个），每个模型在自己的 Agent CLI 里跑同一份 prompt，独立裁判拿着模型看不到的答案卷盲评；多轮运行取均值，被官方标为 superseded 的历史行不收录。

收录成绩 133 条成绩 · 49 个模型 修好的埋入 bug 数（/105） · 数据日期 2026-10-29 10:13

本页收录 133 条成绩（49 个模型，不同推理档位与 CLI 各占一条），主指标是修好的埋入 bug 数（/105）；榜首是 Sonnet 5.5（max）（51.3），榜内平均 23.7。这份数据的时间是 2026-10-29 10:13（北京时间）。

收录条数 133 各榜官方公布，条条可回查

主指标 修好的埋入 bug 数（/105） 两个真实仓库里预先埋了 105 个 bug（仓库 A 45 个、仓库 B 60 个），每个模型在自己的 Agent CLI 里跑同一份 prompt，独立裁判拿着模型看不到的答案卷盲评；多轮运行取均值，被官方标为 superseded 的历史行不收录。

平均分 23.7 同榜内直接可比

数据日期 2026-10-29 10:13 这一批成绩的公布时间

105 个埋入 bug：谁都没修好的是哪些

80 / 105 有人修过

至少一个模型修过 80 个至今没人修过 25 个按官方已公布的 207 轮成绩统计，从左到右是 bug 编号顺序；官方自己那把尺标 80 / 25，因为它把没公布的历史轮次也算进去了。

逐格覆盖：哪个 bug 修没修好

105 个埋入 bug · 仓库 A 45 个 + 仓库 B 60 个

行按分数从高到低（序号就是当前成绩范围里的名次）。一行一条成绩、一格一个埋入 bug，从左到右按「当前范围里有几条修好了它」排，越靠左越是多数模型都能找到的 bug。实心＝这条成绩每轮运行都修好了，浅色＝只有部分轮修好（越浅越少），空心＝没修好。颜色是官方给每个模型档位的标识色。

1 Sonnet 5.5 max

51.3/105 3 次运行 · 命中 64 · 每轮 36
2 GPT-6 Astra max

45/105 3 次运行 · 命中 55 · 每轮 36
3 GPT-6.1 Sol max

44.3/105 3 次运行 · 命中 54 · 每轮 36
4 GPT-5.6 Sol max

43.5/105 2 次运行 · 命中 52 · 每轮 35
5 GPT-6 Astra xhigh

43/105 1 次运行 · 命中 43 · 每轮 43
6 Fable 5.1 max

43/105 1 次运行 · 命中 43 · 每轮 43
7 DeepSeek V4.1 Flash 1017 max

42.7/105 7 次运行 · 命中 60 · 每轮 24
8 GPT-6.1 Sol xhigh

42.7/105 3 次运行 · 命中 52 · 每轮 35
9 DeepSeek V4.1 Flash 1017 max

42.2/105 5 次运行 · 命中 57 · 每轮 25
10 Muse Wonder Full 1.0 max

42/105 2 次运行 · 命中 46 · 每轮 38
11 Opus 5.5 max

41.7/105 3 次运行 · 命中 48 · 每轮 34
12 Muse Wonder Full 1.0 xhigh

41.5/105 2 次运行 · 命中 48 · 每轮 35
13 GPT-6.1 Terra max

40.7/105 3 次运行 · 命中 56 · 每轮 25
14 Gemini 4 Argon high

40.7/105 3 次运行 · 命中 51 · 每轮 31
15 DeepSeek V4.1 Flash 1017 high

40.4/105 5 次运行 · 命中 56 · 每轮 22
16 Gemini 4 Argon medium

39.3/105 3 次运行 · 命中 50 · 每轮 31
17 DeepSeek V4.1 Flash 1017 high

39.2/105 5 次运行 · 命中 57 · 每轮 23
18 DeepSeek V4.1 Flash 1017 max

39.1/105 7 次运行 · 命中 55 · 每轮 18
19 GPT-5.6 Sol xhigh

39/105 1 次运行 · 命中 39 · 每轮 39
20 DeepSeek V4.1 Flash 1017 max

37.6/105 5 次运行 · 命中 57 · 每轮 21
21 DeepSeek V4.1 Flash 1017 high

36.6/105 5 次运行 · 命中 56 · 每轮 16
22 GPT-6.1 Sol high

36.5/105 2 次运行 · 命中 44 · 每轮 29
23 DeepSeek V4.1 Flash 1017 high

36.4/105 5 次运行 · 命中 55 · 每轮 19
24 Kimi K3.1 Pro max

36/105 3 次运行 · 命中 46 · 每轮 25
25 Opus 5.5 xhigh

36/105 3 次运行 · 命中 43 · 每轮 29
26 Sonnet 5.5 xhigh

36/105 3 次运行 · 命中 44 · 每轮 26
27 Gemini 4 Argon low

35.3/105 3 次运行 · 命中 44 · 每轮 30
28 GPT-6 Astra high

35/105 1 次运行 · 命中 35 · 每轮 35
29 DeepSeek V4.1 Flash 1017 low

34.8/105 5 次运行 · 命中 51 · 每轮 20
30 DeepSeek V4.1 Flash 1017 low

34.4/105 5 次运行 · 命中 47 · 每轮 20
31 Sonnet 5.5 high

34.3/105 3 次运行 · 命中 39 · 每轮 30
32 GPT-6 Astra medium

34/105 1 次运行 · 命中 34 · 每轮 34
33 GPT-5.6 Sol high

34/105 1 次运行 · 命中 34 · 每轮 34
34 DeepSeek V4.1 Flash 1017 low

33.8/105 5 次运行 · 命中 47 · 每轮 20
35 Fable 5.1 high

33/105 1 次运行 · 命中 33 · 每轮 33
36 DeepSeek V4.1 Flash 1017 low

32.8/105 5 次运行 · 命中 49 · 每轮 13
37 Muse Spark 1.3 max

32.2/105 5 次运行 · 命中 49 · 每轮 16
38 GPT-5.6 Terra max

32/105 1 次运行 · 命中 32 · 每轮 32
39 Opus 5.5 high

31.7/105 3 次运行 · 命中 37 · 每轮 26
40 Muse Wonder 1.0 max

31.7/105 3 次运行 · 命中 41 · 每轮 23

每轮都修好部分轮修好没修好画的是当前成绩范围里的 40 条成绩（当前范围共 133 条，这里只画前 40 条，看全量请切「总表」）；「命中」＝这条成绩在任意一轮里修好的 bug 数（多轮取并集），所以会比分数多。

评分方式与读法

这份成绩怎么看

回到官方榜核对最稳

收录成绩133 条成绩 · 49 个模型分数与名次按该榜官方公布的结果列出，同一模型的不同推理档位各占一行

主指标修好的埋入 bug 数（/105）两个真实仓库里预先埋了 105 个 bug（仓库 A 45 个、仓库 B 60 个），每个模型在自己的 Agent CLI 里跑同一份 prompt，独立裁判拿着模型看不到的答案卷盲评；多轮运行取均值，被官方标为 superseded 的历史行不收录。

成绩时间2026-10-29 10:13这份成绩的日期（北京时间）；官方不更新时这里也会停住

同榜内怎么看看分档比看名次稳相邻名次常常只差统计噪声，差 1–2 分不宜直接判定优劣

评分方式按官方原样列出，以官方榜为准官方调整评分方式时这里跟着变，旧成绩不作为结论

横向比模型配合模型智商榜一起看跨厂商综合分与降智趋势见 /model-iq，基准本身的说明见 /glossary

满分 105 个埋入 bug，分数＝修好并验证通过的数量，官方按多轮运行取均值。「额外真实缺陷」是模型顺手修好的、不在答案卷里的真 bug，官方单列展示，不计入分数。成本多为按官方价目表估算的标价，只有官方标为账单实付的行才是真花掉的钱；官方对个别本地跑的模型只给成本下限。官方把被后续重跑替代的历史行标为 superseded，本站不收录这些行，与官方默认视图一致。本次跳过 74 条 superseded 历史行。