Bug Hunt Bench 埋 bug 修复榜

Name: Bug Hunt Bench 埋 bug 修复榜
Creator: Pawel Huryn / The Product Compass

Bug Hunt Bench

两个真实仓库里预先埋了 105 个 bug（仓库 A 45 个、仓库 B 60 个），每个模型在自己的 Agent CLI 里跑同一份 prompt，独立裁判拿着模型看不到的答案卷盲评；多轮运行取均值，被官方标为 superseded 的历史行不收录。

收录成绩 133 条成绩 · 49 个模型 修好的埋入 bug 数（/105） · 数据日期 2026-10-29 07:27

本页收录 133 条成绩（49 个模型，不同推理档位与 CLI 各占一条），主指标是修好的埋入 bug 数（/105）；榜首是 Sonnet 5.5（max）（51.3），榜内平均 23.7。这份数据的时间是 2026-10-29 07:27（北京时间）。

收录条数 133 各榜官方公布，条条可回查

主指标 修好的埋入 bug 数（/105） 两个真实仓库里预先埋了 105 个 bug（仓库 A 45 个、仓库 B 60 个），每个模型在自己的 Agent CLI 里跑同一份 prompt，独立裁判拿着模型看不到的答案卷盲评；多轮运行取均值，被官方标为 superseded 的历史行不收录。

平均分 23.7 同榜内直接可比

数据日期 2026-10-29 07:27 这一批成绩的公布时间

105 个埋入 bug：谁都没修好的是哪些

80 / 105 有人修过

至少一个模型修过 80 个至今没人修过 25 个按官方已公布的 207 轮成绩统计，从左到右是 bug 编号顺序；官方自己那把尺标 80 / 25，因为它把没公布的历史轮次也算进去了。

修好的埋入 bug 数（/105）排名

Pawel Huryn / The Product Compass · 133 条成绩 · 49 个模型

名次与分数均取自官方榜单，与官方一致。条形长度按当前这些成绩里的最大值算，领跑那条填满整列，其余按比例缩短（灰斜纹是「额外真实缺陷」，只与同列比、不与分数比）。官方没给的数据显示「—」。

Bug Hunt Bench 埋 bug 修复榜修好的埋入 bug 数（/105）排名
名次	模型 / 运行	修好的埋入 bug 数（/105）	额外真实缺陷（个）	耗时（分钟）	成本（美元）	日期
1	Sonnet 5.5 MAX Anthropic · Claude Code · 3 次运行	51.3/105	26.3	287.1	$154.03	2026-09-29
2	GPT-6 Astra MAX OpenAI · Codex CLI · 3 次运行	45/105	55	89.8	$33.03	2026-09-14
3	GPT-6.1 Sol MAX OpenAI · Codex CLI · 3 次运行	44.3/105	65.3	139.3	$5.88	2026-09-30
4	GPT-5.6 Sol MAX OpenAI · Codex CLI · 2 次运行	43.5/105	48.5	253.1	$95.35	2026-09-16
5	GPT-6 Astra XHIGH OpenAI · Codex CLI · 1 次运行	43/105	53	58.8	$24.22	2026-09-04
6	Fable 5.1 MAX Anthropic · Claude Code · 1 次运行	43/105	11	73.1	$87.18	2026-09-01
7	DeepSeek V4.1 Flash 1017 MAX DeepSeek · DeepSeek Harness / DeepSeek API · 7 次运行	42.7/105	44	62.1	$1.84	2026-10-18
8	GPT-6.1 Sol XHIGH OpenAI · Codex CLI · 3 次运行	42.7/105	56.7	98.7	$4.35	2026-09-30
9	DeepSeek V4.1 Flash 1017 MAX DeepSeek · Pi / DeepSeek API · 5 次运行	42.2/105	41.8	54.1	$0.83	2026-10-18
10	Muse Wonder Full 1.0 MAX Meta · Muse Code / Meta API · 2 次运行	42/105	36.5	145.3	—	2026-10-14
11	Opus 5.5 MAX Anthropic · Claude Code · 3 次运行	41.7/105	9	66.9	$58.53	2026-09-23
12	Muse Wonder Full 1.0 XHIGH Meta · Muse Code / Meta API · 2 次运行	41.5/105	24.5	90.5	—	2026-10-14
13	GPT-6.1 Terra MAX OpenAI · Codex CLI · 3 次运行	40.7/105	48	37.3	$3.88	2026-10-26
14	Gemini 4 Argon HIGH Google · Antigravity CLI · 3 次运行	40.7/105	7.3	56.5	$7.16	2026-10-14
15	DeepSeek V4.1 Flash 1017 HIGH DeepSeek · Pi / DeepSeek API · 5 次运行	40.4/105	29.4	48.3	$0.64	2026-10-18
16	Gemini 4 Argon MEDIUM Google · Antigravity CLI · 3 次运行	39.3/105	11.3	59.9	$7.50	2026-10-14
17	DeepSeek V4.1 Flash 1017 HIGH DeepSeek · DeepSeek Harness / DeepSeek API · 5 次运行	39.2/105	43.8	53.0	$1.27	2026-10-18
18	DeepSeek V4.1 Flash 1017 MAX DeepSeek · Claude Code / DeepSeek API · 7 次运行	39.1/105	22.9	57.7	$1.01	2026-10-18
19	GPT-5.6 Sol XHIGH OpenAI · Codex CLI · 1 次运行	39/105	59	126.2	$52.75	2026-08-28
20	DeepSeek V4.1 Flash 1017 MAX DeepSeek · OpenCode / DeepSeek API · 5 次运行	37.6/105	36.2	55.7	$0.96	2026-10-18
21	DeepSeek V4.1 Flash 1017 HIGH DeepSeek · OpenCode / DeepSeek API · 5 次运行	36.6/105	25.6	41.6	$0.79	2026-10-19
22	GPT-6.1 Sol HIGH OpenAI · Codex CLI · 2 次运行	36.5/105	40	70.3	$3.26	2026-09-30
23	DeepSeek V4.1 Flash 1017 HIGH DeepSeek · Claude Code / DeepSeek API · 5 次运行	36.4/105	24.4	54.5	$0.82	2026-10-17
24	Kimi K3.1 Pro MAX Moonshot AI · Claude Code / Moonshot API · 3 次运行	36/105	29.3	64.8	$13.76	2026-10-23
25	Opus 5.5 XHIGH Anthropic · Claude Code · 3 次运行	36/105	13.3	42.5	$34.98	2026-09-23
26	Sonnet 5.5 XHIGH Anthropic · Claude Code · 3 次运行	36/105	14	72.7	$42.86	2026-09-29
27	Gemini 4 Argon LOW Google · Antigravity CLI · 3 次运行	35.3/105	5.7	59.6	$6.47	2026-10-14
28	GPT-6 Astra HIGH OpenAI · Codex CLI · 1 次运行	35/105	40	40.5	$20.60	2026-09-04
29	DeepSeek V4.1 Flash 1017 LOW DeepSeek · DeepSeek Harness / DeepSeek API · 5 次运行	34.8/105	34.4	33.8	$1.06	2026-10-18
30	DeepSeek V4.1 Flash 1017 LOW DeepSeek · Claude Code / DeepSeek API · 5 次运行	34.4/105	16.8	44.5	$0.71	2026-10-17
31	Sonnet 5.5 HIGH Anthropic · Claude Code · 3 次运行	34.3/105	10.7	27.9	$19.85	2026-09-29
32	GPT-6 Astra MEDIUM OpenAI · Codex CLI · 1 次运行	34/105	33	28.0	$15.78	2026-09-05
33	GPT-5.6 Sol HIGH OpenAI · Codex CLI · 1 次运行	34/105	28	66.7	$33.92	2026-07-31
34	DeepSeek V4.1 Flash 1017 LOW DeepSeek · Pi / DeepSeek API · 5 次运行	33.8/105	19.6	33.2	$0.46	2026-10-18
35	Fable 5.1 HIGH Anthropic · Claude Code · 1 次运行	33/105	7	36.3	$48.58	2026-09-01
36	DeepSeek V4.1 Flash 1017 LOW DeepSeek · OpenCode / DeepSeek API · 5 次运行	32.8/105	17.6	41.2	$0.66	2026-10-19
37	Muse Spark 1.3 MAX Meta · Muse Code / Meta API · 5 次运行	32.2/105	24	85.6	$18.11	2026-09-17
38	GPT-5.6 Terra MAX OpenAI · Codex CLI · 1 次运行	32/105	45	159.7	$27.98	2026-08-27
39	Opus 5.5 HIGH Anthropic · Claude Code · 3 次运行	31.7/105	10.7	23.9	$22.25	2026-09-23
40	Muse Wonder 1.0 MAX Meta · Muse Code / Meta API · 3 次运行	31.7/105	13.3	96.2	$27.87	2026-10-13
41	GPT-5.6 Luna MAX OpenAI · Codex CLI · 3 次运行	31.3/105	54.7	187.1	$3.15	2026-09-22
42	Pareto (ex-Union Alpha) DEFAULT Unbiased · Claude Code / OpenRouter · 3 次运行	30.7/105	10.3	38.2	$4.81	2026-09-17
43	Opus 5.5 MEDIUM Anthropic · Claude Code · 3 次运行	30.3/105	13.3	17.0	$15.68	2026-09-23
44	GPT-6 Sol MAX OpenAI · Codex CLI · 3 次运行	29.3/105	41.3	63.4	$9.33	2026-09-23
45	GPT-6.1 Sol MEDIUM OpenAI · Codex CLI · 2 次运行	29/105	30.5	29.8	$1.76	2026-09-30
46	GPT-5.6 Sol MEDIUM OpenAI · Codex CLI · 1 次运行	29/105	24	47.6	$15.77	2026-09-06
47	Grok 4.7 XHIGH xAI · Grok Build CLI (ACP) · 5 次运行	29/105	32.2	44.7	$22.96	2026-10-08
48	Fable 5.1 LOW Anthropic · Claude Code · 1 次运行	29/105	6	33.2	$33.00	2026-09-02
49	Fable 5.1 XHIGH Anthropic · Claude Code · 1 次运行	29/105	4	59.5	$53.61	2026-09-10
50	Fable 5 MAX Anthropic · Claude Code · 1 次运行	29/105	5	57.3	$112.40	2026-08-01
51	Grok 4.6 XHIGH xAI · Grok Build CLI (ACP) · 3 次运行	28.7/105	18	43.1	$18.60	2026-09-14
52	GPT-6 Astra LOW OpenAI · Codex CLI · 1 次运行	27/105	25	32.1	$11.69	2026-09-05
53	Opus 5 MAX Anthropic · Claude Code · 1 次运行	27/105	2	60.0	$54.94	2026-08-01
54	Grok 4.7 MEDIUM xAI · Grok Build CLI (ACP) · 3 次运行	26.7/105	22.7	30.7	$16.76	2026-09-21
55	Qwen3.8-Flash MAX 阿里 · Claude Code / Alibaba API · 1 次运行	26/105	7	97.3	$1.81	2026-09-11
56	Opus 5 XHIGH Anthropic · Claude Code · 1 次运行	26/105	3	49.9	$63.25	2026-08-28
57	Qwen3.8-Max MAX 阿里 · Claude Code / Alibaba API · 3 次运行	25.7/105	7	117.1	$26.76	2026-09-15
58	GPT-6 Sol XHIGH OpenAI · Codex CLI · 1 次运行	25/105	24	51.4	$7.67	2026-09-23
59	Opus 5 MEDIUM Anthropic · Claude Code · 1 次运行	24/105	4	30.5	$37.40	2026-08-27
60	Fable 5 HIGH Anthropic · Claude Code · 1 次运行	24/105	3	31.4	$74.52	2026-07-26
61	MiMo-V2.6-Flash DEFAULT Xiaomi · Claude Code / OpenRouter · 3 次运行	23.3/105	7.3	70.7	$0.49	2026-09-22
62	Sonnet 5.5 MEDIUM Anthropic · Claude Code · 3 次运行	23.3/105	8.7	17.4	$11.11	2026-09-30
63	Qwen3.8-Flash LOW 阿里 · Claude Code / Alibaba API · 1 次运行	23/105	7	98.1	$1.37	2026-09-11
64	GPT-5.6 Luna XHIGH OpenAI · Codex CLI · 1 次运行	23/105	53	135.6	$2.50	2026-08-28
65	Grok 4.6 HIGH xAI · Grok Build CLI (ACP) · 1 次运行	23/105	16	33.0	$15.73	2026-08-28
66	MiMo-V2.6-Pro DEFAULT Xiaomi · Claude Code / OpenRouter · 3 次运行	22.7/105	5.3	90.9	$0.86	2026-09-22
67	GPT-6.1 Sol LOW OpenAI · Codex CLI · 2 次运行	22.5/105	24	25.4	$1.34	2026-10-01
68	Opus 5.5 LOW Anthropic · Claude Code · 3 次运行	22.3/105	9.7	11.5	$8.34	2026-09-23
69	Grok 4.6 MEDIUM xAI · Grok Build CLI (ACP) · 1 次运行	22/105	11	26.5	$5.80	2026-08-28
70	Gemini 3.7 Flash HIGH Google · Gemini CLI (retired) + model-pinning gateway · 1 次运行	22/105	4	96.8	$8.43	2026-08-24
71	DeepSeek V4.1 Flash MAX DeepSeek · Claude Code / DeepSeek API · 3 次运行	21.7/105	6.7	55.9	$0.78	2026-09-15
72	Haiku 5.5 MAX Anthropic · Claude Code · 2 次运行	21.5/105	9	32.5	$5.83	2026-10-07
73	Fable 5.1 MEDIUM Anthropic · Claude Code · 1 次运行	21/105	3	23.0	$23.73	2026-09-10
74	Kimi K3 DEFAULT Moonshot AI · Claude Code / OpenRouter · 1 次运行	21/105	6	107.8	$25.27	2026-07-26
75	Opus 5 HIGH Anthropic · Claude Code · 1 次运行	21/105	6	37.4	$41.51	2026-07-26
76	Muse Spark 1.3 XHIGH Meta · Muse Code / Meta API · 3 次运行	20.3/105	13.3	63.8	$13.71	2026-09-14
77	GPT-6 Sol HIGH OpenAI · Codex CLI · 1 次运行	20/105	15	33.9	$4.16	2026-09-23
78	GPT-5.6 Terra XHIGH OpenAI · Codex CLI · 1 次运行	20/105	29	56.6	$8.98	2026-08-28
79	Grok 4.7 HIGH xAI · Grok Build CLI (ACP) · 3 次运行	19.3/105	15.7	37.9	$12.29	2026-09-21
80	DeepSeek V4.1 Flash HIGH DeepSeek · Claude Code / DeepSeek API · 1 次运行	19/105	4	26.1	$0.31	2026-09-10
81	Sonnet 5.5 LOW Anthropic · Claude Code · 3 次运行	19/105	8	8.5	$5.73	2026-09-30
82	GLM-5.3 MAX Z.ai · Claude Code / Z.ai API · 1 次运行	19/105	2	40.4	$15.93	2026-09-10
83	Muse Spark 1.3 HIGH Meta · Muse Code / Meta API · 3 次运行	18.7/105	19.3	75.6	$12.94	2026-09-14
84	GPT-6 Luna MAX OpenAI · Codex CLI · 3 次运行	18.3/105	22.7	99.2	$0.52	2026-09-23
85	Haiku 5.5 XHIGH Anthropic · Claude Code · 3 次运行	18.3/105	6.7	24.1	$4.80	2026-10-07
86	MiMo-V2.6-Pro ENABLED Xiaomi · Claude Code / Xiaomi first-party · 1 次运行	18/105	4	74.9	$0.59	2026-09-22
87	Hy4 Preview DEFAULT 腾讯 · Claude Code / OpenRouter · 1 次运行	18/105	2	67.5	$3.13	2026-08-28
88	GPT-5.6 Terra HIGH OpenAI · Codex CLI · 1 次运行	18/105	17	28.1	$5.89	2026-08-27
89	Gemini 3.8 Flash HIGH Google · Antigravity CLI · 3 次运行	18/105	4	38.7	$11.03	2026-09-15
90	GLM-5.3 Flash MAX Z.ai · Claude Code / Z.ai API · 3 次运行	17.7/105	3.3	63.2	$1.03	2026-09-15
91	Grok 4.5 HIGH xAI · Grok Build CLI (ACP) · 1 次运行	17/105	10	27.9	$8.50	2026-08-06
92	Muse Spark 1.2 XHIGH Meta · Claude Code / Meta API · 1 次运行	17/105	12	35.7	$13.99	2026-08-06
93	Ox Alpha (stealth) DEFAULT Z.ai · Claude Code / OpenRouter · 1 次运行	16/105	3	59.4	—	2026-08-25
94	GLM-5.3 Flash HIGH Z.ai · Claude Code / Z.ai API · 1 次运行	16/105	4	62.3	$0.94	2026-09-13
95	DeepSeek V4-Pro MAX DeepSeek · Claude Code / DeepSeek API · 1 次运行	16/105	4	37.2	$1.89	2026-09-10
96	Haiku 5.5 HIGH Anthropic · Claude Code · 2 次运行	16/105	4	19.3	$3.56	2026-10-07
97	Gemini 3.7 Flash HIGH Google · Antigravity CLI · 1 次运行	16/105	2	22.7	$6.36	2026-08-28
98	Grok 4.7 LOW xAI · Grok Build CLI (ACP) · 3 次运行	15.7/105	18.3	22.2	$9.36	2026-09-21
99	GPT-5.6 Terra MEDIUM OpenAI · Codex CLI · 1 次运行	15/105	6	20.2	$3.87	2026-08-27
100	Grok 4.6 LOW xAI · Grok Build CLI (ACP) · 1 次运行	15/105	9	18.0	$4.14	2026-08-27
101	Qwen3.8-27B XHIGH 阿里 · Claude Code / Alibaba API · 3 次运行	15/105	2.3	56.8	$5.55	2026-09-15
102	Mistral Large 4 HIGH Mistral · Claude Code / OpenRouter · 3 次运行	15/105	3.3	111.1	$11.95	2026-10-07
103	Opus 4.8 MAX Anthropic · Claude Code · 1 次运行	15/105	3	108.8	$58.11	2026-09-10
104	GPT-6 Luna XHIGH OpenAI · Codex CLI · 1 次运行	14/105	12	57.0	$0.39	2026-09-23
105	DeepSeek V4-Flash DEFAULT DeepSeek · Claude Code / OpenRouter · 1 次运行	14/105	0	48.5	$1.52	2026-08-01
106	GPT-6 Sol MEDIUM OpenAI · Codex CLI · 1 次运行	14/105	13	24.5	$2.39	2026-09-23
107	GPT-5.6 Luna HIGH OpenAI · Codex CLI · 1 次运行	13/105	22	64.1	$0.57	2026-07-31
108	GLM-5.3 Flash DEFAULT Z.ai · Claude Code / OpenRouter · 1 次运行	13/105	4	57.1	$0.79	2026-08-27
109	DeepSeek V4-Pro HIGH DeepSeek · Claude Code / DeepSeek API · 1 次运行	13/105	1	26.6	$1.08	2026-09-10
110	Muse Spark 1.3 MEDIUM Meta · Muse Code / Meta API · 3 次运行	13/105	17.3	58.3	$9.24	2026-09-14
111	Haiku 5.5 MEDIUM Anthropic · Claude Code · 1 次运行	12/105	4	15.5	$2.66	2026-10-08
112	GPT-6.1 Terra XHIGH OpenAI · Codex CLI · 3 次运行	11.3/105	17	15.9	$0.75	2026-10-26
113	Haiku 5.5 LOW Anthropic · Claude Code · 1 次运行	11/105	2	8.7	$1.61	2026-10-08
114	Qwen3.8-27B 8-bit DEFAULT 阿里 · Claude Code / OpenRouter · 3 次运行	10.7/105	1.7	56.6	$2.97	2026-09-16
115	GPT-6.1 Terra HIGH OpenAI · Codex CLI · 3 次运行	9.7/105	6.7	12.6	$0.56	2026-10-26
116	Muse Spark 1.3 LOW Meta · Muse Code / Meta API · 3 次运行	9.7/105	6.7	36.4	$5.61	2026-09-14
117	GPT-6 Luna HIGH OpenAI · Codex CLI · 1 次运行	9/105	9	24.4	$0.13	2026-09-23
118	GPT-5.6 Luna MEDIUM OpenAI · Codex CLI · 1 次运行	9/105	5	15.4	$0.33	2026-08-27
119	GLM-5.3 Flash LOW Z.ai · Claude Code / Z.ai API · 1 次运行	9/105	4	29.0	$0.42	2026-09-13
120	Sonnet 5 HIGH Anthropic · Claude Code · 1 次运行	9/105	4	32.8	$11.38	2026-07-26
121	Sonnet 5 MAX Anthropic · Claude Code · 1 次运行	9/105	3	61.3	$17.96	2026-09-10
122	Opus 4.8 HIGH Anthropic · Claude Code · 1 次运行	9/105	1	34.8	$21.30	2026-07-26
123	GPT-6.1 Terra MEDIUM OpenAI · Codex CLI · 3 次运行	7.3/105	7.3	9.6	$0.31	2026-10-27
124	GPT-6.1 Terra LOW OpenAI · Codex CLI · 3 次运行	6/105	5	10.1	$0.30	2026-10-27
125	GPT-6 Sol LOW OpenAI · Codex CLI · 1 次运行	6/105	5	11.1	$1.08	2026-09-23
126	GPT-6 Luna MEDIUM OpenAI · Codex CLI · 1 次运行	4/105	0	8.6	$0.06	2026-09-23
127	GPT-5.6 Luna LOW OpenAI · Codex CLI · 1 次运行	4/105	1	5.8	$0.10	2026-08-27
128	GPT-6 Luna LOW OpenAI · Codex CLI · 1 次运行	4/105	9	19.3	$0.20	2026-09-23
129	Gemma 4 31B DEFAULT Google · Claude Code / OpenRouter · 1 次运行	4/105	2	221.8	$8.61	2026-09-16
130	Gemma 4 31B 4-bit DEFAULT Google · Claude Code / OpenRouter · 1 次运行	3/105	2	24.9	$0.56	2026-09-16
131	Haiku 4.5 DEFAULT Anthropic · Claude Code · 2 次运行	1.5/105	2.5	16.9	$2.22	2026-10-08
132	gpt-oss-120b DEFAULT OpenAI · Claude Code / OpenRouter · 3 次运行	0/105	0.3	3.7	$0.11	2026-09-15
133	gpt-oss-20b DEFAULT OpenAI · Claude Code / OpenRouter · 3 次运行	0/105	0	7.4	$0.11	2026-09-15

评分方式与读法

这份成绩怎么看

回到官方榜核对最稳

收录成绩133 条成绩 · 49 个模型分数与名次按该榜官方公布的结果列出，同一模型的不同推理档位各占一行

主指标修好的埋入 bug 数（/105）两个真实仓库里预先埋了 105 个 bug（仓库 A 45 个、仓库 B 60 个），每个模型在自己的 Agent CLI 里跑同一份 prompt，独立裁判拿着模型看不到的答案卷盲评；多轮运行取均值，被官方标为 superseded 的历史行不收录。

成绩时间2026-10-29 07:27这份成绩的日期（北京时间）；官方不更新时这里也会停住

同榜内怎么看看分档比看名次稳相邻名次常常只差统计噪声，差 1–2 分不宜直接判定优劣

评分方式按官方原样列出，以官方榜为准官方调整评分方式时这里跟着变，旧成绩不作为结论

横向比模型配合模型智商榜一起看跨厂商综合分与降智趋势见 /model-iq，基准本身的说明见 /glossary

满分 105 个埋入 bug，分数＝修好并验证通过的数量，官方按多轮运行取均值。「额外真实缺陷」是模型顺手修好的、不在答案卷里的真 bug，官方单列展示，不计入分数。成本多为按官方价目表估算的标价，只有官方标为账单实付的行才是真花掉的钱；官方对个别本地跑的模型只给成本下限。官方把被后续重跑替代的历史行标为 superseded，本站不收录这些行，与官方默认视图一致。本次跳过 74 条 superseded 历史行。