Gemini 4 Argon编程首秀仅列第五,落后Claude与GPT
IT之家 10 月 28 日消息,谷歌更新了用于评估 AI 模型安卓编程辅助能力的 Android Bench 榜单,Gemini 4 Argon 的成绩大幅落后于最新版 Claude 与 GPT 系列模型。Android Bench 于今年年初推出,方便安卓开发者快速对照谷歌的这套测试标准,挑选最适合安卓代码开发辅助
10月28日,谷歌更新了Android Bench榜单,该榜单用于评估AI模型的安卓编程辅助能力。
Gemini 4 Argon的成绩大幅落后于最新版Claude与GPT系列模型。
Android Bench今年年初推出,目的是让安卓开发者能快速对照谷歌这套测试标准,挑出最适合做安卓代码开发辅助的AI模型。测试会考察安卓开发特有的使用场景和最佳实践。谷歌一边持续测试、把新模型纳入排名,一边将平均调用成本也列入基准指标,方便开发者按自身需求做选择。
10月26日的更新中,谷歌给每个模型新增标注了所采用的推理等级,并补充了多款模型的测试结果。
目前排在榜首的是
Claude Sonnet 5.5,通过率40%,完成率80.9%;10月初进入榜单的Claude Opus 5.5位居第二。OpenAI的GPT-6.1 Sol或许是这次最受关注的新增模型,通过率29.3%,完成率82.8%,调用成本只要99.50美元(按现汇率约合664.8元人民币)。对比来看,排名第一的Claude调用成本达1,574.90美元(现汇率约合10,522元人民币)。
谷歌自家的Gemini 4 Argon首秀表现平平,排第五位,明显落后于其他前沿模型,甚至不如Claude Fable 5.1。其通过率仅21.3%,完成率81.8%,平均调用成本267.70美元(现汇率约合1,789元人民币)。
谷歌官宣Gemini 4 Argon后不久,就有内部消息称这款模型“难以处理部分编程任务”,但谷歌依然认可它的能力。