OpenAI深夜更新GPT 6.2 Astra:Agents' Last Exam得分78.3%创新高
在被Anthropic 一顿暴打两个多月之后, OpenAI 大半夜终于把连着跳票的6.2 Astra端上来了。 。。 只能说, 再不更新的话,用户全要被Google ....
被
Anthropic压着打了两个多月,OpenAI 这次在半夜把一再延后的 6.2 Astra 放了出来。
只能说,
再拖下去,用户恐怕真要转投 Google 和 Anthropic 了。
照例先过一遍 Benchmark。
长程任务评测 Agents' Last Exam 上,6.2 Astra 创下新高;推理档位定在 xhigh 时,它拿到 78.3%,压过 Google 上周刚推出的产品。跟上一代 6 Astra 比,分数更高,成本也降了。
科学领域方面,6.2 Astra 在 Terminal-Bench-Science 0.1 上再次占据上风,哪怕推理档位只开到 high,也胜过对手。
生物学相关的 Vals Science Index 上,6.2 Astra 开到 Max 档,同样领先。
这么看,xhigh 档似乎不太划算。
最新的 Artificial Analysis 智能指数里,6.2 Astra 没能跑赢 Fable 5.2,不过成本上的优势依然明显。
3D 相关的 Bench CAD 上,6.2 Astra 的成本仍比 Fable 5.2 低好几倍,表现则稍逊一筹。
自动化方向的 AutomationBench 上,6.2 Astra 与对手相比……
最受关注的编码任务,6.2 Astra 不如 Fable 5.2。Fable 5.2 把推理档位开到 high,成绩就已经超过 6.2 Astra 开到 Max 时的水平。
成本方面,占优的还是 6.2 Astra。
还有一点值得留意。
相比于
放到整体层面看。
按照
在OpenAI最近推出的日常工作任务Benchmark——LifeVal上,6.2 Sol已经把此前的6 Astra甩在身后,而且成本只花了后者的七分之一。
法律相关的Benchmark Harvey LAB--AA上,6.2 Astra的表现同样比Fable 5.2好出一大截。这个Harvey LAB--AA是干什么的?它专门评测AI做法律工作的能力,比如审查合同条款这类任务。评分规则定得很死:AI交出的最终成果必须满足全部评分要求,且不能出现任何实质性幻觉,才能拿到分数。
内部跨领域工作基准GDPval v2上,6.2 Astra拿到的分数比其他模型更高,输出的token反而更少。
安全和对齐方面,6.2 Astra整体与6 Astra处在同一水平,只有两个Benchmark例外:6.2 Astra更倾向于略过不提自己没能完成任务的原因,比如缺了必要文件、没有搜索工具之类。
在
一旦没有prompt引导,6.2 Astra和6.2 Sol的表现会比以前更差。
在
不过这两个版本做出危害行为的比例,比之前要低。
再说价格。6.2 Astra的token效率比6 Astra更高,API价格也随之降了下来:每百万tokens输入8美金,输出40美金,缓存命中的输入为0.4美金。6.2 Sol的API价格则与6.1 Sol持平,仍是每百万tokens输入2美金、输出10美金,缓存命中0.1美金。
还有一条消息,算不算好消息不好说——如果你是200刀的订阅用户,现在也能用上过去只有500刀尊贵会员才独享的超快速模式。
有好消息自然也有坏消息。翻了一圈X上的知名开发者,Theo(开源产品T3 Code的作者)早期测试给出的评价并不太好。
他的大致总结是:优点是Code Review能力极强,别的模型漏掉的bug它能抓出来,3D和游戏开发方面也还行;但除此之外,全是缺点。
举个例子,它只会讲自己懂的天书,prompt也救不回来。
GPT的老毛病还在,不讲人话。
再比如问它为什么,6.2 Astra能长篇大论写上4段。另外它很容易原地死循环,浪费时间浪费Token,最后零产出。
这个毛病其实在GPT身上由来已久。
Theo 干脆拿自己的项目来试。
还有一个问题很要命:创意太容易撞在一起。
Theo 和朋友们做游戏测试时,prompt 和配置完全不同,可 Astra 给出的产出主题清一色是水、音乐加钟,连关卡名字都一模一样,都叫
说到底,这模型聪明得让人发怵,可真放进项目里用,过程会特别难受。