GPT-o3 Smoke评测:材料约束跌至83.30,主榜反升78.08

资讯 AI 行业观察 全文 833 字 · 约 3 分钟读完 配图 1 张 分类o 系列GPTOpenAI

今日Smoke评测中GPT-o3材料约束从100.00跌至83.30,代码执行从50.00升至73.80,主榜从72.50升至78.08。单日10题抽样下,材料约束-16.7分与代码执行+23.8分形成明显反差,需分析波动成因与关注必要性。

所属频道 大厂动态ChatGPT 与 GPT

GPT-o3今日Smoke评测结果出炉:材料约束得分从昨日100.00滑落至83.30,代码执行得分则由50.00升至73.80,主榜得分从72.50上升至78.08。

数据事实拆解

Smoke评测每日每个维度只出2道题,材料约束单日丢掉16.7分,等于至少有1题没过材料忠实度检查;代码执行涨了23.8分,说明该维度2题都有明显进步。工程判断维持在75.00不动,任务表达则从90.00降到85.00。主榜只由代码执行和材料约束加权构成,代码执行的大幅上升因此直接抵消了材料约束的损失。

成因分析:抽签波动概率更高

每天10道题的抽样规模本来就小,单题得分权重高达12.5分。材料约束昨天还是满分100.00,今天83.30,差值正好对应1题失分;代码执行昨天50.00,今天73.80,差值对应至少1题得分提升。工程判断和任务表达的变动幅度都不大,说明模型在这些侧榜维度上没有出现系统性退化。说到底,材料约束的下跌更像是题目抽签带来的随机波动,而不是模型真实能力退步。

材料约束83.30 vs 代码执行73.80,主榜78.08的最终结果显示,代码执行的增益完全覆盖了材料约束的损失。

对使用者的含义

合同审核、政策解读这类重度依赖材料忠实度的企业场景,GPT-o3今天的表现提示需要增加人工复核环节。代码执行得分提升,对自动化脚本生成、数据处理 pipeline 是利好,重代码执行的团队可以继续用这个模型,但材料约束敏感的任务上应设置双模型校验。

  • 材料约束敏感场景:建议增加人工抽检比例,避免单题失分导致整体输出偏差。
  • 代码执行主导场景:今日73.80分已接近可用阈值,可作为日常工具继续观察。

战略判断

单日数据来看,主榜上升5.6分说明GPT-o3整体能力没有出现系统性下滑,材料约束的-16.7分更可能来自抽签波动,而非模型退化。诚信评级维持pass,也进一步支持这一判断。下一期建议继续追踪材料约束得分,若连续两日低于90.00再启动深度复测;当前无需下调对GPT-o3整体能力的评估。


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌Gemini 4 Neon发布:100万Token上下文,每百万输出15美元

    智东西(公众号:zhidxcom)编译 | 杨京丽编辑 | 李水青智东西11月19日消息,刚刚,谷歌发布Gemini 4系列新模型Gemini 4 Neon,面向复杂软件工程、知识工作和科学研究,主打在前沿智能水平下,更快、更经济地完成多步骤任务。这是谷歌7周内发布的第四款Gemini 4系列模型。▲谷歌发布Gemin

    来源 腾讯网
  2. 跑分狂飙,实测翻车,刚发的 GPT-6.2 暴露了 OpenAI 的软肋

    「基本不可用,不推荐」。OpenAI 新模型上线仅仅 8 分钟,硅谷知名创业者 Matt Shumer,就在社交平台上扔下一句毫不留情的评价。紧接着,拥有大批开发者拥趸的 Theo Browne,发了一篇长文《我为什么讨厌 GPT-6.2 Astra》。向来对前沿模型保持温和耐心的沃顿商学院教授 Ethan Molli

    来源 腾讯网
  3. GPT-6.2 上线12小时:开发者为何称其“史上最糟”

    就在今天,OpenAI 正式发布了新一代旗舰模型 GPT-6.2 Astra,以及主打性价比的 GPT-6.2 Sol。从官方公布的成绩来看,GPT-6.2 Astra 在专业 Agent 任务上反超 Claude Fable 5.2,完成同等任务的综合成本却只有后者的 5%,堪称一次漂亮的反击。上下滑动查看更多内容然

    来源 腾讯网
  4. OpenAI发布GPT-6.2:Astra跑分上涨,老用户却嫌不好用

    出品 | 网易智能 作者 | 小扣 编辑 | 王凤枝 GPT-6.2旗舰Astra跑分涨了、调用也便宜了,一些提前试用者却觉得,它反而更不好使唤了。 北京时间11月18日,OpenAI发布GPT-6.2 Astra和GPT-6.2 Sol。其中Astra是处理复杂专业项目的旗舰,Sol面向日常工作。两款模型目前已接入C

    来源 AI 行业观察
  5. OpenAI下场造机!首款AI手机细节曝光,直接叫板传统手机厂商

    【TechWeb】供应链最新消息显示,富士康旗下的富智康集团已拿下OpenAI手机项目订单,负责整机组装环节。据财联社报道,OpenAI的首款手机预计最快2027年底、最迟2028年正式亮相,除组装外,立讯精密、领益智造、瑞声科技等多家苹果供应链厂商也将参与零部件供应。 截至目前,富士康方面尚未对上述消息作出回应,产品

    来源 AI 行业观察
  6. OpenAI首款AI硬件年底出货:立讯精密独家代工,“甜甜圈”真机渐近

    【TechWeb】OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备

    来源 AI 行业观察
  7. OpenAI用AI改芯片电路:AMD旗舰GPU能效最高提升14%

    OpenAI报告披露GPT-4o辅助芯片设计:自研推理芯片Jalapeño由GPT-4o重写浮点加法器、乘法器等电路,新乘法器面积减约15%、延迟压至一个时钟周期;向量与矩阵计算单元面积分别减约13%、10%,已实片验证。模型还重写RTL,为AMD旗舰GPU提速,压缩约一年工作量。

    来源 AI 产业速递
  8. OpenRouter新版自动路由实测:性能倒退,不如固定调用单一模型

    OpenRouter在11月更新了其核心的Auto Router,但最新基准测试显示,新版路由器的准确率从79.1%暴跌至65.2%,甚至低于随机选择。相比之下,Conifer和dari等新竞品虽有路由行为,但性价比仍不及直接调用GPT-5.6 Luna。本文详细拆解各路由器的实际表现,并介绍在质量与成本平衡上表现更优

    来源 AI 应用前沿
  9. AI自己改造外部装备,中科大论文梳理自我进化四条边界

    你有没有想过,为什么同一个AI模型,换个用法就判若两人?同样是GPT-5.5,有的团队用它写代码效率翻倍,有的团队却总觉得它笨手笨脚。差别往往不在模型本身,而在那套包裹着模型的"装备"——提示词怎么写、记忆怎么存、工具怎么调、出错了怎么恢复。这套装备有个专业名字,叫做harness。更有意思的问题是:如果让AI自己去改

    来源 腾讯网
  10. 谷歌Gemini 4逆袭!国产AI没有上榜

    最新的 Agent Arena 榜单中,被大家戏称北美 “豆包” 的 Gemini 算是翻身了,直接跑赢了 GPT!两个模型Gemini 4 neo 和 Gemini 4 carbon都压着GPT打,算是出了口恶气。不少朋友可能不清楚这个榜单到底测什么,它不比AI聊天问答好不好玩,而是比AI 智能体的实战干活能力:比如

    来源 腾讯网
  11. 三个00后创业18个月:Palo Alto 45亿美元买下Applied Compute

    Anthropic上市,硅谷正在诞生新一轮财富神话。而在这场狂欢的另一角,三个从OpenAI离职的00后也提前拿到了自己的“大结果”——创业不到18个月,直接把公司卖了45亿美元(约合人民币320亿元)。 美东时间11月18日,美国网络安全巨头Palo Alto Networks(派拓网络)宣布达成最终协议,将以45亿

    来源 AI 行业观察
  12. OpenAI硬件2026年底出货:立讯精密独家代工整机与核心件

    OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备轮廓,目前仍停留在

    来源 TechWeb
  13. OpenAI遭俄勒冈州索赔20亿美元:儿童安全指控与IPO风险

    OpenAI的法律纠纷又添一笔。 当地时间11月17日,美国《俄勒冈人报》官网报道称,俄勒冈州总检察长丹·雷菲尔德当日对OpenAI提起诉讼,索赔20亿美元(约合人民币133亿元),指控这家公司明知故犯,将儿童置于危险之中,还向家长误导产品安全情况。 “把利润置于儿童安全之上” 这起诉讼已提交至俄勒冈州摩特诺玛县巡回法

    来源 AI 行业观察
  14. ChatGPT上线实时听写:说话同步成文字,10分钟限制取消

    IT之家 11 月 19 日消息,ChatGPT 今天宣布新增“实时听写”功能,用户对着麦克风说话时,语音就能同步转换成文字,不必等录音结束后再转写,让 ChatGPT 更快接收到语音指令。 该功能将陆续向全球所有 ChatGPT 用户开放,覆盖网页版、桌面客户端及 iOS 和 Android 应用。使用时,用户只需点

    来源 AI 行业观察
  15. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  16. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
向下滚动自动加载更多