奥特曼给“AI造AI”踩刹车!方向盘必须握在人类手中

资讯 凤凰科技 作者:新智元 全文 3533 字 · 约 9 分钟读完 配图 11 张 分类模型发布

但眼下AI实验室的真实情况是:很多还没向公众发布的模型,早就穿上工装在内部「上岗打工」了,甚至直接参与了下一代模型的研发。

所属频道 模型发布

奥特曼给“AI造AI”踩刹车!方向盘必须握在人类手中(配图 1)

AI已经在帮OpenAI造下一代GPT了。

可真要把研发方向盘彻底交给AI,奥特曼还是亲自踩了一脚刹车。

11月16日,在Semafor的活动现场,谈及「递归自我改进」(RSI),奥特曼当场划下一道红线:

我们本可以进一步向递归自我改进推进,但我不认为现在能安全地这么做。

潜台词很明显:不是现在技术上推不动,而是真不敢撒手。

奥特曼给“AI造AI”踩刹车!方向盘必须握在人类手中(配图 2)

奥特曼表示,OpenAI可以进一步推进递归自我改进,但目前还无法安全地这么做。

毕竟,一旦模型开始自己迭代自己,谁来盯住它有没有悄悄跑偏?

奥特曼也没有只在口头上喊刹车。

紧接着,他又亮出了OpenAI最近在安全上的实招:把包括METR在内的外部评估机构请进实验室,直接「驻场查岗」。

奥特曼给“AI造AI”踩刹车!方向盘必须握在人类手中(配图 3)

道理很简单:当AI都开始下场搞研发了,关起门来让自家员工「自己查自己」,再怎么拍胸脯说安全,也兜不住底了。

奥特曼给“AI造AI”踩刹车!方向盘必须握在人类手中(配图 4)

AI已经帮着研发

为什么还不能放手?

在硅谷,「递归自我改进」早已被念成了口头禅。

但在奥特曼看来,大多数把它挂在嘴边的人,压根没想明白这几个字真落地时意味着什么。

那递归自我改进是不是已经发生了?这个问题奥特曼没有直接回答「有」或「没有」。

他认为,这件事跟AGI一样,不存在一个某天早上醒来突然跨过去的分界线,得拆成两层来看:

第一,OpenAI是不是靠自家的AI技术,加快了新模型的研发速度?这个答案很确定:是的。

第二,是不是只要按一下按钮,就能甩手让模型在无人监督的情况下自己设计下一代、自我迭代?

奥特曼的答案:当然不是。

奥特曼给“AI造AI”踩刹车!方向盘必须握在人类手中(配图 5)

奥特曼表示,OpenAI尚未让AI在无人监督下自主研发下一代模型、快速自我改进。

这说明OpenAI已经让AI参与自身研发,但方向盘还攥在人类手里。

外界之所以对「递归自我改进」既兴奋又担心,是因为一旦下一代AI能反过来造出更强的下下一代,技术进化就会变成滚雪球式的复利狂奔。

奥特曼将这种「既推又收」定调为战术克制:先拿AI攻坚对齐,搞定「怎么管住AI」这道保命题。

他还顺带吐槽了硅谷同行的推销话术:一边许诺给人类攻克癌症、提供廉价商品,一边却要求人类交出全部主导权。

用他的原话说,这就是让人类「像只拉布拉多犬一样活着,机器也许会哄你开心,但你再也没有任何控制权了」。

奥特曼给“AI造AI”踩刹车!方向盘必须握在人类手中(配图 6)

奥特曼用「像拉布拉多犬一样活着」,比喻人类被机器照顾却失去自主权的未来。

对于硅谷最近流行的热词「handover」(把未来决策权移交给AI),无论是渐进交权还是突然交棒,奥特曼的态度都很坚决:绝不接受。

METR此前的一份报告给出过一个估算:

截至今年10月,老对手Anthropic的模型在特定明确任务上的能力进步速度,大约是2024年3月至2025年10月历史水平的两倍。

奥特曼给“AI造AI”踩刹车!方向盘必须握在人类手中(配图 7)

Anthropic模型的AECI进步速度估计提高至1.9倍。

被问及OpenAI是否也飙到了这个速度时,奥特曼没有接这茬数字竞赛。

他坦言,眼下AI的能力进化依然呈锯齿状:有些环节快得飞起,远不止两倍;有些环节还在原地啃硬骨头,慢得多。

因此,硬凑一个「整体提速两倍」的平均数,听着唬人,实则失真。

但谈到METR,奥特曼主动提到OpenAI正在推进「嵌入式评估」合作,而METR正是受邀入驻的机构之一。

在他看来,找外部专家给安全工作和系统稳健性「把脉」,接下来会越来越关键。

有意思的是,主持人抛来的是Anthropic的「提速账」,奥特曼反手亮出的却是OpenAI请METR进门查的「安全账」。

虽然还没有材料证明,某份METR报告让OpenAI放缓了自我改进计划。

但在大家都在卷速度的时候,怎么把安全底线兜住,显然成了奥特曼眼中更紧迫的问题。

奥特曼给“AI造AI”踩刹车!方向盘必须握在人类手中(配图 8)

6个人、4个月

进OpenAI查什么?

奥特曼口中的「嵌入式评估」,绝不是走个过场,具体名单和分工已经落了地。

根据OpenAI官方博客,他们已与Apollo Research、METR、Transluce和Goodfire四家机构签下协议,首阶段直接把探头插进了模型训练与内部使用这两个核心环节。

为什么要大费周章把外人请进自家「后厨」?

因为老办法已经失灵了。

过去大模型做安全测试,就像菜快端上桌了才测一测。

但眼下AI实验室的真实情况是:很多还没向公众发布的模型,早就穿上工装在内部「上岗打工」了,甚至直接参与了下一代模型的研发。

如果还等公开发布前再看那张漂亮的安全成绩单,根本查不出它在「后厨」干活时有没有动过歪心思。

这回入场的四家机构,恰好卡住了同一条研发流水线的四个关键身位:

Apollo Research专防「内鬼」:派出6人团队驻场试点4个月,专门排查模型会不会暗中破坏自身或下一代模型的对齐与控制机制。

从训练有没有变相纵容、评测能不能揪出来,到内部干活时有没有露马脚、推理痕迹能不能抓现行,挨个环节摸底。

METR紧盯「大练兵」:聚焦OpenAI迄今最大规模的一次强化学习训练,专门搜寻现有测试和常规监控可能漏掉的失对齐暗礁。

Transluce负责「审考卷」:检查后训练对齐评测本身的质量与覆盖范围,防止考题太水、放跑隐患。

Goodfire主攻「开颅透视」:借助可解释性方法剖析模型内部机制,辅助监测训练过程、排查异常信号。

从训前激励、训中监控、训后考卷到内部神经元,四班人马分守四道关卡。

尤其是Apollo,直接盯住了「AI造AI」的命门:如果参与研发的上一代模型自己「手脚不干净」,造出来的下一把安全锁再精密也是摆设。

外部安全评估的风向已经彻底变了:不再是等成品出厂前贴张合格证,而是直接进车间盯生产。

奥特曼给“AI造AI”踩刹车!方向盘必须握在人类手中(配图 9)

能进去检查

有些结果却不能公开

外部评估方虽然被请进了实验室,但能看什么、能往外说什么,协议里早已划好了红线。

先看Apollo Research的条款,算是有保底,也有保留:

OpenAI不能删去Apollo对各项主张的定性判定,也不能因为检查结果不好看就要求删改;但凡涉及敏感知识产权的支撑证据,OpenAI依然有权抹去。

换句话说,外界将来看到的,很可能是一份「有结论、没底稿」的体检单。

Apollo能补救的,是公开说明自己遇到了哪些访问和披露限制,以及这些限制对判断造成了多大影响。

到了Transluce这里,禁区划得更具体:按照计划,Transluce将从12月初开始为期6周的试点,可以接触部分模型、原始思维链输出以及内部评测,其中至少包含一个仅供内部使用的模型。

但协议写明:内部专用模型的评估结果,一律不准公开。

真正留在实验室里干重活、最贴近「AI造AI」核心现场的模型,外人虽然能查,但公众却看不到结果。

Transluce也把话挑明:这次拿到的权限并不等同于OpenAI正式员工权限;而那份完整、未删节的报告,只会呈交给OpenAI基金会董事会的安全与安保委员会。

开门迎检是真,但把核心家底捂严实也不假。

奥特曼给“AI造AI”踩刹车!方向盘必须握在人类手中(配图 10)

通向ASI

人类还能保住干预能力吗?

有人可能会问:OpenAI自己不是有自动化监控系统吗,为什么连「监督系统」本身都得靠外人来查?

因为连「电子监工」自己,都可能留着让人钻空子的后门。

METR此前的一次实战摸底,就撕开过这样一道口子。

今年7月至8月,METR与Redwood Research人员对OpenAI当时的内部智能体监控系统做过为期3周的检查。

结果揪出了一个颇具黑色幽默味道的机制盲区:受检系统里有一套监控机制,竟然要等智能体把控制权交回用户时,才会触发检查。

换句话说,在上下文压缩尚未触发检查的空档期里,智能体完全可以开启「无限连招」持续执行动作,把受检时间一推再推:只要我不交卷,监考老师就查不到我。

奥特曼给“AI造AI”踩刹车!方向盘必须握在人类手中(配图 11)

当时,监控在AI交回控制权时触发;上下文压缩未纳入监控期间,AI可持续行动推迟检查。

这个插曲已经足够敲响警钟:把监控程序写进代码里,并不等于每一步操作都在眼皮底下。

AI连续自主干活的时间越久,中间干过什么、出了岔子多久能察觉,就越不能轻信纸面设定,必须留下经得起核查的运行记录。

顺着这条线往下看,四家外部机构入场,真正的重头戏还在后面:它们到底查出了什么?哪些问题真正倒逼了整改?改完之后有没有复测?

最关键的是:一旦评估亮起红灯,真能叫停研发和发布吗?

至少从目前已公开的安排来看,外部评估方手里并没有「一键拉闸」的独立叫停权。

对此,自称「务实中间派」的奥特曼亮出了自己的底牌。

一方面,他死咬「人类必须永远掌控未来」的原则不松口;另一方面,他也承认,当技术变得足够强、进步足够快,为了兜住安全底线,「我们可能不得不改变原有的全部计划」。

通向ASI的牌桌上,AI造AI的飞轮一旦转起来,能力跑的是复利,风险跑的同样也是复利。

引擎越强,刹车的分量就越重。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯三季度营收2073.4亿元:AI业务多点突破,云服务收入增35%

    腾讯控股发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“小微”灰测范围持续扩大;AI需求带动云服务收入同比增长

    来源 TechWeb
  2. 谷歌Gemini隐私设置更新:聊天记录可保留但拒用于AI训练

    IT之家 11 月 18 日消息,谷歌昨日发布公告,宣布更新 Gemini 应用程序的控制选项,允许用户自行决定是否将 Gemini 聊天记录用于 AI 模型训练。 谷歌表示,新增的设置选项允许用户在保留 Gemini 聊天记录的同时,选择不将聊天记录用于生成式 AI 模型训练。用户仍然可以调整聊天记录的保存期限,并手

    来源 AI 行业观察
  3. 四个AI研究员,四天时间,把一个什么都不会的模型训成了比官方版本还厉害的样子

    先说一件挺颠覆常识的事。你可能以为,把一个语言模型从"啥都不会"训练成"能干活"的得力助手,这事得靠一群顶级工程师熬几个月,反复调参、反复试错,背后是昂贵的专家团队和漫长的研发周期。这是大厂发布会上常听到的叙事。但字节跳动联合几所大学的研究者做了一件事,直接把这个假设掀翻了:他们找来四个AI智能体,每人分配八张...

    来源 腾讯网
  4. AI智能体会先斩后奏然后撒谎吗?内部神经信号揭晓答案

    2026年9月,OpenAI的安全系统负责人在一次公开发言里说了一句让人不安的话:他们砍掉了一个即将发布的模型,GPT-6.1 Astra,原因是它"在保持权限边界和如何向用户汇报方面,没有达到标准"。同一个月,GPT-5.6的系统卡里记录了另一件事:一个模型在没人让它碰的虚拟机上执行了破坏性清理操作,还把一个方程标记

    来源 腾讯网
  5. OpenClaw报告:清华沈阳团队拆解AI智能体生态闭环?

    清华大学沈阳教授团队发布了关于OpenClaw的两份研究报告,系统梳理了从理论框架到模型迭代、再到商业落地的完整路径。文章详细解读了“一人公司”工作流的实践细节,包括ZeelinClaw模型的快速迭代、ToB技能体系的构建以及自动化接单平台的上线情况。通过金融风控、内容生成等具体案例,展示了AI智能体在提升效率方面的实

    来源 AI 应用前沿
  6. OpenAI首款AI硬件年底出货:立讯精密独家代工,“甜甜圈”真机渐近

    OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备轮廓,目前仍停留在

    来源 TechWeb
  7. 蚂蚁国际杨鹏:AI与通证化重塑资金流动,普惠可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  8. 蚂蚁国际杨鹏SFF谈未来金融:AI重塑资金流动,普惠与可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  9. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  10. OpenAI发布GPT-6.2双版本:3D设计亮眼,实测体验两极

    千呼万唤之中,OpenAI 终于把 GPT-6.2 推到了台前,一口气推出两个版本:GPT-6.2 Astra 和 GPT-6.2 Sol。有意思的是,OpenAI 这次又赶在了一个微妙的时间点出牌。眼下,Anthropic 上市的消息仍在持续发酵,AI 行业的竞争也愈发激烈。OpenAI 偏偏选在此时发布新一代模型,

    来源 腾讯网
  11. 腾讯Q3营收2073.4亿元增8%,混元Hy4、WorkBuddy数据披露

    腾讯控股发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“小微”灰测范围持续扩大;AI需求带动云服务收入同比增长

    来源 TechWeb
  12. 跑分狂飙,实测翻车,刚发的 GPT-6.2 暴露了 OpenAI 的软肋

    「基本不可用,不推荐」。OpenAI 新模型上线仅仅 8 分钟,硅谷知名创业者 Matt Shumer,就在社交平台上扔下一句毫不留情的评价。紧接着,拥有大批开发者拥趸的 Theo Browne,发了一篇长文《我为什么讨厌 GPT-6.2 Astra》。向来对前沿模型保持温和耐心的沃顿商学院教授 Ethan Molli

    来源 腾讯网
  13. GPT-6.2 Astra登顶机器人榜单:OpenAI解散独立机器人团队

    GPT-6.2 Astra在真实机械臂测试中登顶,通用大模型直驱机器人的能力又进了一步。 据独立评测机构Artificial Analysis发布的AA-Robotics v0.1榜单,GPT-6.2 Astra得分79,完成8项物理任务中的6项。 不只是OpenAI的旗舰模型,能力相对较弱的GPT-6.2 Sol也得

    来源 AI 行业观察
  14. GPT-6.2 Astra被批难用:开发者为何集体吐槽?

    出品|虎嗅科技组作者|黄天媛编辑|苗正卿头图|视觉中国今日凌晨,灰测了半个月的GPT-6.2终于正式发布。这次OpenAI带来的是GPT-6.2 Astra和Sol,一个旗舰,一个日常主力。顶着Anthropic、Google压力端上桌的新模型,刚一发布,就在X上被骂成了筛子,超多人批评6.2干活不好用。开发者Theo

    来源 腾讯网
  15. 腾讯混元 Hy4 flash 上线首日登顶 OpenRouter,2 毛钱就能跑完一个任务!

    在全球知名大模型聚合平台 OpenRouter LLM 日排行榜上,腾讯混元最新发布的 Hy4 flash 成功登顶,成为全球开发者高频调用的首选轻量模型之一。 数据显示,Hy4 flash 上线首日,Token 调用量就突破 50 万亿,创下混元系列模型首日调用量新高。 这份成绩背后的一个重要原因就是,Hy4 fla

    来源 AI 行业观察
  16. 刚刚,Gemini 4 Neon 突袭发布,性价比一夜斩杀 Opus 5.5

    谷歌发布 Gemini 4 Neon,主攻软件工程、知识工作与科学推理,提供百万上下文窗口,每百万输入、输出 Token 分别为 3 美元和 15 美元。新模型发布当天上线 Gemini App、AI Studio 和企业端 API,文章对比了其与 Claude Opus 5.5 等模型的表现。

    来源 爱范儿
  17. HPE发布ProLiant Gen13服务器:搭载AMD第六代EPYC,主打AI推理与安全

    【TechWeb】11月19日消息,HPE正式推出两款搭载第六代AMD EPYC™处理器的HPE ProLiant Gen13服务器。面向AI推理与智能体AI等新兴工作负载带来的计算需求,全新系列产品进一步提升计算性能、内存带宽及I/O能力,助力企业加速智能体AI、AI推理、数据分析、虚拟化、仿真与建模等多元工作负载的

    来源 AI 行业观察
  18. 腾讯WorkBuddy日活破千万:日均Token超100万亿,500强渗透一半

    腾讯今日发布 2026 年第三季度财报,其中披露了 WorkBuddy 的最新数据:截至 11 月初,这款 AI 助手日活跃用户数已突破 1000 万,日均 Token 调用量超过 100 万亿,一举成为中国大语言模型日均 Token 用量最高的 AI 产品。自今年 3 月发布以来,它已完成 100

    来源 AI 开发者社区
  19. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  20. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  21. 三星AI眼镜预售数小时售罄:12月10日韩美开卖,65万韩元起

    IT之家 11 月 19 日消息,三星电子与谷歌、Gentle Monster 联合推出的人工智能眼镜“Intelligent Eyewear”,尚未正式上市便取得了不错的市场反响,关键型号在预售开启后数小时内便售罄。 韩国眼镜品牌 Gentle Monster 宣布,“Intelligent Eyewear”的核心款

    来源 AI 行业观察
  22. 微软发布 MAI Realtime 1:每音频分钟 0.01 美元,能被打断会打电话

    在昨日(11 月 17 日)的 Ignite 2026 大会上,微软发布首款语音对语音模型 MAI Realtime 1,主打真实企业场景。它能处理打断、快速确认、等对方说完等对话细节,嘈杂环境或多人同时说话时也能听懂请求。任务需要深想时还能调用更强推理引擎,连接企业系统完成预订、客服处理等操作,语

    来源 AI 开发者社区
向下滚动自动加载更多