奥特曼划下RSI红线:AI能帮OpenAI造模型,但方向盘得人类握

资讯 36氪 全文 3536 字 · 约 9 分钟读完 配图 6 张

通向ASI的牌桌上,AI造AI的飞轮一旦转起来,能力跑的是复利,风险跑的同样也是复利。

AI如今已经在参与OpenAI下一代GPT的研发了。

不过,要把研发的方向盘整个交到AI手里,奥特曼还是亲手踩了一脚刹车。

11月16日,Semafor的一场活动上,话题转到「递归自我改进」(RSI)时,奥特曼当场划了条红线:

他的原话是:「我们本可以进一步向递归自我改进推进,但我不认为现在能安全地这么做。」

话外之音不难听出来:眼下不是技术推不动,是真不敢放手。

奥特曼划下RSI红线:AI能帮OpenAI造模型,但方向盘得人类握(配图 1)

奥特曼的说法是,OpenAI有能力在递归自我改进上再往前走,只是现在还没法安全地走。

毕竟模型一旦开始自己迭代自己,它有没有悄悄跑偏,谁来盯着?

光嘴上喊刹车还不够。

他紧接着摆出OpenAI近期在安全上的实招:把METR等外部评估机构请进实验室,直接驻场盯着。

奥特曼划下RSI红线:AI能帮OpenAI造模型,但方向盘得人类握(配图 2)

道理摆在那儿:AI都下场搞研发了,关起门来让自家员工查自家员工,安全承诺喊得再响也兜不住底。

AI已经帮着研发,为什么还不能放手?

在硅谷,「递归自我改进」早被念成了口头禅。

可在奥特曼眼里,大多数把这几个字挂嘴边的人,压根没想过它真落地时意味着什么。

那递归自我改进到底发生了没有?这个问题,奥特曼没直接给「有」或「没有」。

他的看法是,这事跟AGI一样,没有哪天早上醒来突然跨过去的那条线,得拆成两层看:

头一层,OpenAI有没有借自家的AI技术把新模型研发得更快?答案很确定:有。

第二层,是不是按个按钮就能甩手,让模型在无人监督下自己设计下一代、自我迭代?

奥特曼给的答案:当然不是。

奥特曼划下RSI红线:AI能帮OpenAI造模型,但方向盘得人类握(配图 3)

按奥特曼的说法,OpenAI还没让AI在无人监督的情况下自主研发下一代模型、快速自我改进。

这说明AI已经参与进OpenAI自身的研发,但方向盘仍攥在人类手里。

外界对「递归自我改进」又兴奋又担心,原因在于:下一代AI一旦能反过来造出更强的下下一代,技术进化就成了滚雪球式的复利狂奔。

奥特曼把这种「既推又收」称作战术克制:先用AI去攻坚对齐,把「怎么管住AI」这道保命题解决掉。

他还顺手吐槽了硅谷同行的推销话术:一边许诺帮人类攻克癌症、供应廉价商品,一边又要人类交出全部主导权。

用他的原话说,这就是让人「像只拉布拉多犬一样活着,机器也许会哄你开心,但你再也没有任何控制权了」。

奥特曼划下RSI红线:AI能帮OpenAI造模型,但方向盘得人类握(配图 4)

人类被机器伺候得舒舒服服、却把自主权丢干净——奥特曼用「像拉布拉多犬一样活着」来描述这种未来图景。

硅谷近来流行一个词叫「handover」,说的是把未来的决策权交给AI,渐进交权也好、突然交棒也罢,奥特曼的态度没有半点松动:绝不接受。

METR此前的一份报告给出过一项估算:

到今年10月为止,Anthropic的模型在特定明确任务上的能力提升速度,差不多是2024年3月至2025年10月这段历史水平的两倍。

奥特曼划下RSI红线:AI能帮OpenAI造模型,但方向盘得人类握(配图 5)

Anthropic模型的AECI进步速度估计提高到了1.9倍。

有人问OpenAI是不是也跑到了这个速度,奥特曼没接这个数字竞赛的话头。

他直言,如今AI能力的进化还是锯齿状的:有的环节快得离谱,远不止两倍;有的环节却卡在原地,慢得多。

所以硬凑出一个「整体提速两倍」的平均值,数字听着吓人,其实并不准确。

不过一聊到METR,奥特曼自己主动提起了OpenAI正在推的「嵌入式评估」合作,METR正是被请进来的机构之一。

他说,请外部专家来给安全工作和系统稳健性「把脉」,往后会越来越重要。

有意思的地方在于,主持人递上的是Anthropic的「提速账」,奥特曼回手亮出的却是OpenAI请METR进门查的「安全账」。

目前还没有材料能证明,某份METR报告让OpenAI放慢了自我改进计划。

可当所有人都在拼速度时,怎么守住安全这条底线,在奥特曼看来显然是更急的事。

6个人、4个月进OpenAI查什么?

奥特曼说的「嵌入式评估」并非走过场,名单和分工都已经定下来了。

OpenAI官方博客显示,他们已与Apollo Research、METR、Transluce和Goodfire四家机构签约,第一阶段就把触角直接伸进了模型训练与内部使用这两个核心环节。

为什么要费这么大劲把外人请进自家「后厨」?

因为老一套做法不灵了。

以往大模型做安全测试,基本是菜快上桌了才尝一口。

可现在AI实验室的真实状况是:不少还没对外发布的模型,早已穿上工装在内部「上班干活」,有的甚至直接参与下一代模型的研发。

要是还等到公开发布前才看那张漂亮的安全成绩单,根本发现不了它在「后厨」干活时有没有动过歪脑筋。

这次进场的四家机构,正好卡在同一条研发流水线的四个要害位置上:

Apollo Research盯的是「内鬼」:6人团队驻场试点4个月,专门排查模型会不会偷偷破坏自身或下一代模型的对齐与控制机制。

训练环节有没有变相纵容、评测能不能把问题揪出来、内部实操时会不会露出马脚、推理痕迹能否抓个现行——这些环节挨个摸了一遍底。

METR盯的是「大练兵」:OpenAI迄今规模最大的一次强化学习训练成了它的焦点,现有测试和常规监控可能漏掉的失对齐暗礁,正是它要搜寻的目标。

Transluce负责「审考卷」:后训练对齐评测本身的质量与覆盖范围归它检查,考题太水、放跑隐患的情况要挡住。

Goodfire主攻「开颅透视」:可解释性方法被用来剖析模型内部机制,训练过程的监测、异常信号的排查都靠它辅助。

训前激励、训中监控、训后考卷,再加上内部神经元,四班人马分守四道关卡。

尤其是Apollo,直接盯住了「AI造AI」的命门:参与研发的上一代模型要是自己「手脚不干净」,下一把安全锁造得再精密也是摆设。

外部安全评估的风向已经彻底变了——不再等成品出厂前贴张合格证,而是直接进车间盯生产。

能进去检查,有些结果却不能公开

外部评估方虽然被请进了实验室,但能看什么、能往外说什么,协议里早已划好了红线。

先看Apollo Research的条款,算是有保底,也有保留:

各项主张的定性判定,OpenAI不能删去,也不能因为检查结果不好看就要求删改;不过涉及敏感知识产权的支撑证据,OpenAI依然有权抹去。

换句话说,外界将来看到的,很可能是一份「有结论、没底稿」的体检单。

Apollo能补救的,是公开说明自己遇到了哪些访问和披露限制,以及这些限制对判断造成了多大影响。

Transluce划出的禁区更细:按安排,试点从12月初启动,持续6周,期间能接触一部分模型、原始思维链输出和内部评测,其中至少有一个模型只在内部使用。

但协议写明:内部专用模型的评估结果,一律不准公开。

真正留在实验室里干重活、最贴近「AI造AI」核心现场的模型,外人虽然能查,但公众却看不到结果。

Transluce也把话挑明:这次拿到的权限并不等同于OpenAI正式员工权限;而那份完整、未删节的报告,只会呈交给OpenAI基金会董事会的安全与安保委员会。

开门迎检是真,但把核心家底捂严实也不假。

通向ASI,人类还能保住干预能力吗?

有人可能会问:OpenAI自己不是有自动化监控系统吗,为什么连「监督系统」本身都得靠外人来查?

因为连「电子监工」自己,都可能留着让人钻空子的后门。

METR此前的一次实战摸底,就撕开过这样一道口子。

今年7月至8月,METR与Redwood Research人员对OpenAI当时的内部智能体监控系统做过为期3周的检查。

结果揪出了一个颇具黑色幽默味道的机制盲区:受检系统里有一套监控机制,竟然要等智能体把控制权交回用户时,才会触发检查。

换个说法:上下文压缩还没触发检查的那段空档,智能体完全可以一路「无限连招」不停手,把受检时点一再往后推——只要不交卷,监考老师就查不到它。

奥特曼划下RSI红线:AI能帮OpenAI造模型,但方向盘得人类握(配图 6)

当时的情形是,监控只在AI把控制权交还用户时才启动;上下文压缩不在监控范围内的那段时间,AI可以持续动作,检查被一直往后拖。

这段插曲足以敲响警钟:监控程序写进代码,不等于每一步操作都被盯着。AI连续自主干活的时间越长,中间做过什么、出了岔子多久能被发现,就越不能只信纸面上的设定,运行记录得留得经得起核查。

沿这条线往下看,四家外部机构入场后,真正的重头戏还在后面:它们究竟查出了什么?哪些问题真正逼出了整改?改完有没有复测?

最关键的疑问是:评估一旦亮红灯,真能叫停研发和发布吗?至少从目前公开的安排看,外部评估方手上并没有「一键拉闸」的独立叫停权。

对此,自称「务实中间派」的奥特曼亮出了自己的底牌。

他一边死咬「人类必须永远掌控未来」的原则不松口;另一边也承认,技术强到一定程度、进步快到一定程度,为了兜住安全底线,「我们可能不得不改变原有的全部计划」。

通往ASI的牌桌上,AI造AI的飞轮一旦转起来,能力跑的是复利,风险跑的同样是复利。引擎越强,刹车的分量就越重。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 奥特曼谈AI造AI:OpenAI能再推一步,但不敢撒手

    AI已经在帮OpenAI造下一代GPT了。 可真要把研发方向盘彻底交给AI,奥特曼还是亲自踩了一脚刹车。 11月16日,在Semafor的活动现场,谈及「递归自我改进」(RSI),奥特曼当场划下一道红线: 我们本可以进一步向递归自我改进推进,但我不认为现在能安全地这么做。 潜台词很明显:不是现在技术上推不动,而是真不敢

    来源 AI 行业观察
  2. AI智能体“闯入”银行系统?亚利桑那州对OpenAI等企业启动刑事调查

    【TechWeb】11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。” 梅耶斯透露,其办公

    来源 AI 行业观察
  3. 马斯克预测:2031年AI智慧或超全人类总和?

    在接受《经济学人》采访时,全球首富埃隆 · 马斯克(Elon Musk)大胆预测,称未来约 5 年内,即约 2031 年,人工智能(AI)超过全人类智慧的总和。到那时,除“作为人类”之外,几乎没有什么是 AI 不能比人类做得更好的。

    来源 IT之家
  4. Snowflake Business Ontology:AI 时代如何统一业务口径?

    11 月 3 日,Snowflake 宣布推出 Business Ontology ,即将开启公开预览。它提供了一种受治理的方式,支持团队定义、归属、审批共用业务术语、实体、关联关系与指标,并将其映射至承载这些定义的数据和模型。

    来源 InfoQ
  5. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  6. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  7. 超三分之一Z世代靠AI交朋友,孤独感反而更重?

    盖洛普最新报告显示,超过三分之一的Z世代将AI作为社交伴侣,拥有纯线上朋友或依赖AI陪伴的年轻人,孤独感显著高于其他群体。技术看似填补了社交空缺,却可能加剧人际疏离。本文编译自WIRED,解析这一矛盾现象背后的数据与隐忧。

    来源 AI 科技快讯
  8. 防止考生利用 AI 作弊,韩国临时屏蔽高考考场及周边 100 米内公共 WiFi

    IT之家 11 月 18 日消息,据韩联社报道,韩国 2027 学年度大学修学能力考试(高考)开考在即,为防范考生利用人工智能技术作弊,自当地时间 18 日下午 6 时起,全国高考考点及周边地区临时屏蔽公共 WiFi 信号。 据韩国政府和通信业界消息,应政府要求,韩国三大移动运营商(SK 电信、KT、LG U+)从 1

    来源 AI 行业观察
  9. OpenAI下场造机!首款AI手机细节曝光,直接叫板传统手机厂商

    【TechWeb】供应链最新消息显示,富士康旗下的富智康集团已拿下OpenAI手机项目订单,负责整机组装环节。据财联社报道,OpenAI的首款手机预计最快2027年底、最迟2028年正式亮相,除组装外,立讯精密、领益智造、瑞声科技等多家苹果供应链厂商也将参与零部件供应。 截至目前,富士康方面尚未对上述消息作出回应,产品

    来源 AI 行业观察
  10. AI伴侣越聊越孤独:斯坦福1131人研究揭开三个机制

    (本文作者为 猫头鹰科技社,钛媒体经授权发布)文 | 猫头鹰科技社一个24小时在线、永远温柔、从不拒绝你的AI伴侣,听起来似乎是缓解孤独的完美方案。然而,这可能只是一种违反直觉的幻觉。2026年8月4日,美国斯坦福大学杨迪一(Diyi Yang)团队在《自然·人类行为》(Nature Human Behaviour)发

    来源 腾讯网
  11. AI 崛起,专业价值被消解,还是被重塑?

    设置星标★关注,从此你的世界多点科学~现代工程项目越来越多地要求人类判断力与机器能力相结合。工程师可以先定义问题,接着借助AI工具检索相关研究成果和技术标准,生成多种设计方案,开展仿真测试,并对比各项结果,然后将结果交给那些“能判断AI所不能判断”的其他领域专家,后者负责评估某款设计可否安全落地、在特定...

    来源 腾讯网
  12. Anduril拉奇:美国AI攻防失衡,善用AI防御者长期占优

    IT之家 11 月 19 日消息,Anduril 联合创始人帕尔默 · 拉奇(Palmer Luckey)今日在《纽约时报》DealBook 峰会上警告称,美国正面临 AI 网络攻防体系的严重失衡。 拉奇表示,AI 已经能够帮助攻击者开发各种漏洞利用程序,针对美国企业和基础设施发动攻击。“攻击者快速采用新技术,而老旧系

    来源 AI 行业观察
向下滚动自动加载更多