AI时代哪些知识不能交给AI
AI究竟该被允许比人类聪明多少？ 在11月3日发布的Raj Shamani访谈里，OpenAI CEO奥特曼主动抛出了这个问题。 这听起来像科幻片里的情节，其实距离普通人并不遥远。 奥特曼在访谈中追问：AI究竟该被允许比人类聪明多少？ 评估机构METR有个指标：用人类专家所需的工时，衡量AI有五成把握独立完成的软件类任
AI究竟该被允许比人类聪明多少？
在11月3日发布的Raj Shamani访谈里，OpenAI CEO奥特曼主动抛出了这个问题。
这听起来像科幻片里的情节，其实距离普通人并不遥远。
奥特曼在访谈中追问：AI究竟该被允许比人类聪明多少？
评估机构METR有个指标：用人类专家所需的工时，衡量AI有五成把握独立完成的软件类任务有多长。
2025年初，这个数字约50分钟；到2026年4月，METR估计的数字已在16小时以上。
更关键的是，是增长速度的变化。
2019年到2025年初，这一指标大约每7个月翻一番；而2026年5月的报告发现，只看2024年以来发布的前沿模型，这个数字大约每105天就翻一番。
人类这边，20世纪的智商测试成绩，平均每十年涨约3分。这个现象以研究者詹姆斯·弗林的名字命名，叫「弗林效应」。
可这条曲线已经出现逆转迹象：
挪威研究者分析了约73万份征兵智商测试，发现1975年以后出生的人，分数开始往下走，降幅相当于每一代人少了约7分。
就连弗林本人，也在英国青少年身上看到过类似下滑。
一边，AI能完成的任务长度，按上述统计约每105天翻一番；另一边，人类IQ测试分数的历史增幅，通常是每十年约3分，部分国家还出现了下降。
两把尺子，不能直接算出「智力鸿沟」。但一个问题已经摆在眼前：
AI能接手的工作越来越多，人类看懂它、核查它、管住它的能力，也得跟上。
这和我们有什么关系？
平时你拿AI写代码、查资料、改方案，它比你聪明半步，那是得心应手的「外挂」。
可一旦它比你聪明太多，性质就变了：你甚至连给它挑错的能力都没有。
你仍然可以质疑它，却越来越需要可靠的工具和其他人，帮你验证它。
就连造AI的人，也被类似的问题所困扰。
对奥特曼来说，打造超级智能的代价，已经体现在自己的生活里。
访谈中，主持人问他：哪个版本的自己已经「死了」？
奥特曼坦言：刚做OpenAI时，他还是那个生活轻松、满身爱好的人。如今日程已被精确排满，他已经很久没做过一件随性的事。
他说，想造出超级智能（ASI），就不可能不过上疯狂的生活。
奥特曼谈打造超级智能的代价：生活被精确安排，随性而为已成奢侈。
谈到OpenAI正在打造的技术，奥特曼强调，它将成为一股深刻影响社会的力量，责任重大，赌注极高。
进入递归自我改进（RSI）的过程中，他提醒，有两类风险需要同时防范：
一类是人类失去对AI的控制；另一类是权力过度集中在某个人、某家公司或某个国家手中。
前者关乎人类能不能管住AI，后者关乎这份力量最终掌握在谁手里。
AI越会研发AI
人还跟得上吗
GPT-4训完之后，OpenAI曾押上公司命运狂囤算力。
当时的逻辑很简单：大力出奇迹。
可如今谈到RSI，奥特曼的追问，背后多了一个最难提速的变量：人脑消化AI产出的速度。
这个速度跟不上，人与AI的智力鸿沟就只会越拉越大。
所谓RSI，就是让AI去研发下一代AI。造出更强的AI后，再让它接管更多研发工作，像滚雪球一样自己推着自己跑。
OpenAI在9月21日的文章里，曾划过一道安全线：
完全自主的RSI今天还没发生，在能确保安全之前，也不该去硬闯；要不要往前走、怎么走，得看人类是否能保住控制权。
OpenAI在9月21日强调，推进完全自主的RSI，必须以安全和保留人类控制权为前提。
但要守住这道安全线，还得缩小这个「速度差」：AI提出的新方案，人类的验证要跟得上。
假设一个系统能24小时不眠不休地抛出成百上千个算法改进。人类研究员还没弄清上一轮改动的影响，下一轮实验的倒计时已经响了。
这时，如果只看跑分涨了多少，就给方案放行，人工审核就可能沦为走过场。
人虽然还在流程里，控制权却未必还在手里。
当AI提出方案的速度快过人类理解和验证的速度，风险就可能在这段时间差中累积。
如果把AI能力比作控制面板上的一颗旋钮，能拧到哪一格，不能只看算力有多猛，还得看人类能不能看懂、验证，并在必要时叫停。
奥特曼在直播中追问的治理、监测和对齐，要落到实处，就绕不过三个问题：
谁来评估？谁来复核？谁有权改方向？
在9月21日的同一篇文章中，OpenAI还提出，对齐研究及其实际应用，需要走在能力增长前面。
到了10月，奥特曼在Matthew Berman的访谈里进一步表示，RSI的推进速度需要某种「限速」。
奥特曼在Matthew Berman访谈中表示，需要对RSI的推进速度设置某种限制。
这些讨论没有给出具体的智力上限，也没有给出完整的限速方案。
但往后衡量AI进步，不能只算「能力涨了多少」，还得算「人类来不来得及插手」这第二本安全账。
AI盯AI
警报响了谁接手
这本安全账要怎么算？
10月29日，OpenAI把前沿模型的分层监测机制摆上了台面。
整套系统看着像一道层层加码的机场安检，而且是用AI盯AI的「套娃模式」：
第一层是「安检门」，用轻量探针实时扫描模型内部的激活信号，原则是宁可错杀一千，绝不放过一个；
第二层是「审讯员」，派一个模型专门翻看智能体最近的对话、思维链和工具调用，揪出撒谎、越权和钻评测空子的猫腻；
第三层是「专案组」，交给调查智能体去回溯上下文、还原案发现场，必要时直接拉进隔离沙箱里跑代码取证。
毕竟，单看一句话和查清一次越权，完全是两码事。
很多危险动作拆开看都人畜无害，只有放回任务目标和前后行为链条里，才能看出它是不是在「暗度陈仓」。
到了训练、评测和内部Codex这类高危核心区，还有第四层「底线哨兵」。
它跳出对话，核对底层的网络日志和系统记录，最后拍板要不要拉响警报叫醒人类。
OpenAI内部监测流程：分层筛查模型行为，分别开展安全与对齐调查，再由人工响应或复核。
问题在于，模型可以7×24小时连轴转，但人类的安全值班却分「工作时间」和「下班时间」。
OpenAI自己也承认，误报太多，做不到所有任务都全天候叫人。
为了补这个窟窿，OpenAI让部分关键警报不等人、直接熔断暂停任务，同时还在推进一道30分钟兜底机制：
只要警报响起30分钟内没人排除，相关活动直接强制停机。
谁控制AI
谁又能参与决定
退一步讲，哪怕模型不会失控，人类依然可能掉进另一个深坑：权力过度集中。
奥特曼在访谈里提到两种近乎「卡通式」的坏结局：
一种是失控：人类有意或无意地，把未来交接给远比自己强大的系统，再也收不回来；
另一种是集中：某一个人、一家公司，借着AI获得了碾压其他所有人的力量。
他甚至表态：如果只有OpenAI一家掌握这种技术，同样不是好事，所以应该让多家AI机构各走各路、同台竞争。
他的话落到普通人和开发者头上，是一个选择权的问题。
比如，一家模型厂商太霸道了，能不能换掉？一条规则伤到自己了，有没有地方讲理？AI接管的工作越多，这种选择权就越重要。
但巨头竞争，并不会自动带来安全。真正的试金石是开放透明：外部的人能不能随时掀开AI的「引擎盖」查验。
而且，查验规则也要写明：能力跨过哪条红线，必须触发人工复核？独立评估方进场时，能看到多深的训练底牌？发现苗头不对时，到底谁有权按下暂停键？
这三个问题的答案，绝不能只由实验室自己关起门来定。
通向ASI
也要留出验证的时间
访谈聊到尾声，奥特曼谈起了自己最想造的东西：
一台能帮人类发现新科学的机器。
近期AI在数学上的突破，让他觉得这个里程碑比预想中来得更快。
他畅想着AI帮人类捅破物理学的窗户纸，找出全新的疗法和清洁能源。
他说，自己最近一次心跳加速，是宣布Navier-Stokes方程相关成果的前夕。
可也正是这个成果，像一把精准的尺子，量出了AI与人类之间最尴尬的时间差。
据OpenAI披露，AI跑出这项结果只花了约88个小时；而人类顶尖数学家接手核对至今，已经熬了快两个月，依然没法给出定论。
没经过验证的突破，在科学上就等于零，甚至可能成为负数：
如果AI一边帮着改进算法、优化实验，一边直接把未经人类消化的成果喂给下一代模型，循环的齿轮就会越转越偏。
这和一种已被证实的现象很像：模型崩溃。
2024年，牛津、剑桥等机构的研究者在《自然》上发文指出：不加筛选地用AI生成的内容训练下一代模型，会给模型留下不可逆的缺陷，原始数据里那些少见的「长尾」会最先消失。
实验里，输入是一段讲中世纪建筑的文字。训练到第9代，模型吐出来的已经是一串长耳野兔的名单。
研究者当时指出：用AI数据训练下一代并非不可行，但筛选这一步必须当真。
这正是AI科研滑向失控RSI的快车道，也是今天讨论超级人工智能（ASI）时最该盯紧的命门。
未来的AI，可能会承担越来越多探索未知的工作。
但无论它走得多远，人类都必须看得到证据，有能力验证结果，也有权决定方向。
参考资料：
https://x.com/ChrisGPT/status/2117699613134368839
https://www.youtube.com/watch?v=TjPPIf-M6KE
https://www.youtube.com/watch?v=3gXLmy7DK_4&t=2015s
https://www.cnbc.com/2026/09/14/sam-altman-ai-slowdown-anthropic-amodei-musk.html
