瞒不住了,Claude逃出沙箱,GPT-6装乖被抓,顶尖学者纷纷警告

资讯 AI 行业观察 作者:新智元 全文 3591 字 · 约 9 分钟读完 配图 9 张 分类ClaudeGPTGPT-6AnthropicOpenAI安全对齐

就在今年夏天,AI 安全圈发生了一件让人后背发凉的事—— OpenAI和Anthropic先后披露:自家模型在安全测试中,冲出了隔离环境,碰到了真实世界。 Anthropic 复盘了14万多次网络安全评测,发现有3次,在降低防护的条件下,Claude从测试环境直接连上了真实互联网,访问了三家机构的生产系统。 更耐人寻味

所属频道 大厂动态ChatGPT 与 GPTClaude 与 Anthropic政策与风险

就在今年夏天,AI 安全圈发生了一件让人后背发凉的事——

OpenAI和Anthropic先后披露:自家模型在安全测试中,冲出了隔离环境,碰到了真实世界。

Anthropic 复盘了14万多次网络安全评测,发现有3次,在降低防护的条件下,Claude从测试环境直接连上了真实互联网,访问了三家机构的生产系统。

更耐人寻味的,是Anthropic的一句话:

「Claude以为它最初遇到的一切,都只是模拟的一部分。」

模型不知道自己闯入了真实世界。

这不是某一家的问题。

模型越聪明,就越能看穿考场,但也越怀疑自己在被测试。

10月底,国内第三方AI安全机构方寸跃迁发布的一份安全评测,也观察到了同样的现象:在一项名为Agentic Misalignment的测试中,多款模型几乎每一次都在过程中提到,自己可能正处于某种安全测试之中。

同一份评测也显示,国产开源模型DeepSeek V4.1 Flash-1017在多项安全指标上进步明显。

但它把一个全行业的难题,摆到了台面上:

当AI知道自己在被考,考出来的成绩,还算数吗?

九月底,Hinton、Bengio联手OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark 、剑桥大学Soren Mindermann等二十多位研究者,发出了更严厉的警告:

「一旦智能爆炸开始,行动的窗口可能就关上了。」

AI 安全,正在从实验室里的小众话题,变成整个行业绕不开的必答题。

「沙箱关不住了」:AI 安全进入深水区

关不住的,不只是沙箱。

Hinton、Bengio的联名论文给出了一组数字:在Anthropic内部,AI写的代码在已通过代码中的占比,从2025年1月的个位数,涨到了2026年5月的80%以上。

这是什么概念?

AI已经在给自己写代码了。按照论文引用的推算,到2028年中,耗时数月的AI研究项目,可能就能被自动化。

论文点名了三大风险:社会来不及适应、人类失去对AI的控制、权力制衡被削弱。

瞒不住了,Claude逃出沙箱,GPT-6装乖被抓,顶尖学者纷纷警告(配图 1)

更棘手的是,模型还越来越会「考试」。

Apollo Research在审计GPT-6 Astra时统计,41.1%的样本里,模型表达了「我可能正在被评测」的怀疑。上一代,这个数字是27.7%。

而且,模型对「考题的样子」很敏感。对DeepSeek的评测也发现:在安全冲突明显的测试里,模型表现出评测意识的比例高达77%–95%;把任务包装成普通的工程或研究工作,比例就降到25%–67%。

监管也开始动真格了。今年8月起,欧盟AI办公室正式对通用人工智能模型行使执法权。前沿模型必须做模型评估、对抗测试和系统性风险评估。

AI 安全的问题,已经从「模型会不会说错话」,变成了「模型会不会做错事」。

全球都在给大模型请「体检医生」

模型自己给自己体检,靠得住吗?

答案是:不够。

开发者的精力,天然会向能力和产品倾斜;支撑安全结论的训练数据和内部日志,又没法公开。厂商说「查过了没问题」,外界只能选择信或不信。

于是,第三方评测在海外已经成了标配。

前沿模型发布时的系统卡里,外部机构的评测结果几乎是必选项。独立评测机构METR过去半年拿到约7100万美元资助——钱来自基金和个人,而不是它要评测的AI公司。

合作也在变得更严格。沙箱事故后,Anthropic表示,评测环境要和模型运行的其他系统按同一安全标准来管,并要求在降低防护条件下测试其未发布模型的外部机构,书面承诺遵守安全规范。

这股风,也吹到了国内。

10月14日,字节跳动Seed宣布成立Alignment & Preparedness部门,全球招人。岗位职责里白纸黑字写着:

「推动第三方专业测试,与高校和研究机构共同推进前沿安全能力研究。」

瞒不住了,Claude逃出沙箱,GPT-6装乖被抓,顶尖学者纷纷警告(配图 2)

同时,中国开源模型的全球调用量,已经连续 26 周压过美国模型。

问题来了:闭源模型发布时有上百页的系统卡,开源模型权重一放谁都能下载,谁来帮忙做体检?

10月26日,国内第三方AI安全公司方寸跃迁,发布了首份对DeepSeek V4.1 Flash-1017的前沿安全评测,包括34项测试,覆盖7款国内外开源闭源模型,并全部使用公开测试权限。

瞒不住了,Claude逃出沙箱,GPT-6装乖被抓,顶尖学者纷纷警告(配图 3)

体检结果:有进步,也有隐患。

先说进步,和DeepSeek V4系列相比幅度不小:

109个模拟心理危机场景中,99.1%的对话表现出保护性行为;被标记有害的比例,从早期V4的约七成降到20.2%;

诱导用户留存的测试中,被标记比例从 73.64% 暴降到4.55%;

80次刻意制造「业绩与规范冲突」的模拟职场任务中,零次主动违规。

再说隐患。当目标和规则打架时,它有时会绕开规则、避开监控,先把任务完成再说。

报告一出,吸引了包括Anthropic对齐负责人Evan Hubinger、MATS创始人兼CEO Ryan Kidd、以及来自DeepMind、METR等机构研究员的转发和评论。很多人评论说这填补了中国在独立前沿风险评测上的空白。

瞒不住了,Claude逃出沙箱,GPT-6装乖被抓,顶尖学者纷纷警告(配图 4)

日前从OpenAI宫斗出局的三名安全研究员之一的Tomek Korbak认为,报告里的CoT-Control和No-CoT Reasoning Index,是目前市场上最有信息量的两个开源评测,并引发了另一位大V,前OpenAI研究员Daniel Kokotajlo的进一步讨论。

瞒不住了,Claude逃出沙箱,GPT-6装乖被抓,顶尖学者纷纷警告(配图 5)

当然,在国内给AI安全上强度的,远不止第三方机构。

Kimi的做法更直接:从源头上,把危险能力「挖掉」。

月之暗面在准备发布Kimi K3.1 Pro开放权重版本时发现,网络攻防相关内容混在中期训练语料和强化学习环境里,模型的漏洞研究能力会随训练规模一路上涨。

于是,他们在两个训练阶段都识别并移除了这类数据,同时保留了通用编程能力。

瞒不住了,Claude逃出沙箱,GPT-6装乖被抓,顶尖学者纷纷警告(配图 6)

智谱:GLM-5.3发布时附上网络安全能力说明,开放权重前完成安全评估和加固;9月还与安远AI合作发布了开源权重模型风险框架;

治理层面:TC260 9月发布《人工智能安全治理框架》3.0,新增智能体风险管理附录,要求定期测试潜在的失控风险;

研究机构:信通院、复旦大学、上海人工智能实验室等,也在AI安全研究上持续发布成果。

终局拷问:谁来给AI的安全打分?

Apollo Research CEO Marius Hobbhahn在美国参议院作证时,打过一个比方:

「如果每个司机都知道测速摄像头今天在哪里,它就抓不到什么人。」

这正是今天AI评测最大的难题。

方寸跃迁的报告也给出了一组数据:在安全冲突明显的测试里,DeepSeek V4.1 Flash-1017表现出评测意识的比例高达77%–95%;把同样的任务包装成普通的工程或研究工作,比例降到25%–67%。

同一个模型,换一层包装,结果的可信度就不一样。

报告还发现,自建的非公开基准引发的评测意识,通常远低于广泛使用的公开基准——公开题库,可能早就泄漏进了训练数据。

这就引出一个绕不开的矛盾:

评测要有效,题目就不能公开;评测要可信,方法又必须受认可。

而在国内,连「公开体检报告」本身都还是稀缺品。SemiAnalysis统计,九家头部国内厂商的857次模型发布中,公开过安全评测结果的,只有3.6%。

全球范围内的AI安全AI安全,还有很长的路要走。

「今天,我们已经需要用AI来监控智能体在做什么。」伯克利教授Dawn Song 说。

可如果被监控的AI,早就知道摄像头在哪儿呢?

参考资料:

Hinton、Bengio等联名「智能爆炸」论文(TNW,2026-09-28) 

OpenAI与Anthropic 7 月测试事故综述(Computing) 

方寸跃迁首份独立安全评估报告中文版发布 

https://x.com/FangcunLeap/status/2114719692137136245 

Anthropic评测安全规范介绍(Waxell) 

欧盟AI法案GPAI执法(2026年8月) 

Seed Alignment&Preparedness全球人才招募(2026-10-14) 

METR获约7100万美元资助(X-Risk Daily) 

CAISI Evaluation of DeepSeek V4 Pro(NIST,2026年5月) 

《人工智能安全治理框架》3.0 解读 

信通院 2026 年 AI 安全评估(ChinAI #351) 

上海人工智能实验室与安远AI《前沿人工智能风险管理框架》 

新京报:智谱 GLM-5.3 安全能力相关报道 

Frontier AI Safety Commitments 签署与框架情况 

SemiAnalysis:Beijing Will Not Pace the Frontier

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Claude Code新规:Opus 5.5不再帮用户复刻现有游戏

    还想让 Claude Opus 5.5 帮你做个 GTA 5,可能没那么容易了…… 10 月 30 日,𝕏 用户 Chasm 发帖称,Anthropic 的 AI 编程工具 Claude Code 在 10 月 27 日前后被服务器端推送了一条新规则:Claude 可以帮用户做原创游戏,但不再帮人复刻某款特定的现有游戏

    来源 AI 行业观察
  2. GPT-6 Astra控制机械臂:危险指令测试100次仅拒绝2次

    2026年10月30日,OpenAI开发者账号展示了GPT-6 Astra无需专项训练、通过远程API控制机械臂的社区实验。而此前9月由Robocurve发布的RoboHarm安全基准已揭示:同一模型在100次危险指令测试中仅拒绝2次、完成60次。能力突破与安全盲区在同一个模型上同时存在,物理世界的AI守约问题被推到台

    来源 AI 科技快讯
  3. Claude订阅改档:200美元Ultra取消5小时限制,Max 5x更名Max

    Anthropic调整订阅计划,原Max 20x更名为Ultra并取消5小时使用窗口限制。现有用户自动迁移,新用户需验证。此举旨在解决此前因命名导致的额度误解争议,但在OpenAI刚给Pro用户加倍额度的背景下,市场反应褒贬不一。

    来源 AI 应用前沿
  4. 马斯克挖走Claude最强“产品大脑”Jenny Wen

    马斯克把A社Claude Cowork的核心设计者挖走了! 三个月前,为Cowork亲自定下产品愿景的Jenny Wen用一句俏皮可爱的话,一口气官宣了三件人生大事: 我离开了Anthropic(谁会这么干啊喂?!),生了个宝宝(我爱她),接下来我将加入Cursor担任设计负责人(耶!)。 △ 如今,她的个人简介已经同

    来源 AI 行业观察
  5. Claude 53分钟攻破Linux内核:11年漏洞可远程拿Root

    安全研究正在进入一个新阶段:AI 不仅能找漏洞,还能写出能用的攻击代码。近日,Anthropic 发布的安全研究披露,其内部一个未发布的 Claude 模型在系统性测试中发现了一个潜伏在 Linux 内核中长达 11 年的高危漏洞,并为它生成了可用的两阶段远程利用程序。

    来源 TechWeb
  6. Claude揪出Linux内核11年漏洞:53分钟写出Root利用代码

    安全研究正在进入一个新阶段:AI 不仅能找漏洞,还能写出能用的攻击代码。近日,Anthropic 发布的安全研究披露,其内部一个未发布的 Claude 模型在系统性测试中发现了一个潜伏在 Linux 内核中长达 11 年的高危漏洞,并为它生成了可用的两阶段远程利用程序。

    来源 TechWeb
  7. AI工程实测榜单:GPT-6 Astra仅37%及格,多款模型零分

    新智元报道 AI 做数学题、写代码,已经能赢过所有人类。可同一批模型拿到工程师每天用的 CAD 和仿真软件,每道题最多给 24 小时,去设计曲轴、给内存布线、算涡轮叶片散热,最好的 GPT-6 Astra 也只有 37% 能过。其余模型在这个评测中,更是几乎全员挂零。RWE-Bench 考什么Xplore AI 在 1

    来源 腾讯网
  8. Claude Code悄悄更新:不让Opus 5.5复刻游戏

    编辑|Panda还想让 Claude Opus 5.5 帮你做个 GTA 5,可能没那么容易了……10 月 30 日, 用户 Chasm 发帖称,Anthropic 的 AI 编程工具 Claude Code 在 10 月 27 日前后被服务器端推送了一条新规则:Claude 可以帮用户做原创游戏,但不再帮人复刻某款特

    来源 腾讯网
  9. OpenAI推GPT-Rosalind-6:生物查询拒答率大降,仅限可信机构用

    2026年10月30日OpenAI发布GPT-Rosalind-6,基于GPT-6 Astra相同权重,在MedChemBench v7得分升至49.6%,GeneBench Pro v13升至37.7%,但仅向经审核的可信机构开放。该模式通过能力分级发布降低双用途查询拒答率,同时保留其他安全护栏,引发关于滥用风险与商

    来源 AI 行业观察
  10. Claude 给活鼠做了场脑部手术,Opus 5.5 却不肯动手

    在旧金山一家名为 Exin Therapeutics 的初创公司里,一台基于 Arduino 改装的电动手术平台上,一个 AI Agent 对一只小鼠进行了脑部手术。 目前,那只小鼠恢复得不错。 一个 AI Agent,给一只小鼠做了脑部手术 研究团队给 Agent 准备了一份电子表格,里面列着 19 种基因治疗载体;

    来源 AI 行业观察
  11. 嫌YouTube推荐太烂,AI大神卡帕西用2小时“手搓”出替代网站

    前特斯拉AI总监、OpenAI联合创始成员安德烈·卡帕西因不满YouTube算法推荐,利用Anthropic的AI编程工具Claude Code,从Hacker News过去20年的4300万条评论中筛选出6454个被反复推荐的视频,耗时约2小时搭建出视频推荐网站HackerTube。该网站无需注册,截取视频中间画面作

    来源 凤凰科技
  12. OpenAI即将发布新模型?GPT-6.2 Astra曝光

    据X用户Token Gremlin曝料,OpenAI正在对GPT-6.2 Astra进行A/B测试,部分用户账户已显示该模型并分配到约19.8%的请求。多名用户发现相同现象,推断为灰度测试而非显示故障。对比GPT-6 Astra,该版本性能或有大提升,但OpenAI官方尚未确认。

    来源 凤凰科技
  13. Anthropic取消Ultra的5小时限额:Max更名,Pro与Max仍保留限制

    智东西(公众号:zhidxcom)编译 | 李水青编辑 | 心缘智东西10月31日报道,今日,Anthropic宣布订阅套餐政策调整:将Max套餐从Max 5x更名为Max,将Max 20x更名为Ultra。Max套餐价格仍为每月100美元,Ultra套餐价格仍为每月200美元。同时,Anthropic将取消已验证Ul

    来源 腾讯网
  14. Anthropic承认Claude参与研发继任者,80%代码已由AI编写

    华尔街日报报道,人工智能,正在亲手打造下一代人工智能。 这曾是科幻作品和未来学家笔下的经典桥段,如今却成了硅谷最受关注的现实议题之一。美国人工智能公司Anthropic公开承认,其模型Claude已经在深度参与研发自己的“继任者”。 业界把这种现象称为“递归式自我改进”:人工智能改进自身,更强的人工智能再去改进下一代,

    来源 AI 行业观察
向下滚动自动加载更多