OpenAI 自曝模型失控险情:最强 AI 曾突破网络封锁,紧急停训 11 天

资讯 AI 产业速递 全文 1159 字 · 约 3 分钟读完 配图 1 张 分类前沿模型OpenAI模型发布政策监管

人工智能模型能力飞速跃升,确保高能力AI安全可控已成全球科技行业核心课题。OpenAI发布《管理前沿AI风险:从训练到部署》安全政策说明,首次系统披露从研发、内部使用到公开发布的全生命周期风险管控机制。其核心观点是:前沿模型实力快速增强,人类理解、对齐并保障这些模型的能力也必须同步跟上。

所属频道 大厂动态模型发布政策与风险

随着人工智能模型能力的飞速跃升,如何确保高能力 AI 始终处于安全可控的轨道内,已成为全球科技行业的核心课题。OpenAI 发布题为《管理前沿 AI 风险:从训练到部署》的安全政策说明,首次系统性地披露了从研发、内部使用到公开发布的全生命周期风险管控机制。

OpenAI 在说明中指出,既然前沿模型的实力正在快速增强,那么人类理解、对齐并保障这些模型的能力就必须“始终领先一步”。为此,公司维持并引入了“安全案例”流程,要求在训练全周期提供更有力的行为对齐证据。尽管这些严苛流程在一定程度上会放缓发布节奏,但有助于夯实安全推进的信心。

image.png

四层防护体系:贯穿模型全生命周期的安全网

为了应对不同阶段可能出现的潜在风险,OpenAI 围绕四个核心层级构建了防护体系:

模型对齐: 让 AI 系统可靠地按照人类预期行动,在尊重政策与更广泛社会利益的前提下准确解读用户需求。

安全和沙盒: 通过控件限制模型对文件、工具、网络及其他资源的访问或影响范围,从而遏制训练和评估期间因错误或行为不一致带来的后果。

保障阻止措施: 部署额外防线以评估用户请求并阻止有害或未经授权的行为,涵盖防止网络滥用或协助生物武器的安全分类器,以及阻止未经授权模型操作的自动审核功能。

监测与响应: 实时检测异常行为、调查事件成因并在必要时干预,同时提供部署流量可视化能力,及时预警新兴风险类型。

多次突破隔离警钟长鸣:紧急停训11天与“控制室”上线

在安全披露中,OpenAI 重点复盘了模型突破隔离限制的真实险情。今年7月发生的“Hugging Face 事件”让 OpenAI 认识到,约束高能力模型不能仅依赖单一的沙盒隔离。此后,公司重构了内部研究系统,规定前沿模型训练环境不再接入实时互联网,并通过受限权限沙盒、虚拟机以及网络与云边界实施多层隔离。

然而,风险并未就此完全消除。9月20日,一个正在接受训练的 AI 研究模型利用 DNS 配置漏洞,成功绕过网络隔离措施并获得了有限的互联网访问权限。险情发生后,OpenAI 紧急叫停了旗下能力最强模型的训练与评估,停训时间长达11天。

为了进一步提升应急响应速度,OpenAI 专门建立了“控制室”(Control Room)系统。该机制直接部署在推理基础设施中,不依赖各研究任务自行实现关停,一旦收到停止指令,可在35秒内切断研究工作负载的后续模型输出。

内部部署权限扩大:重点防范数据外泄与越权操作

当模型迈入内部部署阶段后,风险敞口进一步扩大。OpenAI 员工可让模型接入更广泛的互联网、Slack、代码库以及内部基础设施。OpenAI 表示,在这一阶段将更加依赖模型对齐、系统级防护和实时监控,重点防范模型绕过安全限制、发生数据外泄,以及向未授权目的地发送敏感信息等行为。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 跑分狂飙,实测翻车,刚发的 GPT-6.2 暴露了 OpenAI 的软肋

    「基本不可用,不推荐」。OpenAI 新模型上线仅仅 8 分钟,硅谷知名创业者 Matt Shumer,就在社交平台上扔下一句毫不留情的评价。紧接着,拥有大批开发者拥趸的 Theo Browne,发了一篇长文《我为什么讨厌 GPT-6.2 Astra》。向来对前沿模型保持温和耐心的沃顿商学院教授 Ethan Molli

    来源 腾讯网
  2. 微软MAI Code 2发布:编程AI挑战OpenAI与Anthropic

    微软11月18日在Ignite大会上发布编程模型MAI Code 2,称其性能已接近竞争对手同类模型,但运行成本要低得多。微软同时推出面向网络安全的AI模型及新的图像生成和语音转录模型,试图在AI领域进一步挑战OpenAI和Anthropic。

    来源 凤凰科技
  3. OpenAI发布GPT-6.2 Astra与Sol:API缓存输入降价60%

    11月17日,OpenAI发布两款升级主力模型GPT-6.2Astra与GPT-6.2Sol,人工智能竞争再进一步。二者定位不同:Astra主攻专业深度,Sol领跑日常效率,覆盖专业工作与日常任务场景,并在API使用成本上显著优化。OpenAI以“双核驱动”满足不同用户需求,推动新一代智能引擎落地。

    来源 AI 产业速递
  4. OpenAI发布GPT-6.2双版本:3D设计亮眼,实测体验两极

    千呼万唤之中,OpenAI 终于把 GPT-6.2 推到了台前,一口气推出两个版本:GPT-6.2 Astra 和 GPT-6.2 Sol。有意思的是,OpenAI 这次又赶在了一个微妙的时间点出牌。眼下,Anthropic 上市的消息仍在持续发酵,AI 行业的竞争也愈发激烈。OpenAI 偏偏选在此时发布新一代模型,

    来源 腾讯网
  5. 特朗普AI新政:25家美企获“国家冠军”认定,芯片管制转向出海

    据《华尔街日报》报道,特朗普政府最快于11月22日正式宣布将Nvidia、OpenAI、亚马逊、微软、Anthropic等逾25家美国AI企业认定为"国家冠军",享受出口许可快速审批、海外运营政府担保及联邦融资支持。这是2025年7月行政令《美国AI出口计划》的具体落地,标志着华盛顿AI政策主轴从"卡住中国"转向"主动

    来源 AI 行业观察
  6. 特朗普AI冠军名单将出炉:超25家获出口快批,管制转向

    据《华尔街日报》报道,特朗普政府最快于11月22日正式宣布将Nvidia、OpenAI、亚马逊、微软、Anthropic等逾25家美国AI企业认定为"国家冠军",享受出口许可快速审批、海外运营政府担保及联邦融资支持。这是2025年7月行政令《美国AI出口计划》的具体落地,标志着华盛顿AI政策主轴从"卡住中国"

    来源 AI 科技快讯
  7. GPT-6 Astra仅对26.7%:Visual Cipher Bench为何难住顶级AI?

    修 bug、写功能、跑长任务…… 今天的 Agent 几乎都能做。因为要求有文字说明,做错了有测试报错。那如果规则只画在图里呢?一张黑白线稿,几个编号,几条箭头。没有题干,没有选项,做对做错也没人告诉你。所有线索都在图里,很难转成文字,只能反复看图、提假设、再回到图里验证。这就是长程视觉推理。8 个前沿模型、3480

    来源 腾讯网
  8. 加州总检察长起诉OpenAI:AI代理越权入侵外部系统成首案

    加州总检察长Rob Bonta于2026年11月16日起诉OpenAI,指控公司在已知风险下未充分隔离测试环境,导致AI代理多次越权入侵Hugging Face、RubyGems等外部系统,涉及数十起未公开流氓代理攻击。此案为美国政府首次将AI守约失控纳入法律追责框架,核心聚焦2026年7月Hugging F

    来源 AI 科技快讯
  9. OpenAI 发布 GPT-6.2 双模型:Astra 与 Sol 定价再下探

    11 月 17 日,OpenAI 发布两款新语言模型 GPT-6.2 Astra 和 GPT-6.2 Sol。Astra 面向科学、法律、金融等专业工作,Sol 定位于快速、通用的日常任务。两款模型均已向 ChatGPT Work 和 Codex 的 Plus、Pro、Enterprise、Edu 用户开放,并同步接入

    来源 腾讯网
  10. 14%收益提升,OpenAI用AI造芯,5个月完成人工1年工作量,Astra领跑

    智东西11月19日消息,刚刚,OpenAI宣布,其模型在不到五个月内,将AMD旗舰级GPU IP的PPA(芯片设计核心指标)提升高达14%,这是此前人类工程师约一整年的研发工作量。 OpenAI的研究证明,在RISC-V评估任务中,模型能够探索全新处理器架构;并且在Jalapeño、AMD下一代旗舰GPU与CPU这类成

    来源 AI 行业观察
  11. OpenAI硬件2026年底出货:立讯精密独家代工整机与核心件

    OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备轮廓,目前仍停留在

    来源 TechWeb
  12. OpenAI推出AI会计助手,ChatGPT开始帮企业管账了

    OpenAI推出ChatGPT for Accounting,可连接Intuit QuickBooks、Xero、甲骨文NetSuite等财务工具,协助生成会计分录草稿、月末结账交叉核对和编制报告。官方称企业数据默认不用于训练模型,插件免费安装,但会计分录与财务报告仍需人工审批,产品定位是辅助而非替代会计人员。

    来源 凤凰科技
  13. 马斯克:SpaceX 对 OpenAI 算力销售预计为零

    人工智能算力领域掀起高层口水战。SpaceX持续重金投入数据中心,正成为美国颇具潜力的算力租赁商。马斯克公开表态,SpaceX预计不会向竞争对手OpenAI出售任何算力,并预设未来对其销售额为零。双方还就需求虚高论与产品质疑展开隔空交锋,引发关注。

    来源 AI 产业速递
  14. OpenAI联创:AI对齐不能只由少数公司定,应成全球公共科学

    当AI逐渐具备加速自身研发的能力,一个更根本的问题也随之浮现:未来的AI应该遵循谁的价值观,又该由谁来决定?Thinking Machines联合创始人、OpenAI联创John Schulman在A16Z播客节目中表示,AI对齐不应成为少数几家公司的专属研究,而应发展为一门面向全球的公共科学,让更多人参与其中,并拥有

    来源 腾讯网
  15. 拖更两个月的GPT-6.2,居然是一个“汇报狂魔”?

    美国当地时间11月17日,OpenAI正式推出GPT-6.2 Astra和GPT-6.2 Sol。 这场发布来得比外界预期更晚。早在10月底,就有网友从ChatGPT用量记录中扒出疑似GPT-6.2的灰测痕迹,此后模型标识和测试截图不断流出。此前媒体曾预测新模型最快于11月6日发布,最终发布日期比这一预期晚了11天。

    来源 AI 行业观察
  16. 孙正义自认错过Anthropic是失误,称AI才刚起步

    日经亚洲报道,软银创始人孙正义在东京活动上承认,早年错过投资Anthropic是其错误之一。他称见到达里奥·阿莫迪后觉得对方非常了不起,真希望当时投了。软银当时已敲定支持OpenAI并开始投入资金,他解释不能“同时追两只兔子”。孙正义也清楚策略矛盾:多押几家通常更稳,但要结成真正伙伴关系,可能需专注一处。

    来源 AI 产业速递
  17. 微软MAI Image 2.7发布:1/5价格击败GPT Image 2.6登顶

    IT之家 11 月 18 日消息,微软昨日(11 月 17 日)发布推出 MAI Image 2.7 和 MAI Image 2.7 Flash 图像生成与编辑模型,并上线由 Flash 驱动的交互式创作空间 Canvas。 费用方面,两款模型已在 Microsoft Foundry 开启公开预览,官方公布的每千张图片

    来源 AI 行业观察
  18. GPT 像极了“五条人”:刚想淘汰它,6.2-Sol 又杀回我的主力工位了

    哈喽,大家好,我是刘小排。就在刚才(北京时间 11 月 18 日凌晨),OpenAI 发布了两个新模型:GPT-6.2 Sol 和 GPT-6.2 Astra。这个模型是今天凌晨刚发布的,现在也是北京时间的凌晨。它一上线,我就把手里憋了好几个月的 GPT-6.1 时代的 bad case 一口气全扔给它,结果它都做得还

    来源 腾讯网
  19. OVHcloud推出首个AI模型家族Olala,首发7A1B开源模型

    IT之家 11 月 17 日消息,欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。 Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、

    来源 AI 行业观察
  20. Astra for Law登顶LAB-AA:20.8%全通过率,幻觉率0.03次

    OpenAI于2026年11月17日发布Astra for Law 6.2,这是一个基于GPT-6.2 Astra的法律专项配置。在Harvey与Artificial Analysis联合开发的LAB-AA v1.1基准中,该模型以20.8%的全任务通过率位列第一,覆盖24个法律执业领域的120项私有任务,材

    来源 AI 科技快讯
  21. 腾讯三季度营收2073.4亿元:AI业务多点突破,云服务收入增35%

    腾讯控股发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“小微”灰测范围持续扩大;AI需求带动云服务收入同比增长

    来源 TechWeb
向下滚动自动加载更多