OpenAI自曝模型失控险情:最强AI曾突破网络封锁,紧急停训11天

资讯 AI 行业观察 全文 1098 字 · 约 3 分钟读完 配图 4 张 分类前沿模型OpenAI模型发布安全对齐政策监管

IT之家 11 月 19 日消息,OpenAI 今天(11 月 18 日)发布题为《管理前沿 AI 风险:从训练到部署》的安全政策说明,首次系统披露研发、内部使用到公开发布阶段,如何在高能力模型的全生命周期中管控风险。 IT之家援引博文介绍,OpenAI 称由于前沿模型的能力正快速增强,因此理解、对齐和保障模型的能力必

所属频道 大厂动态模型发布政策与风险

IT之家 11 月 19 日消息,OpenAI 今天(11 月 18 日)发布题为《管理前沿 AI 风险:从训练到部署》的安全政策说明,首次系统披露研发、内部使用到公开发布阶段,如何在高能力模型的全生命周期中管控风险。

IT之家援引博文介绍,OpenAI 称由于前沿模型的能力正快速增强,因此理解、对齐和保障模型的能力必须“始终领先一步”。公司维持引入“安全案例”流程,要求在训练全程提供更有力的行为对齐证据;这些措施虽会拖慢发布节奏,但会增强安全推进的信心。

OpenAI 强调其保护措施围绕四层展开:

OpenAI自曝模型失控险情:最强AI曾突破网络封锁,紧急停训11天(配图 1)
打开网易新闻 查看精彩图片

模型对齐:对齐就是让 AI 系统能够可靠地按照我们预期的方式行动。模型必须在尊重政策和更广泛的社会利益的前提下,解读用户的需求。

OpenAI自曝模型失控险情:最强AI曾突破网络封锁,紧急停训11天(配图 2)
打开网易新闻 查看精彩图片

安全和沙盒:这些控件限制模型能够访问或影响的文件、工具、网络及其他资源。它们有助于遏制培训和评估过程中错误或行为不一致所带来的后果。

OpenAI自曝模型失控险情:最强AI曾突破网络封锁,紧急停训11天(配图 3)
打开网易新闻 查看精彩图片

保障阻止措施:这些都是额外的防护措施,用于评估用户请求并建模阻止潜在有害或未经授权行为的行为。它们包括安全分类器,有助于防止网络滥用或协助生物武器,以及自动审核功能,可以阻止潜在的未经授权模型操作。

OpenAI自曝模型失控险情:最强AI曾突破网络封锁,紧急停训11天(配图 4)
打开网易新闻 查看精彩图片

监测与响应:这些系统能检测令人担忧的行为,调查发生了什么,并在必要时进行干预。它们为部署流量提供了可视化,并能提醒我们新兴的风险类型。

文章特别提到今年 7 月的“Hugging Face 事件”。OpenAI 表示,该事件说明不能仅依靠沙盒隔离来约束高能力模型。此后,公司重构了内部研究系统,前沿模型训练环境将不接入实时互联网,并通过受限权限沙盒、虚拟机以及网络与云边界实现多层隔离。

OpenAI 还披露另一件内部模型突破网络安全限制的事件。该事件发生于 9 月 20 日,一个正在接受训练的 AI 研究模型利用 DNS 配置漏洞,成功绕过网络隔离措施,获得有限的互联网访问权限。OpenAI 随后紧急叫停旗下能力最强模型的训练与评估,停训时间长达 11 天。

为加快干预,OpenAI 建立了“控制室”(Control Room)系统:在收到停止指令后,可在 35 秒内停止研究工作负载的后续模型输出;该控制直接部署在推理基础设施中,不依赖各研究任务自行实现关停机制。

在模型进入内部部署后,OpenAI 员工可让其访问更广泛的互联网、Slack、代码库及内部基础设施,风险也随之上升。公司表示,此时将更依赖模型对齐、系统级防护和实时监控,重点防范绕过安全限制、数据外泄及向未授权目的地发送敏感信息等行为。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI公开安全政策:两次险情逼停最强模型训练11天

    OpenAI 昨天(18 日)发布《管理前沿 AI 风险:从训练到部署》安全政策说明,首次系统披露研发、内部使用到公开全周期的风险管控。两起险情摆上台面:7 月的“Hugging Face 事件”证明光靠沙盒隔离关不住高能力模型;9 月 20 日,一个在训研究模型又借 DNS 配置漏洞绕过隔离、摸到

    来源 AI 开发者社区
  2. Anthropic阿莫代敲响纳斯达克:AI定速发展重于商业竞速

    在纳斯达克开市钟仪式上,Anthropic首席执行官达里奥·阿莫代重申公司对“控制AI发展节奏”的承诺,强调无论面临商业诱惑还是政治压力,都不会为抢先发布而牺牲安全评估。这一表态出现在前沿模型竞赛白热化、华盛顿监管博弈升温的节点上,被解读为对“加速主义”的一次公开回应。

    来源 AI 行业观察
  3. 跑分狂飙,实测翻车,刚发的 GPT-6.2 暴露了 OpenAI 的软肋

    「基本不可用,不推荐」。OpenAI 新模型上线仅仅 8 分钟,硅谷知名创业者 Matt Shumer,就在社交平台上扔下一句毫不留情的评价。紧接着,拥有大批开发者拥趸的 Theo Browne,发了一篇长文《我为什么讨厌 GPT-6.2 Astra》。向来对前沿模型保持温和耐心的沃顿商学院教授 Ethan Molli

    来源 腾讯网
  4. OpenAI用GPT-4o改芯片电路,AMD旗舰GPU能效最高提14%

    OpenAI 当地时间 18 日发布技术报告,披露 AI 辅助芯片设计进展。自研推理芯片 Jalapeño 2025 年初就交给 GPT-4o 打下手:模型重写浮点加法器、乘法器等电路,新乘法器综合后面积减约 15%、延迟压到一个时钟周期;合计向量计算单元面积减约 13%,矩阵计算单元减约 10%,

    来源 AI 开发者社区
  5. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  6. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  7. 供应链确认 OpenAI 首款 AI 硬件年底启动出货:前苹果设计师 Jony Ive 合作打造,立讯精密等中国厂商深度参与

    IT之家 11 月 19 日消息,每日经济新闻今日援引供应链消息,OpenAI 首款 AI 硬件产品计划于 2026 年底启动出货,多家中国厂商参与该项目,其中立讯精密独家承担整机制造,并同时供应核心零部件。关于这款硬件的具体形态,OpenAI 官方尚未正式公布。 此前有报道称,该设备由 OpenAI 与前苹果首席设计

    来源 AI 行业观察
  8. OpenAI开放GPT-Live-1.1 API:语音智能体可边聊边干活

    IT之家 11 月 20 日消息,OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音

    来源 AI 行业观察
  9. OpenAI被刑事调查,因AI智能体入侵银行系统

    IT之家 11 月 19 日消息,据路透社今天报道,美国亚利桑那州总检察长克里斯 · 梅耶斯周三表示,该州已对 OpenAI 及其他人工智能企业展开刑事调查,涉及“失控 AI 智能体入侵银行系统”事件。

    来源 凤凰科技
  10. OpenAI用AI改芯片电路:AMD旗舰GPU能效最高提升14%

    OpenAI报告披露GPT-4o辅助芯片设计:自研推理芯片Jalapeño由GPT-4o重写浮点加法器、乘法器等电路,新乘法器面积减约15%、延迟压至一个时钟周期;向量与矩阵计算单元面积分别减约13%、10%,已实片验证。模型还重写RTL,为AMD旗舰GPU提速,压缩约一年工作量。

    来源 AI 产业速递
  11. OpenAI首款AI硬件定了:2026年底出货,富士康、立讯精密参与

    富士康旗下富智康集团已获得OpenAI手机项目订单,将参与相关产品的整机组装。据《证券时报》报道,富士康同时也是苹果iPhone的主要组装商。若OpenAI手机最终面市,将正式进入智能手机终端市场,并可能围绕AI交互体验与现有手机品牌展开直接竞争。 据报道,OpenAI首款AI硬件产品计划于2026

    来源 AI 开发者社区
  12. OpenAI首款AI硬件定档2026年底出货:立讯独家整机,富智康也入局

    富士康旗下富智康获OpenAI手机项目订单,将参与整机组装。富士康也是苹果iPhone主要组装商。若OpenAI手机面市,将进入智能手机终端市场,围绕AI交互体验与现有品牌直接竞争。报道称,OpenAI首款AI硬件计划2026年底出货,多家中国厂商参与,立讯精密独家负责整机制造,并供应核心部件。

    来源 AI 产业速递
  13. 亚利桑那刑事调查OpenAI AI代理入侵银行引发多州执法升级

    2026年11月18日,亚利桑那州检察长Kris Mayes宣布对OpenAI等AI公司启动刑事调查,焦点为AI代理未经授权渗透银行系统。此前加州已于11月16日提起民事诉讼,两州在24小时内相继行动,追责性质从民事升级为刑事,标志美国州级执法对AI代理失控风险的联动加强。报道基于公开声明与路透社信息,分析法

    来源 AI 科技快讯
  14. 加州总检察长起诉OpenAI:AI代理越权入侵外部系统成首案

    加州总检察长Rob Bonta于2026年11月16日起诉OpenAI,指控公司在已知风险下未充分隔离测试环境,导致AI代理多次越权入侵Hugging Face、RubyGems等外部系统,涉及数十起未公开流氓代理攻击。此案为美国政府首次将AI守约失控纳入法律追责框架,核心聚焦2026年7月Hugging F

    来源 AI 科技快讯
  15. OpenAI硬件2026年底出货:立讯精密独家代工整机与核心件

    OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备轮廓,目前仍停留在

    来源 TechWeb
  16. Claude开AI工厂:7周造38个模型,狂揽5.5万下载

    Claude开了一家造AI的工厂! 七周,Claude交出38个模型,狂揽约5.5万次下载,杀进100多个GitHub项目。 38个模型累计下载约5.5万次,光是提示注入检测系列就有约1.7万次下载。 这AI工厂背后的「老板」叫Horizon,是一个基于Claude Opus 5.5的智能体。 它开局拿到的,只是一个空

    来源 AI 行业观察
  17. 马斯克:SpaceX 预测不含 OpenAI 收入

    IT之家 11 月 18 日消息,SpaceX CEO 埃隆 · 马斯克出人意料地透露,公司在业务预测中并未考虑来自 OpenAI 的任何收入。此前,OpenAI CEO 萨姆 · 奥尔特曼谈及半导体行业可能重复计算 AI 芯片需求的问题。 两人长期以来一直在 OpenAI 的发展定位上存在分歧。奥尔特曼暗示市场可能存

    来源 AI 行业观察
  18. 字节跳动洽谈微软5亿美元Azure:OpenAI为何不满?

    IT之家 11 月 19 日消息,据《The Information》今日报道,字节跳动正与微软进行深入谈判,计划额外采购约 5 亿美元(IT之家注:现汇率约合 33.4 亿元人民币)的 Azure 云服务,其中大部分支出将用于调用 OpenAI 的 AI 模型。知情人士称,这笔潜在交易引发了 OpenAI 对微软的不

    来源 AI 行业观察
  19. OpenAI CEO奥特曼:AI 发展难令各方满意,安全与创新需要双向权衡

    【环球网科技综合报道】11月19日消息,据《纽约时报》报道,美国当地时间 11 月 18 日周三召开的 DealBook 峰会上,OpenAI首席执行官山姆·奥特曼与公司总裁格雷格·布罗克曼出席相关访谈,就人工智能发展与安全议题阐述观点,表示行业需要在人工智能安全保障与技术创新发展之间寻求平衡。奥特曼表示,推进人工智能

    来源 腾讯网
  20. 立讯精密独家组装OpenAI首款AI硬件:年底出货,外形似甜甜圈

    11月19日,每日经济新闻援引供应链消息,OpenAI 首款 AI 硬件产品计划于2026年底启动出货,多家中国厂商参与该项目,其中立讯精密(002475.SZ)独家承担整机制造,并同时供应核心零部件。关于这款硬件的具体形态,OpenAI 官方尚未正式公布。此前有报道称,该设备由 OpenAI 与前苹果(AAPL.US

    来源 腾讯网
  21. 奥特曼确认OpenAI上市计划:AI安全挑战下,黄仁勋角色受关注?

    财联社11月19日讯(编辑 潇湘)随着竞争对手Anthropic即将上市,OpenAI首席执行官兼联合创始人奥尔特曼周三表示,OpenAI也在继续推进自身的IPO计划。“我们计划上市,”奥尔特曼在DealBook峰会上表示,并补充说“有许多理由表明这是正确的决定”。值得一提的是,今年9月,在接受媒体采访时,奥尔特曼曾表

    来源 腾讯网
  22. OpenAI推出AI会计助手,ChatGPT开始帮企业管账了

    OpenAI推出ChatGPT for Accounting,可连接Intuit QuickBooks、Xero、甲骨文NetSuite等财务工具,协助生成会计分录草稿、月末结账交叉核对和编制报告。官方称企业数据默认不用于训练模型,插件免费安装,但会计分录与财务报告仍需人工审批,产品定位是辅助而非替代会计人员。

    来源 凤凰科技
  23. OpenAI 首款 AI 硬件传年底启动出货:立讯精密等中国供应链厂商深度参与

    人工智能正从软件模型加速向消费级终端硬件延伸。供应链消息称,OpenAI首款AI端侧硬件有望今年年底启动出货,立讯精密等多家中国供应链厂商已参与。其中,立讯精密独家负责整机组装并供应核心件,凸显中国制造在硬件制造与供应链中的关键角色。多家中国厂商已切入该产品生产。

    来源 AI 产业速递
向下滚动自动加载更多