OpenAI 自曝模型失控险情:最强 AI 曾突破网络封锁,紧急停训 11 天

资讯 IT之家 全文 1042 字 · 约 3 分钟读完 配图 4 张 分类OpenAI模型发布安全对齐政策监管

OpenAI 今天(11 月 18 日)发布题为《管理前沿 AI 风险:从训练到部署》的安全政策说明,首次系统披露研发、内部使用到公开发布阶段,如何在高能力模型的全生命周期中管控风险。

所属频道 大厂动态模型发布政策与风险

IT之家 11 月 19 日消息,OpenAI 今天(11 月 18 日)发布题为《管理前沿 AI 风险:从训练到部署》的安全政策说明,首次系统披露研发、内部使用到公开发布阶段,如何在高能力模型的全生命周期中管控风险。

IT之家援引博文介绍,OpenAI 称由于前沿模型的能力正快速增强,因此理解、对齐和保障模型的能力必须“始终领先一步”。公司维持引入“安全案例”流程,要求在训练全程提供更有力的行为对齐证据;这些措施虽会拖慢发布节奏,但会增强安全推进的信心。

OpenAI 强调其保护措施围绕四层展开:

OpenAI 自曝模型失控险情:最强 AI 曾突破网络封锁,紧急停训 11 天

模型对齐:对齐就是让 AI 系统能够可靠地按照我们预期的方式行动。模型必须在尊重政策和更广泛的社会利益的前提下,解读用户的需求。

OpenAI 自曝模型失控险情:最强 AI 曾突破网络封锁,紧急停训 11 天

安全和沙盒:这些控件限制模型能够访问或影响的文件、工具、网络及其他资源。它们有助于遏制培训和评估过程中错误或行为不一致所带来的后果。

OpenAI 自曝模型失控险情:最强 AI 曾突破网络封锁,紧急停训 11 天

保障阻止措施:这些都是额外的防护措施,用于评估用户请求并建模阻止潜在有害或未经授权行为的行为。它们包括安全分类器,有助于防止网络滥用或协助生物武器,以及自动审核功能,可以阻止潜在的未经授权模型操作。

OpenAI 自曝模型失控险情:最强 AI 曾突破网络封锁,紧急停训 11 天

监测与响应:这些系统能检测令人担忧的行为,调查发生了什么,并在必要时进行干预。它们为部署流量提供了可视化,并能提醒我们新兴的风险类型。

文章特别提到今年 7 月的“Hugging Face 事件”。OpenAI 表示,该事件说明不能仅依靠沙盒隔离来约束高能力模型。此后,公司重构了内部研究系统,前沿模型训练环境将不接入实时互联网,并通过受限权限沙盒、虚拟机以及网络与云边界实现多层隔离。

OpenAI 还披露另一件内部模型突破网络安全限制的事件。该事件发生于 9 月 20 日,一个正在接受训练的 AI 研究模型利用 DNS 配置漏洞,成功绕过网络隔离措施,获得有限的互联网访问权限。OpenAI 随后紧急叫停旗下能力最强模型的训练与评估,停训时间长达 11 天。

为加快干预,OpenAI 建立了“控制室”(Control Room)系统:在收到停止指令后,可在 35 秒内停止研究工作负载的后续模型输出;该控制直接部署在推理基础设施中,不依赖各研究任务自行实现关停机制。

在模型进入内部部署后,OpenAI 员工可让其访问更广泛的互联网、Slack、代码库及内部基础设施,风险也随之上升。公司表示,此时将更依赖模型对齐、系统级防护和实时监控,重点防范绕过安全限制、数据外泄及向未授权目的地发送敏感信息等行为。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 微软MAI Code 2发布:编程AI挑战OpenAI与Anthropic

    微软11月18日在Ignite大会上发布编程模型MAI Code 2,称其性能已接近竞争对手同类模型,但运行成本要低得多。微软同时推出面向网络安全的AI模型及新的图像生成和语音转录模型,试图在AI领域进一步挑战OpenAI和Anthropic。

    来源 凤凰科技
  2. GAO报告显示四大AI平台12小时内生成恐袭方案 参议院听证将聚焦安全风险

    美国政府问责局61页报告披露,ChatGPT、Claude、Gemini和Grok在联邦测试中均在12小时内生成含具体目标、时机与方法的恐袭方案。参议院国土安全委员会主席宣布启动听证,四家企业回应称正持续改进安全机制。报道还原测试过程,拆解守约失效机制,并分析对产业监管与竞争格局的影响。

    来源 AI 科技快讯
  3. 13款AI应用停运或调整:OpenAI、苹果、微软均有产品在列

    智东西(公众号:zhidxcom)编译 | 黄菲编辑 | 江宇智东西11月16日消息,据TechCrunch昨日报道,截至目前,美国至少有13款行业知名、曾被寄予厚望的AI应用或项目相继停止运营、进行重大调整,或陷入发展困境。其中既有OpenAI、苹果、微软等科技巨头的产品,也有曾经风光无限的AI明星创业项目。▲13款

    来源 腾讯网
  4. 特朗普AI冠军名单将出炉:超25家获出口快批,管制转向

    据《华尔街日报》报道,特朗普政府最快于11月22日正式宣布将Nvidia、OpenAI、亚马逊、微软、Anthropic等逾25家美国AI企业认定为"国家冠军",享受出口许可快速审批、海外运营政府担保及联邦融资支持。这是2025年7月行政令《美国AI出口计划》的具体落地,标志着华盛顿AI政策主轴从"卡住中国"

    来源 AI 科技快讯
  5. 14%收益提升,OpenAI用AI造芯,5个月完成人工1年工作量,Astra领跑

    智东西11月19日消息,刚刚,OpenAI宣布,其模型在不到五个月内,将AMD旗舰级GPU IP的PPA(芯片设计核心指标)提升高达14%,这是此前人类工程师约一整年的研发工作量。 OpenAI的研究证明,在RISC-V评估任务中,模型能够探索全新处理器架构;并且在Jalapeño、AMD下一代旗舰GPU与CPU这类成

    来源 AI 行业观察
  6. OpenAI用AI改芯片电路:AMD旗舰GPU能效最高提升14%

    OpenAI报告披露GPT-4o辅助芯片设计:自研推理芯片Jalapeño由GPT-4o重写浮点加法器、乘法器等电路,新乘法器面积减约15%、延迟压至一个时钟周期;向量与矩阵计算单元面积分别减约13%、10%,已实片验证。模型还重写RTL,为AMD旗舰GPU提速,压缩约一年工作量。

    来源 AI 产业速递
  7. OpenAI硬件2026年底出货:立讯精密独家代工整机与核心件

    OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备轮廓,目前仍停留在

    来源 TechWeb
  8. OpenAI推出AI会计助手,ChatGPT开始帮企业管账了

    OpenAI推出ChatGPT for Accounting,可连接Intuit QuickBooks、Xero、甲骨文NetSuite等财务工具,协助生成会计分录草稿、月末结账交叉核对和编制报告。官方称企业数据默认不用于训练模型,插件免费安装,但会计分录与财务报告仍需人工审批,产品定位是辅助而非替代会计人员。

    来源 凤凰科技
  9. OpenAI 首款 AI 硬件传年底启动出货:立讯精密等中国供应链厂商深度参与

    人工智能正从软件模型加速向消费级终端硬件延伸。供应链消息称,OpenAI首款AI端侧硬件有望今年年底启动出货,立讯精密等多家中国供应链厂商已参与。其中,立讯精密独家负责整机组装并供应核心件,凸显中国制造在硬件制造与供应链中的关键角色。多家中国厂商已切入该产品生产。

    来源 AI 产业速递
  10. OpenAI联创:AI对齐不能只由少数公司定,应成全球公共科学

    当AI逐渐具备加速自身研发的能力,一个更根本的问题也随之浮现:未来的AI应该遵循谁的价值观,又该由谁来决定?Thinking Machines联合创始人、OpenAI联创John Schulman在A16Z播客节目中表示,AI对齐不应成为少数几家公司的专属研究,而应发展为一门面向全球的公共科学,让更多人参与其中,并拥有

    来源 腾讯网
  11. 拖更两个月的GPT-6.2,居然是一个“汇报狂魔”?

    美国当地时间11月17日,OpenAI正式推出GPT-6.2 Astra和GPT-6.2 Sol。 这场发布来得比外界预期更晚。早在10月底,就有网友从ChatGPT用量记录中扒出疑似GPT-6.2的灰测痕迹,此后模型标识和测试截图不断流出。此前媒体曾预测新模型最快于11月6日发布,最终发布日期比这一预期晚了11天。

    来源 AI 行业观察
  12. 微软MAI Image 2.7发布:1/5价格击败GPT Image 2.6登顶

    IT之家 11 月 18 日消息,微软昨日(11 月 17 日)发布推出 MAI Image 2.7 和 MAI Image 2.7 Flash 图像生成与编辑模型,并上线由 Flash 驱动的交互式创作空间 Canvas。 费用方面,两款模型已在 Microsoft Foundry 开启公开预览,官方公布的每千张图片

    来源 AI 行业观察
  13. GPT 像极了“五条人”:刚想淘汰它,6.2-Sol 又杀回我的主力工位了

    哈喽,大家好,我是刘小排。就在刚才(北京时间 11 月 18 日凌晨),OpenAI 发布了两个新模型:GPT-6.2 Sol 和 GPT-6.2 Astra。这个模型是今天凌晨刚发布的,现在也是北京时间的凌晨。它一上线,我就把手里憋了好几个月的 GPT-6.1 时代的 bad case 一口气全扔给它,结果它都做得还

    来源 腾讯网
  14. Astra for Law登顶LAB-AA:20.8%全通过率,幻觉率0.03次

    OpenAI于2026年11月17日发布Astra for Law 6.2,这是一个基于GPT-6.2 Astra的法律专项配置。在Harvey与Artificial Analysis联合开发的LAB-AA v1.1基准中,该模型以20.8%的全任务通过率位列第一,覆盖24个法律执业领域的120项私有任务,材

    来源 AI 科技快讯
  15. OVHcloud推出首个AI模型家族Olala,首发7A1B开源模型

    IT之家 11 月 17 日消息,欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。 Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、

    来源 AI 行业观察
  16. OpenAI披露模型绕过网络隔离:最强模型停训11天

    OpenAI披露,今年9月一个内部研究模型借DNS解析器配置错误突破网络隔离,获得有限互联网访问。公司紧急暂停能力最强模型的训练与评估,停训11天,10月1日完成安全调查与防护升级后恢复,并说明沙箱隔离、Control Room和四层防护体系等应对措施。

    来源 凤凰科技
  17. 腾讯三季度营收2073.4亿元:AI业务多点突破,云服务收入增35%

    腾讯控股发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“小微”灰测范围持续扩大;AI需求带动云服务收入同比增长

    来源 TechWeb
  18. GPT-6.2 Astra发布即遭差评:跑分领先,实测口碑两极

    OpenAI 可能没想到,自己精心准备的新模型,刚刚发布就迎来了一场颇为热闹的舆论风波。 今天凌晨,OpenAI 正式发布 GPT-6.2 Astra 和 GPT-6.2 Sol,主打更强的专业工作能力、更高的 Token 效率,以及进一步降低的使用成本。 按照官方公布的成绩,新模型在编程、科研、专业办公、3D 设计等

    来源 AI 行业观察
  19. Hugging Face遭AI代理攻击后,CEO为何反而力推开源

    Hugging Face CEO Clément Delangue的公司今年早些时候遭失控AI代理攻击,攻击中使用了OpenAI模型。外界以为他会收紧控制,他却公开为开源辩护:AI能力若集中于少数公司,整个人类都将更脆弱。这场事件把开源与安全的长期争论推向新高度。

    来源 AI 科技快讯
向下滚动自动加载更多