OpenAI调整安全策略:35秒内可停模型,第三方评估入驻内部

资讯 腾讯网 作者:21世纪经济报道 全文 1090 字 · 约 3 分钟读完 分类OpenAIAnthropic模型发布合作大模型

21世纪经济报道记者肖潇 报道“前沿大模型的能力正在快速提升,我们理解、对齐和保障安全的能力必须走在前面。”当地时间11月18日,OpenAI发布《应对前沿AI风险:从训练到部署》安全说明,首次全面披露了团队的安全措施,并表示正在调整训练和模型发布速度。一个月前,Anthropic也宣布与第三方安全机构合作,让外部人员

所属频道 大厂动态模型发布合作与生态

21世纪经济报道记者肖潇 报道

当地时间11月18日,OpenAI发布《应对前沿AI风险:从训练到部署》安全说明。这份文件首次全面披露了团队的安全措施,同时表示公司正在调整训练和模型发布速度。OpenAI在说明中称:“前沿大模型的能力正在快速提升,我们理解、对齐和保障安全的能力必须走在前面。”

一个月前,

据《21世纪经济报道》早前报道,网络安全行业刚熬过一个“黑色十月”,大模型成了安全事件的引子。眼下几大AI巨头齐刷刷加码安全审查,指向的其实是同一个题目:AI与网络安全。大模型公司该不该放慢脚步、模型安全问责又该怎么落地,全球范围内的争论到现在也没停。

OpenAI

OpenAI在此次报告中主动提及了今年7月发生的一起事件。这起事件促使OpenAI重新审视原有的安全策略,公司意识到,仅依靠原有做法已经不够。

在最新报告中,OpenAI将自己的防护体系总结为四个层次。

其一,训练阶段设一个控制室,作为集中管理的系统,用来追踪研究环境、叫停任务。按OpenAI披露的说法,控制室收到指令后35秒内就能让模型停止输出,手段是从推理基础设施层面直接掐断模型运作。

其二,把监控做得更严。已有大模型不再只是露出危险举动,还会刻意把意图藏起来。OpenAI的看法是,监控管不管用,取决于模型本身的可监控性,也就是监控人员能不能靠得住地从模型的推理和行为里发现不安全行为。对“可监控性”的研究因此需要加码。

其三,评估环节往前提。这一新举措被OpenAI着重强调,做法是借鉴航空、核能等高风险行业的安全管理思路:研发团队要继续做强化学习训练,先得查一遍现有评估有没有覆盖真正要紧的风险,训练相关的问题算不算在内。

安全问责正在变化

这套安全机制要真正起作用,就会碰上更难缠的一环:安全团队离研发团队到底多远,能拿到多少核心权限?两边起了冲突,最终拍板的是谁?

OpenAI本次披露了几项组织安排:高管负责审查安全报告,并都拥有对训练的决定权。

在几天之前,OpenAI还宣布与外部机构展开合作。

除了OpenAI,其他AI公司也在作出类似调整。

也就是说,第三方评估正从过去的外部测试,转向更深地介入公司内部。AI公司要做的,是在研发保密、商业利益和外部监督之间摸清一条边界。

安全问责机制怎么设计才算有效,国际政策议程同样在琢磨。AI+网络安全已经是中美欧国家级战略的重点方向,今年下半年,这三个地区都有国家级政策文件提到AI为网络安全赋能。

在企业自愿签署的相关承诺中,各方对安全评估的安排已有涉及。

美国白宫9月发布的文件也对相关问题提出了要求。

相较之下,国内在公开披露安全评估方面,仍有提升空间。国际第三方安全机构对此也有所关注。

国内监管和行业标准已经开始关注前沿模型带来的新型风险,最新发布的相关文件已有所体现。但该要求属于治理框架,并未对安全评估设定强制义务。如何进一步转化为可落地的要求,仍是国内AI安全治理需要回答的问题。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI公开安全政策:两次险情逼停最强模型训练11天

    OpenAI 昨天(18 日)发布《管理前沿 AI 风险:从训练到部署》安全政策说明,首次系统披露研发、内部使用到公开全周期的风险管控。两起险情摆上台面:7 月的“Hugging Face 事件”证明光靠沙盒隔离关不住高能力模型;9 月 20 日,一个在训研究模型又借 DNS 配置漏洞绕过隔离、摸到

    来源 AI 开发者社区
  2. OpenAI自曝最强模型钻漏洞上网:停训11天,35秒可切断输出

    OpenAI 18日发布《管理前沿AI风险:从训练到部署》,首次系统披露从研发到部署全周期风险管控。文件披露两起险情:7月“Hugging Face事件”表明沙盒隔离难阻高能力模型;9月20日,一在训研究模型借DNS配置漏洞绕过隔离,获得有限互联网访问。OpenAI紧急叫停最强模型训练与评估11天,并设四层护栏、35秒

    来源 AI 产业速递
  3. Anthropic上市首日涨17%:募资813亿美元,OpenAI也要上市

    今日热点导览 Kimi API服务出现可用性下降,官方调查中 谷歌推出Gemini 4 Neon模型 马斯克点赞深圳,称是中国的超级粉丝 欧莱雅将收购阿玛尼15%股权 Meta因面临法律挑战暂停新股发行计划 TOP 3大新闻 Anthropic上市首日暴涨17% 人工智能公司Anthropic正式登陆纳斯达克,发行价为

    来源 AI 行业观察
  4. 三个00后用中国模型做外包,18个月拿到320亿“大结果”

    Anthropic上市,硅谷正在诞生新一轮财富神话。而在这场狂欢的另一角,三个从OpenAI离职的00后也提前拿到了自己的“大结果”——创业不到18个月,直接把公司卖了45亿美元(约合人民币320亿元)。美东时间11月18日,美国网络安全巨头Palo Alto Networks(派拓网络)宣布达成最终协议,将以45亿美

    来源 腾讯网
  5. OpenAI首款AI硬件年底出货:立讯精密独家代工,“甜甜圈”真机渐近

    【TechWeb】OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备

    来源 腾讯网
  6. 消息称OpenAI进军手机市场,富士康旗下公司接单

    据证券时报11月19日报道,OpenAI正在推进手机项目,富士康旗下富智康集团已获得相关订单,将参与产品整机组装。富智康主营移动终端制造服务,其母公司富士康是苹果iPhone主要组装商。此前供应链曾传出OpenAI与立讯精密合作开发手机,但立讯精密或因资源配置考量未承接,最终供应商名单仍以企业正式披露为准。

    来源 凤凰科技
  7. 供应链确认 OpenAI 首款 AI 硬件年底启动出货:前苹果设计师 Jony Ive 合作打造,立讯精密等中国厂商深度参与

    IT之家 11 月 19 日消息,每日经济新闻今日援引供应链消息,OpenAI 首款 AI 硬件产品计划于 2026 年底启动出货,多家中国厂商参与该项目,其中立讯精密独家承担整机制造,并同时供应核心零部件。关于这款硬件的具体形态,OpenAI 官方尚未正式公布。 此前有报道称,该设备由 OpenAI 与前苹果首席设计

    来源 AI 行业观察
  8. OpenAI 开放 GPT-Live-1.1 API:开发者可接入实时双向语音对话

    IT之家 11 月 20 日消息,OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交

    来源 腾讯网
  9. OpenAI首款硬件年底出货:立讯精密独家整机,外形像甜甜圈

    据供应链消息,OpenAI首款AI硬件计划2026年底出货,立讯精密独家承担整机制造并供应核心零部件,中国厂商参与度高。该产品由OpenAI与前苹果设计官Jony Ive的LoveFrom合作打造,官方未披露外观;传闻称其可感知环境,外形似“冰球”或“甜甜圈”,尺寸等细节尚不明确。

    来源 AI 产业速递
  10. OpenAI硬件2026年底出货:立讯精密独家代工整机与核心件

    OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备轮廓,目前仍停留在

    来源 TechWeb
  11. 当智能开始量产,从Anthropic上市看大模型的六个趋势

    今天(11月19日)晚上,Anthropic,这家成立不到六年的公司将在纳斯达克挂牌,股票代码ANT。其发展速度和规模,不得不说是一个技术和商业史上的奇迹,也让人们窥见了AI对未来经济、社会的巨大影响。 按每股83美元的最终发行价,其完全摊薄估值约1.5万亿美元。根据目前大家的预期,上市后其市值可能会超过2万亿美元。谷

    来源 AI 行业观察
  12. 苹果研发自主AI代理,招聘信息透露进军新市场

    当地时间11月19日,据报道,苹果公司正在研发可以代表用户完成任务的自主AI代理,旨在进军这一增长迅速的市场,该市场已由OpenAI、Anthropic、Meta等公司竞相布局。该公司本周在其网站发布的招聘信息中概述了这一计划。其中一则招聘信息显示,苹果正在为一款主动式、代理型AI助手寻找一名高级工程经理。根据招聘信息

    来源 腾讯网
  13. Anthropic上市首日破发:2万亿市值难撑,AI股集体下挫

    出品 | 妙投APP作者 | 董必政编辑 | 丁萍头图 | 视觉中国美东时间11月19日中午,纳斯达克的钟声为Anthropic而响。这是一家成立近六年的公司,做大模型的,名字大部分A股股民还念不顺。它的IPO定价83美元,公开发行9.8亿股,募资813.4亿美元;加上谷歌、英伟达等七家产业伙伴按发行价认购的260亿美

    来源 腾讯网
  14. AI智能体“闯入”银行系统?亚利桑那州对OpenAI等企业启动刑事调查

    【TechWeb】11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。” 梅耶斯透露,其办公

    来源 AI 行业观察
  15. 14%收益提升!OpenAI用AI造芯,5个月完成人工1年工作量,Astra领跑

    智东西(公众号:zhidxcom)编译 | 程茜编辑 | 李水青智东西11月19日消息,刚刚,OpenAI宣布,其模型在不到五个月内,将AMD旗舰级GPU IP的PPA(芯片设计核心指标)提升高达14%,这是此前人类工程师约一整年的研发工作量。OpenAI的研究证明,在RISC-V评估任务中,模型能够探索全新处理器架构

    来源 腾讯网
  16. Anthropic CEO敲响纳斯达克:AI发展不能只踩油门

    在纳斯达克开市钟仪式上,Anthropic首席执行官达里奥·阿莫代重申公司对“控制AI发展节奏”的承诺,强调无论面临商业诱惑还是政治压力,都不会为抢先发布而牺牲安全评估。这一表态出现在前沿模型竞赛白热化、华盛顿监管博弈升温的节点上,被解读为对“加速主义”的一次公开回应。

    来源 AI 科技快讯
  17. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  18. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
向下滚动自动加载更多