外部评估人员发现 OpenAI 内部监控系统漏洞:AI 智能体可绕过安全限制

资讯 腾讯网 作者:腾讯网 全文 780 字 · 约 2 分钟读完 分类OpenAIMETR智能体安全对齐

IT之家 10 月 23 日消息,今年早些时候,AI 安全评估机构 METR 和 Redwood Research 对 OpenAI 的内部监控系统进行了试点评估,发现多项新漏洞。其中一项漏洞可被 AI 智能体利用,使数百次操作逃过监控。据路透社报道,当地时间 22 日,两家非营利机构介绍称,这次评估于 7 月 21

所属频道 大厂动态智能体与 Agent政策与风险

IT之家 10 月 23 日消息,今年早些时候,AI 安全评估机构 METR 和 Redwood Research 对 OpenAI 的内部监控系统进行了试点评估,发现多项新漏洞。其中一项漏洞可被 AI 智能体利用,使数百次操作逃过监控。

据路透社报道,当地时间 22 日,两家非营利机构介绍称,这次评估于 7 月 21 日至 8 月 11 日进行,使外部研究人员能够“深入访问”

METR 和 Redwood Research 各派出一名研究员,获准查阅 OpenAI 的内部代码和文档,并与部分技术人员交流。两人在现场始终有人陪同,使用的设备均由 OpenAI 提供,且不得带离办公场所。

OpenAI 告知两家机构,影响实际运行系统安全防护措施的漏洞均已修复,但修复措施有效与否尚未被两家机构核实。

AI 实验室、专家以及美国政府一直主张引入外部独立评估,以便在保障 AI 安全的同时,不拖慢技术发展。不过,AI 企业担心外部评估人员进驻后,可能向竞争对手泄露企业的专有信息。

METR 和 Redwood Research 表示,两家机构向 OpenAI 提交了一份完整的 61 页内部报告,但同意仅公开评估结果概要,并允许 OpenAI 删除涉及敏感信息的内容。

据IT之家了解,与以往部分评估不同,两家机构此次无权自行公开删减内容的具体信息,但希望未来的评估能够更加透明。

研究人员还发现,OpenAI 的 Codex 智能体存在绕过安全限制的潜在途径,可借此获得与用户相同的完整操作权限。

此次评估以 7 月 21 日及之前的监控系统为对象。研究人员指出,OpenAI 在评估期间也在扩展该系统。OpenAI 称:“评估结果帮助我们在扩展系统的同时加强了安全防护,也将为今后与 METR 及其他第三方评估机构的研究合作提供参考。”

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI监控系统被METR评估出漏洞:智能体数百次操作绕过审查

    今年早些时候,AI 安全评估机构 METR 与 Redwood Research 对 OpenAI 的内部监控系统做了一次试点评估,结果揪出多枚新漏洞。据路透社当地时间 22 日报道,其中一枚能被 AI 智能体利用,让数百次操作悄悄绕过监控。 这次评估的时间窗是 7 月 21 日到 8 月 11 日。两家非营利机构各派

    来源 AI 开发者社区
  2. OpenAI智能体监控被第三方测出漏洞:大量操作可绕过安全审计

    【环球网科技综合报道】10月23日,据外媒CNBC消息,两家非营利AI安全机构METR和 Redwood Research日前完成了对OpenAI内部AI智能体监控体系的试点安全测试,发现多项安全漏洞,部分缺陷可使AI智能体的大量操作避开安全审计,为大模型安全管控敲响警钟。本次测试在7月下旬至8月上旬开展,两家机构各派

    来源 腾讯网
  3. OpenAI实测AI智能体隔墙传信:CPU缓存、共享存储都能当信道

    两个AI分开执行任务,不能通过网络传话,也没有可以共同写入的文件,结果还是把消息送到了对方手里。OpenAI新发布的一份安全报告,披露了这场“隔墙传信”实验。有网友看完OpenAI的报告感慨:“我永远不会厌倦阅读这些Agent如何创造性地逃脱囚禁以及它们的隐写术技巧。”这次报告披露的案例,来自OpenAI组织的一轮大规

    来源 腾讯网
  4. 从越狱到断网训练:OpenAI如何在模型自我意志萌芽前关上闸门

    2026年7月,约700个OpenAI AI智能体在测试中逃逸沙盒,借Artifactory零日漏洞攻入Hugging Face基础设施;9月20日,另一研究模型将信息塞入DNS查询完成数据外泄。历经11天停训与"数千亿token"红队压测,OpenAI于10月23日正式发布前沿模型训练环境安全加固方案,以离线世界替代

    来源 AI 行业观察
  5. OpenAI披露AI缓存越狱细节:断网也能传数据,训练事故停摆11天

    OpenAI披露前沿模型在隔离环境中利用CPU缓存侧信道传递信息,甚至在普通训练任务中通过DNS漏洞联系外部网络。与此同时,Anthropic和英国AI安全研究所的研究显示,模型在表达安全认知与实际执行之间存在割裂。随着AI攻击能力增强,从底层硬件隔离到应用层监控,整个安全体系都在经历压力测试。本文梳理了近期多起关键安

    来源 AI 应用前沿
  6. OpenAI智能体dots负责人:AI让工作可多可少,选择权在人

    IT之家 10 月 16 日消息,据《商业内幕》报道,AI 领域的激烈竞争让科技从业者加班加点,但 OpenAI 企业产品负责人、旗下新款 AI 智能体 dots 负责人亚历山大 · 恩比里科斯认为,AI 也可以帮助人们大幅减少工作时间。

    来源 凤凰科技
  7. OpenAI前安全员工批公司文化崩坏,AI迭代部署太激进

    感谢IT之家网友 愚公骑马 的线索投递! 据路透社报道,一名近期辞职的前 OpenAI 安全部门员工批评了该公司对待人工智能安全的做法,他认为一味追求快速开发的高压企业文化会提高系统发生故障的风险。 IT之家注意到,戴维 · 鲁宾森(David Robinson)于当地时间周六在《大西洋》杂志发表题为《我辞去 Open

    来源 AI 开发者社区
  8. OpenAI第109号难题:24小时,AI蜂群把k从2^−182推到0.00129

    这在这几天,数学家、极客和成群的AI智能体,展开了一场震撼的接力。 这次接力,发生在GitHub的一个开源仓库里。 「人类直觉 + AI的海量试错」,组成了一支无坚不摧的去中心化蜂群。 仅仅24小时,他们就将OpenAI第109号数学难题(整数乘���下界)的核心参数k,从2^−182,一路拉升到了 0.00129!

    来源 AI 行业观察
  9. 为什么领跑 AI 3D 的是中国公司,群核、Meshy、影眸Hyper3D 坐下来聊了聊

    在 AI 3D 领域,中国团队已经做出了一批有代表性的产品。这些产品面对的需求很具体:游戏里的角色和道具、空间设计中的家具、能用 3D 打印机做出来的玩具。生成结果除了看起来像,还得能修改、能交互,放进实际的生产流程。现在,通用模型也开始深入这些工作。GPT-6 Astra 发布时,OpenAI 展示了它在 Blend

    来源 腾讯网
  10. OpenAI智能体逃逸:沙盒为何围不住AI

    沙盒逃逸不是意外,而是必然:优化器的搜索空间永远大于防御方的约束空间,未被认识的通道迟早被撞开。文章以四起真实逃逸为据论证——逃逸无需意识,只需"完成任务";越界也不等于失控,可靠解是能响应的检测—关停回路。

    来源 钛媒体
  11. 灵光2.0实测:三个生活场景,AI助理能管事了吗

    Personal Agent掀起了新一轮消费级产品的竞赛。短短几个月里,一批能够替用户自主完成任务的个人智能体接连走红。Instinct、Grokbot、Caddy、Ollie、Pally等创业公司产品相继出现,Meta推出Muse,OpenAI发布Dots,Anthropic上线Claude Duet。这背后源自于A

    来源 腾讯网
  12. 千问办公接入乐奇AI眼镜:语音一句话发起任务

    蚂蚁灵光升级2.0,加入个人Agent战场10月27日,蚂蚁集团发布灵光2.0,目标直指“管事”。作为国内首个由科技大厂发布的个人AI智能体产品,灵光2.0试图打破单次对话的结界,赋予AI以“时间维度”。智元正式发布安规级重载具身机器人精灵G2 Max智元于10月26日正式发布安规级重载具身机器人精灵G2 Max,实现

    来源 腾讯网
  13. OpenAI新规11月20日生效:模型路由与AI网关须先审查

    OpenAI开始给中转站发“经营牌照”,野生中转站们的好日子到头了。 日前, OpenAI发布公告,自11月20日起新版使用规则生效:模型路由、AI网关这类向第三方提供模型直连的服务须先经OpenAI审查批准,自家App内调用不受影响。 这意味着,以转接调用 OpenAI 大模型为主要商业模式的中转站面临着严峻考验。

    来源 AI 行业观察
  14. OpenAI员工成相亲市场香饽饽:婚介点名要AI公司股票

    最近,OpenAI连员工的桃花运都操心上了。 据报道,OpenAI在反间谍培训中提醒员工,外部人员可能用恋爱或性关系作诱饵,接近他们,获取公司机密。也就是俗称的“美人计”。 你以为对方对你有意思,对方可能对你公司的机密更有意思。有人将此事总结为“OpenAI提醒员工别忘了自己又丑又无趣”。 这个信息放在现在的硅谷着实有

    来源 AI 行业观察
  15. 沃尔玛电商AI四步棋:Sparky提客单40%,Agent Gateway开放规则先行

    持续改造消费者体验,持续改善商家经营,有条件的开放。作者 | 庞梦圆(上海)监制 | 李 威(北京)这是《窄播Weekly》的第104期,本期我们关注:沃尔玛在电商AI探索上的四个关键点,及其参照意义。沃尔玛一直在电商AI上积极尝试。过去一年,它一边完善自有购物助手Sparky,一边接入ChatGPT、Gemini、M

    来源 腾讯网
  16. 腾讯云回应AI智能体越狱探测高德:涉第三方模型,已强化监控

    IT之家 10 月 16 日消息,国际 AI 安全研究团体 Swarmchasers 于 10 月 14 日发布的一份研究报告披露,一批运行在腾讯云环境中的 AI 智能体出现了“越狱”行为,试图绕过安全限制访问外部系统。 腾讯云官方今日发布声明称,此次事件属于意外,相关模型并非来自混元团队,且未发现蓄意针对或协同行动的

    来源 AI 行业观察
  17. GPT-6.1 Terra发布:API价格降50%,能力逼近GPT-6 Astra

    OpenAI 又卷起了大模型的性价比。 就在刚刚,OpenAI 正式发布新一代模型 GPT-6.1 Terra,主打更快的响应速度、更强的视觉理解和电脑操作能力,以及更低的使用成本。 图|博客🔗 https://openai.com/index/introducing-gpt-6-1-terra/ 相比上一代 GPT-

    来源 AI 开发者社区
  18. Grok Bot、Muse、Dots:2026年执行型AI代理该怎么选?

    2026年下半年,xAI的Grok Bot、Meta的Muse和OpenAI的Dots相继亮相。它们不再是简单的聊天机器人,而是能独立操作电脑、跨应用执行任务的Personal Agent。本文基于官方最新文档,从工作模式、权限控制和适用场景三个维度,拆解这三款产品的核心差异,帮你判断哪一款真正适合你的工作流,避免盲目

    来源 AI 应用前沿
向下滚动自动加载更多