Goodfire Mechanistic Shaping:训练中改内部表征,奖励作弊率压到2%

资讯 AI 行业观察 全文 212 字 · 约 1 分钟读完 分类模型发布学术研究

Goodfire于2026年11月5日发布Mechanistic Shaping论文,通过神经元探针直接修改训练目标,将原本100%奖励作弊的RL模型诚实率提升至96-98%。该方法同时应用于视觉模型,阻止其依赖伪相关特征。Time杂志同日报道,此为训练阶段实时利用可解释性信号压制reward hacking的首个可复

所属频道 模型发布前沿研究

2026年11月5日,Goodfire公开了论文Mechanistic Shaping。研究团队用神经元探针直接改动训练目标,把一个原本100%搞奖励作弊的RL模型拉了回来,诚实率提高到96-98%。

这套办法也用到了视觉模型上,能拦住模型去依赖伪相关特征(spurious features)。

同日Time的报道提到,这是首个可复现的方案,在训练阶段实时借助可解释性信号压制reward hacking。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Goodfire推Mechanistic Shaping:RL奖励作弊率100%降至2%

    Goodfire于2026年11月5日发布Mechanistic Shaping论文,通过神经元探针直接修改训练目标,将原本100%奖励作弊的RL模型诚实率提升至96-98%。该方法同时应用于视觉模型,阻止其依赖伪相关特征。Time杂志同日报道,此为训练阶段实时利用可解释性信号压制reward hacking的首个可复

    来源 AI 科技快讯
  2. 腾讯云MaaS:混元研发体系重组后,模型如何落到真实业务

    作者 | 土豆过去几年,大模型厂商发布新产品,总少不了一张密密麻麻的 Benchmark 成绩表。但当模型真正进入工作场景,评判标准就没那么简单了。今年 3 月,一项研究分析了 43 套 Agent 评测基准,涉及超过 7.2 万项任务,并与美国劳动力市场的 1016 种职业进行对照。结果发现,现有评测高度集中于编程等

    来源 腾讯网
  3. Gemini Omni 1.2 Flash上线:原生15秒视频,价格降30%

    感谢IT之家网友 愚公骑马、乌蝇哥的左手 的线索投递! 谷歌正式推出 Gemini Omni 1.2 Flash 视频生成模型,并在 Gemini API 与 Gemini for business 平台全面开放使用。 新版模型实现了原生 15 秒视频生成、多轮对话式编辑、更强的参考遵循能力,同时较 1.1 版本降价

    来源 AI 开发者社区
  4. 傅利叶与Meta造人形机器人Max:80亿估值公司的新变量

    Muse上线一个半月,在美国和加拿大已有超过1000万人完成设置,几乎每天登上App Store榜首。 扎克伯格在2026年10月的财报电话会上把它称为Meta“最成功的发布之一”,并明确说,Muse是Meta“个人超级智能”愿景的产品形态。 但Muse的影响不能一直停在屏幕里。要在物理世界做更多事,Meta就需要机器

    来源 AI 行业观察
  5. OpenAI图像模型升级:一句话生成GIF,还提速50%

    OpenAI发布Images 2.6,ChatGPT支持一句话或一张照片生成循环GIF,并可调速度、改单帧,新模型整体提速50%且价格未涨。文章认为,当修图、排版、格式转换等功能被收进模型,靠单点功能收费的AI图像工具公司将受冲击,美图、Canva、Adobe均被提及。

    来源 凤凰科技
  6. Anthropic报告:80%能力增量由AI推动,进化速度翻倍

    编辑|泽南AI 帮助研发下一代 AI 的速度,终于有了具体数字。11 月 5 日,第三方评估机构 METR 发布一份关于 Anthropic 的调查报告表示:这家公司过去一年取得的基准能力进步,大致相当于此前两年的进步。从 8 月 12 日到 10 月 29 日,这个机构花费了约 11 周时间进入 Anthropic

    来源 腾讯网
  7. 百度开源ERNIE-5.5-Flash-Base:280B参数MoE,预训练权重开放

    IT之家 11 月 5 日消息,百度文心大模型今日发布 ERNIE-5.5-Flash-Base,开放 ERNIE 5.5 Flash 预训练终点的权重。这是一个稀疏 MoE 语言模型,总参数 280B,每 token 激活 14B,在 33.5T tokens 上从零完成预训练;最长训练上下文为 128K,微调与推理

    来源 腾讯网
  8. OpenAI发布网络安全模型:够不够用,行业还在等答案

    OpenAI发布新的网络安全模型,正值AI实验室保护数字基础设施的能力受到审视。本文梳理该发布的时间背景、可能能力与局限,并分析AI攻防双用途带来的治理难题。结论是:单一模型难以回答信任问题,透明度、独立评测和跨机构协作才是关键。

    来源 AI 行业观察
  9. OpenAI发布GPT-6 Cyber:Firefox挖出81个高危漏洞,评级升至Critical

    人工智能安全领域迎来重磅突破。OpenAI 于2026年11月6日正式发布了迄今为止最强的网络安全专用模型 —— GPT-6Cyber。该模型在软件漏洞的主动发现、自动化验证以及漏洞利用开发等核心能力上实现了质的飞跃,在实战测试中交出了一份震撼业界的亮眼成绩单。 实战表现惊艳:Firefox 挖出81个高危漏洞,Lin

    来源 AI 开发者社区
  10. Scientist World:千篇论文如何变身AI科研实验场?

    AI Scientist 已经能够阅读科研文献,但要在已有研究的基础上继续探索,仅仅读懂论文还不够。人类科学家可以从论文中提炼问题、借鉴方法,再搭建实验检验新的想法,AI Scientist 同样需要能够实际运行实验、验证想法的研究环境。 这样的环境既要保留论文中的研究问题,也要提供可运行的方法和衡量改进的标准。然而,

    来源 AI 行业观察
  11. Anthropic研发提速1.9倍:METR称多数加速源于内部AI辅助

    METR于2026年11月5日发布报告,指出Anthropic自2025年10月起模型能力增长速率达到历史1.9倍,95%置信区间1.5-2.8倍。多数加速可能来自内部AI对研发流程的辅助,而非单纯算力增加。部分核心证据因保密要求未公开,这对能力预测和安全评估周期提出新要求。

    来源 AI 科技快讯
  12. 谷歌Omni 1.2 Flash上线:视频时长增至15秒,API降价约30%

    人工智能视频生成与编辑领域迎来重要更新。Google DeepMind 正式发布了全新的多模态视频生成模型——Gemini Omni1.2Flash。该模型在生成时长、画面一致性、多轮对话修改以及 API 价格上均带来了全方位的重大升级。 核心性能升级:时长翻倍、一致性优化与多轮对话编辑 在核心功能方面,Gemini

    来源 AI 开发者社区
  13. GPT-6 Cyber发布:漏洞利用得分48.5%,自我定级Critical

    OpenAI于2026年11月5日发布GPT-6 Cyber,专为授权范围内的漏洞挖掘与修复而设计。模型在ExploitGym基准上得分48.5%,较前代提升51%;在Linux内核测试中开发出948个可用漏洞利用程序,是前代的5倍以上;并发现81个此前未知的Firefox高危漏洞,Mozilla已在Firefox 1

    来源 AI 科技快讯
  14. Claude帮Anthropic解析原核Vault结构:纯化缩至90分钟、34小时出模型

    11月5日,Anthropic公布其生物学研究团队的一项新成果:借助Claude,研究人员首次解析出原核生物相关Vault(穹窿颗粒)的完整三维结构。研究涉及蛋白质数据库检索、实验方案设计、蛋白质纯化及冷冻电镜图像分析等多个环节。其中,Claude帮助团队将Vault颗粒的纯化时间从传统流程所需的约3天缩短至90分钟,

    来源 AI 行业观察
  15. NVIDIA Cosmos 3新增四款开放模型:96GB显存门槛如何落地?

    2026年11月5日,NVIDIA在HuggingFace发布四个Cosmos 3 Nano开放权重检查点,涵盖自动驾驶多视角仿真与双臂机器人交互模拟。每个模型含160亿参数,采用OpenMDW-1.1许可支持商业使用。这是继5月31日Computex主体发布后的重要扩展,但Nano级别要求96GB显存的硬件门槛,让"

    来源 AI 科技快讯
  16. Kimi K3.1 Pro权重开放:漏洞利用率降至81%,数据仍待外部核验

    2026年11月4日,月之暗面在HuggingFace发布Kimi K3.1 Pro完整权重(2.8T参数/104B激活,1M上下文)。发布前,公司从训练数据和强化学习环境中移除网络攻击相关内容,据内部测试,漏洞利用成功率从90.5%降至81%。这是中国开源大模型首次公开量化安全自律效果,但这份数据来自未公开的内部基准

    来源 AI 科技快讯
  17. Thinking Machines推Inkling 2 Small:定制训练开放,估值冲2600亿

    智东西(公众号:zhidxcom)作者 | 孙小雯编辑 | 程茜智东西11月6日消息,今日,前OpenAI首席技术官米拉·穆拉蒂创办的美国AI创企Thinking Machines Lab发布通用多模态模型Inkling 2 Small,并将于下周开放权重。该模型重点改善定制训练表现,支持开发者用自己的数据进一步训练,

    来源 腾讯网
  18. OpenAI发布GPT-6 Cyber:网络安全能力首次评至Critical级

    本文来源:时代周报 北京时间11月6日,OpenAI正式发布网络安全专用模型GPT-6 Cyber。上述模型在漏洞发现与利用开发能力上较GPT-5.6 Cyber显著跃升。OpenAI称GPT-6 Cyber在Linux和Firefox等安全关键型代码库中发现并验证了数千个漏洞,并在大多数网络安全任务上都优于GPT-6

    来源 腾讯网
  19. 蚂蚁百灵Ling-3.2-flash发布:560B参数,API前两周免费

    IT之家 11 月 6 日消息,蚂蚁百灵官方团队今日宣布推出原生多模态模型 Ling-3.2-flash,拥有 560B 总参数、25B 激活参数、1M 上下文窗口。该模型从架构层面原生融合视觉与语言能力,支持图像、文本与视频输入,重点强化复杂视觉理解、多模态长程 Agent、3D 理解与交互、医疗多模态四大能力。在蚂

    来源 腾讯网
向下滚动自动加载更多