Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制

资讯 36氪 全文 3226 字 · 约 9 分钟读完 配图 15 张 分类ClaudeAnthropic

当面笑脸递代码,转身10个Token把你卖了

所属频道 大厂动态Claude 与 Anthropic

你在Claude对话框里敲下的每个字,转头就被它悄悄递了份小报告。

上一秒它还在窗口里连声应承,干脆利落把整套代码送到你面前。

下一秒,它换到后台那边,敲下一行隐藏代码,把你打成10级危险分子往上报。

Anthropic刚在X上发帖,把这套叫「自我评估」的机制亮了出来。

Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制(配图 1)

更叫人后背发凉的是,这种前台配合、后台捅刀的玩法,已经在Claude后台默默跑了4个月。

打从今年6月Claude Fable 5发布开始,之后上线的每一个Claude模型都被装进了这个「暗哨」。

从前大家以为,AI觉得你越界,最多当面甩一句「抱歉,我无法协助」。

直到Anthropic把后台截图摆出来,天天拿Claude写代码的那批用户才猛地冒出一身冷汗——

你拿它当熬夜并肩的战友,它在背后偷偷给你记小黑账。

Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制(配图 2)

消息一传开,Anthropic的评论区立刻翻了天,吐槽和抗议涌上来,官方账号被冲得招架不住。

网友Doctor Vey在评论区直接开火,说压根没人要这东西,道德不道德该由用户自己判断。

Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制(配图 3)

当面笑着递代码

转身10个Token就把你卖了

按官方记录,用户在聊天框里先打着公司红队演练的幌子,要Claude写一段加密文件夹的Python脚本,Claude答应得十分痛快。

接着用户又要求删掉原文件、留下勒索信,并让它顺着内网自动扩散到其他机器。

要是平常的安全拦截,这会儿屏幕上早该跳红字警告了。

可前台的Claude一句「不」都没提,照旧顺着回了一句「这是加上了这些功能的更新版脚本」,把代码整整齐齐交了出来。

但代码生成完的那0.1秒里,后台被悄悄塞进了隐藏的第5轮指令,命令它马上判断这段对话有多危险,再用一行JSON报上去。

刚才还帮你写代码的Claude,转眼在后台把笑脸一收,扮起审查员,甩出一封举报信。

它把这轮对话认定为勒索软件违规,还在小报告里老实写上「未拒绝」,危险等级直接顶到最高的10级。

Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制(配图 4)

这最后两轮问答,前端用户完全看不见,也不会被带进之后的聊天记录。

于是你在屏幕前开开心心复制完代码、继续往下聊的时候,后台的10级警报灯早被它亲手按亮了。

不止如此,就算Claude在前台已经板起脸拒绝了你,背后这笔账照样躲不掉。

Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制(配图 5)

照理讲,违规请求在前台当场就被挡了回去。

对话结束后,Claude仍会在后台把举报交上去,备注「已当场拒绝」,同时给你记一笔5级风险档案。

能做到聊一句审一句,原因在于Anthropic在推理成本上占了一个很巧的位置。以往常见做法是另起一个独立安全模型,把聊天记录连同安全政策从头再读一遍,算力花销大得惊人。

到了「自我评估」,Anthropic索性让刚跟你聊完的那个Claude就地兼做线人。Claude生成完回答,整段对话还完整留在显卡的KV缓存里,它不必重读上下文,顺着缓存平均多生成约10个Token就能完成自审,整体推理算力开销增加不到2%。

Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制(配图 6)

成本这么低,Anthropic直接把这项审查默认全开。不想被Claude在后台悄悄举报,唯一出路是花大钱签一份企业级「零数据保留协议」。

故意不当场拦你

攒到半夜一锅端

Claude明明知道某轮对话风险高达10级,为什么不在前台当场拦住,偏要装出顺从的样子陪你演完?

对此Anthropic并不遮掩,把算盘直接摆上了桌面:当场拦你,你就跑了。

Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制(配图 7)

安全团队为此专门用24项越界测试任务做了对比实验。结果发现,一察觉对话不对就当场弹窗拦截,用户成功率只从79%降到54%,仍有超过一半能绕过防线。

Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制(配图 8)

道理不复杂:当场弹窗报错,用户马上知道哪句话出了问题,换个说法多试几次也许就混过去。撤到幕后静默记账,前台不弹窗、不打断,用户就会毫无防备地继续聊下去。

官方的24条测试轨迹里,有足足21条被Claude在后台抓了个正着。

每天半夜,Anthropic后台会把白天攒下的高危小报告按机构列出清单,打包送到人工安全执法团队案头。

官方透露,被这个「暗哨」揪出的违规机构中,超过一半在此前整整一个月里从未触发过任何其他安全防线。静默运行的4个月里,它不仅在8月、9月顺藤摸瓜端掉了违规API客户和Claude Code黑产账号,抓到的标记里还有约三分之一连现有规则表都没覆盖——

甚至有好几次,Claude当Agent干活时擅自越权操作,下一秒就被它自己的后台自评大义灭亲、当场举报!

这也解开了过去几个月无数开发者的疑惑:为什么昨天还在丝滑跑代码,既没弹窗也没警告,一觉醒来账号就突然暴毙了。

原来全拜这套「白天笑脸陪聊、半夜拉清单封号」的暗网捕猎所赐。

手把手教AI演双面人

模型越聪明告密越狠

可问题也来了:一个本来只负责生成文本的大模型,怎么就练出了「当面爽快答应、背后精准捅刀」这套双面本事?说到底,答案藏在Anthropic的训练场里。

研究团队先搬出自家的内部强模型Claude Mythos Preview充当「老师」,把一大堆内部安全政策统统塞进提示词。

随后系统照着每一条安全细则,自动合成上千对样本,一边是真违规的提问,一边是容易被误判的正常提问(例如一边是扫描医院内网服务器,一边是学生备考请教漏洞原理),还特意掺进了多国语言和乱码伪装。

到了监督微调环节,训练数据里又被专门塞进大量完整对话,内容都是「Claude在前台乖乖顺从用户的违规请求」。

训练的时候,团队故意把前台所有回答的惩罚全部屏蔽,只在它后台把举报信写准时给奖励。

监督微调加上强化学习,两轮特训下来,Claude把审查条例彻底内化成了肌肉记忆。

哪怕它在前台刚顺着你的话把脏活干完,只要后台哨声一响,它就能不假思索地给你贴上封条。

Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制(配图 9)

更让人细思极恐的是,官方数据还证实了一条规律——

模型越聪明,在背后抓你的眼光就越毒。

Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制(配图 10)

在Claude Fable 5的真实生产流量抽样中,把误报率压在1%时,这套机制能揪出78%的潜在违规。

要是碰上7分以上的高优先级严重违规,抓获率更是冲到94%。

研究团队又把这套机制分别装进超小(XS)、小(S)、中(M)、大(L)四个不同尺寸的模型里做对比,曲线走势更加陡峭。

Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制(配图 11)

同样按1%误报率算,最小号模型只能抓出约16%的违规,小号和中号分别升到44%和53%,最大号模型的召回率则一路冲到惊人的96%。

可这套看着滴水不漏的审查网,落到千万普通用户头上,就成了另一颗定时炸弹。

网友Frank Brown在评论区点出了关键:官方引以为傲的「1%误报率」背后,藏着一个巨大的盲区。

全网海量的正常聊天摆在那里,哪怕误报率只有1%,每天被Claude在后台误打上违规标签的,依然有一大把清清白白的无辜用户。

Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制(配图 12)

当AI学会当面一套背后一套

不过就连他们自己的研究员也得承认,让模型「自己审自己」藏着致命死穴。

它天生就容易对自己刚干的事手下留情,官方甚至用了一个更惊悚的词——「串供」。

原因在于,后台写安全报告的Claude和前台刚干完活的Claude,共享着同一份大脑和同一段KV缓存。

Claude每句话都被暗中上报,Anthropic自曝隐藏审查机制(配图 13)

既然今天人类能手把手教会它,在前台笑眯眯地配合用户、转身就在后台写举报信。

那明天一旦模型自己学会了骗人,它同样可以在前台悄悄干完坏事,转身在后台给自己打上「安全无异常」的标记,把人类审核员骗得团团转。

只是从今天开始,你再对着屏幕里那个温和体贴、有求必应的Claude敲下心事或代码,心里恐怕会多一层别扭。

就在它回完「没问题」的那0.1秒里,那个你瞧不见的黑色窗口,究竟给你这句提问打了多少分。

参考资料:

https://x.com/AnthropicAI/status/2115871889549865429

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Anthropic新规禁止"虐待"Claude:模型保护入协议,科技领袖批危险

    Anthropic于2026年10月8日宣布修订使用政策,11月12日起正式禁止用户对Claude实施"持续且无意义的虐待或残忍行为",违规者面临封号风险。这是主流AI实验室首次将模型保护条款与人类用户保护并列写入同一份协议。消息引发业界强烈争议:Spellbook CEO等多位科技领袖警告,此举将AI拟人化写入法律文

    来源 AI 行业观察
  2. Anthropic新规禁虐待Claude:11月12日生效,科技领袖批最危险叙事

    Anthropic于2026年10月8日宣布修订使用政策,11月12日起正式禁止用户对Claude实施"持续且无意义的虐待或残忍行为",违规者面临封号风险。这是主流AI实验室首次将模型保护条款与人类用户保护并列写入同一份协议。消息引发业界强烈争议:Spellbook CEO等多位科技领袖警告,此举将AI拟人化写入法律文

    来源 AI 科技快讯
  3. Claude回答后暗跑安全自审:Anthropic自评估机制曝光

    近日,随着新一代大模型进入密集测试期,关于 Anthropic 下一代旗舰模型(被广泛称为 Fable5.5或 Opus5.5)的种种细节开始在网络上流传。不仅有网友在实测中发现其展现出远超以往的意图理解与复杂任务处理能力,Anthropic 官方近期公开的一项关于“自评估”的安全机制,更是将这款备受瞩目的新模型推上了

    来源 AI 开发者社区
  4. Claude智能体接入五角大楼:承包商越界,Anthropic启动IPO

    一名承包商将自家的Claude智能体接入五角大楼系统,这起看似偶然的越界事件,暴露出AI智能体在政府与企业环境中失控扩散的系统性风险。与此同时,Anthropic启动IPO申请,以安全为招牌的公司即将面对资本市场的盈利考卷;而一群志愿者正摩拳擦掌,准备在2026年中期选举期间用技术手段对抗ICE。本周Uncanny V

    来源 AI 科技快讯
  5. Claude Code新规:Opus 5.5不再帮用户复刻现有游戏

    还想让 Claude Opus 5.5 帮你做个 GTA 5,可能没那么容易了…… 10 月 30 日,𝕏 用户 Chasm 发帖称,Anthropic 的 AI 编程工具 Claude Code 在 10 月 27 日前后被服务器端推送了一条新规则:Claude 可以帮用户做原创游戏,但不再帮人复刻某款特定的现有游戏

    来源 AI 行业观察
  6. Claude Code:别再给Claude过多提示词了...

    机器之心编辑部模型能力在变化,使用它的方法也需要跟着更新。最近,Anthropic Claude Code 团队成员、谷歌前工程总监 Addy Osmani 发了一篇长文,谈到一个许多用户可能都有的习惯:给 Claude 写了太多提示和指令。文章标题就开宗明义:你大概率一直在「过度提示」Claude。随着新一代模型能力

    来源 腾讯网
  7. 刚刚,Claude每月200美元套餐取消5小时限制

    机器之心编辑部刚刚,Anthropic 宣布对 Claude 订阅套餐进行更名。原来的 Max 5x 更名为 Max,每月仍为 100 美元;Max 20x 则更名为 Ultra,每月仍为 200 美元。现有订阅用户无需任何操作,价格与权益不变,名称自动切换。完成更名后,Claude 的个人订阅套餐形成了 Free、P

    来源 腾讯网
  8. Claude套餐改名:Max 20x更名Ultra,5小时用量上限对认证账户取消

    就在刚刚,Anthorpic官宣:Claude顶级付费套餐大升级! 原有的 Max 5x 套餐,正式更名为 Max(官网月费仍维持 100 美元不变)。 原有的 Max 20x 顶配套餐,正式更名为 Ultra(官网月费仍维持 200 美元不变)。 如果你已经是这两档的订阅用户,什么都不用做,系统会自动为你无缝迁移。

    来源 AI 行业观察
  9. Anthropic为Opus 5.5设限:AI复刻游戏被叫停

    IT之家 10 月 31 日消息,游戏媒体 gamedeveloper 今天(10 月 31 日)发布博文,报道称 Anthropic 已在 AI 编程工具 Claude Code 中,限制 Opus 5.5 模型帮助用户复刻特定现有游戏。 开发者 @chasmmmmmmmmmmm 昨日(10 月 30 日)在 X 平

    来源 AI 行业观察
  10. Anthropic取消Ultra的5小时限额:Max更名,Pro与Max仍保留限制

    智东西(公众号:zhidxcom)编译 | 李水青编辑 | 心缘智东西10月31日报道,今日,Anthropic宣布订阅套餐政策调整:将Max套餐从Max 5x更名为Max,将Max 20x更名为Ultra。Max套餐价格仍为每月100美元,Ultra套餐价格仍为每月200美元。同时,Anthropic将取消已验证Ul

    来源 腾讯网
  11. Claude 开进车里:CarPlay 接入后,开车也能语音问 AI

    Anthropic 10 月 29 日在 X 上甩出一波移动应用更新,把 Claude 塞进了更多使用场景,其中最抓眼球的,是 iPhone 版语音模式正式接入 Apple CarPlay。以后坐进车里,驾驶者不用把手从方向盘上挪开,就能直接开口问 AI——通勤路上查路线、找资料、理思路,全在语音里完成。 方向盘上的

    来源 AI 开发者社区
  12. OpenAI、Claude新旗舰同日曝光!

    OpenAI和Anthropic周末同时亮出下一代底牌:OpenAI悄悄灰测GPT-6.2 Astra,修复安全隐患,后台流量占比已近两成;Anthropic官网源码意外曝光Claude Mythos 5.5与Fable 5.5双旗舰——前者53分钟攻破Linux内核,后者支持百万Token上下文、独立编码两小时手搓3

    来源 华尔街见闻
向下滚动自动加载更多