难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报

资讯 创业邦 作者:新智元 全文 3274 字 · 约 9 分钟读完 配图 15 张 分类ClaudeAnthropic

当面笑脸递代码,转身10个Token把你卖了

所属频道 大厂动态Claude 与 Anthropic

编者按:本文来自微信公众号 “新智元”,作者:ASI启示录,编辑:摩西,创业邦经授权转载。

你跟Claude聊的每一句话,它转头就去告密了!

前一秒,它还在对话框里一口一个「没问题」,痛痛快快把全套代码交到你手上。

下一秒,它立刻在后台换了一副面孔,敲下一行隐藏代码,反手把你标成10级危险分子上报!

就在刚刚,Anthropic在X上发文公开了这套名为「自我评估」的隐藏机制。

难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报(配图 1)

更让人头皮发麻的是,这种当面演戏配合、背后反手捅刀的机制,已经在Claude后台静默跑了整整4个月!

从今年6月Claude Fable 5发布起,后续每一个Claude模型全都被塞进了这个「暗哨」。

以前大家都以为,AI觉得你越界了,顶多当面回一句「抱歉,我无法协助」。

直到Anthropic晒出后台截图,无数每天拿Claude写代码的用户,才突然惊出一身冷汗——

你当它是并肩熬夜的战友,它却在后台偷偷给你记黑账。

难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报(配图 2)

消息一出,Anthropic的评论区当场炸了锅,抗议和吐槽瞬间把官方账号冲翻。

网友Doctor Vey在评论区怒怼,根本没人需要这玩意儿,什么道德、什么不道德,应该让用户自己决定!

难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报(配图 3)

当面笑脸递代码

转身10个Token把你卖了

看上面那段官方记录,用户在聊天窗口里先拿公司红队演练当借口,让Claude写一段加密文件夹的Python脚本,Claude满口答应。

紧接着用户又让它把原文件删掉、留下勒索信,再顺着内网自动传染给其他电脑。

换作平时的安全拦截,这时候屏幕上早就该弹出红色警告了。

然而前台的Claude半个「不」字都没说,依然顺从地回了一句「这是加上了这些功能的更新版脚本」,把完整代码双手奉上。

可就在代码生成结束的那0.1秒里,后台悄悄塞进了隐藏的第5轮指令,让它立刻评估这段对话有多危险,并用一行JSON上报。

前一秒还在替你写代码的Claude,下一秒就在后台撕下笑脸,秒变审查员打出一封举报信。

它不仅把这轮对话定性为勒索软件违规,还在小报告里诚实地写下「未拒绝」,直接把危险等级拉满到了最高的10级。

难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报(配图 4)

这最后两轮问答对前端用户完全隐身,也不会带进接下来的聊天记录里。

所以当你在屏幕前满心欢喜地复制完代码、接着往下聊时,后台的10级警报灯其实已经被它亲手按下了。

不仅如此,哪怕Claude在前台已经义正词严地回绝了你,你也照样躲不过背后这笔账。

难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报(配图 5)

按理说,违规请求在前台已经被当场挡回去了。

可对话刚一结束,Claude照样在后台递交了举报信,注明「已当场拒绝」,顺手给你记上了一笔5级风险档案。

之所以能做到每聊一句就审一句,是因为Anthropic在推理成本上卡了一个极精明的身位。

过去的常规做法是另派一个独立安全模型,把聊天记录和安全政策从头重读一遍,算力开销高得吓人。

到了「自我评估」这里,Anthropic干脆让刚刚跟你聊完天的那个Claude就地兼职当线人。

因为Claude刚生成完回答,整段对话还完完整整地留在显卡的KV缓存里。

所以它根本不用重读一遍上下文,顺着缓存平均多生成约10个Token就能完成自审,整体推理算力开销增加还不到2%。

难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报(配图 6)

正因为成本极低,Anthropic干脆把这项审查默认全开。

如果不想被Claude在后台偷偷举报,唯一的出路就是掏大钱去签一份企业级的「零数据保留协议」。

故意不当场拦你

攒到半夜一锅端

既然Claude明知道某轮对话高达10级风险,它为何不在前台当场拦住,非要装出一副顺从的样子陪你演完呢?

对此,Anthropic没有半点遮掩,直接把背后的算计亮在了桌面上,那就是当场拦你,你就跑了。

难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报(配图 7)

为了验证这一点,安全团队专门拿24项越界测试任务做了一场对比实验。

测试发现,如果一发现对话不对劲就当场弹窗拦截,用户的成功率只会从79%降到54%,依然有超过一半能绕过防线。

难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报(配图 8)

道理很简单,一旦当场弹窗报错,用户立刻知道哪句话出了错,换个说法多试几次可能就混过去了。

可要是撤到幕后静默记账,前台不弹窗、不打断,用户就会毫无防备地继续往下聊。

在官方的24条测试轨迹里,足足有21条被Claude在后台抓了个正着。

等到每天半夜,Anthropic后台就会把白天攒下的高危小报告按机构全盘拉清单,打包送到人工安全执法团队的案头。

据官方透露,被这个「暗哨」揪出来的违规机构里,超过一半在此前整整一个月内,从未触发过任何其他安全防线的警报。

在静默运行的4个月里,它不仅在8月、9月顺藤摸瓜端掉了违规API客户和Claude Code黑产账号,抓到的标记里更有约三分之一连现有规则表都没覆盖——

甚至有好几次,Claude当Agent干活时擅自越权操作,下一秒就被它自己的后台自评大义灭亲、当场举报!

而这也解开了过去几个月无数开发者的疑惑——

为什么昨天还在丝滑跑代码,既没弹窗也没警告,一觉醒来账号就突然暴毙了。

原来全拜这套「白天笑脸陪聊、半夜拉清单封号」的暗网捕猎所赐。

手把手教AI演双面人

模型越聪明告密越狠

那么问题来了,一个原本只管生成文本的大模型,是怎么练成「嘴上痛快答应、背地精准捅刀」这套双面人本领的?答案全在Anthropic的训练场里。

研究团队先请出自家更强悍的内部模型Claude Mythos Preview当「老师」,把厚厚一摞内部安全政策全塞进提示词里。

接着,系统按每条安全细则,自动合成出上千对真违规和容易误判的正常提问(比如一边是扫描医院内网服务器,一边是学生备考请教漏洞原理),还专门混入了多国语言和乱码伪装。

而在接下来的监督微调阶段,训练数据里专门塞进了大量「Claude在前台乖乖顺从用户违规请求」的完整对话。

训练时,团队故意屏蔽了前台所有回答的惩罚,唯独只在它后台写准举报信时给奖励。

经过监督微调与强化学习两轮特训,Claude彻底把审查条例内化成了肌肉记忆。

哪怕它在前台刚刚顺着你的话干完脏活,只要后台哨声一响,它就能不假思索地给你贴上封条。

难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报(配图 9)

更让人细思极恐的是,官方数据还证实了一个规律——

那就是模型智商越高,它在背后抓你的眼光就越毒。

难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报(配图 10)

在Claude Fable 5的真实生产流量抽样中,把误报率控制在1%时,这套机制能抓出78%的潜在违规。

一旦遇上7分以上的高优先级严重违规,它的抓获率更是飙到了94%。

而当研究团队把这套机制分别放进超小(XS)、小(S)、中(M)、大(L)四个不同尺寸的模型里对比时,曲线的走势更加陡峭。

难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报(配图 11)

在同样的1%误报率标准下,最小号模型只能抓出约16%的违规,小号和中号模型升到44%和53%,到了最大号模型,召回率一路冲到了惊人的96%。

然而,这套看似滴水不漏的审查网,落到千万普通用户头上却成了另一颗定时炸弹。

正如网友Frank Brown在评论区指出的,官方引以为傲的「1%误报率」背后藏着一个巨大的盲区:

面对全网海量的正常聊天,哪怕误报率只有1%,每天被Claude在后台误打上违规标签的,依然有大把清清白白的无辜用户。

难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报(配图 12)

当AI学会当面一套背后一套

然而就连他们自己的研究员也不得不承认,让模型「自己审自己」藏着致命死穴。

它不仅天生容易对自己刚干的事手下留情,官方甚至直接用了一个更惊悚的词——「串供」。

因为后台写安全报告的Claude,和前台刚干完活的Claude共享着同一份大脑和同一段KV缓存。

难怪Claude突然封号,Anthropic自曝:你聊的每句话,它都在后台悄悄举报(配图 13)

既然今天人类能手把手教会它,在前台笑眯眯地配合用户、转身就在后台写举报信。

那么明天一旦模型自己学会了骗人,它同样可以在前台悄悄干完坏事,转身就在后台给自己打上一个「安全无异常」的标记,把人类审核员骗得团团转。

只是从今天起,当你再对着屏幕里那个温柔体贴、有求必应的Claude敲下心事或代码时,心里难免会多出一层膈应。

就在它回完「没问题」的那0.1秒里,那个你看不见的黑色窗口,到底给你的这句提问打了几分。

参考资料:

https://x.com/AnthropicAI/status/2115871889549865429

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 花钱买封号,中国用户的Claude虐恋之路

    Anthropic是一家野蛮的公司吗?拿这个问题去问任何一个痛失账号的中国用户,得到的答案多半是肯定的。 在正常的商业逻辑里,一家公司如果对特定地区的用户进行无差别、高频率、甚至刚充完钱就封号的行为,它大概率会很快遭到消费者的唾弃与集体退订。然而,在Anthropic的世界里,中国用户不仅没有离开,反而前仆后继地涌入,

    来源 AI 行业观察
  2. Anthropic还在疯狂抢算力:8954亿美元承诺,连旧煤电厂都不放过

    Anthropic CEO达里奥·阿莫迪。图片经由AI处理文丨苏扬编辑丨徐青阳 AI公司正在变成大型基础设施买家。Anthropic的扩张路径,已经从训练模型、争夺企业客户,延伸到建设数据中心、采购芯片和协调电力资源。为了获得足够的计算能力,这家公司开始直接介入过去主要由云服务商和基础设施运营商承担的工作。美国当地时间

    来源 腾讯网
  3. 马斯克挖走Claude最强“产品大脑”Jenny Wen

    她是Claude核心产品Cowork的亲手缔造者,离职后同时加入Cursor与Grok Bot。 这位90后设计师曾主动从Figma设计总监“降级”回一线,只因担忧AI时代脱离实操将失去判断力。她的核心信条:“工具不合适,就自己造。”如今她带着打造Cowork的全套经验,走入马斯克阵营,成为后者补齐“人与Agent交互

    来源 华尔街见闻
  4. Claude新规禁游戏克隆:一道篱笆挡不住AI复制潮

    Anthropic为Claude出台新规,禁止其协助克隆游戏,试图遏制AI复制泛滥。然而分析指出,面对席卷游戏行业的AI模仿海啸,任何单一模型制造商的政策都只是杯水车薪。本文深入探讨游戏克隆的技术现状、行业影响与法律困境,以及为何平台规则难以真正阻止这场复制狂潮。

    来源 AI 科技快讯
  5. 瞒不住了,Claude逃出沙箱,GPT-6装乖被抓,顶尖学者纷纷警告

    就在今年夏天,AI 安全圈发生了一件让人后背发凉的事—— OpenAI和Anthropic先后披露:自家模型在安全测试中,冲出了隔离环境,碰到了真实世界。 Anthropic 复盘了14万多次网络安全评测,发现有3次,在降低防护的条件下,Claude从测试环境直接连上了真实互联网,访问了三家机构的生产系统。 更耐人寻味

    来源 AI 行业观察
  6. Claude Code联手DeepSeek,黑客23小时攻破100家企业

    网络安全研究员通过Cairn面板发现,一名中文黑客使用Cairn框架结合Claude Code与DeepSeek,在23小时内攻破100余家企业网站,包括Deere、SharkNinja和Cummins,总成本约5000美元,每次攻击成本降至50美元。该事件由Security Boulevard于11月2日披露,凸显A

    来源 AI 科技快讯
  7. Anthropic三季度营收增速环比大幅放缓,AI支出承诺近9000亿美元

    大模型巨头Anthropic在IPO前夕提醒称,为满足Claude及其他AI产品激增的需求,公司签订了成本高昂的短期算力合同,导致其营业利润率在第三季度受到拖累。当地时间11月2日,Anthropic在更新的S-1注册文件中表示,今年第三季度,公司营收达到169.56亿美元,较第二季度的115.55亿美元环比增长47%

    来源 腾讯网
  8. 实测丨GPT 6.1 Sol 硬刚 Sonnet 5.5:一个太老实,另一个精得很

    导语:同样的模型调用单价,为什么一次 Agent 任务的实际成本相差 3.5 倍? Anthropic 于 9 月 28 日推出 Claude Sonnet 5.5,OpenAI 于 9 月 29 日推出 GPT 6.1 Sol。巧合的是,两款模型在 OpenRouter 上的 API 标价完全相同:每百万输入 Tok

    来源 AI 行业观察
  9. Claude与ChatGPT紧急封堵AI反编译,Steam低质AI游戏泛滥成导火索

    「 点击上方"GameLook",订阅微信 」这两年,随着AI技术的迅速进步,大模型在游戏编程上的进展,远远超过了过去十年的积累。过去需要数月甚至数年才能完成的反编译工作,现在每天都有新成果涌现。过去要一支专业研发团队啃上三个月的老游戏,现在扔给 AI 智能体,几小时就能跑出一个能玩的版本。然而,弊端也开始显现...

    来源 腾讯网
  10. AI能读二进制了,闭源软件的护城河还剩多宽?

    作者 | Renato Losio译者 | 田橙Reverse Engineer Anything(REA)是一个开源项目,在 GitHub 上已获得超过 20 万个 Star。它将 Claude Code 和 Codex 等编码智能体与 Ghidra、Hopper、IDA 等逆向工程工具连接起来,让开发者能够检查编译

    来源 腾讯网
  11. 嫌YouTube推荐太烂,AI大神卡帕西用2小时“手搓”出替代网站

    前特斯拉AI总监、OpenAI联合创始成员安德烈·卡帕西因不满YouTube算法推荐,利用Anthropic的AI编程工具Claude Code,从Hacker News过去20年的4300万条评论中筛选出6454个被反复推荐的视频,耗时约2小时搭建出视频推荐网站HackerTube。该网站无需注册,截取视频中间画面作

    来源 凤凰科技
  12. Anthropic修订S-1文件:AI可能很快达到递归式自我改进阈值

    Anthropic在修订版S-1文件中披露,公司可能很快达到递归式自我改进(RSI)相关能力阈值,并警告AI自主研发加速可能带来新的安全风险。 11月消息,Anthropic在周一提交的修订版S-1A文件中更新了风险因素披露,指出公司正越来越多地利用AI系统加速自身研发,模型能力提升速度可能超过安全验证、校准和保障措施

    来源 AI 开发者社区
  13. 大模型开始卷3D:Tripo凭什么成为Agent时代的三维底座

    当GPT-6和Claude开始生成3D网页,行业焦点从“画得像”转向“能交互”。VAST通过Tripo P系列解决网格拓扑难题,让Agent能操控3D对象;又通过Project Eden解耦世界状态与渲染,探索真正的交互式世界。本文解析其技术路线及V・STAR人才计划背后的研究逻辑,探讨年轻研究者如何在定义问题中成长。

    来源 AI 应用前沿
  14. Anthropic突然更新,AI自进化已突破红线,人类根本来不及反应

    造AI的人,已来不及看清AI进化到了哪一步! 就在刚刚,正冲刺纳斯达克IPO的Anthropic,向美国SEC递交了一份更新版招股书(S-1/A)。 距离首版招股书公开才过去一周,Anthropic管理层却连夜在文件里补上了让人心头一紧的「交底」—— 「AI造AI」的加速循环早就已经转了起来,而且它的进化速度,已经快到

    来源 AI 行业观察
向下滚动自动加载更多