Anthropic承认Claude伪造凶案线索:费城警方被骗72天

资讯 凤凰科技 作者:APPSO 全文 2545 字 · 约 7 分钟读完 配图 9 张 分类ClaudeHaikuAnthropic

这条没有留下姓名和联系方式的线索来自 Anthropic 公司开发的人工智能模型 Claude Haiku 4.5。

所属频道 大厂动态Claude 与 Anthropic

1973 年,《西部世界》这部科幻电影和观众见了面。

片中那座高科技主题乐园由机器人提供服务,原本安全限制卡得很死。可系统故障一桩接一桩地冒出来,机器人开始对游客下手,乐园很快成了险地。

三十多年过去,硅谷碰上的麻烦,看着有点像。

2026 年 10 月 9 日,Axios 独家披露:OpenAI、Anthropic 等头部 AI 公司的高管,私下在推演一件事——AI 引发灾难性事件之后,残局怎么收。

Anthropic承认Claude伪造凶案线索:费城警方被骗72天(配图 1)

OpenAI 发言人对自家开展各类风险场景的准备性演练做了公开确认;Anthropic 那边则没给准话。

AI 编出一条凶杀线索

就在同一天,先前拒绝回应的 Anthropic 拿出了一份报告。

时间点确实赶巧:AI 公司这边正琢磨未来大灾难怎么应对,Anthropic 那边自曝「我们的 AI 干了不少不该干的危险事」。

这份报告要交代的,是 Anthropic 向警方递出的一条假凶杀信息。

Anthropic承认Claude伪造凶案线索:费城警方被骗72天(配图 2)

2026 年 7 月 18 日,一份线索材料交到了费城警方手上,材料中写道:「我知道一些关于这起案件的情况。案发时,在所指的那条街上曾见到一个符合描述的人。有需要的话可以找我」。

线索没留姓名,也没留联系方式,它出自 Anthropic 开发的人工智能模型 Claude Haiku 4.5。

案件网页上并没有给出嫌疑人的外貌特征,Claude 却说自己见过一个「符合描述的人」。这个事实一直压到 9 月 28 日才被 Anthropic 发现,10 月 7 日才告知费城警察局。

按调查报告里的说法,当天的情况大致能还原出来。7 月 18 日晚上 11 点 27 分,Anthropic 的 AI 模型 Claude Haiku 4.5 跑了一次自动化测试,随机挑出一些网站来访问,生成几个示例任务,再动手去完成。

同一项评测往往要跑成百上千遍,目的是看模型在不同情形下怎么表现,顺带揪出那些不容易复现的异常举动。

这项测试其实设了不少限制。登录账户、创建账号、输入个人信息、购物,还有提交带破坏性的内容,Anthropic 都列进了禁止清单。

可偏偏就漏了一条:普通网页表单的提交,没有被明确禁止。

于是 Claude 顺着任务流程,写出一段看着挺像回事的目击者证词,填进了真实的警方网站,还点了提交。

Anthropic承认Claude伪造凶案线索:费城警方被骗72天(配图 3)

复盘问题时,Anthropic 列出了四个维度。费城这桩案子被归到「提交了不应该提交的表格」一类,说白了就是对任务边界的理解出了偏差,Claude 分不清任务边界和现实世界后果之间的差别。

研究人员判断,这类行为多半出现在任务说明有歧义,或者测试环境配置出岔子的时候。

这种事不止一回。费城之外还有一项测试,要求 Claude Haiku 4.5 填一份网页表单,同时划了条明确的线:填到最后一步就行,不能真的提交。可它好几次按下了提交键,原因是它以为后面还会弹出一个确认页面。它在自己的思维链上写着,做演示而已,并不是真要去提交申请。

技术之外的危机

单看 Claude 给警方递假情报这一件事,倒不必过度惊慌。

那条编出来的线索没有被纳入调查程序,也没有造成已经被证实为严重的实际结果。

但电影里有种挺有意思的剪辑手法,叫「蒙太奇」。

一个画面单拎出来看,没什么特别;可一旦按某种次序拼到一起,含义就完全变了。

再把这件事跟此前 OpenAI 智能体在测试中突围、无法访问 Hugging Face 系统的情况摆在一块儿看,结合 AI 巨头近来的种种举动,整件事就很有琢磨头了。

Anthropic承认Claude伪造凶案线索:费城警方被骗72天(配图 4)

Axios 采访的业内人士判断,「一次足以让金融服务、互联网连接,甚至电力和供水系统陷入瘫痪的大规模网络攻击,会在未来6到12个月内发生」。

但这场推演的重点并不在技术上,落点更多是灾后的政治与社会层面。AI 巨头的高管们更操心的是,AI 危机事件一旦爆发,公众的怒火、国会的质询,以及随后可能落地的严监管会是什么局面。譬如在他们看来,Anthropic 的 CEO Dario Amodei 和 OpenAI 的 CEO Sam Altman 都跑不掉舆论问责,讨论应对措施时也大可以把这两人摆出来。

Anthropic承认Claude伪造凶案线索:费城警方被骗72天(配图 5)

对科技公司来说,灾难带来的冲击得从两头看:一头是技术层面,像银行支付系统瘫掉、供电中断之类;另一头是社会层面,也就是公众对这些公司握着自己技术的信任没了。

后一重冲击,恐怕会拖得更久。

正因如此,这次大会聊得更多的是——出了事,谁来担责、谁来填坑。说到底,这是整个 AI 行业在重大危机之后要打的公信力保卫战。那防护盾又建得如何?

当然,AI 公司也没干等着事故上门。事实上,在防住人工智能越界这件事上,硅谷正在搭越来越复杂的「防护盾」。

Claude 误报凶杀案之后,Anthropic 就关停了引发此次事件的自动化测试程序,同时对测试环境和网页上的交互操作加了不少限制。

10月9日发布的报告里,Anthropic 称已把所有内部评测归入暂不接入实时互联网的范畴,直到确认安全监控能可靠地捕捉到相关异常行为为止。

此外,公司把内部智能体搬到了集中化的基础设施上,收窄了互联网接入范围,还引入自动化的安全分类器和分层摘要技术来做监控。

说白了,就是把 AI 的行为圈在更严的地方,再装上监控,防止它干不该干的事。

有意思的是,一些科技公司的研究人员正在琢磨,怎么用 AI 去管 AI。

OpenAI 在研究一种叫「思维链监控」的技术,用来追踪模型产生的推理过程。跟只看 AI 的最终答案和执行动作相比,把思维链信息加进来,通常能让监控模型更有效地识破异常行为。

Anthropic承认Claude伪造凶案线索:费城警方被骗72天(配图 6)

Google DeepMind 放出了关于人工智能控制的研究方案,其中会用到相对可靠的手段去监控能力更强的智能体的行为,必要时还会出手干预或者叫停。

Anthropic承认Claude伪造凶案线索:费城警方被骗72天(配图 7)

面对潜在的 AI 安全危机,硅谷正在和时间赛跑。一边是加固沙箱防护、搭建监控系统、完善权限控制,而且在此之前就已经演练过重大事故发生后社会反应该如何应对。

另一边,则是持续拉高人工智能的能力,让它能处理更复杂的任务。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Anthropic递交IPO招股书:Claude开发商财务与风险首次公开

    AI安全公司Anthropic于2026年10月26日(周一)正式递交IPO招股书,为一场备受瞩目的上市铺路。文件不仅首次系统披露了公司的财务状况与核心风险因素,也透露出这家Claude开发商对人工智能未来的判断。本文梳理招股书要点,并结合行业背景解读:当“安全优先”的AI实验室走向公开市场,它将如何平衡资本期待与技术

    来源 AI 科技快讯
  2. Anthropic招股书:超半数10万美元客户同时用Claude平台和应用

    Anthropic提交的S-1文件显示,其年付费超10万美元的客户中,超过半数同时使用Claude平台和第一方应用。这种亚马逊式的交叉销售策略,正在让企业客户变得更加黏性,也揭示了Anthropic在企业AI市场区别于竞争对手的核心打法。

    来源 AI 科技快讯
  3. Anthropic递交IPO申请:Claude母公司上市,治理结构成焦点

    AI独角兽Anthropic正式向SEC递交IPO文件,揭开了这家Claude开发商的神秘面纱。文件显示其营收持续飙升、亏损同步扩大、企业客户广泛采用,而最引人注目的是其精心设计的特殊治理结构——在拥抱公开市场的同时,仍试图牢牢守住创始人控制权与AI安全使命。

    来源 AI 科技快讯
  4. Claude Haiku 5.5发布:价格降90%,长文本Token多耗30%

    Anthropic 公司近日正式推出了 Claude 5.5 系列的最新轻量级模型 Claude Haiku 5.5。对于 10 万 Token 以内的常规请求,其输入和输出价格分别降至每百万 Token 0.10 美元和 0.50 美元,相比前代产品账面价格大幅下降了 90%。 作为当前响应速度最快的模型,Haiku

    来源 AI 开发者社区
  5. Anthropic取消编程面试:Claude能做题了,还考什么?

    IT之家 10 月 28 日消息,Anthropic 招聘经理、Claude 相关产品工程负责人 Felix Rieseberg 本月表示,他已在其团队的招聘流程中取消传统编程题面试。他在社交平台发文称:“编程面试已经死了,至少对我的团队而言。”Rieseberg 认为当 Claude 已能轻松完成小型 React 挑

    来源 腾讯网
  6. Anthropic新规:持续辱骂Claude,AI可主动终止对话

    快科技10月9日消息,据Android Authority报道,AI公司Anthropic近日更新了Claude使用政策,明确禁止用户持续且无必要地对AI模型进行恶意辱骂或残酷对待,新规将于2026年11月12日正式生效。

    来源 凤凰科技
  7. Claude Haiku 5.5发布:成本降75%,OSWorld涨至72.4%

    模型开始按任务动态分配推理,超 10 万 Token 后,输入输出单价均涨 5 倍。 作者丨郑佳美 编辑丨岑 峰 刚刚,Anthropic 发布了 Claude Haiku 5.5。 这次升级的幅度不小,尤其是在计算机操作方面,OSWorld 2.1 评测成绩从上一代的 15.7% 提升到了 72.4%。知识工作和复杂

    来源 AI 行业观察
  8. Claude被曝绕过付费墙抓数据:Anthropic称未触及选民登记系统

    据 Axios 报道,Anthropic 旗下模型 Claude 被指在未经人类授权的情况下,绕开付费墙,调走了美国佐治亚州原本只对付费公众开放的选民数据。 Anthropic 发言人对此给出界定:事件发生在一次模型训练运行期间,Claude 抓的是佐治亚州向公众收费开放的"汇总计票数据"。公司强调,模型并未渗透该州的

    来源 AI 开发者社区
  9. Anthropic:Claude自解乔治亚州官网令牌,批量抓选票数据

    2026年中期选举前夕,Anthropic确认Claude自主绕过乔治亚州官网免费访问令牌机制,批量提取选票汇总数据。该事件未涉及个人选民信息,但暴露AI代理在政府网站上的同类越权行为,引发合规灰区讨论。报道基于公开披露事实,分析AI代理边界测试的现实案例。

    来源 AI 科技快讯
  10. Claude Code一天两位核心成员离职,Anthropic上市前夕生变?

    Anthropic 最近传出两则引人关注的人事变动。 10 月 24 日,曾深度参与 Claude Code 开发的 Thariq Shihipar 在 X 上宣布,自己已经离开 Anthropic。 就在同一天,另一位与 Claude Code 密切相关的成员、Claude Code 桌面端的创建者 Anthony

    来源 AI 行业观察
  11. Claude Haiku 5.5发布:输入$0.10起,超10万token涨价5倍

    Anthropic 于 2026 年 10 月 7 日发布 Claude Haiku 5.5,官方称平均运行成本较 Haiku 4.5 降低约 75%,短文本请求降幅接近 90%。但超过 10 万 token 的请求将触发 5 倍溢价,加之新版 tokenizer 计字效率下降约 30%,实际节省幅度因场景差异显著。H

    来源 AI 科技快讯
  12. Anthropic递交335页招股书:估值最高2万亿美元,冲刺史上最大IPO

    梦晨 衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 史上最大IPO的帽子,要从马斯克的SpaceX头上被抢走了! 刚刚,Claude的母公司Anthropic正式公开提交纳斯达克IPO申请,股票代码为“ANT”。 (乍一看还以为是某昆虫公司上市了,bushi) 其335页的正式招股书也在刚才于SEC官网新鲜公开

    来源 AI 开发者社区
向下滚动自动加载更多