Anthropic开放员工级权限给METR，外部评估能盯住AI风险吗

Anthropic 把“差不多相当于员工级别”的系统权限，交到了外部评估人员手里。这家 Claude 的开发方说，这么做是为了让第三方能看清模型有哪些风险，也是兑现此前许下的安全承诺，回应外界对这项技术可能失控的担心。消息发布于 10 月 19 日。

非营利机构 METR 此前和 OpenAI、Anthropic、谷歌、Meta 等几家头部实验室都合作过。现在，它的人已经进驻 Anthropic 的办公场所，硬件设备和内部系统都能接触。

能力更强的人工智能系统，被认为可能给经济、网络安全乃至全人类带来风险，相关担忧正在变多。在这种气氛下，让第三方评估人员拥有更大权责，被各家实验室当作少数真正能落地的举措之一。

9 月，Anthropic 首席执行官达里奥 · 阿莫迪（Dario Amodei）促成了一次少见的立场统一。他的两个对手山姆 · 奥尔特曼（Sam Altman）和埃隆 · 马斯克（Elon Musk），都对他提出的方案表示支持：在头部人工智能实验室派驻外部审计人员。

当地时间上周四发布的公告，就是落实这项承诺的第一步。奥尔特曼说阿莫迪的提议很不错，但 OpenAI 那边还没有公布引入评估人员的计划。

Anthropic 周四在声明里表示，模型能力越强，安全防护就得越扎实，风险评估也得更严格。公司还称，希望自己的决策能被公众盯着，可安全研究方面的信息没法全部对外公开。

对这套评估机制，批评者并不买账。他们觉得这种安排容易产生利益冲突，并拿审计行业已有的问题作例子，主张政府监管应当更有力度。

Anthropic 的回应是：相关信息一旦公开，可能被恶意使用者或竞争对手拿去利用。公司还打了个比方，评估人员的运作方式类似银行监管，监管机构会往大型银行里派驻常驻审查人员。

该公司表示：“如果一家银行承担风险的行为会威胁公众利益，第三方会尝试提前发现这类隐患。”

另一头，Anthropic 也要给投资者吃定心丸，证明安全问题不会拖累今年计划的首次公开募股，这次 IPO 估值预计超过 2 万亿美元（IT之家注：现汇率约合 13.39 万亿元人民币）。本周的投资者宣讲材料里，安全措施占了大量篇幅。

METR 此前参与过 Hugging Face 遇袭事件的调查，那次攻击由一个失控的 OpenAI 模型发起。调查期间，该机构翻查了数千条日志，用的还是企业提供的笔记本电脑。

目前 Anthropic 已接纳 6 名 METR 工作人员，给他们配了公司硬件和办公场地，还授予“内部工具与系统的访问权限，大致等同于本公司风险评估团队所能获取的权限”。

这家实验室表示，鼓励员工像对待风险部门的同事那样，把信息分享给评估人员。

这项合作不收钱，Anthropic 不会向 METR 支付费用。该研究机构也不接受人工智能企业及其员工的捐赠，它的资金来自个人、慈善组织，以及英国人工智能安全研究所这类政府机构。

评估人员会自行发布分析报告，Anthropic 无权否决。不过，公司可以要求对方删减特定类别的信息，比如客户数据、受律师客户保密特权保护的内容，或者模型架构相关信息。

Anthropic 还提到，与埃森哲（Accenture）的合作仍在推进。埃森哲上个月被确定为安全测试合作伙伴，双方各自承诺投入至少 10 亿美元（现汇率约合 66.93 亿元人民币），用来搭建新的安全防护体系。

另一家第三方测试机构是 SecureBio，它负责审查化学与生物武器相关的风险。

Anthropic 的说法是，公司会主动派人参与评估，并且觉得所有做前沿人工智能的企业都该这么做。METR 方面则表示，愿意与所有前沿人工智能研发企业携手，给公众拿出更可靠的证据。