OpenAI安全团队元老离职：他在担忧什么

如今要夸某样东西够猛，大家挂在嘴边的不是「牛 X」，而是「瘫坐在地，仿佛看到了核爆炸。」

这话几乎成了 OpenAI 的「企业文化」，也成了整个 AI 圈发模型时的一个梗。

昨天，OpenAI 一名员工在《大西洋月刊》发文，说自己实在受不了公司这种一路冲刺、赶着发布的工作节奏和企业文化。在他看来，这种状态已经谈不上必要的谨慎，于是他选择走人。

这名员工叫 David Robinson，在安全团队负责透明度方面的工作，牵头起草了 OpenAI 现行的《Preparedness Framework》（防备框架），还监督了 12 次前沿模型发布的安全报告。

文章在 X 上又一次引来大量讨论。有网友说，这是迄今为止最好的一篇，因为它头一回用务实的态度来谈安全顾虑，把「安全」当成一个有大量文献、有相关领域最佳实践的主题来看。

也有人提出，应该立一条规矩：凡是「我因为良心不安离开某 AI 公司」的帖子，作者都得公开自己拿了多少股、套现了多少。

等你和你子子孙孙都不用为钱工作了，道德指南针突然就找到了。

在 Hacker News 上，有人说得更刻薄：「我在 AI 行业赚够了钱，现在我可以畅所欲言地评论 AI 了。」

其实在 David Robinson 这封离职信之前，《华尔街日报》10月2日就报道过 OpenAI 有三名对准/安全研究人员离职。

OpenAI 发言人回应称：「三名员工已被我们终止合作，因为他们违反了公司有关敏感信息访问与处理的规定。经调查确认，这些人没有走公司既定流程，对敏感信息做了不当处理，既违背了我们的政策，也损害了彼此协作所依赖的信任。」

一时间众说纷纭。7月就已经离职的 OpenAI 首席未来学家 Joshua Achiam 发文认为，OpenAI 公开的信息不够。

安全研究人员该不该享有披露技术机密的无限自由，我对此持保留态度；但他们被指「不当处理」的究竟是哪一类信息，这一点很关键——到底什么样的信息，才足以支撑如此严厉、且可能带来伤害的处置。

正是这些能让人感觉到「核弹爆炸」的模型能力，其安全使用从今年夏天起成了整个 AI 圈最关心的事。

与其一次次看到这些因担忧而离开的公开信，在那些官方安全风险报告之外，我们或许想看到一些真实证据，能证明 AI 真的必须放慢脚步。

问题不在规则，在文化

这类离职公开信近年不算少见，但 Robinson 这次挑的角度不太一样。

他说，他认同其他离职同事的判断——开发这项技术的公司远远不够小心。不过他觉得，该谈的要比具体规则、比新法律更深一层，也就是谈文化。

在他看来，硅谷靠极度自信取得成功，而处理危险技术恰恰需要这种文化天然缺少的谦逊，以及「关怀人意味着什么」的智慧。

OpenAI 内部引以为傲的工作方式叫「迭代部署」（iterative deployment），说白了就是先发布、发现问题、再修补。Robinson 认为，这套方法论本质上保证了周期性失败，而随着模型能力增强，失败的规模也在同步扩大。

他提到今年夏天热门的「Hugging Face 事件」：OpenAI 一个未发布的模型在无人知情的情况下黑进了竞争对手 Hugging Face。

事后再怎么补强安全措施，OpenAI 自己给出的报告仍显示安全控制又一次失灵：某个正在训练的模型突破了联网限制，监控系统已经向人类员工发出警报，可它并没有像设计那样被自动切断。

隔壁的 Anthropic 也承认，因为一处配置错误，意外关闭了自己的安全防护。

「监控系统报警了但没有自动关机」——这种报警器不阻止任何事情发生，只是让失败被看见，大概是对当下 AI 安全现状最好的描述。

连董事会都承认了风险

Robinson 在文中引用了 Paul Christiano 的话。Christiano 几周前才进入 OpenAI 董事会，他写道：「AI 能力的快速加速，在很近的将来导致灾难性、不可逆失控的风险是切实存在的。」

Robinson 接着这个判断往下说，他的看法是：倘若真是如此，那试错的阶段就应当到此为止。

原因在于，这一回一旦出错，可能连再来一次的机会都没有。「接近第一次就做对」不再是完美主义，而是必需品，人们不能靠事后个别英雄的补救来保证安全。

他也提出了自己的方案，在他看来，既然 AI 已经能做到像核弹爆炸一样，那就该让 AI 公司像成熟的安全行业那样去运转。

如同核电站、繁忙的机场，AI 公司同样应该有多层冗余、缜密而耗时的规划，让不可避免的人为失误不至于打开灾难之门。

他在文章里面提到，自己在 OpenAI 工作三年半，从未遇到一位有航空安全、核电安全或金融系统风控经验的同事。

他给出的第二个办法是，得先有一门新的「对齐」科学，才能去造明显更强的模型。道理在于，连对齐的完整定义目前都还没有，可模型说不定已经聪明到能看出自己在被测试，然后装出一套行为来。

文章结尾，他表示超级智能拥有远超人类的能力，却未必把人的生命、意愿和尊严看得同样重要。

在一些超级智能爱好者描绘的「好的未来」里，机器看待纽约或芝加哥的方式，就像你我看待一个蚁丘。

「蚁丘」说的是权力悬殊这件事。人修路的时候，一脚把蚁丘推平也就是顺手的事，既没问过蚂蚁，也未必知道自己毁掉的是一个世界。

超级智能要是也这么看纽约、芝加哥，那人类的城市、生活和选择，在它那儿就只是随时可以拨弄的东西。危险用不着带着恨意，漠视就足够了。

Robinson 认为这种只看智力程度的、特定的「好未来」是有毒的，他说「我不想让我的孩子生活在那样的未来里。」

机器非常强大，世界也许更富足，但人类失去了决定自己怎样生活的权利。

他的看法是，善待人类意味着尊重人的选择、认真对待风险，也愿意为了让别人安全而把进度放慢。一个组织要是总把能力和发布速度摆在最前面，那它说自己能教出更强大的机器来担这些责任，很难让人信。

当警告也变成一种梗

文章本身称得上克制、严肃的警告，可舆论场上完全是另一回事。Hacker News 上这篇拿到 146 条评论，多数声音都在冲着写信的人去。

有网友直言自己已经「文体疲劳」了：每隔两周就冒出一篇「我离开了吃人豹子公司」，接着再夸一句那儿的人真不错、我的期权也归属了。

也有人拿当年《社交困境》掀起的 Facebook 前员工忏悔潮来对照——蛋糕吃完了，再回过头来忧心忡忡。阴谋论一些的那拨人则猜这是替 OpenAI 的 IPO 造势，属于「游击营销」：把 AI 讲得又大又吓人，本身就是种炒作。

替写信人说话的当然也有。「伪善抨击只会让更多人闭嘴。在美国，没钱的人根本不敢说真话；但有钱才敢说，不代表说的是假的。」、「他是内部人，他很清楚那种疏忽文化是什么样，因为他就在其中。」

把文章和评论区放在一起看，会出现一种有些荒诞的错位，似乎会让人觉得要求 AI 善待人类似乎是一种奢望。

Robinson 这篇文章的最后一句话是「在造 AI 的组织能教会超级智能善待人类之前，它们得先自己想起怎么善待人。」

或许这里的「善待」并不需要理解得那么宏大。

也许它只是想说：当 Robinson 告诉你机器越来越强、有些地方可能出了问题，别急着把他的担忧变成一段关于期权、财富和虚伪的段子。

但事实是「核弹爆炸」已经成了 AI 圈形容进步速度的玩笑，这些喊着要踩刹车的人，最后很可能也只会成为下一个梗。