Anthropic CEO Amodei往事:父亲病逝、自己患癌、与Altman分道扬镳
本文事实来自《纽约时报》11 月 5 日的特稿 The Making of Anthropic's C.E.O.(作者 Ryan Mac、Kalley Huang、Cade Metz、Georgia Gee)这个月 Anthropic 即将上市,会是全球最大规模的 IPO 之一。《纽约时报》发了一篇 Dario Amo
《纽约时报》11 月 5 日刊发特稿 The Making of
Anthropic's C.E.O.,作者为 Ryan Mac、Kalley Huang、Cade Metz、Georgia Gee。
本月 Anthropic 即将上市,将是全球最大规模的 IPO 之一。围绕公司创始人 Dario Amodei,《纽约时报》这篇人物特稿采访了二十多位同学、朋友、老师和同事,Dario 本人则拒绝了采访。他今年 43 岁,按时间排下来经历过这些事:
2006 年,父亲死于丙肝。
2007 年,读完《奇点临近》,他认定奇点会在 2040 年前后到来。
2014 年,确诊睾丸癌,化疗后完全康复。
2020 年,和 Altman 闹翻,离开 OpenAI,四周后创立 Anthropic。
在朋友和同事的印象里,Dario 那套想法有两个源头:一是理性主义,二是有效利他主义(EA)。这两套东西有个共同信念——数学推理能改变人类的未来。
于是在 Dario 这里,就有了这么一个信念:AI 危险到只能交给他和想法相近的人来造,所以要赶在不在乎安全的人之前造出来,并且握在自己手里。
他最舍不得时间
对时间的这份在意,Dario 是从父亲那儿来的。父亲 2006 年死于丙肝,可没过几年就出了新药,绝大多数丙肝患者都能治好。那年 Dario 刚离开斯坦福,进普林斯顿念物理博士。父亲走后,他一点点转向生物物理和计算神经科学,琢磨的是怎么让技术帮科学跑得更快。
当时的女友 Jade Wang 记得,两人经常讨论:一个科学家一辈子只盯一种病,和一个人给整个领域造工具,哪种影响更大?Dario 挑了后者,还把自己父亲搬出来当例子。
到了 2011 年,他回斯坦福做博士后,研究癌细胞。与此同时,他开始吃抗衰老补剂,坚持严格的游泳训练,也研究过限制热量摄入(有研究显示,这能延长实验鼠的寿命)。
高中越野队的队友 Nathan Avery 说,Dario 经常讲,时间是唯一不可再生的资源。
然后是 2014 年,他自己确诊了睾丸癌,做了化疗,后来完全康复。两位认识他的人说,这件事让他对时间更急了。
同一年,他加入了百度在硅谷新开的 AI 实验室。
把道德换算成数字
Dario 在旧金山的 Mission 区长大,高中就读于当地最好的公立高中 Lowell,课余还跑去 UC Berkeley 上课。那时候他就在琢磨。
读大学时(先在 Caltech,后来转到斯坦福),有一次他和朋友去吃寿司。他吃素,但他论证说,螃蟹是无脊椎动物,可以吃。
朋友接着抛出个问题:假使有人一直杀鸡,那杀到第几只时,把他杀掉来制止才算合理?Dario 笑笑,说这个数字确实存在。
再后来,他把同一套算账思路挪到了捐款上。2008 年,经济学家 Tyler Cowen 的博客上出现了 GiveWell,这家机构专门研究如何让每笔捐款的效果最大化,Dario 没多久就成了其论坛的活跃用户。
2010 年,他在 GiveWell 发文章,谈自己那笔钱该给谁。摆在面前的候选有两家:一家做成人结核病防治,另一家为非洲村庄的孩子接种疫苗。1 万美元
他最初的算法是:成年人能拥有更深刻、更有意义的体验,因此一个成年人的死亡,大约比一个婴儿的死亡糟上两到三倍,那就该选前一家。可到了最后,他比对了两家的执行情况,钱还是捐给了打疫苗的那家。
也是在同一年,他认真盘算过去干金融——收入高,能捐出去的也就多。
奇点定在 2040 年
Dario 迷上 AI 是在 2007 年。那时他 24 岁,正在普林斯顿读博,刚看完 Ray Kurzweil 的《奇点临近》。高中同学 Colin Heckman 来看他,他告诉对方,奇点会在 2040 年前后到来,届时人或许会与机器融合,成为新的超级智能。Heckman 说,打那以后 Dario 就着了魔,认定 AI 必须造对,造错了人类就完了。
那几年,Accelerating Future 和 Overcoming Bias 两个博客他常看,上面的作者经常讨论 AI 会以何种方式毁灭人类。
理性主义的代表人物 Eliezer Yudkowsky 也让他很推崇。2008 年给朋友的邮件里,他说 Yudkowsky 是自己见过思想最深刻的人之一,还拉着朋友和妹妹去参加 Yudkowsky 办的奇点研究所年会(这家机构如今叫 MIRI)。Yudkowsky 这次回复记者说,他不记得 Dario 找他要过什么建议。
(对了,同一时期 Dario 还和马斯克通过信,考虑过去 SpaceX 工作。)
班底来自一栋合租房
背景是这样的:那几年 Dario 和 GiveWell 创始人 Holden Karnofsky 走得很近,还给 GiveWell Labs 当生命科学方向的顾问(这个项目由 GiveWell 和 Facebook 联合创始人 Dustin Moskovitz 夫妇的慈善机构合办)。Karnofsky 当时正和 Daniela 交往,两人搬进了旧金山的一栋合租房。后来住进来的还有 Dario、理论物理学家 Jared Kaplan,以及跟 Dario 学过数学的 Chris Olah。
室友们凑在一起读 Yudkowsky 的文章,结伴去火人节,有时还穿上动物装。Anthropic 的七位联合创始人中,有四位住过这栋房子。
剩下三位,也都在理性主义和 EA 圈子里待过。Karnofsky 则在 2017 年和 Daniela 结婚(婚礼上 Dario 戴了个熊猫头套),2025 年也加入了 Anthropic。
在 OpenAI 争控制权
爱争论这件事,Dario 从百度时期就出了名。
那间实验室当时由从谷歌过来的吴恩达坐镇。同事 Gregory Diamos 回忆,Dario 几乎每场会都要争上一争。2015 年他就跟同事提过,AI 说不定很快就能追上甚至超过人脑,做这行的公司必须认真对待它失控的可能。
也是在同一年,他转去 Google Brain,方向锁定安全。2016 年,他和 Olah 等人合作发表了论文 Concrete Problems in AI Safety。
此后他进入 OpenAI,负责安全团队和 scaling laws 团队。七位前同事说,他在那里说话越来越大胆,也越来越想按自己的思路去推公司,比如:
2016 年特朗普当选三天后,他在内部聊天软件里表示,自己担心美国正滑向威权,不愿在这样的国家研究有军事威力的技术。
他还提出,Peter Thiel 资助特朗普竞选,道德上该受谴责,OpenAI 不该再拿他的钱。后来 Thiel 的 Founders Fund 投了 Anthropic。
2017 年,他从中牵线,让 Karnofsky 主持的慈善机构(现名 Coefficient Giving)向 OpenAI 捐了
3000 万美元这笔钱到位后,Karnofsky 进了董事会。2018 年,研究员 Joshua Achiam 劝 Altman 别让 Dario 出任首席伦理官,最好从外面请专家。Dario 当着他的面嗓门就上去了,说没人比自己更合适。
同一年,他和 Daniela 接手 GPT 项目,试着让 AI 在人类指导下学着完成任务。先让模型逼近危险的能力,再用安全技术去检验,这后来成了他一贯的路数。
Greg Brockman 想参与 GPT,Dario 一次次向 Altman 下最后通牒:不把 Brockman 挡在外面,他就走人。
Altman 没答应。
2020 年 12 月,兄妹俩和几位同事离开 OpenAI,四周后创办了 Anthropic。
顺带一提,《纽约时报》正在起诉 OpenAI 和微软侵犯版权,两家均否认。
一切立场,都有原因
Dario 眼下几个公开主张,都跟 AI 的风险挂钩:
限制美国对华芯片销售
对 AI 加以监管,防止它失控
在与美国国防部的争执中,他坚持给 AI 的用途划两条线:大规模监控美国人,以及自主武器
今年 9 月他发文,呼吁放慢前沿 AI 的开发速度
AI 安全圈里不少人站他这边,扎克伯格和黄仁勋则骂他是“末日论者”,说他想把 AI 的权力攥在自己手里
美国国防部 9 月也在社交媒体上发了一句:
“Americanism, not effective altruism.”
Dario 自己也在和这两个圈子保持距离。2023 年上 Hard Fork 播客时,他说自己不算 EA,其中不少想法他认同,但把人分成一个个部落,他反对。
高中越野队的老队友 Avery 谈到他为何执意走到这个位置时这样说:
Dario 打心底认定,人类正面临巨大的生存风险,因此他得把自己放到能有所作为的位置上。