奥尔特曼斯坦福谈AI:一人加合理token成本,能干百人团队的活
Altman谈AI时代规模效应与一人可抵百人新机遇
斯坦福的一堂系统设计课上,OpenAI CEO Sam Altman 讲了一个正在发生的变化:只要 token 成本在合理范围内,一个人就能干完过去一支百人精英工程团队在创业公司里干的活。这种选项以前压根不存在于创业公司的菜单上,如今却成了现实。他还聊到“规模”的魔力、ChatGPT 和 Codex 是怎么被用户“发现”的、AI 正变成像电力一样的新公用事业,以及为什么眼下最不该做的事就是押注 LLM 规模化。

以下是 Sam Altman 谈话实录:
一、一个人加合理 token 成本,可以做百人团队的事
只要愿意付出合理的 token 成本,今天一个人就能做到过去一支非常优秀的百人工程团队在创业公司里能做到的事。以前这件事完全没可能,根本不在创业公司的选项集里;现在它已经落地。
于是,你能扛起的雄心、你能跑出的速度、你一次能推进的事情数量,全都变了样。这不是渐变,是选项集本身换了。
这个观察为什么成立,我说不清,也没有一个让我满意的理论解释,所以推荐别人照做时我心里有点打鼓。但经验上它确实站得住:我职业生涯里看到的所有最有趣的事,都跟规模带来的涌现属性有关。
当某件事在较小规模上已经以有意思的方式跑通了,而你能把它推到前所未有的规模,多数情况下这是个好主意,而且大多数人做得远远不够。AI 模型的 scaling laws 如此,把更多聪明人聚到一起研究一个问题如此,公司和经济规模也如此。
这一点我是在 YC 真正学到的。那会儿所有人都说 YC 太大了,该缩小,每批只投 10 家公司才是最好的时候。很多非常聪明的人都这么讲。这很诱人,因为工作量会小很多。可 YC 的魔力很大一部分来自批次内部的网络效应,那是一种只有上了规模才会出现的涌现属性。在之前,没人以同样的方式大规模投初创公司,所以也没人发现这一点。

二、规模化的难点:东西会以不可预测的方式坏掉
人们不常做规模化,一个原因是:规模越往上走,东西坏掉的速度越快,方式也越来越不可预测。你真要把某件事做大,它总有点小毛病。而且总会有非常聪明的人劝你:别野心太大,别搞太大,我们试试小一点的。
要说规模化,归根结底得看系统设计。当年我们扩大 AI 模型规模,摆在面前的问题不少:技术上究竟行不行?跨 1 万甚至 10 万张 GPU 训练从来没人干过,得投入大量工程人才;钱从哪来?商业模式是什么?这种风险怎么担?研究人员也会问:既然算力这么多,干嘛全押一个项目?分给几个项目不行吗?
把这些难点一条条拆开,一次解决一个,非常关键。几乎所有规模化的领域,这都是通用方法。
三、人类最难重构:清晰目标、清晰计划、清晰决策方式
规模化的时候,最难重构的往往不是技术,而是人的部分。你对大规模组织人类参与系统有什么经验?
我的回答是:清晰的目标、清晰的计划、清晰说明怎么到达那里,以及路上怎么做决策。这非常重要。
再回到决定把深度学习做大的那个例子。很多人觉得这条路走不通,会有一堆麻烦,应该分散投资。可我们一旦说清楚:“不,我们就是要押注规模化深度学习。这就是我们的方向。错了就失败,但我们就是要干。理由如下,我们相信走到那一步,世界会变成什么样。”这种明确本身就有很大的力量。
再说,人类进化出来的脑子本来就不擅长理解指数增长。scaling laws 会不会一直指数涨、收入会不会指数涨、组织扛不扛得住指数级的复杂,大家都很难想象。按我的经验,要让人真正从第一性原理出发去想“为什么会这样”,得花很长时间。
四、ChatGPT 不是规划出来的,是用户“发现”的
GPT-3 做出来了,可我们需要赚钱,因为想把算力扩到十亿、几十亿美元的量级。GPT-3 是个挺酷的 demo,但围绕它该做什么产品,我们没想出来。试了几样,全没成。模型会越变越好,这我们知道,可收入引擎也想早点转起来。于是我们决定:产品想不出来,那就先做成 API,指望别人能想出产品。
2020 年夏天,GPT-3 API 上线。刚开始几乎没什么 traction。差不多一个月后,就我们所知,它在 Twitter 上莫名其妙地火了。同一天,几个不同的开发者拿它做出很酷的东西发出来,然后其他人也开始试。
可你要是回去用 GPT-3 或者 3.5,会发现模型当时有多差,跟它引起的兴奋完全不成比例,挺让人吃惊。大家试了各种方向,真正明显跑通的业务只有文案写作。那算不上多好,也谈不上多让人激动。我们当时的想法是:只能等模型变得更好。
不过,虽说跑通的只有文案写作,开发者已经学会丢一个 prompt 进去,然后跟它聊。我们看到不少人没法把 API 用在业务上,却拿着 API key 纯粹聊天。于是我们说:人们显然想要一个好用的聊天机器人。
那时候我们手里有 GPT-4,但中间还夹着一个准备好的模型,叫 3.5。我们还找到一种新的后训练方法,让模型更听话、更好聊。我们判断:API 也许只是个一千万到两千万美元 run rate 的生意,可有件事人们很喜欢。按 YC 的原则——看用户喜欢什么,就去做——我们围绕它做个聊天机器人。
发布的时候,我们仍然没觉得它会这么成功。它本来更像个研究 demo,目的是说服别人去做聊天类产品、来买 API。结果它火得一塌糊涂。
在 YC 还学到另一点:只要一件事涨得飞快、又做得不够好,那它大概率就是注定要爆的东西。连续五天,流量先冲高再回落,旁人都说“不过是炒作周期”;可到了第二天,峰值比前一天还高,然后再掉,大家仍旧说炒作。到第四、第五天,我心里就有数了:走向已经清楚,手上很可能握着一款准杀手级产品。
第五天,我们把人全叫到一起,说现在是紧急状态——不过是好的那种。公司要建,产品也要同时做出来。之后是两个月的高速扩张。赚钱的路子往后放,先收费,别让算力账单把公司烧穿就行。这显然不是长久办法,但当时先让它跑起来最要紧。
五、Codex 才是原定主计划:编程是模型伸手控制世界的入口
在做 ChatGPT 之前,我们本来的打算是全押代码。模型能写代码,这一点我们清楚,也知道那会是个值钱的领域。不过内部真正信的是另一层:编程是模型操控计算机的路子,机器人则是模型操控物理世界的路子。只要模型足够聪明,能写代码、能驱动机器人、能操纵机器人的执行器,智能就能在现实世界里替你干活。
走到那一步花了不少时间。Codex 今年早些时候已经相当能打,但 5.5 才是真正的转折点,人们开始拿它做出不可思议的事。

目前的能力管线大致是:预训练、中训练、后训练,再接 RL 和监督反馈循环。我觉得这确实是眼下的管线,不过我认为一次大改写迟早会来。至于什么时候来、具体怎么变,我说不准,但这条“管线”能作为管线存在本身就有点别扭,不像是那个最优解。
那最优解长什么样?我看这得交给 AI 自己去研究解决。我们定过目标:到今年九月,用上相当于 50 万张 A100 的算力,当作 AI 研究实习生;到 2028 年 3 月,拿出一个完整的、端到端的、非常有才华的 AI 研究员,能自己发现全新的架构。
也就是说,沿用现在的管线和架构,我们或许就能越过那条线:AI 做起令人难以置信的工作来。
六、AI 正变成新的公用事业:光说“卖智能”,没几个人有感觉
我觉着我们正在造一种新的公用事业。这种事不常有。电是公用事业,互联网是,水也是,这类东西屈指可数。所以手头能借用的比喻和经验都不多,没人教过我们该怎么向世界解释它。
前阵子我翻了过去电变成公用事业那一段。早年的电力公司不推销“电”,因为没人知道电是什么、为什么要它。电听着还挺吓人:它要进你家,可能把你电死,跟以前的世界完全不是一回事。他们大概也试过卖电、给电做营销,结果没成。
后来他们改卖别的东西:夜晚的光。你从我们这儿拿到的不是电,是夜晚的光。顺带一提,同一套东西还能干很多别的。可人们还是要问:我为什么要那个?他们会说:总有一天它还能帮你洗衣服。人们回:不行,那太远了,接受不了。
AI 对应的“夜晚的光”是什么,我不知道。但就算我们判断完全正确——智能会成为每家公司、每个客户、每个政府都得接上的新公用事业,你会有一份 OpenAI token 订阅,插到所有东西上,一直为你跑、替你干各种惊人的事——至少眼下,我不认为拿“我们在卖智能”去类比是对的,因为人们听了没共鸣。
真想成为新的公用事业,就得找到一种说法,向世界讲清楚:手里有这么一根智能管道,你想拿它做什么都行,这到底意味着什么。
不管是消费者、企业还是个人,你最终会以更接近 token、甚至比 token 再高一层的单位来思考。硬件搁在哪儿、用的是哪款芯片、靠什么供电,这些你都不会太在意,它们会被抽象掉。你在意的是:我跟系统打交道时,能大量用上吗?便宜吗?干得好吗?
眼下它还是 token 的样子。等进入一个人人都有一个常驻 agent、一直替你服务、一直有用的世界,你想到的可能还会再高一层。就像交手机账单时,你想的是“买通话时间和流量,接进整个系统”,不会去想基站里装的什么硬件、怎么连上互联网。底层硬件会被抽象掉。
七、赌 LLM 规模化会失败,是眼下最误导人的判断
说到 Yann LeCun 那句“LLM 是死路”:先讲一点,就达到人类水平智能而言,这些模型有些方面已经远远超过人,另一些方面又远不如人。比如在周期特别长、特别吃判断力的任务上,它们似乎比人差得多。
可另一边,就在昨天,我们的一个模型发现并证伪了一个 Erdős 问题猜想,那是聪明人琢磨了很久的问题。不少聪明的科学家——LeCun 在不在其中我不知道——最近还说这种事不会发生。结果模型就这么做出来了。现在数学家们在问:数学是不是要结束了?这对我们这行意味着什么?
所以,LLM 显然有本事发现新知识,显然能完成一些人类做不了的智能任务。它们还会继续规模化。它们能比人做得更好的任务,这个分布能铺多宽,我们等着看,但我怀疑会很多。
还有,前面说过的“对指数增长缺乏信念”,这行确实被一代科学家拖累过,他们对“规模化不会带来什么”太过笃定。另一拨人则只管看图,说“看着还在漂亮地往上走,那就接着走”。
世界模型显然重要,机器人这类事情离不开它。但在当前这个节点上押 LLM 规模化会失败,我觉得非常误导。
八、给“一人前沿实验室”的建议:去研究推理,让智能便宜又充足
如果我坐在这个班上,做“一人前沿实验室”这个项目,我会干什么?
在奥尔特曼看来,眼下很多非常聪明的人正扎堆研究训练思路,更强的模型很快就会到来,这一点他敢打包票。问题在于,“大规模交付大量廉价智能”这件事投入得远远不够。他提到,如果自己坐在这个班上做“一人前沿实验室”项目,大概会去啃推理栈:怎么让这种惊人的智能变得便宜、管够。按他的判断,这恰恰是投资不足的环节,而且所有前沿实验室在很大程度上最终都得变成推理公司。
改项目现在可能有点晚,不过晚总比没有好。他的建议就一句:做你想做的。
结 语
这场访谈里,奥尔特曼对规模、产品和AI未来的几项核心判断被逐一摆了出来。一个人配上适量token,就能顶上一支百人团队干的活;规模常常会带来超出共识的涌现特性,可多数人并没有足够用力去推它;ChatGPT和Codex的诞生,都来自“先看看用户喜欢什么,然后去做”;AI正在变成一种新型公用事业,至于怎么向世界解释它,那道“夜晚的光”还没找到;现有的能力管线算不上最优解,需要一次重大重写;面对指数增长,别让身份绑架了你对真相的判断。
就像奥尔特曼说的:“如果你把自己的身份认同绑定在某个特定事情会成功或不会成功上,你太执着于自己的身份,就放不下,看不到真相。”在这个指数级时代,这或许是给每个人的最重要一句提醒。