Anthropic预训练算力效率超指数增长
因为在内部看到了一张折线图,一名顶尖AI研究员在万亿IPO前夕,直接掀桌子走人了! 他叫Jacob Coxon,曾先后担任OpenAI与Anthropic的预训练研究员。两个月前,他毅然放弃巨额IPO期权辞职。 就在这两天,他晒出了那张逼走自己的「罪魁祸首」。 让人意外的是,Anthropic居然在IPO路演中,把这张
一名顶尖AI研究员之所以在万亿IPO前夕拍案离去,起因是他在内部看到了一张折线图。
此人名叫Jacob Coxon,先后在OpenAI和Anthropic做过预训练研究。两个月前,他放弃了数额可观的IPO期权,选择辞职。
就在这两天,他把那张逼自己走人的「罪魁祸首」公开晒了出来。
出乎意料的是,在IPO路演中,
Anthropic竟把这张内部图当作头号王牌,向外界公开。
图中那条橙色曲线,连对数坐标都压不住,还在加速向上陡升。
在亲历者看来,这相当于拉响了「奇点警报」。
对照Anthropic最新公开的路演原片和招股书核心文件,可以看到三个颠覆认知的真相:
「预训练撞墙」的说法彻底破产,重训Mythos所需算力骤降。
刚在全球屠榜的初代Mythos,在内部曲线上不过是个中间节点;如今只用最初一小部分算力,就能把它从头再训一遍。
Scaling Laws鼻祖揭开谜底:砍掉视频,死磕代码,加速造自己。
Claude反过来大幅加快了算法乘数的发掘,Anthropic于是果断放弃视频与图像生成,把算力全部砸向能反哺AI研发的代码与Agent。
人均代码贡献暴涨45倍,三天零人工重写几乎全部算子。
内部超90%的代码已由Claude包揽,复杂工程盲测成功率飙到90%,连新芯片的底层算子,Mythos都能在3天内独立重写。
对数坐标都压不住
重训Mythos算力大降
把这张让Jacob Coxon夜不能寐的路演图放大,最核心的秘密就藏在横纵坐标的设计里。
纵轴名为「算力乘数」,意思是算法进化替人省下了多少倍算力。乘数越高,训出同等模型要用的算力就越少。
抹掉数字还能得出结论,原因全在纵轴旁「对数刻度」这四个字上。
普通线性坐标系里,往上走一格不过是平淡的「加1、加2」。
换成对数坐标系,往上走一格就代表效率翻倍,甚至狂翻10倍。
也就是说,即便算法效率已按常规「指数级」翻倍增长,画在对数坐标上也只是一条笔直的斜线。
但在这张图上,橙色折线非但不是直线,反而越往后越陡,一路加速冲向右上角:
对此只有一个解释:代码预训练效率已进入「超指数级」爆发,连「效率翻倍的速度」本身都在成倍加快。
过去一年,硅谷屡屡传出「预训练撞墙」的悲观论调,而这条一路狂飙的橙色曲线,把「撞墙论」砸得粉碎。
对照招股书里公布的模型时间表,今年4月引发业界轰动的初代Mythos预训练节点,正好落在图中第三个橙色圆点的位置。
那条直指右上角的箭头,对应的是团队仅用半年就迭代到最新Mythos 5.2的过程中,算法乘数又一次集中释放。
Jacob Coxon恰恰是被这一点震住的:初代Mythos刚在全球榜单上登顶,放到这条曲线上却已经成了历史。
靠着这半年里累积起来的算法乘数,眼下拿出当初的一小部分算力,就足够重新训练出一个同等水平的模型。
提出Scaling Laws的人讲出内情
放弃视频,集中做代码
光有效率提升,还不足以让一位顶尖研究员转身离开。真正促使Jacob Coxon决定退出走人的,是那条曲线背后一路推高它的力量。
IPO路演现场,把这张图亮出来的人,是联合创始人兼首席架构师Sam McCandlish——初代《Scaling Laws》论文的第一作者。
他当场给出了折线在后半程陡然向上折的原因。
早年间找新的算法乘数,基本依赖人类研究员逐个手工验证,所以最前面两个圆点之间的斜率看起来比较平缓。
后来团队把前沿Claude模型直接放进改进自身的研发流程,情况就变了——用他的话说,「发现效率乘数的速度本身,被Claude大幅加速了」!
联合创始人兼首席算力官Tom Brown接着把这台「算力引擎」的运行方式拆开讲:「总有效算力 = 物理算力容量 × 算力乘数」。
这个公式能爆发出多大能量?假设训练一个顶级大模型,原本需要消耗100个单位的物理算力。
只要算法团队找到了4倍的算力乘数,训练同等水平的模型就只需要25个单位算力。
反过来看,若把100个单位算力统统投进去,得到的就直接是一个相当于400单位算力规模的超级模型。
更关键的是,各维度的算力乘数还能像复利那样一层层叠乘:每发现一个新乘数,之前所有乘数的效果都会再被放大一轮。
再留意折线图的标题,末尾专门用括号注了「(代码)」两个字。
这个标注背后是一步重要的战略取舍,Anthropic在S-1招股书里对此作了公开说明。
视频与图像生成的商业吸引力虽然很大,Anthropic眼下却选择不去研发视频和图像生成模型。
省下的算力被公司统统压到代码、Agent与安全研究上,目的就是让AI直接接手自己的研发流水线。
在一线研究员看来,这相当于亲手打开了「AI加速造自己」的那道阀门!
人均代码量涨了45倍
三天无人手重写算子
阀门一开,Anthropic内部研发效率的爆发程度,连亲身经历的人都感到喘不过气。
路演视频里还有一张柱状图,拿2024年的日均水平作对比,今年内部每位工程师每天产出的代码量全面起飞。
这个倍数一季度还是6.2倍,二季度10.3倍,到三季度直接蹿到45倍以上,两个季度就涨了7倍多。
另一头,那些过去只能靠资深人类工程师凭经验拿主意的复杂开放式工程题,Claude的内部盲测成功率也在9个月里涨了50个百分点,来到约90%。
今年前9个月,内部员工调用Claude的次数涨了250倍以上,代码库中超过90%的代码已经由Claude写出。
人类工程师的工作方式变了:不再一行行手敲,改为下高层指令,再审查AI长时间自主跑出来的结果。
日常研发代码九成以上交给AI之后,它开始啃整个芯片界公认最难的那块骨头——底层硬件适配。
换成常规大厂,每接一种新芯片架构,通常得拉上百名底层工程师熬上几个月,把软件栈和算子库一行行重写。
今年Anthropic第一次把AMD GPU并进多芯片统一算力池,团队直接让自家的Mythos模型上阵。
几乎没有人插手,Mythos花3天就把近100%的底层算子内核重写了一遍,Claude在AMD集群上全速跑通。
走到这一步,AI自我改进的循环已经整个打通。
下一步,Claude要能完全独立地找出新的算力乘数,让这条超指数曲线继续往上冲。
可亲眼看着这一切发生的内部研究员,感受却是人类正在把方向盘交出去。
Jacob Coxon晒图时就发出警告:抬高算法乘数根本用不着罕见的人类天才灵感,这活儿本身很快就会被AI全盘自动化接走。
Anthropic的七位联合创始人也一样,在IPO公开信末尾亲口承认,「AI系统自己建造自己」的进程正在全面提速,AI能力的复利增长还会越来越快。
在这场谁先松油门谁就出局的万亿竞赛里,没有人会真的踩下刹车。
那张把一线研究员吓到放弃巨额期权、掀桌子走人的超指数曲线,或许才刚拉开奇点风暴的序幕。
参考资料:
https://x.com/hilbertspaess/status/2121331333654086124
https://x.com/hilbertspaess/status/2121425977876341092