Anthropic路演神图逼走研究员:重训Mythos算力骤降
一张图吓得研究员当场辞职!Anthropic最疯神图流出
新智元报道
新智元报道

一名顶尖AI研究员在内部看到一张折线图后,赶在万亿IPO前夕直接辞职走人。
此人名叫Jacob Coxon,做过OpenAI和
Anthropic的预训练研究员。两个月前他放弃巨额IPO期权,辞了职。
这两天,他把那张逼自己离开的「罪魁祸首」晒了出来。
让人没想到的是,Anthropic在IPO路演中把这张内部图当作头号王牌,公开示人。
那条橙色曲线陡得连对数坐标都压不住,还在加速往上冲。
在亲历者眼中,这就像「奇点警报」被拉响了。
对照Anthropic最新公开的路演原片和招股书核心文件,能看出三个颠覆认知的真相:
-
「预训练撞墙」的说法彻底破产,重训Mythos所需算力骤降
刚在全球榜单登顶的初代Mythos,在内部曲线上不过是个中间节点。现在只用最初一小部分算力,就能把它从头再训一遍。
-
Scaling Laws鼻祖揭秘,砍掉视频死磕代码加速造自己
Claude反过来大幅加速算法乘数的发掘,Anthropic因此果断舍弃视频与图像生成,算力全砸向能反哺AI研发的代码与Agent。
-
人均代码贡献暴涨45倍,三天零人工重写几乎全部算子
内部超90%代码已由Claude包揽,复杂工程盲测成功率飙到90%,新芯片的底层算子也能靠Mythos在3天内独立重写。
把这张让Jacob Coxon夜不能寐的路演神图放大,最核心的秘密藏在横纵坐标的设计里。
纵轴名为「算力乘数」,意思是算法进化替你省下多少倍算力。乘数越高,训出同等模型要的算力就越少。
数字都抹掉了,为什么还能得出这个结论?秘密就在纵轴旁「对数刻度」四个字里。
换成普通线性坐标系,往上每走一格不过是平淡的「加1、加2」。
到了对数坐标系,往上每走一格,效率就翻一倍,甚至狂翻10倍。
也就是说,算法效率哪怕已按常规「指数级」翻倍增长,画在对数坐标上也只是一条笔直的斜线。
可这张图里,橙色折线不但不是直线,还越往后越陡,一路加速奔向、冲向右上角:
唯一的解释是,代码预训练效率已经进入「超指数级」爆发,连「效率翻倍的速度」本身都在成倍加快。
过去一年,硅谷反复传出「预训练撞墙」的悲观论调。这条一路狂飙的橙色曲线,把「撞墙论」砸得粉碎。
翻看招股书里列出的模型时间表,橙色折线上第三个圆点恰好对应今年4月引发业界轰动的初代Mythos预训练节点。
那条笔直指向右上方的箭头,则对应短短半年迭代到最新Mythos 5.2期间,算法乘数又一次迎来大爆发。
让Jacob Coxon吃惊的正是这里:刚在全球榜单上屠榜的初代Mythos,放到这条曲线上已经成了过去式。
靠着这半年叠加起来的算法乘数,现在只动用当初一小部分算力,就能重新训出一个同级别的模型。
单是效率提升,还不足以吓退一名顶尖研究员。真正促使Jacob Coxon决定走人的,是推着这条曲线猛涨的幕后力量。
IPO路演中亲手亮出这张图的,是联合创始人兼首席架构师、初代《Scaling Laws》论文一作Sam McCandlish。
他在现场直接讲明了折线后半程为何会突然加速上折——
早期找新的算法乘数,基本靠人类研究员手动验证,所以前两个圆点之间的斜率比较平缓。
等到团队把前沿Claude模型直接投进改进自身的研发流程后,「发现效率乘数的速度本身,被Claude大幅加速了」!
随后,联合创始人兼首席算力官Tom Brown接着拆解了这台「算力引擎」怎么运转,即「总有效算力 = 物理算力容量 × 算力乘数」。
这个公式的爆发力有多大?假设训练一个顶级大模型原本要烧掉100个单位的物理算力。
只要算法团队找到4倍的算力乘数,训出同等水平的模型就只需25个单位算力。
反过来,把100个单位算力全投进去,就能直接训出一个相当于400单位算力规模的超级模型。
更厉害的是,不同维度的算力乘数还能像复利一样层层相乘,每发现一个新乘数,此前所有乘数的效果都会被再放大一轮。
仔细看这张折线图的标题,末尾还专门加了个括号标注「(代码)」。
S-1招股书里,Anthropic公开解释了这一标注背后的重大战略取舍。
视频和图像生成虽然商业吸引力很强,但Anthropic眼下选择不研发视频与图像生成模型。
省下来的算力,公司全部集中砸向代码、Agent与安全研究,目的就是让AI直接接管自身的研发流水线。
在一线研究员看来,这无异于亲手拧开了「AI加速造自己」的阀门!
阀门一拧开,Anthropic内部的研发效率就迎来了让亲历者都感到窒息的爆发。
路演视频里还有一张柱状图,对比的是2024年的日均水平,今年内部每位工程师每天写出的代码量全线上扬。
这个倍数从第一季度的6.2倍、第二季度的10.3倍,一路垂直冲到第三季度的45倍以上,两个季度就涨了7倍多。
另一边,碰上过去只能靠资深人类工程师凭经验判断的复杂开放式工程难题,Claude的内部盲测成功率也在9个月里涨了50个百分点,达到约90%。
今年前9个月,内部员工调用Claude的次数增加了250倍以上,代码库里90%以上的代码已经全部出自Claude之手。
人类工程师不再逐行敲代码,改为下达高层指令,再审查AI长时间自主运行的结果。
AI揽下九成以上的日常研发代码之后,连整个芯片界公认最难啃的底层硬件适配,它也开始接手。
换成常规大厂,每接入一种新的芯片架构,通常要拉上百名底层工程师熬上几个月,一行行重写软件栈和算子库。
但今年Anthropic第一次把AMD GPU并入多芯片统一算力池时,团队直接派上了自家的Mythos模型。
几乎没有人插手,Mythos只花3天就独自重写了近100%的底层算子内核,让Claude在AMD集群上全速跑通。
到这一步,AI自我改进的循环已经彻底接通。
接下来,Claude将能完全独立地挖掘新的算力乘数,让这条超指数曲线继续加速往上走。
不过在亲眼看着这一切发生的内部研究员看来,这意味着人类正在把方向盘交出去。
就像Jacob Coxon晒图时警告的那样,推高算法乘数根本用不着罕见的人类天才灵感,这项工作本身很快就会被AI完全自动化接管。
Anthropic的七位联合创始人也一样,他们在IPO公开信末尾亲口承认,「AI系统自己建造自己」的进程正在全面提速,AI能力的复利增长还会越来越快。
在这场谁先松油门谁就出局的万亿竞赛里,没有人会真的踩下刹车。
那张把一线研究员吓到放弃巨额期权、掀桌子走人的超指数曲线,或许才刚刚拉开奇点风暴的序幕。
参考资料: