微软AI老将兰福德离职：创新难落地，扩规模路线受质疑

在微软干了超过 14 年的 AI 科学家约翰 · 兰福德（John Langford）已经走人。他还是 AI Frontiers 实验室的联合创始人。按他的说法，走的关键原因是研究成果找不到实际应用的路径，连创新想法都很难被认真对待。Windows Latest 在 11 月 14 日发布了这则报道。

他所在的团队约 50 人，今年 9 月被调整并入穆斯塔法 · 苏莱曼（Mustafa Suleyman）领导的 Microsoft AI 部门。不过在研究路线、创新落地渠道和团队重组方式上，双方分歧不小，兰福德因此决定离开。

兰福德并不否认，把模型规模做大确实能改善预测效果，对企业来说这条路线的回报也更容易算清楚。他反对的是把扩规模当成唯一核心，那样会把重心过度压在数据上，挤掉探索新方法的空间。

Scott Langford 和 Mustafa Suleyman，图源：微软

这项研究提出，模型生成下一个词元时，除了用此前输出的词元，还会把内部的中间状态重新利用起来，减少信息浪费。

论文实验里，10 亿参数模型用更少的训练数据，就能接近甚至达到常规模型用约 1.5 倍数据训练的表现，而每个词元多出来的计算开销很小。

报道还提到，字节跳动 Seed 团队今年 10 月 25 日发布了思路相近的 Recycler 研究，同样以类似方式重用隐藏状态，在推理和数学上能超过参数多两到三倍的模型。