微软AI老将兰福德离职：14年研究难落地，降本研究未获重视

11 月 14 日，科技媒体 Windows Latest 发布博文称，在微软工作了超过 14 年的 AI 科学家、AI Frontiers 实验室联合创始人约翰 · 兰福德（John Langford）已经离开公司。按他的说法，走人的关键原因是研究成果找不到实际落地的路径，连创新想法都很难被认真对待。

公开资料显示，兰福德在机器学习领域资历深、影响力大，长期做机器学习与学习理论方向的研究。他比较重要的贡献是推动了 Contextual Bandits（上下文多臂老虎机），并与合作者在探索算法、学习问题归约以及离线策略评估上做出了代表性工作，为机器学习系统利用不完整反馈改进决策打下了理论与方法层面的基础。

他所在的团队规模约 50 人，今年 9 月经历了一次调整，被并入穆斯塔法 · 苏莱曼（Mustafa Suleyman）领导的 Microsoft AI 部门。不过在研究的路线选择、创新成果怎么落地以及团队重组的方式上，双方分歧不小，兰福德因此决定离职。

兰福德也承认，把模型规模做大，预测效果确实会变好，对企业而言，这条路的回报也更容易算清楚、更可预期。他不同意的是把扩规模当成唯一的核心，那样一来，工作重心会过度压在数据上，探索新方法的空间就被挤掉了。

兰福德本人更想去做创新研究，Microsoft AI 部门则更看重扩大 AI 模型的规模。双方的争议主要围绕兰福德今年 8 月发布的“全带宽 Transformer”研究展开。

这项研究提出，模型在生成下一个词元时，除了用上此前输出的词元，还会把内部的中间状态重新利用起来，从而减少信息浪费。论文实验里，10 亿参数的模型用更少的训练数据，就能接近甚至达到常规模型用约 1.5 倍数据训练出来的表现，而每个词元增加的计算开销很小。

报道提到，字节跳动 Seed 团队在今年 10 月 25 日发布了思路相近的 Recycler 研究，同样以类似方式重用隐藏状态，并且在推理和数学方面能够超过参数多两到三倍的模型。