17岁陈广宇离开Kimi团队,肖尔托·道格拉斯留言邀约旧金山
sina qqZone renren ydCloud 0
10月15日,社交平台上一则发文引起关注。发文者是“00后”天才少年陈广宇,他宣布近日已从月之暗面的Kimi团队离职。他写道:“过去一年在Kimi的工作是我迄今为止最美好的时光。我非常感激能够与如此出色和支持我的同事共事并从中学到东西。”
对于当年仅16岁的自己被Kimi团队相信并聘用,陈广宇表达了感谢。他再次提到“能够与一群真诚的人一起构建如此开放(且强大的)模型,真是令人难以置信”。他同时表示,希望继续探索更多方向。
肖尔托·道格拉斯(Sholto Douglas)出现在评论区。他此前的身份是DeepMind Gemini推理架构负责人,如今在Anthropic公司担任可扩展强化学习(RL)方向研究员。他写道:“恭喜你,很高兴上周见到你,你还是计划去卡内基梅隆大学(CMU)吗?”道格拉斯邀请陈广宇前往旧金山,与Prime、Base10等团队共事。陈广宇回复:“谢谢Sholto!我正要去湾区。”
公开信息显示,陈广宇出生于2009年。他先后就读于原北大附中深圳南山学校和华润小径湾贝赛思国际学校,今年6月高中毕业。有分析据此认为,他离开月之暗面可能是为了去读大学。
陈广宇还曾入选罗德信托的高潜力未来领袖计划,该计划面向全球15–17岁潜力青年进行选拔。此外,他在美国顶尖小型实验室Tilde Research做过AI研究。
去年11月起,陈广宇在Kimi团队担任机器学习研究员,专注于AI前沿技术研发。照此计算,他在Kimi工作的时间不超过一年。
今年3月,一篇名为Attention Residuals(注意力残差,简称AttnRes)的论文出现,陈广宇与张宇、苏剑林作为同等贡献作者,共同担任第一作者。
研究中,陈广宇与张宇共同提出Block Attention Residuals(分块注意力残差)设计。这一设计的目的是降低Attention Residuals在大规模模型训练中的额外计算和通信成本。后来,Attention Residuals成为支撑Kimi K3的重要技术之一。张宇则是Kimi Linear架构的第一作者。
据经济参考报,Kimi核心成员、著名旋转位置编码RoPE的提出者苏剑林后来在《Attention Residuals回忆录》中提到,他提出Attention Residuals的初步实验结果后,张宇和陈广宇表现出极大的兴趣,随即参与进来,并开始在更大规模的模型上做一些验证。
论文中的Block Attention Residuals设计,由张宇和陈广宇共同提出。该方案把层划分为多个区块,并对区块信息进行压缩,在尽量保留完整Attention Residuals效果的同时降低计算和通信成本。
陈广宇在Attention Residuals研究里的作用,由此得到事实层面的确认。面对媒体,他没有把功劳往自己身上揽,只说这项工作“缺一不可”,并希望外界别把焦点放在他一个人身上。
该研究对AI界影响很大。特斯拉CEO马斯克评论这个论文时说:“Kimi的工作令人印象深刻。”
月之暗面在今年7月推出新的大模型Kimi K3,参数总量为2.8万亿。按照官方说法,这是全球第一个开源的3万亿级别模型,主要面向长程编程、知识工作以及推理这类前沿智能场景。
OpenAI总裁格雷格·布罗克曼(Greg Brockman)接受采访时提到了K3,评价它是一款毋庸置疑具有竞争力的新AI模型。他还依据相关评估表示,在模型开发上,中国和美国的差距或许只剩下4个月左右。
Kimi官方表示,K3基于两项关键架构更新构建,分别是Kimi Delta Attention(KDA,混合线性注意力机制)和AttnRes。前者改善信息在更长序列中的流动,后者改善信息在更深模型中的流动,二者共同构成K3扩展至2.8万亿参数规模的架构基础。
按照披露的信息,AttnRes这项技术多出来的成本不到2%,训练效率却因此提升约25%。参数规模以万亿计的大模型,等于用很小的额外计算代价,换来了训练效率的明显提高。
AttnRes并非陈广宇在Kimi的唯一贡献。据媒体报道,他加入后最早的工作之一是加速KDA的计算内核。这意味着,陈广宇在Kimi K3的两大核心架构(AttnRes和KDA)的研发过程中,均有贡献。
月之暗面在2023年4月成立,创始人是杨植麟、周昕宇等人。公司成立才两个月,就拿到了近20亿元天使轮融资,投资方里有红杉中国、真格基金等头部机构。到了2024年2月,月之暗面又完成超10亿美元融资,估值25亿美元;同年8月再获超3亿美元,估值涨到33亿美元。2025年12月,公司完成5亿美元C轮融资,估值43亿美元。
天眼查7月30日的信息显示,月之暗面在7月29日办完了工商变更登记,市场主体类型改成股份有限公司。杨植麟由董事变为公司董事长兼经理,原经理周昕宇改为董事;高管备案里新增了董事张予彤和财务负责人宋思嘉;公司名称则变更为北京月之暗面科技股份有限公司。
天眼查融资历程信息显示,公司于7月29日完成了35亿美元F轮融资,投后估值达350亿美元。
此后有消息称,月之暗面计划于8月启动上市前最后一轮融资谈判,目标估值高达500亿美元。