李成刚:从搜索到字节大模型数据整合,如何让信息被有效利用?
从机械零件的三维模型,到网页、短视频,再到大模型的训练语料,李成刚处理的信息对象不断变化。贯穿这些工作的,是一个持续延伸的问题:怎样让计算机从复杂的信息中找到有用的内容,并将其有效利用。2026 年 8 月,字节跳动 Seed 新设 Pretrain Data 部门,整合此前分散在文本、代码、视觉和语音等方向的预训练数
2026
清华求学:机械与计算机的交汇
从百度到字节:网页与视频搜索的积累
李成刚于2011年7他于当月经由加入百度,承担技术研发岗位,研究方向涵盖三维模型检索与搜索引擎。 2013
进入 Seed从预训练研究到AI for Math
2023
图片来源:MGA论文
2025
从合作研究起步,到统筹 Seed 四路数据
2026
文本分支
:由2018年清华毕业加入字节、长期主抓超大模型预训练数据的沈科负责;
代码分支
:由与BFS-prover核心作者Xia Xiao负责,与Horizon RL负责人唐晟宇共管;
视觉分支:
由林毅负责,与Horizon RL的
语音分支:
音频与语音预训练语料,也归他统筹。
2024
[1]量子位,字节大模型关键8人首次曝光!中科大北航清华校友,还透露下一步https://www.qbitai.com/2024/05/145686.html
[2]北京商报,字节跳动搜索梦(人民网转载)https://capital.people.com.cn/n1/2019/0802/c405954-31271210.html
[3]Tech星球,揭秘字节AI版图:多位高管被调集参战,数款重磅产品进入内测(界面新闻转载)https://www.jiemian.com/article/10805433.html
[4]火山引擎,字节跳动豆包大模型发布,火山引擎全栈AI这些服务帮助企业推进智能化转型https://developer.volcengine.com/articles/7369628105754804261
[5]Xintong Hao等,Reformulation for Pretraining Data Augmentationhttps://arxiv.org/html/2502.04235v2
[6]ByteDance Seed,MGA团队还把部分数据集和样例对外开源。https://huggingface.co/datasets/ByteDance-Seed/mga-fineweb-edu
[7]论文作者名单里出现了Chengyin Xu。等,另一篇论文题为《Unveiling Downstream Performance Scaling of LLMs: A Clustering-Based Perspective》。https://arxiv.org/html/2502.17262v4
[8]arXiv论文版本与训练表现预测相关。该研究投向ICLR 2026。接收信息https://arxiv.org/abs/2502.17262
[9]ByteDance Seed,Seed-Thinking-v1.5技术报告https://arxiv.org/html/2504.13914v1
[10]Yuyu Zhang等,Seed-Coder技术报告与贡献说明https://arxiv.org/html/2506.03524v1
[11]字节跳动Seed,首次公开Seed VLM技术报告https://seed.bytedance.com/zh/blog/first-release-of-seed-vlm-tech-report-comprehensive-solutions-for-image-video-gui-and-game
[12]晚点LatePost获悉,字节计划训练超大模型之后,Seed基模团队对组织架构做了调整(鞭牛士转载)。https://www.bianews.com/news/details?id=243898
[13雷峰网的消息称,字节此次大调整背后的操盘者究竟是谁,独家解读如下:Seed这轮调整的分支走向,又是谁在主导?https://www.leiphone.com/category/industrynews/75DZ3yfWSLnIppDb.html