李成刚:从搜索到字节大模型数据整合,如何让信息被有效利用?

资讯 腾讯网 作者:ZFinTech 全文 5955 字 · 约 15 分钟读完 分类Seed字节跳动Waves大模型数据

从机械零件的三维模型,到网页、短视频,再到大模型的训练语料,李成刚处理的信息对象不断变化。贯穿这些工作的,是一个持续延伸的问题:怎样让计算机从复杂的信息中找到有用的内容,并将其有效利用。2026 年 8 月,字节跳动 Seed 新设 Pretrain Data 部门,整合此前分散在文本、代码、视觉和语音等方向的预训练数

所属频道 大厂动态模型发布
从机械零件的三维模型,到网页、短视频,再到大模型的训练语料,李成刚处理的信息对象一直在变。贯穿其中的是一条持续延伸的线索:如何让计算机从复杂信息里找出有用内容,并把它有效利用起来。

2026 

年 
8 
月,字节跳动
Seed 
新设 
Pretrain Data
部门,把此前分散在文本、代码、视觉和语音等方向的力量整合起来。这一调整,也为观察李成刚从搜索技术走向大模型研究的职业路径提供了新的切入点。
预训练数据
在踏入这一领域之前,他已有多年搜索研发经验。个人履历显示,李成刚在清华读完精密仪器与机械学系的本科和硕士,本科阶段还拿了计算机科学与技术第二学位。毕业之后他先去了百度,随后陆续担任头条搜索和
TikTok
搜索技术负责人。检索对象从零件模型扩展到网页和视频,系统要处理的内容形式和用户需求也越来越复杂。
进入
 Seed 
此后,他的研究进一步覆盖预训练数据、模型能力预测和数学推理。
MGA
关注如何利用已有语料,
COD
尝试提前预测大模型的任务表现,
Seed-Prover
系列则将证明生成与
从检索信息,到组织训练材料,再到验证推理结果,李成刚的技术经历一步步铺开。要理解这条路径怎么形成,还得回到清华时期,看他如何从机械设计中的具体问题出发,走进信息检索的世界。

清华求学:机械与计算机的交汇

根据其脉脉履历,李成刚于
 2004 
年进入清华大学精密仪器与机械学系,本科阶段还取得了计算机科学与技术第二学位,随后继续在原院系攻读硕士,于
2011 
年毕业。机械设计与计算机技术,在他的学习经历中早已有交集。
这种交集也体现在早期成果里。清华大学摩擦学国家重点实验室的记录显示,他参与了
“
精搜网络机器人系统
V1.0”
和
“
三维模型检索是黄利平与李成刚此前合作的研究方向之一。
V1.0”
黄利平的教师主页上,还列出他与黄利平、田凌共同署名的两篇论文。
2011 
文章发表年份覆盖了不确定数据下的决策树构建,以及针对特定主题的网页采集系统两项课题。
THSRS
换句话说,早在进入互联网公司之前,信息如何搜集、如何分类、如何检索,就已经进入他的研究视野。
三维模型检索这个方向,恰好反映了他当时要解决的问题:制造企业手里攒下了大批零件设计,工程师开发新品时,怎么才能快速找出形状接近、可以借鉴的旧模型?
图片来源:黄利平的清华教师主页

从百度到字节:网页与视频搜索的积累

李成刚于2011年7他于当月经由加入百度,承担技术研发岗位,研究方向涵盖三维模型检索与搜索引擎。 2013 

同年,李成刚和合作者发表了《
High efficient methods of content-based 3D model retrieval
》一文。团队对形状特征提取算法做了改进,同时设计索引,让检索时不必逐个比对模型,最终搭建出
“
系统。按照论文报告,在其测试条件下,单次在线查询的平均响应耗时下降了
75%
论文还给出了该系统应用于汽车后桥设计的实例。它带来的直接好处,是让设计人员查找已有模型的时间变短,设计复用也更容易落到实际工作流程里。
后来的互联网搜索工作,则让李成刚把这类问题放到了更大的信息规模当中。
李成刚于
2017
年
12
月
8
离开百度之后,李成刚去了字节跳动。
2017 
年 
12 
月至 
2021 
年 
9 
到了字节,他在某月接手头条搜索技术负责人一职,之后又转到
TikTok
担任搜索技术负责人,一直做到
2023 
年 
5 
某月。这两段履历,一段对应网页搜索,一段对应视频搜索,在他进入
Seed 
之前,这也是他最主要的工程积累。他涉足的具体工作还包括
在头条期间,他参与搭建的搜索系统,要接住用户主动抛出的问题。
2019
年
8
那个月,北京商报记者试用了头条搜索,发现结果页中已能看到站外链接。同一个关键词可能牵出新闻、百科、经验帖等各类信息,系统还得判断哪些内容更贴合用户当下的意图。李成刚此前负责的排序架构与算法,正落在这一环:把抓到的内容按相关性排好,帮助用户更快找到有用的结果。
到了
TikTok
检索对象一旦变成视频,事情就更复杂了——系统还要把握画面和文字之间的对应关系。用户想学做一道菜,关键动作或许只出现在镜头里,标题里压根没提;用户换个语种发问,系统同样得读懂不同说法背后指向的是同一件事。
从网页走到视频,李成刚经手的工作,慢慢覆盖到不同语种、不同形态的信息如何与搜索需求匹配起来。

进入 Seed从预训练研究到AI for Math

2023 

年 
5 
月,李成刚出任
Seed 
预训练负责人,正式进入大模型预训练环节。此前围绕
“
怎样找到信息
”
所攒下的经验,也顺势挪到了另一个问题上:训练素材该怎么编排,模型才能学得更有效率?
搜索团队与
2023
年初,语言模型这条线由搜索部门牵头,其他部门也调人加入。几个月后,对话项目
Grace
以
“
豆包
”
这个名字开始被外界知晓。网页数据从搜索进入训练环节后,还得再过一道工序:导航栏、重复片段、无关文字都要剔除,数学、代码、知识与日常表达的配比要反复权衡,材料按什么顺序喂给模型也得考虑。这套安排管不管用,最终要靠训练和评测说话。
他参与署名的一项数据增强研究,就摆出了具体案例。该工作于月首次对外公开,起初以为题,后来修订为《
 2025 
年 
2 
MAGA 
Reformulation for Pretraining Data Augmentation》,方法简称为。
MGA
它瞄准的是预训练绕不开的一道坎:高质量语料就那么多,同一批材料反复用,带来的提升会打折扣。研究团队的办法是围绕不同文体、不同目标读者,把已有内容做出多种重述,让同一份知识以不同说法进入训练。
在团队公开的语料中,一篇技术文章连同它的改写版本都被保留下来。原文讲的是计算机如何分层存放数据,寄存器、缓存、主存和磁盘在速度、容量、用途上各有什么区别。
改写之后,这份技术说明成了一个冒险故事,读者设定为岁的学生,主人公名叫莉莉(
10
至
15
[[保留7]]故事讲的是莉莉穿过一道神秘入口,进入电脑内部的世界。她先碰到一个闪闪发亮的小盒子,那里面是寄存器,存取信息飞快,能装的东西却很少。随后她又找到一个魔法衣柜
Lily
)的女孩。
——
它代表
CPU
[[保留12]]
——
里头搁的是电脑日常要用的物件,对应缓存;再往前走,她进了一间塞满书的图书馆。
——
书代表电脑干活时离不开的数据和指令,此处即主存。到了磁盘那片区域,她又撞见一只划成许多小格子的储物箱——装得下更多东西,可往外取要多费些工夫。莉莉一路走一路看,原文里各存储部件的脾性,就这么被编进了情节。
随后这篇故事成了可供模型学习的一份训练材料。同一份知识,原先躺在原文的定义和说明里,如今化成人物的举动、路过的场景和手边的物件;要是换个体裁,也能写成对话或者别的样子。
团队要验的是这么一件事:高质量数据吃紧的时候,让模型去学同一份知识的不同讲法,效果能不能压过一遍遍啃原文?
不过改写多了,未必就学得好。研究团队把约束偏紧、偏松以及卡在中间的三套方案摆在一起比:贴原文太近,说法变不出多少花样;放得太开,又会跑偏原有信息。
真跑起实验,严格照搬原文那套在高重复训练下照样出问题,放得过开的那套则性能明显往下掉。
最后团队挑中的,是在留住信息与增添变化之间找平衡的那条路。

图片来源:MGA论文


照此,他们把一部分约
 1950 
亿 
token
的语料扩到了约
7700 
亿 
token
,并把数据集公开出来。论文在最高
130 
亿参数模型的实验里报告,比起重复用原始数据,或者把部分数据的采样频率调高,这一做法表现更好。它的价值在于给有限语料添了一条经实验检验的扩充路子;数据集公开,也让别的研究者有了做对比实验的底子。至于更大的模型、更长的训练周期,论文仍留了继续验证的余地。
跟数据怎么造同样绕不开的,是训练效果能不能早点看出来。非得等大模型整个训完再瞧结果,判断的时机就错过了。
李成刚与沈科等人参与的另一项研究,想拿小模型的表现去预判大模型的成绩。
这番工作后来被
ICLR 2026
接收。
在论文《
Unveiling Downstream Performance Scaling of LLMs: A Clustering-Based Perspective
》里,李成刚和合作者提出了
COD
这套框架的思路是,先按难度变化的特征把评测任务分组,再挑出更容易预测的那部分任务子集,用它去推算整个评测集上的表现。
团队在研究中调用了八个较小模型的信息,去预测一个规模更大的模型在八项测试基准上的成绩。
700
论文给出的结果是,预测值与实际成绩之间的平均绝对误差为
1.55
个百分点。
这组实验说明,较小模型已经提供了足够多的线索,让团队能估计出更大模型的表现,不用干等最终成绩出来。
两项研究指向的,都是那种容易被总量盖住的问题:语料变多了,不等于学得更好;训练接着跑,进步也未必还按原来的速度走。李成刚和合作者的做法,是把问题拆小,再一项项检验
——
做改写,要比的是尺度;做预测,得把题目区分开。
从这些工作能看出他的研究取向:既看规模,也看规模底下的材料和效果。

2025 

年 
5 
从
月起,李成刚转入AI for Math
,目标解决
2025 
年 
7 
月发布的 
Seed-Prover
,把数学证明生成和
Lean
形式化验证
IMO 
在题目集合上,模型给出了证明
78.1% 
对应题目的解答。团队强调,这一成绩限定在特定的评测集合与实验条件之下,说明模型在可验证的数学推理方面取得了进展。
同年
 12 
月发布的 
到了 Seed-Prover 1.5,系统开始把工具调用纳入进来。
它能够检索数学库、执行
Python
代码来做辅助运算,同时对中间结论逐步核验、反复复用。按团队的报告,这套系统解出了
PutnamBench
中 
88% 
中的题目,另外在
9 
小时内为 
2025 
年 
Putnam
竞赛的 
12 
道题中的 
11 
道生成了可验证的形式化证明,相关证明代码同样对外公开,外界可以自行核查结果。
这几项研究的分量在于:模型推理过程能被明确的正确性标准检验,检验得到的反馈再回流到后续学习中。

从合作研究起步,到统筹 Seed 四路数据

2026 

年 
8 
月中旬,
Seed 
新设 
Pretrain Data
一级部门,由李成刚负责并向吴永辉汇报。原先散落在各模态的预训练数据,被收拢成四个分支:
  • 文本分支

    :由
     2018 
    年清华毕业加入字节、长期主抓超大模型预训练数据的沈科负责;
  • 代码分支

    :由
    与 
    BFS-prover
    核心作者 
    Xia Xiao
    负责,与 
    Horizon RL
    负责人唐晟宇共管;
  • 视觉分支:

    由林毅负责,与
    Horizon RL
    的
  • 语音分支:

    音频与语音预训练语料,也归他统筹。
文本是他熟悉的老本行,画面和声音则来自做视频搜索的那些年。可训练材料的准备,各有各的难处:文字得对付重复和噪声,图像还可能碰上模糊、歪斜。
Seed
按此前披露的做法,视觉数据制作会主动掺入模糊和失真。李成刚眼下要协调的,正是这些准备方法不同、却要共同服务一个模型的专业团队。

2024

他以语言模型预训练方向负责人的身份出现在导师介绍中,那是某一年的事;两年后,文本、代码、视觉与语音的数据工作都要由他统筹。
过去做研究,是跟合作者一起把一道具体问题解开;新职责则要求他把几支专业团队的工作组织到一起。
此前两个搜索岗位里的系统研发和多模态经历,也在这里与后来做过的数据研究相接。
信息对象一变再变:三维零件、网页、视频,后来又加上预训练语料和数学证明。他把这些信息整理成系统能真正用起来的样子,这条线一直没断。在
Pretrain Data
负责人的位置上,这项工作将直接接受模型训练结果的检验。

[1]量子位,字节大模型关键8人首次曝光!中科大北航清华校友,还透露下一步https://www.qbitai.com/2024/05/145686.html

[2]北京商报,字节跳动搜索梦(人民网转载)https://capital.people.com.cn/n1/2019/0802/c405954-31271210.html

[3]Tech星球,揭秘字节AI版图:多位高管被调集参战,数款重磅产品进入内测(界面新闻转载)https://www.jiemian.com/article/10805433.html

[4]火山引擎,字节跳动豆包大模型发布,火山引擎全栈AI这些服务帮助企业推进智能化转型https://developer.volcengine.com/articles/7369628105754804261

[5]Xintong Hao等,Reformulation for Pretraining Data Augmentationhttps://arxiv.org/html/2502.04235v2

[6]ByteDance Seed,MGA团队还把部分数据集和样例对外开源。https://huggingface.co/datasets/ByteDance-Seed/mga-fineweb-edu

[7]论文作者名单里出现了Chengyin Xu。等,另一篇论文题为《Unveiling Downstream Performance Scaling of LLMs: A Clustering-Based Perspective》。https://arxiv.org/html/2502.17262v4

[8]arXiv论文版本与训练表现预测相关。该研究投向ICLR 2026。接收信息https://arxiv.org/abs/2502.17262

[9]ByteDance Seed,Seed-Thinking-v1.5技术报告https://arxiv.org/html/2504.13914v1

[10]Yuyu Zhang等,Seed-Coder技术报告与贡献说明https://arxiv.org/html/2506.03524v1

[11]字节跳动Seed,首次公开Seed VLM技术报告https://seed.bytedance.com/zh/blog/first-release-of-seed-vlm-tech-report-comprehensive-solutions-for-image-video-gui-and-game

[12]晚点LatePost获悉,字节计划训练超大模型之后,Seed基模团队对组织架构做了调整(鞭牛士转载)。https://www.bianews.com/news/details?id=243898

[13雷峰网的消息称,字节此次大调整背后的操盘者究竟是谁,独家解读如下:Seed这轮调整的分支走向,又是谁在主导?https://www.leiphone.com/category/industrynews/75DZ3yfWSLnIppDb.html


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 武显瑾EVA战队:48小时如何把实机成功率从10%做到70%?

    文|周小燕 编辑|徐青阳摘要:同一颗大脑,同一道难题,不同的破局之道。“比赛第一天,我们拿到官方提供的公开数据集进行训练,却发现我们模型的成功率大概只有10%。”11月16日上午,在上海张江科学会堂举行的首届蚂蚁灵波具身大模型挑战赛决赛路演现场,来自“EVA”战队的武显瑾讲述了团队在过去48小时里的经历。“而在...

    来源 腾讯网
  2. 企业级AI终端赛道迎来新玩家 深兰科技转型提速

    中经记者 徐倩 上海报道在豆包AI手机验证消费端需求后,企业级AI终端赛道迎来新玩家。近日,深兰科技联合华为发布企业级大模型原生智能体工作手机Wowoker,尝试把智能体从“回答问题”推向“执行业务”:帮销售找客户、打电话、加微信、分析意向、管控沟通风险,并在员工离职后帮助企业锁住客户资产。与消费级AI手机不同,...

    来源 腾讯网
  3. 火山引擎领跑MaaS:上半年106.3亿市场暴涨889%

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618文 | 任雪芸封面来源 | 豆包AI 2021年,才云科技创始人张鑫投奔字节跳动,在云计算圈掀起一阵不小的波澜。彼时的行业共识是,字节要下场啃IaaS( Infrastructure as a Service,基础设施即服

    来源 腾讯网
  4. 暴涨889%、半年破百亿,字节阿里百度火拼新战场

    2021年,才云科技创始人张鑫投奔字节跳动,在云计算圈掀起一阵不小的波澜。 彼时的行业共识是,字节要下场啃IaaS( Infrastructure as a Service,基础设施即服务,一种云计算服务模式)这块硬骨头,直接和盘踞老大位置多年的阿里云硬碰硬。张鑫深耕容器云的背景,也被外界视作字节决心搭建“完整云版图”

    来源 AI 行业观察
  5. 火山引擎宣布Seedance2.54K API全面开放,支持10-bit色深与样片模式

    11月16日,字节跳动旗下火山引擎宣布,Seedance2.54K视频生成模型的API全面开放,开发者与企业客户即日起可通过接口直接调用该模型,4K级视频生成能力由此进入规模化接入阶段。 据悉,火山引擎已于10月23日正式发布Seedance2.54K。官方称,该模型经专项训练,对人物表情、细微动作

    来源 AI 开发者社区
  6. 字节跳动 Seedance 2.5 4K 视频生成模型 API 全面开放

    IT之家 11 月 16 日消息,字节跳动火山引擎官方今日宣布,Seedance 2.5 4K 的 API 全面开放,开发者与企业客户可通过接口调用该 4K 视频生成模型。 IT之家注意到,火山引擎于 10 月 23 日正式发布了 Seedance 2.5 4K,官方称通过专项训练,Seedance 2.5 4K 更充

    来源 AI 行业观察
  7. 百度Q3财报:AI业务收入132亿,AI云增速升至94%

    当大模型竞赛进入深水区,市场开始追问一个现实问题:高昂的模型调用投入,如何真正转化为企业经营收益?百度世界2026给出的判断是:AI创造经济价值的关键,不只是模型性能的提升,更在于企业能否围绕AI重新组织工作流程,实现经验沉淀、能力复用,也就是“智能组织”。刚刚出炉的百度2026年第三季度财报,为这套战略提供了...

    来源 腾讯网
  8. 阿里千问办公2.0发布:Agent能否重构企业协作?

    近日,国内大厂先后把枪口从个人智能调向了组织智能。 8月中旬,字节跳动将飞书Aily更名为豆包工作伙伴,随后上线主动工作能力,并配合飞书8.0重构底层体系;腾讯紧接着推出WorkBuddy企业版与企业微信联合套件,用Buddy One串联起分散的办公生态;李彦宏也在百度世界2026提出“智能组织”概念,并推出衡量企业模

    来源 AI 行业观察
  9. MIT六项技术承诺兑现几何?认知永生离现实还有多远

    MIT Technology Review的“The Download”栏目聚焦两大话题:六项曾承诺改变世界的技术如今进展如何,以及人类对“认知永生”的探索。文章提出,衡量技术进步应看真实部署而非宏大宣言;而借助大模型构建数字分身等技术,正让“认知永生”从科幻走向现实,但也带来身份与伦理的深层拷问。

    来源 AI 科技快讯
  10. AI短剧竞争转向:5.68万部新剧里,仅0.95%播放破亿

    AI短剧的竞争拐点已至。 根据DataEye-ADX行业版最新数据,2026年10月抖音端原生AI剧/漫剧新剧数达5.68万部,播放增量2808.49亿,但播放不足100万的新剧占80.31%,破亿的仅539部、占0.95%。 一方面是AI短内容的产能过剩,低质量的内容充斥市场,抢占了流量高地;另一方面也说明供给端和需

    来源 AI 行业观察
  11. 96% 的测试集泄漏,大模型的跑分还能信吗?

    文:ZZ 未至之境 TL;DR:一分钟读完▸我们在 20 套主流考卷上测试了 4 个公开的大模型基座版本,发现刚公开的百度的ERNIE-5.5-Flash-Base 能在没看过题的情况下,一字不差地默写出 96% 的 HumanEval 编程测试题、85% 的 OpenBookQA 科学测试题、80% 的 GSM8K

    来源 腾讯网
  12. 蚂蚁灵波具身大模型挑战赛收官:TARS战队82.5分夺冠

    对于方兴未艾的具身智能产业而言,蚂蚁灵波科技CEO朱兴在接受采访时强调,行业目前还在快速迭代,尚未迎来具身智能的Scaling Law时刻。但是随着一些技术落地验证和产学研生态的协同,也会加速具身智能的进化。

    来源 TechWeb
  13. 蚂蚁灵波具身大模型赛:48小时真机比拼,TARS战队夺冠

    对于方兴未艾的具身智能产业而言,蚂蚁灵波科技CEO朱兴在接受采访时强调,行业目前还在快速迭代,尚未迎来具身智能的Scaling Law时刻。但是随着一些技术落地验证和产学研生态的协同,也会加速具身智能的进化。

    来源 TechWeb
  14. Qwen4-Max发布:AI ETF平安回调3.62%,机构看好中长期配置

    截至2026年11月16日 10:46,AI人工智能ETF平安(512930)标的指数中证人工智能主题指数(930713)下跌3.62%。成分股方面涨跌互现,石头科技领涨3.89%,海康威视上涨2.38%,景嘉微上涨1.57%;协创数据领跌9.14%,中际旭创下跌8.54%,芯原股份下跌8.37%。消息面上,11月16

    来源 腾讯网
  15. 蚂蚁灵波挑战赛落幕:TARS战队真机评测82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST

    来源 AI 开发者社区
  16. TARS战队:00后带队夺蚂蚁灵波具身大模型赛最高分

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST”战队获得二等奖;“

    来源 AI 行业观察
  17. AI漫剧付费难题:22.19万部新作,万播收益跌到个位数

    AI漫剧的钱,越来越不好赚了。 前两年,行业还在讨论一部漫剧几天破亿、一个团队一个月能做多少部。到了今年,热闹依旧,行业万播收益却从此前的几十元甚至上百元,落到了个位数、十元上下。作品上线了,播放量有了,钱却没跟着来。 这倒不难理解。AI把制作门槛打了下来,也把更多人送进了赛道。2026年上半年,仅抖音端新增AI短剧及

    来源 AI 行业观察
  18. 高盛研报:AI学习应用用户激增,维持新东方、好未来买入评级

    11月17日,高盛发表研报指,根据教育行业10月份数据,八大主要学习设备品牌于主要电商平台合计GMV同比跌28%,对比9月为同比跌32%。其中好未来(TAL.US)于主要电商平台售出约9.2万部,GMV约3.77亿元,GMV同比跌幅收窄至29%、环比升12%(9月为同比跌34%、环比跌5%),平均售价同比升21%、环比

    来源 腾讯网
向下滚动自动加载更多