写论文综述、做开题、或者接手一个多模态项目调研时，最容易卡的不是看不懂某一篇论文，而是串不成线：不知道这条技术路线是怎么从上一代走到今天的，也说不清自己要做的东西落在框架的哪一格。这篇给一条演进梳理的动手顺序，再给一套把「模态—对齐—训练—评测」拆开的研究框架，帮你把散落的论文归位。具体模型版本、榜单名次和发布时间不在这里写死，去站内对应页面核对当时的数字。
写多模态大模型的综述、开题报告，或者接手一个调研任务，卡住的地方往往不是某篇论文看不懂，而是论文之间串不成一条线。你不知道眼前这篇是站在哪个前人的肩膀上，也说不清自己想做的改进落在整个框架的哪一格，结果就是读了一堆，写的时候还是各说各的。
下面给一条能动手的演进梳理顺序，再加一套把「输入表征—对齐机制—训练目标—评测口径」拆开的研究框架。目的很具体：让散落在文件夹和收藏夹里的论文各归其位。具体模型版本、榜单名次、发布时间这些会变的数字，本文一律不写死，去站内的模型资料库和相关页面核对当时的数字。
先把演进脉络串成一条线，而不是一堆论文
最省事的做法是给演进分段。一种通用的切法是三段：表征怎么对齐、指令怎么统一、模态怎么扩展。每一段只回答一个问题——它修掉了上一段的哪个具体毛病。比如某种早期对齐方式在数据量小的时候勉强能用，数据一多就撑不住，后面那类做法就是为了接住这个缺口出现的。你记的是「缺口—补丁」的关系，而不是论文标题列表。
- 每段只挑一到两个标志性架构读透，读的是它的模块拆分和数据流，不是记住它的分数
- 其余论文只记一句「它相对前一篇改了什么」，写不出这句话的，说明你还没读进去
- 演进节点的时间顺序、当年的模型清单，去站内模型资料库和前沿词汇页对照，别凭记忆填版本号
- 同一段里出现多条并行路线时，单独标出来，那通常就是后来综述里最值得讨论的争议点
| 演进阶段 | 它要解决的核心缺口 | 读论文时重点看什么 |
|---|---|---|
| 表征对齐期 | 不同模态的数据没法放进同一套结构里 | 各模态怎么编码、对齐损失怎么设计 |
| 指令统一期 | 模型只会做预训练任务，不会听指令 | 指令数据怎么构造、任务格式怎么统一 |
| 模态扩展期 | 能处理更多模态，但任务之间互相打架 | 新增模态的接入方式、任务间是否冲突 |
研究框架按四层拆：输入表征、对齐机制、训练目标、评测口径
脉络是时间轴，框架是横截面。建议固定用四层来拆一篇论文，这样不同论文之间就能横向比。第一层输入表征：各模态是被离散成 token，还是保持连续向量，这个选择基本决定了后面能接什么结构、能省多少算力。第二层对齐机制：这是最容易出选题的地方，早期对齐、交叉注意力、统一 token 空间，各自对数据量和模态差异的容忍度不一样。
第三层训练目标，第四层评测口径。这两层必须成对看。一篇论文如果换了训练目标，但评测还是沿用旧的那套口径，它的结论要打折读——很可能只是在新目标上重新刷了一遍旧榜单，没证明机制真的变好了。反过来，只换评测不换目标，那多半是在找旧方法的失败场景，这类工作对选题反而更有参考价值。
- 输入表征层
- 看各模态怎么离散化或连续化，决定后续结构的选择空间
- 对齐机制层
- 看对齐发生在什么粒度，各自适用什么数据条件
- 训练目标层
- 看优化的是什么，任务之间会不会互相拉扯
- 评测口径层
- 看指标测的是能力还是记忆，和训练目标是否配套
目标换了但评测没换的论文，结论要打折读；评测换了但目标没换的论文，往往在告诉你旧方法的失败边界。
从读论文走到自己的选题，用一张对照表定位
读完一批论文，怎么判断自己的选题实不实？做一张表：横轴是刚才那四层，纵轴写三行——已有做法、它的失败场景、我想改的点。哪一格你填得出来、而且填得出「失败场景」，哪一格就是候选选题。空格最多的地方，通常不是没人做过，而是没人能说清它为什么失败；反过来，如果某一格你只能填出「已有做法」，填不出失败在哪，那这个方向对你来说还不成立。
- 建表四层做列，三行做「已有/失败/我想改」，一张纸或一个表格文档就够
- 填失败场景每条已有做法后面强制写一句「它在什么条件下会失效」，写不出的先标记待读
- 圈候选把「失败场景」填得最具体的两三格圈出来，这就是你的选题池
- 反向验证对每个候选问一句：改了这点之后，四层里还有哪层会跟着变，答不上来说明改动太局部
什么样的选题不适用这套框架：纯硬件加速、纯标注工具、纯产品交互类的研究。这些工作即使挂在多模态项目下，核心贡献也不在四层框架里，硬套会写得很别扭，评审一眼就能看出来。判断标准很简单——如果你的主要贡献用一句话说不清落在哪一层，那就别硬塞。
综述骨架怎么搭，答辩时才不会被问倒
写的时候最容易犯的错，是把演进和框架揉在同一节里。建议演进部分严格按时间走，框架部分严格按层次走，两套逻辑分开成章，读者才不会迷路。每一层结尾都要有两句话：一句是当前共识，一句是尚未解决。评审最常追问的就是后者，你提前写进去，等于把问题接住了。
- 演进章按时间线组织，每段结尾小结它修掉了上一段的什么缺口
- 框架章按四层组织，每层给出共识与未解问题各一句
- 引用和数据集要追到原始出处，站内论文与动态页只能当索引用，不能当引用源
- 图表单独成节，别把对比表塞在正文段落里，评审找起来费劲
常见问题
做多模态研究一定要从演进脉络读起吗？
不一定。如果你的选题已经锁死在某一层，比如只做对齐机制改进，那先把这一层的代表工作读透更划算，演进脉络可以后补。但要是写综述、做开题，或者导师问「你这条线前人怎么走的」，那按时间串一遍省事得多。判断标准是：你能不能一句话说出自己工作接在谁后面。
这套四层框架和常见的「编码器—对齐—解码器」分法冲突吗？
不冲突，是两种切法。三段式按数据流切，适合讲架构；四层按研究问题切，适合找选题和写综述。实操里可以先用三段式把架构图讲清楚，再用四层去定位自己改的是哪一环。硬要合并成一套反而容易漏掉训练目标和评测口径这两块。
论文里的评测分数能不能直接拿来横向比？
多数情况下不能。不同工作用的分辨率、样本量、是否允许外部工具都不一样，分数口径不同就没法直接排。真要比较，先确认评测集和评分规则是否一致，站内测评榜单那套口径说明可以当参考。口径对不上的，只当趋势看，别当结论用。
