统一多模态理解与生成综述:进展与挑战

如果你正在写统一多模态方向的综述或开题，最容易卡住的不是找不到论文，而是「理解」和「生成」两套话语体系对不上：评测口径不同、任务定义不统一、说「统一」时到底统一了什么也含糊。这篇不列榜单也不报数字，给一套拆解框架和阅读顺序，让你把进展、难点和未来方向分成能落笔的几块。

如果你正在写统一多模态方向的综述或开题，最容易卡住的不是找不到论文，而是「理解」和「生成」两套话语体系对不上：评测口径不同、任务定义不统一、说「统一」时到底统一了什么也含糊。更麻烦的是，把两类工作直接拼在一起，读起来像两份综述订了个封面。

这篇不列榜单也不报数字，给一套拆解框架和阅读顺序，让你把进展、难点和未来方向分成能落笔的几块。前提是：你已经有基本的多模态文献量，缺的是组织方式。如果你连单任务的基础模型都没跑通过，建议先补那一层再回来。

先界定「统一」统一了什么

综述被审稿人打回，十有八九是第一段没界定「统一」。这个词在文献里至少指三种不同东西，把它们混着写，后面进展就归不了类。建议在引言里先声明本文采用哪种口径，并说明不覆盖什么。

统一表征

理解与生成共享同一个表示空间，重点看对齐粒度是句子级、区域级还是 token 级

统一架构

共享骨干网络或共享 tokenizer，让两类任务走同一套参数；注意「共享」有全共享与部分共享之分

统一训练目标

理解损失与生成损失联合优化，关键看权重调度与梯度冲突怎么处理

• 判断是「能力并列」还是「互相增益」：前者只证明同一模型能做两类任务，后者才涉及迁移与冲突，看有无任务间消融对照。
• 看消融设计：去掉生成分支后理解指标怎么变，反过来再做一遍，两个方向都报了才算证据。
• 不适用情形：若你的对象只是单一任务的多模态模型，比如只做图生文或只做文生图，不该套统一框架，硬套会把综述写成两份拼接。

进展按四条轴梳理，不按时间流水账

按年份排的综述，读者看完只知道「谁先谁后」，不知道「为什么换路线」。改成四条轴并行，每条轴内部再按时间走，取舍点就成了主线。下面这张表可以直接当写作提纲的骨架。

评测轴要单独展开一段，说明理解任务偏判别、生成任务偏重建，指标本身不可通约。具体榜单与分数不要在正文写死，到 /benchmarks 和 /multimodal 核对当时的数字，并注明抓取时间与采样方式。

难点写具体，别写成「仍有挑战」

「仍面临挑战」这种句子等于没写。难点段落的价值在于让读者知道卡在哪、卡的程度、以及什么条件下绕得过去。下面四条是比较稳的落笔位置。

• 表征冲突：理解偏好语义不变性，生成要求细节可重建，同一表征空间下两者拉扯，要写清在哪些具体任务上互相拖累。
• 评测缺失：生成质量主观、理解答案开放，统一模型的双向得分缺乏公认协议；引用数据必须注明来源与采样方式。
• 算力与数据成本：统一训练通常比单任务更贵，写未来方向前先交代代价约束，规模与成本量级可到 /compute/training-cost 和 /compute/sizing 看当时口径。
• 失效场景披露：每类方法都要写一句「在什么输入下不成立」，否则读者复现时会踩你踩过的坑。

未来方向写成可检验的清单

展望段最常见的失败是全是宏大叙事。改法很简单：每条方向必须配一个「怎么算有进展」的判定信号，写不出信号的就降级或删掉。

1. 先发散列出 5 到 8 条候选方向，不设门槛，先把想到的都写下来。
2. 再筛选按「可验证性 × 影响力」两维打分，筛到 3 条展开，其余放展望段一笔带过。
3. 倒推假设每条方向倒推成一句可做实验的假设，写不出实验的删掉或降级，这一步最省审稿意见。
4. 标门槛区分近期可做与长期开放两类，标注所需的数据与算力门槛，避免读者误判难度。

筛选后的三条方向，建议每条给一个判定信号示例，比如「出现公认的双向评测协议」或「某类任务上的负迁移被明确消除」。信号要能被第三方独立检验，不能是作者自评。

读文献的顺序与记录模板

顺序错了，很容易被单点技巧带偏，读完一堆论文还是拼不出框架。建议先立骨架再填肉，四栏记录模板可以边读边填，填不全的先标记待补。

建议阅读顺序是先读统一架构的定义类工作，再读评测协议类，最后读任务特定改进。术语遇到分歧概念，到 /ai-dict/category/tech 与 /stacks/atlas 快速核对，再决定是否在综述里自定义。写作节奏上，先写难点与评测两节，再回头写进展，立场会稳很多。