原生多模态（Native Multimodality）

原生多模态（Native Multimodality）指模型从底层架构上就把文本、图像、音频、视频等模态当作统一的信息来处理，而不是在语言模型上后期外挂视觉或音频模块。外挂方案通常先把图片「翻译」成文字再理解，跨模态信息在这一步被压缩损耗；原生方案让所有模态在训练阶段就统一编码、统一建模，理解与生成互相打通，代表多模态 AI 从拼装走向原生的范式升级。

技术路线与差异维度

• 拼装式：以语言模型为主体，外加视觉编码器与音频编码器，实现简单、能复用成熟模型，但模态之间存在信息损失
• 原生式：图文音视频混合数据在预训练阶段一起进入模型，跨模态推理与跨模态生成更连贯
• 对齐方式：拼装式依赖投影层把视觉特征映射到文本空间，原生式在统一表示空间里直接交互
• 生成能力：原生模型更容易用同一套参数既看懂也能画出或说出，不必再挂一个独立的生成模型

统一词元架构的含义

主流实现是把不同模态都切成词元（Token，模型处理的最小单位）：图像切成小块，音频切成短帧，与文字词元拼进同一条序列，由同一个注意力机制处理。这样做可以复用语言模型已被验证的并行训练与推理优化路径，也让上下文可以任意交错，例如一边看视频一边听解说一边读字幕。代价是序列长度增长很快，视频尤其吃算力，因此工程上普遍采用分辨率自适应、关键帧抽样与模态压缩来控制开销，跨模态对齐的稳定性则依赖大规模高质量配对数据。

典型能力

• 跨模态理解：看图问答、听声音辨场景、读文档截图与表格，多种信息放在一起推理
• 跨模态生成：按文字描述生成图像或音频，模型自身就能画和说
• 实时语音交互：音频直接进、音频直接出，减少中间转写带来的延迟与信息损耗
• 界面理解：理解屏幕截图并给出操作位置，是能操作电脑的智能体的基础能力

常见误区与挑战

• 把支持多模态当成原生多模态：能传图片不代表模态在底层真正融合
• 只测单模态：原生能力要在跨模态任务上验证，例如看图表做推理、听音频回答问题
• 低估数据成本：跨模态对齐依赖大规模配对数据，清洗与标注开销很高
• 忽视推理开销：长视频与长音频会显著推高上下文长度、延迟与费用
• 比较口径不一：不同实现对多模态的定义不同，横向对比要看具体任务表现