一文看完多模态:从视觉表征到多模态大模型

你大概遇到过这种场景：看别人讲 CLIP、视觉编码器、投影层，词都认识但串不起来；想上手试多模态，又不知道该先补哪块。这篇按「图像怎么变数字 → 怎么变向量 → 怎么接进语言模型 → 怎么用」的顺序走一遍，每一步都告诉你去站内哪个页面核对当前模型和价格，不背公式，只求把线索记住。

你大概遇到过这种场景：看别人讲 CLIP、视觉编码器、投影层，词都认识但串不起来；想上手试多模态，又不知道该先补哪块。这篇按「图像怎么变数字 → 怎么变向量 → 怎么接进语言模型 → 怎么用」的顺序走一遍。

不背公式，只求把线索记住。每一步都告诉你判断标准和该做什么动作，涉及具体模型名、能力和当时的接口价格，一律去站内对应页面核对，别记死在脑子里。下面按四步走。

第一步：图像是怎么变成数字的

先接受一个事实：计算机眼里没有「图片」，只有一张数字表。彩色图通常是三个通道叠在一起，每个位置存一个亮度值。模型看到的不是画面，而是这块表外加它的形状信息。所以形状没搞懂，后面全是天书。

• 先分清三件事：像素与通道、图像预处理（缩放、归一化）、张量形状；这三样是后面所有操作的输入前提
• 为什么不能把像素直接丢给语言模型：维度太高、缺少语义、也没有序列先后关系，直接喂既慢又笨
• 只记一个判断：任何视觉模型的第一层，做的都是把图片压成一张更小的数字表，压得越小越抽象
• 名词卡壳时到 /ai-dict/category/tech 和 /ai-dict/category/basics 顺手对照，别在术语上停太久

预处理里的缩放和归一化看着琐碎，但它决定模型输入是否落在它习惯的范围内。同一张图做不同预处理，结果可能差很多，这不是模型不行，是输入没对齐。

第二步：视觉表征——把图片压成一个向量

这一层的目标只有一个：把图片变成一串数字（向量），而且让「相似的图」在数字上靠得近。卷积和 ViT 的差别可以粗略记成——一个从局部往外看，一个一开始就全局看；入门阶段先记住两者都在输出特征，选哪个交给具体任务去验证。

表征好不好用，验收标准不是看榜单数字，而是「拿去做检索或分类还能不能分得开」。读榜的思路可以到 /benchmarks 看它们怎么定义指标、用什么数据集，注意指标口径不同就不能直接横向比。

• 想横向看现成模型，去 /models 和 /multimodal 按模态筛，别看名字猜能力
• 关注输入分辨率上限，它直接影响小字和小图标能不能被看清
• 关注是通用视觉模型还是专门做文档、图表、视频的，类别混用最容易踩坑
• 同一模型在不同预处理下的表现差异，比不同模型之间的差异有时还大

第三步：桥接——视觉怎么接进语言模型

桥接这一层解决的是「图和文怎么放进同一个空间说话」。主流做法就两类：把视觉特征投影成语言模型能吃的 token，或者加一层适配结构做对齐。前者改动小、上手快，后者可控性更强但训练和调参成本更高。选哪种，先看你手上数据量和算力。

1. 先分清对齐和微调图文对齐（对比学习）解决的是「图和文是不是在同一个空间」，指令微调解决的是「模型会不会按你的要求回答」。两件事混在一起，就会误以为对齐做好了模型就听话。
2. 再确认任务边界能描述图片不等于能读懂图表。前者看图说话，后者要求分辨率、OCR 和结构理解都在线，选型前到 /multimodal 看归类，别拿一个用在另一个场景。
3. 最后核对名词编码器、投影层、融合方式这些词在 /ai-dict/category/frontier 能快速混个脸熟，但只当索引，别当教程，看懂之后一定要回到具体模型页面看它实际怎么实现。

第四步：入门怎么练，别只读不试

最小可行动作不是复现论文，而是找一张信息密度高的图——表格、截图、票据都行——分别丢给两三个多模态模型，比对它们说错在哪。看它们错在数字、错在结构还是错在根本没看清，比读十篇原理更有效。

• 先准备三张难度递增的图：纯文字截图、带表格的文档、带图例的图表
• 固定提问方式，比如都问同一个问题，这样差异才来自模型而不是你的问法
• 把答错的地方按类型记下来，两三张图就能看出哪类模型适合哪类任务
• 别只看输出好不好看，重点看它在哪一步开始编

要不要自己搭，判断很简单：只是验证想法就用官方接口；数据不能出内网再考虑本地部署。算力账别拍脑袋，到 /compute/sizing 和 /compute/tco 按你的模型和调用量算一遍当时的数字。

真要走本地，顺序是先看模型再决定硬件。到 /models/deploy 看部署测算，再定量化档位和卡型，别先买卡后找模型——这是新手最常见的返工。

学习顺序建议：视觉表征 → 对齐方法 → 具体任务评测。跳步最容易卡在「模型为什么不听话」上。