视觉语言模型（VLM）

视觉语言模型（Vision-Language Model，VLM）在语言模型的基础上增加了一条视觉通路，使模型能看图答题、读表推理、识别界面元素。它把图像编码成与文字同处一个语义空间的向量序列，再由语言模型统一处理，因此可以沿用已有的对话与指令能力，是当前多模态应用最常见的基础形态。

典型结构

• 视觉编码器：把图片切成小块并提取特征，常借鉴对比学习预训练的成果。
• 投影层：把视觉特征映射到语言模型的向量维度，是跨模态的关键接口。
• 语言模型：接收图文混合序列，负责推理与生成回答。
• 分辨率策略：切图数量与缩放方式决定细节识别能力与词元开销。

训练通常怎么进行

训练一般分两步：先冻结语言模型，只训练投影层做模态对齐，让视觉向量落到语言模型能理解的位置；再联合微调，用图文指令数据提升复杂任务上的表现。数据质量往往比数量更关键，包含文字、表格与界面截图的样本对细节识别能力的帮助尤其明显，而只用简单场景图训练出的模型很难胜任文档类任务。评测时通常把感知类任务与推理类任务分开统计，因为前者主要取决于分辨率与编码器质量，后者更依赖语言主干的能力与指令跟随水平。

常见能力与限制

它擅长场景描述、文档解析与图表问答，但在精细计数、空间关系判断和小字识别上仍易出错，输出中的坐标与数值需要交叉核对。工程上还要关注图像词元带来的上下文占用与并发成本，分辨率越高细节越清楚，消耗的预算也越多，需要在准确率与延迟之间做取舍。

与相关概念的区别

视觉语言模型与纯文本模型共享同一套语言主干，区别在于输入通路；与专用视觉模型相比，它的输出是自然语言而不是类别标签。多模态大模型是更宽泛的概念，除图像之外还涵盖音频、视频等模态。理解这层关系有助于判断一个问题究竟该由负责「看得准」的视觉组件解决，还是该由负责「说得清」的语言组件解决。

实践要点

• 按任务选分辨率：小字与密集表格需要更高分辨率，普通场景描述可用较低设置节省成本。
• 要求给出依据：让模型指出回答所依据的图中区域，便于人工快速核对而非盲信。
• 关键数值二次确认：坐标、金额与计数结果应结合规则脚本或专用工具复核。
• 控制词元预算：多图与高分辨率会显著抬高上下文占用，需设定上限并准备降级策略。

常见误区

• 当成通用识别组件：它擅长语义理解，逐字精确转录仍不如专门的识别流程稳定。
• 以为它真的在「看」：模型处理的是特征序列，位置与数量关系并不天然可靠。
• 忽略图片质量：模糊、倾斜与反光会直接拉低识别率，预处理常比换模型更有效。
• 用纯文字题思路提问：问题需明确指向图中元素，含糊提问容易得到看似合理的臆测。