多模态大模型和大语言模型区别

很多人第一次接触多模态，是因为手上有个具体麻烦：让模型看看这张报表截图讲了什么，或者读一段录音再整理要点，结果发现平时好用的对话模型根本吃不下图片。这篇不堆名词，就按「能进什么、能出什么、计费按什么」三条线，把多模态大模型和大语言模型拆开讲，最后给一张判断表和一套上手前的确认顺序。

很多人第一次接触多模态，是因为手上有个具体麻烦：让模型看看这张报表截图讲了什么，或者读一段录音再整理要点，结果发现平时好用的对话模型根本吃不下图片。这不是模型坏了，而是你手里的那把钥匙开不了这把锁。大语言模型和多模态大模型的分工，基本就卡在「能进什么、能出什么、按什么计费」三条线上。

这篇不堆名词，就按这三条线把两类模型拆开讲。先看清边界在哪，再看各自擅长什么、不擅长什么，然后把成本和延迟的账算清楚，最后给一张判断表和一套上手前的确认顺序。读完你至少能判断：手上这个任务该找哪一类模型，以及去哪儿核对当时的规格和价格。

先看输入输出：两类模型的边界在哪

大语言模型的输入输出都是文本 token。图片、音频要先用别的工具转成文字才进得去，而转写这个过程本身就会丢信息：表格结构没了、语气没了、图里的相对位置没了。多模态模型则在文本之外多接了图像、音频、视频等模态的编码器，把非文本内容映射成模型能读的向量，再和文本 token 拼在一起送进同一套推理流程。换句话说，它不是换了个大脑，而是多装了几个感官。

• 判断口诀：任务里有「看」或「听」的环节，先假设需要多模态；没有，则大语言模型够用
• 注意输出端：多数多模态模型仍然只吐文本，能出图、出视频的通常是另一类生成模型，不要混为一谈
• 别被名字带偏：一个模型叫多模态，不代表它支持音频或视频，具体支持哪些模态要逐个核对规格

能力不是简单叠加，各自有擅长和不擅长

多模态不等于「文本能力也一起变强」。大语言模型在长文推理、代码、结构化写作上更成熟，训练语料和评测体系都更厚。多模态模型的文本能力往往接近但不一定追平同代纯文本模型，而图片理解则受分辨率、切图方式和编码器本身的限制。一句话：它是加了一项能力，不是把原有能力往上抬了一档。

细粒度识别是最容易翻车的地方。小字、密集表格、手写体、低光照照片，效果落差比想象中大。同样一张票据，清晰扫描件和手机随手拍的斜角照，结果可能差很远。所以别拿一张精心挑选的样图去代表整体水平。

• 长文写作、代码、多轮逻辑推理：优先看大语言模型
• 看图问答、截图理解、图片分类描述：看多模态模型
• 票据、图纸、密集表格等细节任务：先做小样本抽测再定，别直接上线
• 音视频整理：确认该模型是否真的支持音频或视频输入，而不是只支持图像

别指望一个多模态模型同时把长文写作和图像细节都做到最好，任务分开评估更靠谱。

成本和延迟的账怎么算

图片进去是按 token 折算的，分辨率越高、切块越多，消耗越大。各家怎么折算、单价多少，写法不完全一样，别凭印象估，到 /official-api 核对当时各家价目表里的计费口径。同一个问题，用文字问和用图问，账单可能不是一个量级。

1. 先看折算规则确认这家是按图片张数、按切块数还是按折算 token 计费，规则不同，同一张图的成本差距很大。
2. 再测延迟多模态请求要多跑一遍视觉编码，首字延迟通常高于同规模的纯文本请求。做实时交互的，先拿真实链路测一轮再定。
3. 想办法省重复开销同一张图反复问不同问题，可以先用文字把图内容描述一次存档，后续任务喂文本，省下重复的视觉开销。
4. 用真实样本跑总账上线前拿二三十条真实业务样本跑一轮，看总成本和延迟是否可接受，别只看单次报价。

延迟这块尤其要注意：如果你的场景是「用户上传图，界面要立刻给反馈」，多模态的额外编码时间会直接体现在体验上。反过来，如果是异步批处理，延迟就没那么关键，可以把精力放在准确率和成本上。

按任务做判断，再动手验证

候选模型去 /models 和 /multimodal 对齐规格，参数、上下文长度、支持的模态一次看全，避免选完才发现关键模态不支持。同一家的模型迭代也快，规格以你查看当时的页面为准。

最终判断不靠榜单，用自己二三十条真实样本跑一遍，记录准确率和单次成本，再决定上不上。什么情况下这套判断不适用？如果任务对准确率要求极高、出错代价很大，或者涉及敏感数据不能外发，那就不该只靠自己抽测决定，而要连同合规和数据流程一起评估。