原生多模态架构
采用交错图像与文本数据训练，能同时理解自然图像和文档内容，支持图表理解、文档问答和多模态推理。
Pixtral 12B
AI TOOL PROFILE工具资料Mistral AI 首个原生多模态模型，兼顾图像理解与纯文本性能
价格Apache 2.0 许可免费使用
平台API / Web
归类大模型与开发平台
收录2024-09-17
复核2024-09-17
编辑评分
4.1 / 5
★★★★☆
Pixtral 12B编辑总结
Pixtral 12B 是 Mistral AI 团队于 2024 年 9 月 17 日发布的首个多模态模型，采用交错图像与文本数据训练，由 400M 参数视觉编码器和基于 Mistral Nemo 的 12B 参数多模态解码器组成。它支持原生分辨率与宽高比输入，在 128k token 长上下文中处理任意数量图像，MMMU 推理基准得分 52.5%，并保持纯文本基准的顶尖表现。该模型已停止维护，被 Mistral 更新的视觉多模态模型取代，采用 Apache 2.0 许可证，可在 La Plateforme 或 Le Chat 上试用。
Pixtral 12B是什么？
Pixtral 12B 是由 Mistral AI 团队开发并发布的首个多模态模型，定位为 Mistral Nemo 12B 的即插即用替代品，面向需要同时处理图像与文本任务的开发者和研究者。
模型架构包含一个从零训练的 400M 参数视觉编码器和一个 12B 参数的多模态解码器，基于 Mistral Nemo 构建。它采用交错图像与文本数据训练，支持可变图像尺寸和宽高比，可将图像按原生分辨率编码为 16×16 像素块对应的图像 token，并在 128k token 的长上下文窗口中处理任意数量的图像。在 MMMU 推理基准上取得 52.5% 的成绩，在指令遵循方面相比同规模开源模型有 20% 的相对提升。
开发者可通过 Apache 2.0 许可证自由使用和修改模型，在 La Plateforme 或 Le Chat 上直接试用。对于需要文档问答、图表理解或多模态推理的应用，Pixtral 提供了无需牺牲文本能力的开源选项。
Pixtral 12B核心功能
可变图像尺寸
图像按原生分辨率和宽高比直接通过视觉编码器，每 16x16 像素块转换为图像 token，用户可灵活控制处理图像所需的 token 数量。
128k 长上下文
在 128k token 的上下文窗口中可处理任意数量的图像，以 [IMG BREAK] 和 [IMG END] token 分隔图像行与结束位置。
强指令遵循
在文本 IF-Eval 和 MT-Bench 上相比最接近的开源模型有 20% 的相对提升，多模态指令遵循基准 MM-IF-Eval 和 MM-MT-Bench 上同样优于开源替代方案。
文本性能不妥协
与以往开源模型不同，Pixtral 在多模态任务上表现优异的同时，在指令遵循、编码和数学等纯文本基准上保持顶尖水平。
Apache 2.0 许可
模型采用 Apache 2.0 许可证发布，允许自由使用、修改和分发，可在 La Plateforme 或 Le Chat 上直接试用。
Pixtral 12B值不值得用？
Pixtral 12B 适合需要开源多模态模型、且对文本性能有要求的场景，例如文档问答、图表理解和多模态指令遵循任务。它在 MMMU 推理基准上得分 52.5%，超过了同规模开源模型，并在指令遵循上相比最近的开源模型有 20% 的相对提升。但该模型已停止维护，被 Mistral 更新的视觉多模态模型取代，因此新项目不建议基于它构建。如果你需要长期维护的模型，应选择 Mistral 当前的视觉模型；如果你在做研究或需要复现 2024 年的多模态基线，Pixtral 12B 仍是一个可靠的开源选择。
建议选它的情况
- 需要开源多模态模型进行文档问答或图表理解
- 在图像任务之外仍要求纯文本基准不缩水
- 需要 128k 长上下文处理多张图像的研究场景
- 基于 Apache 2.0 许可证进行二次开发
不建议选它的情况
- 需要长期维护和持续更新的生产环境
- 追求当前最强多模态性能而非 2024 年基线
- 需要官方商业支持或 SLA 保障
Pixtral 12B使用建议
入门先把路子走对
- 从 La Plateforme 试用在浏览器打开 La Plateforme 或 Le Chat，上传图像后直接提问，先测试文档问答和图表理解等典型多模态任务。
- 关注原生分辨率输入图像按原生分辨率和宽高比输入，每 16x16 像素块生成一个图像 token。先试不同尺寸的图，观察 token 消耗和效果的变化。
- 检查替代模型模型已停止维护，新项目应转向 Mistral 当前的视觉与多模态模型，避免在已弃用的模型上构建长期依赖。
进阶省时间也省钱
- 利用交错输入模型以交错图像和文本数据训练，可尝试将多张图与说明文字交替排列，以提升多图推理和文档问答的表现。
- 控制图像 token 数按原生分辨率输入时，较大图像会产生更多 token。对速度敏感的场景可适当降低图像分辨率，在效果和 token 消耗之间取舍。
Pixtral 12B适合谁用？
多模态研究者
推荐需要复现或对比 2024 年开源多模态模型基线，Pixtral 12B 提供完整架构说明和 Apache 2.0 许可，适合实验和论文对比。
文档处理开发者
有条件需要处理合同、发票等文档问答和结构化信息抽取，模型的文档理解能力直接可用，但需注意模型已停止维护。
生产环境团队
不推荐需要长期维护和官方支持的生产应用，Pixtral 12B 已弃用且不再维护，应改用 Mistral 当前的视觉多模态模型。
开源模型集成者
有条件希望将多模态能力接入自有系统，Apache 2.0 许可允许自由修改和分发，但需自行承担模型维护和安全更新。
Pixtral 12B优点和缺点
优点
- MMMU 推理基准得分 52.5%，超过同规模开源模型
- 指令遵循相比最近开源模型有 20% 相对提升
- 支持 128k token 长上下文处理任意数量图像
- 原生分辨率输入，灵活控制图像 token 数量
- Apache 2.0 许可证，允许自由使用和修改
- 图像任务之外纯文本基准保持顶尖水平
缺点
- 模型已停止维护，被更新的视觉多模态模型取代
- 不再获得安全更新和问题修复
- 后续使用需迁移到 Mistral 当前视觉模型
Pixtral 12B版本与计费对比
| 方案 | 价格 | 包含内容 | 说明 |
|---|---|---|---|
| 开源许可 | 免费 | Apache 2.0 | 模型采用 Apache 2.0 许可证，允许自由使用、修改和分发 |
以上为公开费率整理，厂商保留调价权利，实际以官方页面为准。
Pixtral 12B关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| MMMU 推理基准 | 52.5% | Mistral AI 官方发布文章 |
| 视觉编码器参数量 | 400M | Mistral AI 官方发布文章 |
| 多模态解码器参数量 | 12B | Mistral AI 官方发布文章 |
| 上下文窗口 | 128k tokens | Mistral AI 官方发布文章 |
| 指令遵循相对提升 | 20% | Mistral AI 官方发布文章 |
Pixtral 12B常见问题
Pixtral 12B 现在还能用吗？＋
可以继续使用，但模型已停止维护。Mistral 官方页面标注该模型已弃用，被更新的视觉与多模态模型取代。如果你在构建长期项目，建议迁移到当前模型；如果只是复现实验或做对比研究，仍可使用。
它和同规模开源多模态模型比怎么样？＋
在 MMMU 推理基准上得分 52.5%，超过同规模开源模型。指令遵循方面，相比 Qwen2-VL 7B、LLaVa-OneVision 7B 和 Phi-3.5 Vision，在文本 IF-Eval 和 MT-Bench 上有 20% 的相对提升，多模态指令遵循同样领先。
Pixtral 12B 的训练数据用了多少图像和文本？＋
官方未公开训练数据的具体图像数量或文本 token 数。已知信息是模型采用交错图像和文本数据训练，视觉编码器为 400M 参数、从零训练，多模态解码器为 12B 参数、基于 Mistral Nemo。数据集规模和配比属于未发布的技术细节。
模型支持多大的上下文和多张图片？＋
支持 128k token 的长上下文窗口，可在其中处理任意数量的图像。图像按原生分辨率和宽高比输入，每 16x16 像素块转换为一个图像 token，行间和末尾分别用 [IMG BREAK] 和 [IMG END] token 分隔。
可以在哪里试用或部署？＋
可在 La Plateforme 或 Le Chat 上直接试用。模型采用 Apache 2.0 许可证发布，允许自由使用、修改和分发，开发者可将其集成到自有应用中。具体部署方式和资源需求未在官方页面列出。
Pixtral 12B竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Pixtral 12B本工具 | 4.1 | Apache 2.0 许可免费使用 | 原生多模态架构；可变图像尺寸；128k 长上下文；强指令遵循 | API / Web |
| Qwen2-VL 7B本工具 | — | 未标价 | Pixtral 在指令遵循上优于该模型，文本 IF-Eval 和 MT-Bench 有 20% 相对提升 | — |
| LLaVa-OneVision 7B本工具 | — | 未标价 | Pixtral 在指令遵循上优于该模型，且在 MMMU 上表现更强 | — |
| Phi-3.5 Vision本工具 | — | 未标价 | Pixtral 在指令遵循上优于该模型 | — |
| Claude 3 Haiku本工具 | — | 未标价 | Pixtral 在许多情况下性能超过该闭源模型 | — |
| LLaVa OneVision 72B本工具 | — | 未标价 | Pixtral 在多模态基准上性能匹配或超过这一更大规模的模型 | — |
在开源多模态模型范围内，Pixtral 12B 在指令遵循和 MMMU 推理基准上优于 Qwen2-VL 7B、LLaVa-OneVision 7B 和 Phi-3.5 Vision。与闭源模型相比，它在许多情况下超过 Claude 3 Haiku，并在多模态基准上匹配或超过 LLaVa OneVision 72B 这样更大的模型。如果需要在开源许可下获得强多模态推理且不牺牲文本性能，Pixtral 是 2024 年 9 月时的领先选择；如果追求当前最强性能，应比较更新的模型。
Pixtral 12B最新动态
-
Pixtral 12B 发布
Mistral AI 发布首个多模态模型 Pixtral 12B，采用 Apache 2.0 许可证，可在 La Plateforme 或 Le Chat 试用。
官方公告 ↗
