voyage-multimodal-3

voyage-multimodal-3 是 Voyage AI 推出的多模态嵌入模型，也是该公司首个把图像与文本一起处理的嵌入模型。它面向需要把图文混排知识库做成可检索 RAG 的场景，比如包含大量扫描件、表格、幻灯片的产品文档库。

与常见的多模态嵌入模型不同，它不依赖独立视觉塔加文本塔的 CLIP 式架构，而是把两种模态的数据直接放进同一个 transformer 编码器里向量化，让文字和视觉特征成为统一表示，因此可以处理交错的文本与图片输入。生成的向量会保留字号、文字位置、留白等关键视觉特征。

对普通用户来说，它意味着可以直接把 PDF、幻灯片截图丢进去做检索，而不必先跑一遍容易出错的文档解析；对开发者来说，它提供了向量化接口，可用于搭建语义搜索和 RAG 流程；对团队来说，它适合替代那些在复杂版式上准确率不佳的启发式解析管线。

当你要检索的对象是图文混排、版式复杂的文档时，voyage-multimodal-3 值得优先试：它跳过了容易出错的解析步骤，官方评测中表格图表检索准确率比 OpenAI CLIP large 高 41.44%。当你的语料以纯文本为主，或者团队已经在用成熟的文本嵌入模型时，它的多模态优势发挥不出来，切过去收益有限；如果业务以中文等非英文语料为主，官网未公开多语言表现，需要先自行验证。

工具	编辑评分	价格	核心功能	平台
voyage-multimodal-3本工具	4.4	未标价	交错文本与图像；统一编码器架构；免文档解析检索；保留视觉特征	API
O OpenAI CLIP large本工具	—	未标价	表格图表检索比它低 41.44%，文档截图检索低 26.54%，文本转图片检索低 6.55%，且无法处理交错图文输入。	—
C Cohere multimodal v3本工具	—	未标价	表格图表检索比它低 43.37%，文档截图检索低 25.84%，文本转图片检索低 5.86%，同样基于 CLIP 式独立双塔结构。	—
A Amazon Titan Multimodal G1本工具	—	未标价	官方将其列为常见多模态嵌入模型之一，与 Google Vertex AI multimodal、Cohere multimodal v3 同属 CLIP 系架构，无法处理交错数据。	—
G Google Vertex AI multimodal本工具	—	未标价	同属基于 CLIP 的多模态嵌入方案，图像走视觉塔、文本走文本塔，无法在同一编码器内统一处理图文。	—

在这几款同类工具里，选 voyage-multimodal-3 的场景是文档含大量表格、图表、幻灯片截图，且需要一次传入交错图文；OpenAI CLIP large 与 Cohere multimodal v3 的优势在于生态成熟、接入门槛低，但在表格图表和文档截图检索上分别低 41.44%/43.37% 和 26.54%/25.84%。如果只做纯文本检索，voyage-multimodal-3 相对 OpenAI v3 large 仅高 5.13%，替换收益不大。

1. 2024-11-12
   voyage-multimodal-3 发布

   Voyage AI 发布首个多模态嵌入模型，支持交错文本与图像输入，在 20 个多模态检索数据集上平均比次优模型高 19.63%。

2. 2024-09-01
   voyage-3 系列文本嵌入模型发布

   两个月前发布了 voyage-3 与 voyage-3-lite 系列多语言文本嵌入模型，在多种数据集上提供领先性能。