文档理解
可读取并理解文档内容，DocVQA 基准得 85.6%，略低于 Claude 3 Opus 的 89.3% 和 GPT-4V 的 88.4%，适合日常文档信息提取。
Grok-1.5 Vision Preview
AI TOOL PROFILE工具资料连接数字与物理世界的首款多模态模型，在真实世界空间理解上表现突出
价格Grok 免费档 $0/month 可用，SuperGrok $30/month
平台Web / iOS / Android / API
归类大模型与开发平台
收录2024-01-01
复核2024-01-01
编辑评分
4.4 / 5
★★★★☆
Grok-1.5 Vision Preview编辑总结
Grok-1.5 Vision Preview 是 xAI 推出的第一代多模态模型，在文本能力之外增加了对文档、图表、截图和照片的处理能力。它在 RealWorldQA 真实世界理解基准上得 68.7%，高于 GPT-4V 的 61.4% 和 Gemini Pro 1.5 的 67.5%，在 AI2D 上也以 88.3% 超过 GPT-4V 的 78.2%。短板是文档与图表类任务略弱，DocVQA 为 85.6%、ChartQA 为 76.1%，均低于 Claude 3 系列。模型将向早期测试者和现有 Grok 用户开放。
Grok-1.5 Vision Preview是什么？
Grok-1.5V 是 xAI 的第一代多模态模型，在原有文本能力基础上增加了对视觉信息的处理能力，可读取文档、图表、流程图、截图和照片。它面向需要图文混合理解的使用者，包括开发者、研究人员和日常需要处理图片信息的用户。
能力上，它覆盖多学科推理、文档理解、科学图表、图表识别、文字读取和真实世界空间理解几个方向。官方同时发布了 RealWorldQA 基准，用于评估多模态模型的基础真实世界空间理解能力，首批包含 700 多张图片，每张配一道有明确答案的问题，图像来自车辆拍摄及各类真实场景。该数据集以 CC BY-ND 4.0 协议发布，大小 677MB。
使用上，模型将先向早期测试者和现有 Grok 用户开放，普通用户通过 Grok 对话界面即可体验视觉能力，开发者可在后续版本中将其接入应用，团队则可用于文档解析、图表问答等场景。
Grok-1.5 Vision Preview核心功能
流程图转代码
能把流程图直接翻译成可运行代码。官方示例中，一张猜数字游戏流程图被转成完整的 Python 代码，包含随机数生成、循环输入和结果判断逻辑。
真实世界理解
在自建的 RealWorldQA 基准上得 68.7%，高于 GPT-4V 的 61.4%、Gemini Pro 1.5 的 67.5%、Claude 3 Sonnet 的 51.9% 和 Claude 3 Opus 的 49.8%。
图表与科学图识别
覆盖科学图表、图表、截图和照片。Mathvista 数学图表得 52.8%，高于 GPT-4V 的 49.9% 和 Claude 3 Opus 的 50.5%，略低于 Gemini Pro 1.5 的 52.1%。
文字读取
TextVQA 文字读取得 78.1%，与 GPT-4V 的 78.0% 基本持平，高于 Gemini Pro 1.5 的 73.5%。
零样本评估
所有基准均在零样本、不使用思维链提示的设置下评估，不依赖额外提示技巧即可复现评测成绩。
RealWorldQA 数据集
首批包含 700 多张图片，每张配一道有明确可验证答案的问题，图像经匿名化处理，来自车辆拍摄及其他真实场景，以 CC BY-ND 4.0 协议开放下载。
Grok-1.5 Vision Preview值不值得用？
当任务涉及真实世界空间理解、照片判断或流程图转代码时，Grok-1.5V 值得优先考虑，RealWorldQA 68.7% 的成绩明显高于同类模型。当任务以文档解析和图表问答为主时，它的表现不占优，DocVQA 85.6% 和 ChartQA 76.1% 都落后于 Claude 3 系列，这类工作更适合交给文档能力更强的模型。由于模型仍处于早期测试阶段，仅面向早期测试者和现有 Grok 用户开放，需要立刻投产的项目要留意准入限制。
建议选它的情况
- 需要解读照片、截图、真实场景图像的任务
- 要把流程图或示意图直接转成可运行代码
- 需要做多学科推理并搭配图表理解的场景
- 希望使用按 CC BY-ND 4.0 开放的真实世界理解数据集
不建议选它的情况
- 以合同、论文等长文档解析为核心的工作
- 需要大量图表数据问答且对准确率要求高
- 要求模型已全面开放而非仅限早期测试者
Grok-1.5 Vision Preview使用建议
入门先把路子走对
- 先从照片类任务入手模型在真实世界空间理解上得分最高，先拿照片、截图这类输入试效果，比一上来就丢长文档更容易看到差异。
- 用流程图试转代码准备一张逻辑清晰的流程图，直接问「把它翻译成 Python 代码」，可以快速判断模型对结构化图形的理解程度。
- 留意开放范围模型先向早期测试者和现有 Grok 用户开放，使用前先确认自己的账号是否在开放范围内，避免排期落空。
进阶省时间也省钱
- 文档任务换模型DocVQA 85.6%、ChartQA 76.1%，文档和图表类任务可优先用 Claude 3 系列，把 Grok-1.5V 留给图像与真实场景理解。
- 下载 RealWorldQA 自测数据集以 CC BY-ND 4.0 开放，677MB，包含 700 多张图片，可用它横向对比不同多模态模型在真实场景下的表现。
- 零样本直接提问官方评测均在零样本、不加思维链提示的设置下完成，日常使用也直接提问即可，不必额外堆砌提示词。
Grok-1.5 Vision Preview适合谁用？
多模态应用开发者
推荐需要把图像理解接入产品的开发者，可先通过现有 Grok 入口验证效果，再等待 API 正式开放。
图像与视频内容审核
推荐需要判断照片内容、空间关系的场景，RealWorldQA 68.7% 的表现优于同类，适合做初步筛选。
科研与工程绘图人员
推荐常处理流程图、示意图并想直接得到代码，官方示例展示了流程图转 Python 的完整效果。
文档数字化团队
有条件以合同、报表等长文档解析为主业时，DocVQA 85.6% 低于 Claude 3 系列，建议对比后再决定主力模型。
需要立即投产的项目
有条件模型仅向早期测试者和现有 Grok 用户开放，尚未全面放开，工期紧张的项目要预留等待时间。
Grok-1.5 Vision Preview优点和缺点
优点
- RealWorldQA 真实世界理解得 68.7%，高于 GPT-4V 的 61.4%
- AI2D 得 88.3%，比 GPT-4V 的 78.2% 高出约一成
- 支持流程图直接转成可运行 Python 代码
- 可处理文档、图表、截图和照片多种视觉输入
- 发布 RealWorldQA 数据集，700 多张图片开放下载
- $0/month 免费档即可体验 Grok 能力
缺点
- DocVQA 文档理解 85.6%，低于 Claude 3 Opus 的 89.3%
- ChartQA 图表 76.1%，落后于 Claude 3 系列的 80% 以上
- MMMU 多学科推理 53.6%，不及 Claude 3 Opus 的 59.4%
- 仅面向早期测试者和现有 Grok 用户，尚未全面开放
Grok-1.5 Vision Preview版本与计费对比
| 方案 | 价格 | 包含内容 | 说明 |
|---|---|---|---|
| Free | $0 /month | 免费使用，含实时网页与 X 搜索、语音模式、连接器 | — |
| SuperGrok | $30 /month | 更高速率限制，Grok 4.6 模型、Grok Bot 访问、图像与视频生成 | — |
| SuperGrok Plus | $100 /month | 1080p 视频生成、显著更高的 Chat 与 Imagine 使用量、优先访问 | — |
以上为公开费率整理，厂商保留调价权利，实际以官方页面为准。
Grok-1.5 Vision Preview关键指标
Grok-1.5 Vision Preview常见问题
Grok-1.5V 现在能用吗？＋
模型将先向早期测试者和现有 Grok 用户开放，尚未全面放开。如果你已经是 Grok 用户，可以留意后续开放通知。
它最强的能力是什么？＋
真实世界空间理解。在自建的 RealWorldQA 基准上得 68.7%，高于 GPT-4V 的 61.4%、Gemini Pro 1.5 的 67.5%、Claude 3 Sonnet 的 51.9% 和 Claude 3 Opus 的 49.8%。该基准考察的是对现实场景的基础空间判断能力。
和 GPT-4V、Claude 3 比怎么样？＋
图像和空间理解上 Grok-1.5V 领先，RealWorldQA 68.7% 高于 GPT-4V 的 61.4%，AI2D 88.3% 也高于 GPT-4V 的 78.2%。但文档和图表类任务偏弱，DocVQA 85.6% 低于 GPT-4V 的 88.4% 和 Claude 3 Opus 的 89.3%，ChartQA 76.1% 也低于三家竞品。
它能读文档和图表吗？＋
能，覆盖文档、图表、科学图表、截图和照片。文档理解 DocVQA 得 85.6%，图表 ChartQA 得 76.1%，文字读取 TextVQA 得 78.1%。数值上文档与图表任务落后于 Claude 3 系列，日常问答够用，高精度解析建议换用更强模型。
流程图真的能变成代码吗？＋
可以。官方示例中一张猜数字游戏的流程图被转成完整的 Python 代码，包含随机数生成、循环输入和结果判断逻辑，代码可直接运行。
RealWorldQA 数据集怎么获取？＋
数据集以 CC BY-ND 4.0 协议发布，首批包含 700 多张图片，每张配一道有明确答案的问题，图像来自车辆拍摄及其他真实场景，文件大小 677MB，可下载用于模型对比。
用 Grok 要付费吗？＋
免费档每月 $0，包含实时网页与 X 搜索、语音模式、连接器等。SuperGrok 为 $30/month，提供更高速率限制和前沿模型访问；SuperGrok Plus 为 $100/month，支持 1080p 视频生成和优先访问。
Grok-1.5 Vision Preview竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Grok-1.5 Vision Preview本工具 | 4.4 | Grok 免费档 $0/month 可用，SuperGrok $30/month | 文档理解；流程图转代码；真实世界理解；图表与科学图识别 | Web / iOS / Android / API |
| GPT-4V本工具 | — | 未标价 | MMMU 56.8%、DocVQA 88.4%，文档与多学科推理更强；RealWorldQA 61.4%、AI2D 78.2% 低于 Grok-1.5V | — |
| Claude 3 Sonnet本工具 | — | 未标价 | AI2D 88.7%、DocVQA 89.5% 领先，ChartQA 81.1%；RealWorldQA 51.9% 明显落后于 Grok-1.5V | — |
| Claude 3 Opus本工具 | — | 未标价 | MMMU 59.4% 为对比中最高，DocVQA 89.3%、ChartQA 80.8%；RealWorldQA 49.8% 为最低 | — |
| Gemini Pro 1.5本工具 | — | 未标价 | ChartQA 81.3%、DocVQA 86.5% 占优；RealWorldQA 67.5% 略低于 Grok-1.5V 的 68.7% | — |
真实世界空间理解选 Grok-1.5V，RealWorldQA 68.7% 高于其余四款模型。文档解析与图表问答选 Claude 3 系列，DocVQA 和 ChartQA 均领先。多学科推理和多语言综合能力选 Claude 3 Opus 或 GPT-4V，MMMU 分别为 59.4% 和 56.8%。文字读取场景几款模型差距不大，Grok-1.5V 的 78.1% 与 GPT-4V 的 78.0% 基本持平。
