截图结构化解析
把界面截图从像素空间“token 化”为 LLM 可读的结构化元素，使通用大模型能够基于解析结果做检索式的下一步动作预测。
OmniParser V2
AI TOOL PROFILE工具资料把 UI 截图转成结构化元素，让任意 LLM 充当计算机使用代理。
官网地址 https://www.microsoft.com/en-us/research/articles/omniparser-v2-turning-any-l…
价格官网未标价
平台Windows
归类AI 智能体
收录2025-01-01
复核2025-01-01
编辑评分
4.4 / 5
★★★★☆
OmniParser V2编辑总结
OmniParser V2 是微软研究院 AI Frontiers 团队推出的 GUI 解析技术，把界面截图“token 化”为 LLM 可读的结构化元素，让通用大模型具备看懂屏幕并预测下一步操作的能力。相比前代，它用更大的交互元素检测与图标功能描述数据训练，把图标描述模型的图像尺寸调小，推理延迟降低 60%；OmniParser 搭配 GPT-4o 在 ScreenSpot Pro 基准上取得 39.6 的平均准确率，而 GPT-4o 原始得分仅 0.8。团队还提供了 Docker 化的 Windows 环境 OmniTool，开箱即可接入 OpenAI、DeepSeek、Qwen、Anthropic 等模型。短板是官方页面只给出技术说明与代码入口，未公布定价档位与商用授权细节。
OmniParser V2是什么？
OmniParser V2 由微软研究院 AI Frontiers 团队开发，作者包括 Yadong Lu、Thomas Dhome-Casanova、Jianwei Yang 和 Ahmed Awadallah。它解决的是 GUI 自动化中的一个核心问题：通用大模型很难可靠识别界面上的可交互图标，也难以把截图里的元素语义和屏幕上具体区域对应起来。OmniParser 的做法是把像素空间的界面截图“token 化”，转成 LLM 能理解的结构化元素，模型就能基于一组解析出的可交互元素做检索式的下一步动作预测。
相比前代版本，V2 在检测更小的可交互元素上准确率更高、推理更快。它用更大的交互元素检测数据和图标功能描述数据训练，并通过缩小图标描述模型的图像尺寸，把延迟降低了 60%。在包含高分辨率屏幕和极小目标图标的 ScreenSpot Pro 基准上，OmniParser 搭配 GPT-4o 取得 39.6 的平均准确率，而 GPT-4o 单独使用时的原始得分为 0.8。
使用方式上，研究者和开发者可以直接获取代码与 HuggingFace 上的模型 checkpoint；需要快速试验不同智能体配置的人可以用 OmniTool——一个 Docker 化的 Windows 系统，内置智能体所需的工具集，开箱即可配合 OpenAI（4o/o1/o3-mini）、DeepSeek（R1）、Qwen（2.5VL）和 Anthropic（Sonnet）等模型，打通屏幕理解、定位、动作规划与执行环节。团队建议对不含有害内容的截图使用，并在 OmniTool 中保持人工在环以降低风险。
OmniParser V2核心功能
小元素检测增强
用更大的交互元素检测数据训练，对界面中更小尺寸的可交互元素识别准确率高于前代版本，适合高分辨率屏幕场景。
推理延迟降低
通过缩小图标描述模型的图像尺寸，推理延迟相比上一版本降低 60%，让 GUI 自动化流程的响应更快。
ScreenSpot Pro 表现
搭配 GPT-4o 在 ScreenSpot Pro 基准上取得 39.6 的平均准确率，而 GPT-4o 单独使用时的原始得分为 0.8。
多模型接入
开箱支持 OpenAI（4o/o1/o3-mini）、DeepSeek（R1）、Qwen（2.5VL）、Anthropic（Sonnet），打通理解、定位、规划与执行。
OmniTool 环境
提供 Docker 化的 Windows 系统，内置智能体所需工具集，方便快速试验不同的智能体配置，并附沙箱容器与安全指引。
负责任 AI 训练
图标描述模型使用负责任 AI 数据训练，尽量避免从图标图像中推断人物种族、宗教等敏感属性。
OmniParser V2值不值得用？
把 OmniParser V2 当作 GUI 自动化的解析层来用时，它的价值很明确：延迟比前代低 60%，搭配 GPT-4o 在 ScreenSpot Pro 上拿到 39.6，而 GPT-4o 原始得分只有 0.8，说明它能补上通用模型“看不懂屏幕”的短板。如果你要复现或搭建计算机使用代理，代码和 HuggingFace checkpoint 可以直接获取，OmniTool 省去了自建 Windows 环境的工作。但如果你想找的是一个拿来即用的产品，它并不合适——没有公布定价档位与商用授权条款，也没有面向终端用户的操作界面，需要自己写代码集成并承担安全与合规评估。
建议选它的情况
- 研究或工程团队要搭建计算机使用代理，需要可靠的界面元素解析层。
- 希望把现有 LLM 扩展出 GUI 操作能力，且能接受自行集成代码。
- 需要覆盖高分辨率屏幕与极小目标图标的自动化场景。
不建议选它的情况
- 想要开箱即用的成品软件，没有开发资源自行部署和调试。
- 对商用授权与定价有明确预算要求，需要先确认条款再决定。
OmniParser V2使用建议
入门先把路子走对
- 先取代码与模型从官方入口获取 OmniParser V2 代码和 HuggingFace 上的模型 checkpoint，确认依赖后再接入自己的流程。
- 用 OmniTool 起步直接跑 Docker 化的 Windows 环境 OmniTool，它内置了智能体所需工具集，能省去自建运行环境的步骤。
- 选一个模型接上开箱支持 OpenAI 4o/o1/o3-mini、DeepSeek R1、Qwen 2.5VL、Anthropic Sonnet，先用手头已有的模型验证效果。
进阶省时间也省钱
- 小图标场景重点测V2 的卖点之一是对更小可交互元素的检测提升，如果你的界面图标密集，优先在这类截图上验证准确率。
- 延迟敏感就换描述模型图标描述模型的图像尺寸是延迟的关键，若响应不够快，可从这一环节入手调整。
- 保持人工在环官方建议保持人工在环以降低风险，高风险操作前设置人工确认节点。
- 避开有害内容截图官方鼓励只对不含有害内容的截图使用解析能力，接入前先对输入来源做过滤。
OmniParser V2适合谁用？
GUI 自动化研究者
推荐需要可复现的界面解析基线，并能在 ScreenSpot Pro 等基准上对比结果。
智能体开发团队
推荐要把现有 LLM 扩展成能操作电脑的代理，OmniTool 提供了现成的 Windows 环境与工具集。
追求成品工具的普通用户
不推荐没有面向终端用户的操作界面，需要自行部署代码与配置模型，学习成本不低。
对商用条款敏感的企业
有条件定价档位与商用授权范围未公布，采购前需要先与官方确认。
OmniParser V2优点和缺点
优点
- 推理延迟比上一版本降低 60%
- 搭配 GPT-4o 在 ScreenSpot Pro 上平均准确率 39.6
- GPT-4o 原始得分仅 0.8，解析层带来的提升明显
- 开箱支持 OpenAI、DeepSeek、Qwen、Anthropic 多家模型
- 提供 Docker 化的 OmniTool，省去自建 Windows 环境
- 代码与 HuggingFace 模型 checkpoint 可直接获取
缺点
- 定价档位与商用授权范围未公布
- 没有面向终端用户的成品界面，需要自行集成
- 官方建议保持人工在环，无法完全无人值守
OmniParser V2关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 推理延迟降低 | 60% | Microsoft Research 官方文章 |
| ScreenSpot Pro 平均准确率（搭配 GPT-4o） | 39.6 | Microsoft Research 官方文章 |
| GPT-4o 原始得分 | 0.8 | Microsoft Research 官方文章 |
OmniParser V2常见问题
OmniParser V2 相比上一版提升了什么？＋
它用更大的交互元素检测数据和图标功能描述数据训练，对更小的可交互元素识别更准；同时通过缩小图标描述模型的图像尺寸，将推理延迟降低 60%，更适合 GUI 自动化场景。
它能在哪些模型上运行？＋
官方开箱支持 OpenAI 的 4o/o1/o3-mini、DeepSeek 的 R1、Qwen 的 2.5VL 以及 Anthropic 的 Sonnet，覆盖屏幕理解、定位、动作规划和执行四个环节。
ScreenSpot Pro 上的成绩是多少？＋
OmniParser 搭配 GPT-4o 在该基准上取得 39.6 的平均准确率，而 GPT-4o 单独使用的原始得分为 0.8，差距主要来自对高分辨率屏幕与极小目标图标的解析能力。
怎么快速开始试验？＋
可以使用 OmniTool，它是一个 Docker 化的 Windows 系统，内置智能体所需的工具集，并附带沙箱容器、安全指引和示例，方便快速试验不同的智能体配置。
使用时有安全方面的限制吗？＋
官方建议只对不含有害内容的截图使用该能力，并保持人工在环以降低风险。OmniTool 侧也做了威胁模型分析，并提供沙箱容器与安全指引。
