移动 UI 理解
专门面向手机屏幕的界面理解而设计，弥补通用多模态大模型在 UI 屏幕上看不懂、操作不好的短板，目标是让模型能读懂屏幕上的图标、文字与控件。
Ferret-UI
AI TOOL PROFILE工具资料面向移动端 UI 屏幕理解的多模态大语言模型，支持指代、定位与推理
价格官网未标价
平台Web
归类大模型与开发平台
收录2024-04-08
复核2024-04-08
编辑评分
4.5 / 5
★★★★☆
Ferret-UI编辑总结
Ferret-UI 是由 Keen You、Haotian Zhang 等 8 位作者提出、发表于 arXiv 的多模态大语言模型，专门用来理解移动端 UI 屏幕。它基于 Ferret 加入「任意分辨率」能力，把每张屏幕按原始宽高比切成 2 张子图分别编码再送入语言模型，从而放大图标、文字等小目标的细节。训练样本覆盖图标识别、查找文字、控件列表等基础任务，并补充详细描述、感知与交互对话、功能推断等进阶任务。论文给出的评测显示，它在全部基础 UI 任务上超过 GPT-4V。公开信息以论文形式发布，暂未见产品化的价格与商用方案说明。
Ferret-UI是什么？
Ferret-UI 是一篇发表于 arXiv 的学术论文所提出的模型，作者团队包括 Keen You、Haotian Zhang、Eldon Schoop、Floris Weers、Amanda Swearngin、Jeffrey Nichols、Yinfei Yang、Zhe Gan 共 8 人。论文提交于 2024 年 4 月 8 日，编号 arXiv:2404.05719，研究方向属于计算机视觉与模式识别，同时交叉计算语言学与人机交互。它要解决的问题是：通用多模态大模型在理解和操作 UI 屏幕时表现不够好。
在技术形态上，Ferret-UI 在 Ferret 的基础上引入「任意分辨率」能力。因为 UI 屏幕通常比自然图像更狭长，且包含图标、文字等更小的目标，模型会把每张屏幕按原始宽高比切成 2 张子图——竖屏做水平切分，横屏做垂直切分——两张子图分别编码后再送入语言模型。训练数据来自图标识别、查找文字、控件列表等基础 UI 任务，并带有区域标注以支持指代和定位；进阶任务数据则覆盖详细描述、感知/交互对话和功能推断。
研究者可以把它当作移动 UI 理解方向的基线模型，对照其任务划分与评测设计；开发者可以把它理解为一种「看得懂手机界面」的模型思路，用来判断自己的界面自动化或无障碍场景是否适用；普通用户目前接触到的更多是论文本身，而非一个可以直接注册使用的产品。
Ferret-UI核心功能
指代与定位能力
具备 referring、grounding 与 reasoning 三类能力，训练样本带有区域标注，因此模型可以指向屏幕上某个具体区域，并围绕该区域做推理和回答。
任意分辨率
在 Ferret 之上加入 any resolution 机制。面对 UI 屏幕比自然图像更狭长、目标更小的特点，用任意分辨率放大细节，从而拿到更清晰的视觉特征。
屏幕切分编码
每张屏幕按原始宽高比切分为 2 张子图：竖屏做水平切分，横屏做垂直切分。两张子图各自独立编码后再送入语言模型，避免整屏缩放导致小图标丢失。
基础 UI 任务
包含图标识别、控件列表等，并按指令跟随格式组织，配合区域标注支撑精准的指代与定位。
进阶推理数据
为增强推理能力，额外整理了一套进阶任务数据集，覆盖详细描述、感知与交互对话、功能推断，让模型不只识别元素，还能推断界面的用途。
开放指令执行
在经过整理的数据集上训练后，模型对 UI 屏幕有较好的理解表现，并能执行开放式指令，而不是只能回应预设好的固定问题模板。
配套评测基准
论文为上述任务建立了一套覆盖全面的评测基准，用同一套标准衡量模型在各类 UI 任务上的表现，便于横向比较不同模型的强弱。
Ferret-UI适合谁用？
UI 理解方向研究者
推荐论文给出了任务划分、数据构造方式与配套评测基准，适合作为移动 UI 理解方向的对照基线来阅读和复现。
多模态模型开发者
推荐任意分辨率加屏幕切分编码的思路，对处理狭长、目标偏小的图像场景有直接参考价值，可迁移到自己的模型设计中。
移动应用自动化团队
有条件关注界面元素识别与交互的团队可以了解其指代与定位能力，但需注意公开信息以论文为主，落地需自行评估。
想直接上手产品的普通用户
不推荐目前公开形态是 arXiv 上的论文，没有可直接注册使用的成品，普通用户难以直接体验。
Ferret-UI优点和缺点
优点
- 在全部基础 UI 任务上超过 GPT-4V
- 基于 Ferret 加入任意分辨率，专门放大图标文字等小目标
- 针对竖屏与横屏分别做水平、垂直切分，切分规则贴合 UI 形态
- 每张屏幕切成 2 张子图分别编码，细节保留更充分
- 训练数据覆盖图标识别、查找文字、控件列表等基础任务
- 另建详细描述、感知交互对话、功能推断等进阶任务数据
- 论文同时给出覆盖全部任务的评测基准
缺点
- 公开信息以论文为主，未见成品化产品与价格说明
- 训练数据的具体规模与构成未在摘要中给出
- 论文摘要只说明超过 GPT-4V，未列出各任务的具体分数
- 切分与编码方式增加了处理步骤，实际开销需自行评估
Ferret-UI常见问题
Ferret-UI 多少钱，能免费用吗？＋
官网未公开价格信息。目前可见的公开形态是 arXiv 上的论文 arXiv:2404.05719，页面没有提供订阅、调用或商用授权等收费说明。如果后续需要了解使用条件，建议以官方页面为准。
它现在的主力能力是什么？＋
论文描述它是一款面向移动 UI 屏幕的多模态大语言模型，具备指代、定位与推理能力。技术上是基于 Ferret 加入任意分辨率，把每张屏幕按原始宽高比切成 2 张子图分别编码后送入语言模型。
和 GPT-4V 比怎么样？＋
论文明确写到，Ferret-UI 不仅在多数开源 UI 多模态大模型之上，而且在全部基础 UI 任务上都超过了 GPT-4V。摘要没有给出各任务的具体分数，也未说明在进阶任务上与 GPT-4V 的对比结果。
国内能用吗？＋
官网未说明国内访问或使用方面的限制。公开信息是 arXiv 页面上的论文，涉及 PDF、HTML 等阅读形式，是否可获得相关代码与模型需以官方页面为准。
它为什么要做屏幕切分？＋
论文给出的理由是 UI 屏幕通常比自然图像更狭长，并且包含图标、文字等更小的目标。因此按原始宽高比把每张屏幕分成 2 张子图，竖屏水平切、横屏垂直切，两张子图分别编码后再送入语言模型，以放大细节。
训练数据都有哪些任务？＋
基础任务包括图标识别、查找文字和控件列表等，样本按指令跟随格式组织并带有区域标注。进阶任务数据集则覆盖详细描述、感知与交互对话、功能推断，用来增强模型的推理能力。
怎么衡量它的效果？＋
论文自己建立了一套评测基准，覆盖上述所有任务。论文称模型在该基准上对 UI 屏幕有出色的理解表现，并能执行开放式指令，但摘要未披露基准的具体题目数量与评分细节。
这是谁做的、什么时候发布的？＋
论文由 Keen You、Haotian Zhang、Eldon Schoop、Floris Weers、Amanda Swearngin、Jeffrey Nichols、Yinfei Yang、Zhe Gan 共 8 位作者完成，2024 年 4 月 8 日提交至 arXiv，编号 arXiv:2404.05719，主题归类为计算机视觉与模式识别。
Ferret-UI竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Ferret-UI本工具 | 4.5 | 未标价 | 移动 UI 理解；指代与定位能力；任意分辨率；屏幕切分编码 | Web |
| Multi-modal Large Language Models | — | 未标价 | 提供全面的 MLLMs 评估 | — |
| Unify AI | — | 未标价 | 一站式 LLM 模型比较与优化平台 | — |
| C3PO | — | 未标价 | 基于用户反馈的 LLM 模型对齐技术 | — |
| MM1 | — | 未标价 | 苹果发布多模态 LLM 模型 MM1 | Web |
| LangSmith | — | 免费档 $0，Plus 档 $39 / seat 每月，企业档定制价格 | LLM 应用开发者平台 | Web / API |
