像素级感知
从屏幕画面本身理解界面,而不是依赖网页结构或接口协议。这意味着老系统、桌面软件、没有开放 API 的工具同样在可处理范围内。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Layerbrain 在做的是 Computer World Models——一类从像素出发、能生成、感知并操作真实软件的前沿模型。它想解决的不是「帮你想一句话」,而是「替你把软件界面点完」:模型直接看懂屏幕上的按钮、表单、流程,再动手完成操作。定位偏底层能力,面向的是需要把自然语言指令落成跨软件动作的场景。目前官方对具体产品形态、可用入口、使用门槛都还没有展开说明,公开信息停留在方向性描述层面。
Layerbrain 是一家在研究 Computer World Models 的公司。所谓 Computer World Models,指能够从像素层面生成、感知并操作可用软件的模型——模型看到的是屏幕画面,输出的是对界面的操作,而不是只生成文字。
它和常见的对话式助手不同:对话助手停留在「给建议、给文案」,Layerbrain 的方向是让模型直接和软件界面打交道,理解界面上有什么、该点哪里、下一步会怎样。官方把这条路线放在「frontier models」的位置上,说明目标是通用能力而非某个单点工具。
对普通用户来说,可以把它理解成「让 AI 自己把软件用一遍」的底座能力,未来可能落在自动化操作、跨应用任务执行一类场景;对开发者和团队,它更接近一层可以接进现有工作流的模型能力,而不是装好就能用的成品。现阶段官方没有公开具体的产品入口与使用方式。
从屏幕画面本身理解界面,而不是依赖网页结构或接口协议。这意味着老系统、桌面软件、没有开放 API 的工具同样在可处理范围内。
方向之一是直接生成能跑起来的软件界面,而不只是生成代码片段或界面草图,重点是「可用」而不是「看起来像」。
模型对软件的动作是点击、输入、跳转这类真实操作,目标是让自然语言指令落到具体界面上被执行完,而不是停在一段说明文字。
因为只依赖像素,理论上同一套能力可以覆盖不同厂商、不同形态的软件,不必为每个工具单独适配。这是它区别于接口型自动化的地方。
Layerbrain 适合把它当成一条技术路线来看,而不是当成现成工具来用。如果你是研究或工程方向,关注的是「模型能不能直接操作软件界面」这类问题,它值得跟进;如果你现在就想找一个能帮自己把日常软件操作自动跑完的产品,它暂时给不了这种确定性。判断标准很简单:你要的是能力底座,还是要一个开箱即用的工具。要底座可以看它,要工具先别急。
在做 RPA、界面自动化或智能体执行方向的工作,需要一套不依赖目标软件接口的操作能力,这类人最贴近它的定位。
内部有一批没有 API、只能靠人工点界面的系统,靠传统接口方案接不进去,像素级思路是少数能覆盖这类系统的方向。
期待下载后就能替自己完成软件操作,但目前没有公开的成品入口和使用说明,短期很难直接落到日常使用上。
需要先看到明确的计费方式、数据处理范围和授权条款才能推进采购,这些内容当前没有公布,走内部流程会比较难推进。
从公开表述看,它更偏技术能力:讲的是在做 Computer World Models,能生成、感知并操作可用软件。这属于底层模型层面的工作,不是装好就能用的成品工具。如果你现在就需要一个能替自己点界面的应用,它还给不了这种确定性。
对话助手输出的是一段文字或建议,事情还得你自己去做。Layerbrain 的方向是让模型看懂屏幕上的界面并直接动手操作,输入是像素,输出是对软件的实际动作。差别在于最后那一步由谁来完成。
这正是像素路线相对接口方案的优势所在。因为它从画面本身理解界面,不要求目标软件提供 API,所以理论上老系统、桌面软件同样能覆盖。当然实际效果取决于具体界面的复杂程度,建议先用步骤固定、界面变化少的流程去验证。
纯像素方案对界面变化比较敏感,按钮位置、配色、布局一改,原先走通的流程就可能失效,需要重新验证。评估时不要只看一次跑通,最好挑一个经常改动的界面观察一段时间,看稳定性是否符合预期。