手机AI助手该用文字还是截图存记忆？论文给出动态选择方案

朋友给你指路，说得再细，到了现场你可能还是绕不出去。可对方要是直接发来一张照片，往往一眼就清楚了。

也有相反的时候。文字说明反而比照片管用，朋友说一句“进门右转第三个柜台”，比一张糊掉的远景照靠谱得多。

这篇论文要处理的就是这类选择问题，只是对象换成了在手机屏幕上动手的AI智能体，不是人。

**核心问题：AI替你点手机的时候，靠什么“记住”怎么做**

背景得先交代一下。

视觉语言模型（VLM，能同时读图与读文字的AI模型，屏幕截图和文字指令可以放在一起处理）眼下已经可以直接看懂手机截图，理解指令，再像人那样点按操作把任务做完。这类能操作手机或电脑界面的AI，业内叫它

但

研究者为了让智能体少出错，想了个法子：配一个“记忆库”，把以往成功完成任务的经历存进去，碰到相似情形就调出来参考。思路很自然，好比老员工带新人，把之前踩过的坑写成笔记，新人照着做能少走弯路。

麻烦在于“这份笔记怎么写”。

现有系统大多一条道走到黑：过去的经历要么全部转成文字描述，要么直接甩一张旧截图，定下来就不改。论文给了一个很直观的例子（见原文图1）：同一份被检索出来的记忆，用文字呈现时智能体操作成功，换成图片呈现却失败了。这说明记忆的“打开方式”本身就能决定成败，记忆内容本身并没有问题。

研究团队先做实验，看这个猜测有多普遍。他们在两个基准测试集（

整篇论文的出发点就在这：**记忆用文字还是图片呈现，不是一次定死的选择，而是每走一步都得重新判断的动态决策。**

**为什么文字和图片会在不同步骤各有胜负**

文字记忆和图片记忆具体是什么，这里要稍作解释。

> 文字记忆：把过去某一步的界面状态转成结构化文字描述，比如“页面标题是登录，包含用户名输入框、密码输入框、登录按钮”，再连同当时执行的动作一起交给AI参考。

>

> 图片记忆：过去那一步的屏幕截图原样给AI，不做任何文字转换。

两种呈现方式都有软肋。文字描述相当于对图片做压缩和抽象，信息紧凑、重点突出是好处，但转换时难免丢掉细节，像按钮的具体位置、颜色深浅、相邻元素的排布关系。图片反过来，视觉细节全都保留，包括界面的空间布局和外观信息，代价是更“吵”，AI得自己从一堆像素里挑出真正有用的部分。

论文接着分析了什么样的场景适合哪种模态，归纳出三条规律。

第一条规律跟界面复杂程度有关。研究者用“

第二条规律跟动作类型有关。论文把GUI操作分成两类：

第三条规律跟交互进程有关。任务刚开始的初始状态，与经过几步操作演变出来的状态相比，后者更依赖图片记忆。交互推进之后，界面会出现各种细微的视觉变化，弹窗、高亮、选中状态切换都算，这些变化用文字很难完整捕捉，图片却能原样保留。

三条规律合起来，画面就清楚了：**界面越复杂、任务越偏向理解功能状态、交互进行得越久，图片记忆的价值就越突出；反过来，界面简单、任务偏向精确定位、处于交互早期，文字记忆往往更可靠。**

可以打个比方。去陌生的大型商场找卫生间，商场布局简单，只有一层楼、没几个店铺，服务员说“直走到底左转”就够了，平面图根本用不上。换成一个五层楼、几百家店铺的综合体，服务员光说“先到中庭，然后找到那个有大喷泉的地方，再往美食区方向走”，你多半还是会迷路，一张清楚的楼层导览图就成了刚需。商场要是坚持所有场景都用语言描述，简单复杂一律照搬同一套话术，结果就是在简单场景里浪费唇舌，在复杂场景里让你彻底找不到方向。论文想说明的正是这一点：固定一种记忆呈现方式，必然在某些场景下吃亏。

**AI的大脑深处，其实早就“知道”该用哪种模态**

模态偏好随步骤变化这个现象被发现后，研究团队又往深处挖了一层：这种偏好，在AI模型内部的神经网络表示里是不是也能看出端倪？

团队借来一种叫Chain-of-Embedding的分析方法，简称CoE。这套方法比较模型在不同输入条件下中间层隐藏表示的差异，用来观察模型内部怎么推理。他们在此基础上做了改造，提出Directional Chain-of-Embedding，简称D-CoE。说白了，就是拿同一个输入，分别在图片记忆条件和文字记忆条件下跑一遍，算出模型每一层隐藏状态的差值，这个差值向量里就带着模型对两种模态的偏好信号。

操作上并不复杂：同一条检索出来的历史步骤，文字版本和图片版本各喂一次给冻结参数的AI模型，冻结就是说这一步不更新参数，只看内部反应。每一层的隐藏状态都记下来，再算两者之差。差值序列穿过模型所有层，连成一条方向链。

研究者拿这条链训练了一个简单的

这意味着，AI模型并没有被专门训练去判断该用哪种记忆，可在处理信息、层层推理的过程中，内部表示已经自己攒下了这个偏好信号。问题是，这个信号此前一直没被用起来。

这个发现有点像人做决定之前，身体先有了倾向，大脑还没意识到，也没说出口。中午吃什么，嘴上说随便，脚却已经往常去的那家面馆走。D-CoE分析干的活，某种程度上就是去读懂AI脚往哪边迈这个潜意识信号，而不是等它嘴上给出最终答案。不去挖这层隐藏信息，直接从零训一个独立判断模块，等于把模型自己攒下的经验全扔了，相当于重新发明轮子，效果自然打折。论文后面的对比实验也证实了这一点。

**

信号找到了，论文的核心贡献就是把它用起来，造一个能在每一步自动判断用文字还是图片的机制，取名

系统训练分两步走，原文图5有完整示意。

第一步，构造偏好目标。研究者先用前面说的D-CoE方法，从模型最后一层隐藏状态的差值里，通过

第二步，训练一个轻量级的路由器。这里说的路由器是个小型神经网络，专门在每一步做选文字还是选图片的决策，不用重跑整个大模型。它的输入是当前界面状态的表示，加上检索到的文字记忆和图片记忆各自的向量表示。路由器分别给文字和图片打分，取两者差值作为路由分数，再用前面构造的偏好目标来监督训练，让路由分数尽量贴近真实的偏好程度。

训练完，推理阶段很简单：拿到当前状态，路由器算出一个分数，超过阈值就选图片记忆，否则选文字记忆。最终只把这一个模态喂给冻结的AI模型，由它生成下一步动作。

这里有个设计细节值得说一说，就是

好比让同事汇报项目进展。有的同事一股脑把所有文件、图表、聊天记录全甩过来，看着信息齐全，实际上你得花大量时间自己筛重点。靠谱的同事会先判断你现在最需要哪类信息，直接把最合适的那份递过来。不做这种筛选、一律全量提供，表面看没有信息损失，决策效率反倒会降。Both策略在实验里表现平平，原因就在这里。

**实测效果：三个基准测试集全面胜出**

设计思路说了这么多，最后还是得看数据。

论文在三个GUI基准测试集上做了评测：

>

>

> 任务成功率：

核心结果列在下面：

| 方法 | AITW | LearnGUI | MobileMiniWoB |

|---|---|---|---|

| 纯文字记忆 | 48.76% | 35.64% | 53.26% |

| 纯图片记忆 | 49.30% | 37.44% | 57.61% |

| 文字+图片同时提供 | 47.08% | 26.92% | 60.87% |

|

|

| **SwitchMem** | **51.42%** | **38.13%** | **63.04%** |

SwitchMem在三个测试集上全部拿到最高分，领先幅度不小。一些专门为GUI场景设计的复杂记忆构造方法，比如

论文还统计了SwitchMem在同一条任务轨迹内部的切换行为，结果挺有意思。一条轨迹里，它确实会交替使用文字和图片，平均切换1.5到1.8次；选中某个模态后，往往会连续用上好几步才换，连续长度在2.4到5次步骤之间。路由器并非乱跳，它是在跟着界面状态的变化调整策略，这和前面D-CoE分析发现的“步骤级偏好”对得上。

有人可能怀疑：SwitchMem赢，是不是只因为选图片的总比例刚好合适？研究者为此做了对照实验。他们构造了一个随机路由器，让它按固定概率独立选图片，这个概率与SwitchMem平均选图片的比例一致，再比较两者表现。结果在所有测试的概率区间上，SwitchMem都稳定压过随机路由（见原文图7b）。优势来自“在正确的步骤选正确的模态”，不是凑出了一个合适的整体比例。

研究者还对比了几种更简单的路由训练方式。直接用动作效果的数值差异训练路由器，叫Utility方法；只预测哪个模态更好、不预测好多少，叫Binary方法；完全不用模型隐藏状态、只用原始文本和图片embedding的，叫Basic routing。SwitchMem仍是综合表现最好的那个，利用D-CoE信号的必要性又多了一层验证。

效率上，SwitchMem每一步只比固定用图片记忆的方案多花0.1到0.3秒左右。某些依赖额外文档构建或指南生成的方法就不一样了，比如RAG-GUI，单步延迟能到8到11秒。对比下来，SwitchMem的额外开销可以说微不足道。

研究者最后还验证了这套方法能否迁移到其他AI模型。他们把SwitchMem的路由逻辑套用到一个专门为GUI场景微调过的模型

**写在后面**

这篇论文看下来，让我记住的不是 SwitchMem 那套系统怎么设计，反倒是 D-CoE 探针实验给出的一个信号：答案模型本来就有，缺的只是有人开口去问。

这让我想起一件挺常见的事。很多大模型应用要改进，不一定非得堆更大的模型、上更复杂的训练流程，有时候只是把模型自己已经具备、却没被显式利用的能力挖出来而已。D-CoE本质上是个很轻巧的探测工具，模型一分一毫都没改，它只是去读了一下模型内部“犹豫”的痕迹。

还有个细节值得单独说：论文里提到，图片记忆和文字记忆同时提供（Both策略）在多数情况下表现不如只提供一种，只有在

论文里还有一处没讲透：这套方法得能读到模型的隐藏状态才行。换句话说，只能走 API、看不到内部表示的闭源模型，眼下用不了它。要是将来仅凭模型输出的行为——不用碰内部状态——就能判断出类似的模态偏好信号，那适用面会更宽，想象空间也更大。

你有没有想过，你自己在做决定之前，身体和直觉是不是也经常比嘴巴更早知道答案？

Q&A

Q1：SwitchMem是什么？

A：SwitchMem是一个为GUI智能体设计的路由框架。每一步交互中，它自动判断该用文字记忆还是图片记忆更合适，而不是像以往方法那样固定使用一种模态。

Q2：为什么GUI智能体需要动态选择记忆模态，而不是固定用一种？

A：研究显示，文字记忆和图片记忆在不同交互环节各有所长。界面越复杂、任务越靠近功能判断、交互拖得越久，图片记忆就越占上风；换到别的场景，文字记忆则更稳。只押一种模态，很多步骤上都会掉性能——实验里最优的动态选择比最好的固定模态高出 6 到 8 个百分点。

Q3：SwitchMem相比固定使用图片或文字记忆，效果提升有多少？

A：在AITW、LearnGUI、MobileMiniWoB三个测试集上，SwitchMem分别达到51.42%、38.13%、63.04%，均超过纯文字记忆、纯图片记忆以及同时提供两种记忆的方案，是所有对比方法中表现最好的。