REMORY开源：1.9B记忆模块让小模型连跑3天，产出逼近GPT-6.1-Terra

开源 RSI 模型这边又出了一份拿得出手的成绩：Apex-35B-V1.0 凭领先 Flint 的表现刚引起关注，REMORY 就紧随其后。它只有 1.9B 的记忆模块，两张 H800 就能完成完全自监督训练，多项关键评测中处于领跑位置；小模型被它驱动着连续数日递归改进，产出接近 GPT-6.1-Terra。

论文第一作者夏翰宸，是上海科学智能研究院研究员，方向为 auto research 和智能体记忆。通讯作者朱思语，为复旦大学教授、上海科学智能研究院 AI 科学家、上海创智学院全时导师。

• 论文链接：https://arxiv.org/pdf/2610.11287

• Huggingface 主页：https://huggingface.co/papers/2610.11287

• Github 主页：https://github.com/fudan-generative-vision/Remory

• 星河启智平台主页：https://aistudio.ai4s.com.cn/partner/research-plaza/galaxy-model/model/Qwen3.8-27B-REMORY-1.9B

RSI（Recursive Self-Improvement）已是整个 AI 行业押注的方向。Recursive Super Intelligence 公司由前 Salesforce 首席科学家 Richard Socher 领衔，联创包括前 Meta 明星研究员田渊栋以及来自 核心开发仅两人，可训练参数 1.9B，两张 H800，多个高难度评测里交出的成绩处于领先：

越过 /compact，让经验持续生效

你平时用的大模型，上下文窗口有多大？2M？1M？还是 0.2M？agent 若要完成超长任务、或与用户长期交互，工作记忆一旦逼近上下文窗口上限，上下文压缩就会被触发。这几乎是各家 Harness 绕不开的共识，Codex CLI、Claude Code 都内置了 /compact 命令。做法其实很简单——概要（summary）。Codex CLI 的 /compact 背后那段「生成概要」提示词，就是下面这段。

站在这一节点回看 agent 近两年的进化，/compact 似乎已经够用。真是这样吗？

下面这张「锯齿图」，记录的是 Qwen3.8-27B 跑 Terminal-Bench 2.1 的 Core War 任务时，上下文一路增长、压缩、再增长的过程。红点代表工具报错，黄点代表重复输出。长任务里这种记忆接续能力，正是 REMORY 想改善的地方。

REMORY：拟合上下文压缩带来的记忆残差

/compact 一旦发生，我们手上就有一份概要（summary）。压缩前的上下文（raw context）与 summary 一起参与记忆构造，经交叉注意力（CrossAttention）进入 REMORY 模型，生成一组 residual tokens，附加在概要之后，主模型据此继续执行任务。

这些 residual tokens 是连续向量形式的软记忆，能直接进入主模型的输入空间。它们以概要为条件生成，并在序列维度上与概要拼接（⊕），这也是它被叫作概要「残差」的由来。

训练全程自监督，基模权重冻结。第一阶段做内容重建，让记忆模块学会保住源信息；第二阶段以概要为条件，用 KL 散度学习延续完整历史所支撑的后续行为。梯度穿过冻结的主模型，更新的只有约 1.9B 的 REMORY 参数。

工具报错近减半，生成开销下降三分之一

记忆带来的收益，在完整执行过程里同样看得到。Qwen3.8-27B 跑 Terminal-Bench 2.1 时，工具报错从 933 次降到 568 次，重复输出从 459 次降到 377 次；平均每任务的 token 计价生成开销由 4.29 美元降到 2.86 美元，降幅约三分之一。

BrowseComp 上，工具报错由 25,244 次降至 12,698 次，减少 49.7%；重复输出由 25,801 次降至 18,105 次，减少 29.8%。重复尝试少了，更多生成开销便落在推进任务上。

更强的模型和 MoE 架构也能吃到 REMORY 的红利：GLM-5.3-Flash 在 Terminal-Bench 2.1 和 BrowseComp 上的得分，分别从 84.3、84.9 升到 87.6、89.0。主模型与执行配置各自保持一致的对照中，加上残差记忆后，得分上升、报错减少、重复输出下降同时出现。

Human-on-the-loop 的自动化研究

benchmark 只是新手村，真实科研场景才算模型的试炼场。为检验 REMORY 在科研工作、超长会话中的实际效果，团队请来复旦大学多位交叉领域学者，与 REMORY 驱动的自动化科研 agent 长期协作。研究者只通过对话给出方向和反馈。

视频链接：https://mp.weixin.qq.com/s/t4lvA45cX_MA6HHRbkKKqg

会话跨度数日，REMORY 驱动的自动化研究 co-worker agent 一直在读文献、搭实验、复现基线、分析结果、改进方法、修订论文。每轮上下文压缩产生的数据又被收集起来训练记忆模块，迭代完全自监督，还能热更新。科研往往横跨文献阅读、假设提出、代码实现、实验分析和方案修订，早先拿到的证据、试过的路径、失败的经验，都可能左右下一步判断。agent 每跨过一次上下文边界就得重新找回工作状态，持续研究的效率与可靠性都会受影响。REMORY 作为一项共性技术，在有限的上下文窗口内接续跨阶段任务所需的记忆；模型能更好地利用此前的探索，才谈得上在一次次 /compact 之后继续把研究推进下去。