Theseus Lab开源3项工作：把能力短板变成超级智能进化路径？

把眼下还做不到的地方，变成通往超级智能的进化路径——这是 Theseus Lab 公开的进化纪元洞察与愿景，同时开源 3 项相关工作。

Anthropic 的工程师刚提出一个说法：“95% 的工程师已经在跑自我改进循环。”RSI 热潮被推到眼前，递归循环跑起来了，AI 到底强了多少？

模型能力往前走的刻度已经细到以月计，可各项能力的进步并不同步。

• 你跟 AI 说“生成好看的 vlog”，出来的却是另一种风格。问题出在“好看”这个指令本身不够清晰，还得再来回沟通好几轮。

• 指令给得再细，企业级交付这类活 AI 依然难做好，比如装潢。它涉及多环节统筹，哪个单节点出错，交付就会偏。

• 就算 AI 把各环节需求都记住、做到了存储记忆，规则会迭代、需求会更新，新变动照样带出新问题。

现实世界里的诉求永远模糊，突发变动也永远意外，所以没法 100% 全程放心交给 AI。人还是得在指令、检查、修正这些环节上花时间精力。

Theseus Lab 在工作区的测试也照出了类似情况：8 月的 GLM、9 月的 MiMo、10 月的 DeepSeek 到 11 月的 HY4，跨源证据整合与受限环境探索的得分都提高了约 22 分，状态追踪和例外推理也在持续走高。模型正从检索、写作和代码生成，转向处理更复杂的真实工作，但过度行为抑制、约束决策等方面的提升仍然有限。

一、愿景：超级智能的自进化驾舱

要让自进化能力真正开放给现实世界用，Theseus Lab 目前沿着三层自进化技术路线逐步推进：

1.1 开放环境中的自主探索

能力提升不再困在标准测试集里，而是伸向真实的、开放的业务、创作与科研环境，在自主探索中读懂现实需求、应对环境变化。

• 比如上面那个工作区实验，用户提的要求很模糊，模型得自己去找关键线索，主动查相关数据源。

• 原始 GLM-5.3-Flash 在这类任务上只拿到 34.3 分，而充分获取材料上下文的模型能到 100。

1.2 实践经验的持续内化

Anthropic 的研究提到，Agent 需要一个类似人脑睡眠整理记忆的“梦境”过程，在任务结束后回看全部日志，把有效经验固化下来。我们的思路与之相通：单个项目里踩过的坑、攒下的经验，转成通用可复用的能力。

• 比如只说一句“帮我写周报”，它就能把工作记录串起来，按你的风格和汇报重点成稿。

• 在涵盖真实个人 12 个月工作轨迹的长程任务测试中，这套方法在检索增强、技能记忆等多项比较里都拿了最佳成绩。

1.3 从一阶改进走向二阶进化

现有的自进化方法，大多是在既定方法下根据反馈不断调整结果。我们让 AI 去审视这些方法本身：尝试的方向和方式怎么改，才能取得更大突破？

• 比如研发连续做了多轮实验，继续改方案再试，这是一阶改进；能调整实验顺序和判断标准，就是二阶改进。

• 实验中，相比始终采用固定改进方法，让改进器自我迭代带来了 12 个百分点提升。

上面三层自进化机制成熟跑通之后，开篇图例里列出的那些 AI 短板，就能从底层得到回应，超级智能的演进也会持续对齐人的真实目标。

二、【逐步开放】近期技术成果开源

理想中的轮廓已经摆在那里，可当下的前沿 AI 模型离超级智能究竟还差多少？要给出客观答案，就得把不同类型的任务摆在一起做对照，相应的参照尺度我们也会对外开放。

Theseus Lab 进化纪元这次拉上生态伙伴 Humanlaya、小红书，一起开源了三项具体技术成果，分别对应代理能力、专精能力和高阶进化能力。

开源 01. 真实企业项目揭示前沿模型代理交付能力短板

项目交给 Codex、Claude Code 之后，为什么还是得靠人来兜底？

• https://deliverbench.github.io

OpenAI

实测里，Qwen3.8Max 把公司的全部借款误认成某笔贷款的待偿余额，这个错误顺着任务依赖链一路传到最终交付。每一步都生成了文件，可整套成果都立在同一个错误上。

DeliverBench 的做法，是让这些智能体接手完整的专业项目：顺着自己先前的成果继续往下做，处理陆续到来的材料和反馈，最后交出可验收的成果，看它们从“能帮忙”到“能交付”到底还差在哪。

这项评测覆盖全部 11 个项目、七个 Agent 系统，前沿模型拿到的最高平均最终交付分只有 65.0/100；如果把 90 分当作子任务通过的门槛，最高通过率也仅有 50.0%。

开篇说过的“前沿 AI 能力并不均衡”，问题就藏在这里：让它们完成一项明确交办的工作，表现往往不差；可要持续负责整个项目，能力上的短板就露出来了：

Project Mars 再融资项目下，五个前沿模型的不均衡能力表现

DeliverBench 的初衷，是沿着完整项目链条做全流程检验，把短 demo 里看不到的隐患挖出来。下一步要做的，是让 Agent 能力沿着项目链持续生效：

• 输入变了以后，哪些计算报告和决策需要重新检查？修改的影响范围该怎么识别？

• 证据与结论之间的联系怎么维护？未经核实的假设，怎样才不会被当成确定事实？

• 早期错误怎么发现、怎么修？文件修好之后，又怎么确认依赖它的部分也更新了？

开源 02. 自我改进能否迁移揭示当前智能体进化边界

AI 学会改进自己之后，进步能保留下来、能迁移出去吗？

• https://theseus-labs-rsi.github.io/SelfImprove-Bench

AI 已经在根据任务反馈改提示词、攒记忆，甚至调整工具和执行流程。可反复改进之后，再碰上见过的任务，还做得好吗？现有针对 RSI 的评测短板，说得犀利点就是三个字：不查账。有的评测只看“训练过的任务还能不能做对”，有的只看“换个任务行不行”，标准各不相同，可能在某种测试上效果拔群，换个地方就露怯。

Experience-level 停在对 prompt、memory 和纯文本 skill 的改进上；harness-level 把代码工具和流程也纳入改进范围；meta-level 则更进一步，连改进器自身的进化也管起来。

真正值得关注的自我改进，应当能迁移到没见过的实例、更高的难度、同类中的新任务，乃至不同能力类型的任务上；这些任务靠简单的 Experience-level 改进满足不了，需要可控、可扩展的基础设施来支撑评测。在我们的 SelfImprove-Bench 里，按“评测和训练的关系”划出了 G0–G4 五个台阶：

• G0 已见实例保持：旧题重做

• G1 同游戏同难度：只更新了题目

• G2 更高难度：同款游戏，加难度

• G3 同任务族跨游戏：同类能力，换游戏考

• G4 跨任务族迁移：换类能力，能否迁移

每一级台阶都用 HCI 来度量一段改进过程的效果，算法并不复杂：(进化后分数−进化前分数)/(上限−进化前分数)。评测盯的不再是“这个 AI 最后能有多强”，而是“这段改进过程本身有多管用”。

SelfImprove-Bench 把任务生成、编排、模拟、分析这一整套元能力都装了进去，算是一套可扩展的 RSI 基础设施。细粒度的结果分析跑下来，我们拿到了一些挺有意思的初步发现。

• 发现一：台阶越往上，增益越薄，有时还会倒退。G1 上有 88.9% 的组合拿到正收益，到 G2 正收益缩到 82.4%，G3 同任务族跨游戏只剩 55.6%，G4 跨任务族则仅有 5 个为正。

• 发现二：排名会翻盘。同一种方法放在不同台阶上，表现差得很明显，方法与方法之间的座次也会互换。

• 发现三：高阶进化还存疑。主实验里 87.9% 的改进仍集中在提示词和记忆上，改进器自身被修改的情况没有观察到。

• 发现四：有效的进化，也得敢推翻此前的改进。执行框架层与二阶改进方法对既有意见的修订比例大约在 30%–40%。

开源 03.「视觉文档」语义解析评测

内容准确与视觉还原，哪家模型实例更强？

• https://ambihtmlbench.tech

设想一下，你花心思做了一套海报模板，或者攒出一套顺手的⼩红书笔记排版⼯作流，要怎么把它复现成可复用的形式，往后随时快速编辑？再比如，手上有一个表单信息很丰富的⽂件夹，怎样保住表单的格式，让关键信息各就各位，也方便 Agent 更顺利地提取字段？

要是还想让这些页面继续用于编辑、检索或者 Agent 操作，那需要留下来的就不只是文字，还有内容之间的关联，以及它们在页面上的摆放方式。

正是出于这个考虑，Theseus Lab 进化纪元与小红书联手推出 AmbiHTMLBench。它要回答的问题很具体：给一张「视觉文档」图像，模型能不能重建出内容准确、结构完整、视觉忠实的 HTML 页面？

AmbiHTMLBench 把错误拆成客观和主观两块来量化。客观评测盯的是内容识别中的漏字、错字，文字、表格与布局分别检查：系统先在固定浏览器视口里渲染模型生成的 HTML，再提取可见内容及其位置，拿去和参考标注比对。主观评测比的则是哪个重建页面在视觉上更贴近原稿。每次比较会把原始页面和两个重建结果一起摆出来，从整体布局、文字呈现和特殊元素组织几个方面判断是否“忠实还原”。

我们结合网络开源数据，以及高影响力、排版精美的推文，搭起一个 50000 量级的优质文档池，再从里面挑出四类主要页面作为研究对象。

• 机构 PDF：文字、表格、图表密集。

• 网页原生页面：内容层级和页面组织各不相同。

• 报纸与杂志：多栏排版、跨栏标题、复杂图文。

• 海报设计：视觉层级、自由布局、字体多样。

眼下公认能力较强的模型也处理不好这类问题。比如这张报纸，Claude Opus 5 把原文措辞保住了，红字强调却丢了；GPT-5.6-Sol 倒是留住了强调部分，可其中一处文字被改写。

实验里我们评测了众多多模态系统。主观指标这一项，我们请来 33 名参与者，完成 7,920 次人工判断，尽量还原人类喜好驱动的视觉还原评判方式。

结果是 Gemini 3.1 Pro Preview 以 0.8092 拿下客观综合分第一，优势主要来自更低的文字错误和更强的表格保真度；GPT-5.6-Sol 拿到最高的客观布局分，主观榜单也排第一，客观综合排名却不尽人意。

这说明文字错误和视觉呈现上的损失，会以不同方式拖累重建质量；具体任务不同，两个榜单能各自给出更合适的模型能力视角。

技术浪潮总让人沉醉于能力的奇观，却常常冲淡了它落在真实生活里的分量。

过去我们造器物，是把体力上的重担交给外物；现在我们建智能，是想把思虑中繁重的那部分往外移交。

重新划定人与 AI 各自的能力疆域，把人类被重复性推演耗掉的精力解放出来。

Theseus 的思路很明确：无穷无尽的推演交给智能体去做，无穷的想象则留给人。