Runta Harness横评21组配置:Codex CLI登顶,第3名竟是独立开发者?
智猩猩AI整理 编辑:没方 最近,AI Agent基础设施公司Runta发起了一场名为FrontierHarness v1.1的Agent Harness横评,把Claude C....
最近,AI Agent基础设施公司Runta组织了一场Agent Harness横评,名字叫FrontierHarness v1.1。
Claude Code、Codex CLI、OpenCode等21组Harness配置被放到同一套测试里比拼,比的是任务完成能力和成本高低。
双十一当天公布的榜单上,头名是Codex CLI,第二名是Pi。这两款AI编程工具,大家都不算陌生。
可第三名有点出人意料——是一个Logo画着小女孩的Harness项目。
这画面容易让人想起Hermes Agent营销时的那句广告语。这一回的主角,名字叫Alma。
评测数据显示,Alma每成功做完一道题,平均花掉约0.80美元;Claude Code的同一项开销是0.94美元,相比之下Alma便宜了约16%。
做这个项目的人,正是此前被介绍过的Magpie项目作者yetone(《让Claude Code用Kimi,Codex用DeepSeek!开源项目magpie火了》)。
Magpie收获了大量好评,yetone近来在开发者社区里的热度一直不低。网友还给他取了个挺响的外号——“叶天帝”。
他本人也在X上发帖拿这事打趣:大家动不动就喊“叶天帝”,还有人直接叫“老叶”,弄得他刷X的时候,总觉得自己登的是某个姓叶的人的账号。
网友再热情,他也顶不住。yetone今天把话说明白了:这种带个人崇拜味道的称呼,他不喜欢。
这个出自独立开发者之手的Agent Harness,究竟有哪些不一样的设计?
01
Alma把本地运行和长期记忆作为主打方向,定位是一款带长期记忆的AI Agent。
和市面上常见的Agent差不多,Alma也能读写文件、跑终端命令、搜网页,同时支持Skills、MCP以及多种大模型。
区别在于,它在模型调用、长期记忆和多Agent管理这几块多做了些文章。
(1)工具调用可以单独配一个Tool Model,不用什么任务都压给主模型。
这样一来,碰上简单操作就不必每次都去调那个更贵的主模型,Token开销能省下一部分。
(2)它看重的是跨对话的长期记忆,而不是只吃当前聊天窗口里的上下文。
Alma的长期记忆走的是基于Embedding的语义检索路子。历史对话里的重要信息会被提取出来,转成语义向量存好。
用户有新任务进来时,Alma先用AI把搜索问题重写一遍,再去捞语义相近的历史记忆,按相似度阈值筛出相关内容,交给主模型当上下文。
最近,Alma把Herdr收了进来。Claude Code、Codex、Pi这些编程Agent,现在都聚在同一个聊天界面里。
这样一来,前端交给Claude Code改,后端让Codex写,代码检查派给Pi,三件事可以同时安排。开发者不必再开三个终端窗口来回切。
这些Agent跑得怎么样,Alma会按状态把会话分成Working、Done、Needs You几类。哪个Agent要用户确认命令、要用户回答问题,对应会话就落到Needs You里。
开发者不用一刻不停地盯着Agent干活,可以先去处理那些确实需要人出手的任务。
这套多Agent管理能力,Alma也搬到了手机上。
在电脑上把Claude Code、Codex等Agent启动之后,用户通过iPhone或Android手机就能远程看任务进度、回问题、批操作。
Mac用户还多一项远程桌面功能:用手机直接看电脑屏幕,点击、滚动、输入都能操作。
跨网络连接怎么实现?yetone把Alma Relay远程中继服务开源了。
开发者可以用Docker或Cloudflare Workers自己部署服务器,让手机和电脑在不同网络下连起来。
中继服务走的是端到端加密路线。在默认加密模式下,中继服务器只管转发数据,通信内容它读不到。
把Alma和同类产品放在一起看,文件编辑、终端操作这些基础工具上,它并没有做出完全不一样的设计。它把心思花在了另外几处:压低模型调用成本,让Agent把长期信息记住,还有让一个人同时管理多个持续运行的Agent更省事。
02
使用教程
想上手,先打开Alma官网,找到对应操作系统的安装包下载。
覆盖的平台包括Windows、macOS、Linux,移动端则有iPhone和Android版本。
装好并配完模型API,就能开始体验Alma。已配置的模型也可以借助yetone自家的Magpie工具来调用。
实际用下来,第一感受是这个Agent功能相当全。界面左侧用来管理不同项目和会话,中间是Agent对话区。
右侧则把文件、代码变更、提交、终端、浏览器和工具这些功能收在了一起。
我点开浏览器预览,结果当前工作目录里还没建过网页文件,Alma 随即提示识别不了项目类型。
好在它留了个挺顺手的入口:旁边就能直接点 AI 修复,不用再敲什么指令,几步下来问题就处理掉了。
另一处感受比较直接的地方,是 Alma 对工具调用的管控相当细。打开聊天框里的工具设置,网页抓取、网页搜索、Glob 文件搜索、ripgrep 搜索、文件读取、补丁编辑、文件写入、Shell 终止、任务委派等功能都列在其中。
这些工具可以交给自动模式,由 Alma 按任务自己判断该调哪几个;也能手动勾选,只放开需要用的那部分。
设置页面里还放着 Agents 专业团队管理。里面预置了 Designer、Product Manager、Developer、Researcher、Operator、Planner 等成员,各自对应不同职责。
多 Agent 协作也能开起来:Alma 会视任务需要把活分给相应的子 Agent,子 Agent 还可以继续往下,把任务转交给其他专业 Agent。
另外,Alma 有个 Team 团队功能,多个 Alma 实例通过连接地址就能进到同一个团队里。
Alma几乎把眼下AI Agent常见的能力都塞进了一个界面里,不少功能还配好了图形化操作入口,上手门槛因此降了不少。