OfficeTown让AI进虚拟公司上班,测试从做题变成干活
你有没有想过一个问题,现在那些号称能力超强的AI,到底是怎么被考出来的?答案可能会让你有点意外。大部分测试是这样的:给AI一道孤零零的题,比如"帮我写一份财务报表",或者"修一下这段代码",然后看它答得对不对。题目之间互不相干,做完这道就翻篇,像是在做一套没有上下文的填空题。但你回想一下自己上班的样子。你会...
那些号称能力很强的AI,到底是怎么被考出来的?这个问题可能不少人想过。
答案或许有点意外:大多数测试只给AI一道孤零零的题,比如“帮我写一份财务报表”或者“修一下这段代码”,然后看它答得对不对。题目之间互不相干,做完一道就翻篇,跟做一套没有上下文的填空题差不多。
可你回想一下自己上班的样子。昨天没写完的方案会落到你手上,同事在群里问你上周那个数据对不对,老板让你根据客户反馈改一版合同。这些事从来不是孤立的,彼此勾连,带着历史,也带着没干完的尾巴。今天的工作是昨天的延续,明天要出的麻烦,可能就藏在今天随手保存的某个文件里。
武汉大学、微软亚洲研究院等机构的研究者盯上的正是这个问题。他们做出了一个叫OfficeTown的系统。说白了,它不再出孤立的题,而是搭出一整家持续运转的虚拟公司,让AI进去真正“上班”,任务从工作里自己长出来。
工作从哪里长出来
先看现在主流测试方法卡在哪儿。
像
问题出在哪儿?真实的专业工作,从来不是一道题一道题单独出现的。一份审计报告要翻去年的底稿,一个设计方案要考虑客户之前否决过的版本,一次代码修复得知道这个系统过去埋了哪些坑。材料会积累,决策会留痕,没办完的事一直挂在那儿等下文。测试如果只看单次任务的得分,测的其实是“做题能力”,而不是“在真实工作环境里持续产出的能力”。
研究团队把思路反了过来。他们没再琢磨怎么出更多好题,而是想:能不能干脆造一个不断产生工作的系统?这样冒出来的任务,天然带着上下文、带着历史依赖,也带着真实工作该有的那种“麻烦感”。
OfficeTown的起点就在这里。给它一句话描述某个组织的业务方向,比如“提供中小企业的财务建模服务”,它就会自动生成一整套虚拟公司:岗位、汇报关系、权限边界、初始资料,然后开始运转。公司里的“人”其实是大模型驱动的虚拟角色,他们会开会、分配任务、审核交付物、要求返工。时间一天天往前走,文件越积越多,问题越攒越复杂。
这好比不去手动写一百份作业,而是干脆开一家真实运转的公司,那些作业自己就冒出来了,还带着前因后果。只攒题库的话,题目永远是静态的、互相隔绝的;让一个组织真的转起来,工作之间的因果链条自然就形成了,伪造不出来。
一个虚拟公司是怎么被造出来的
OfficeTown生成组织的方式挺有意思,值得细说。
业务描述哪怕只有一句话,系统也能据此铺开部门架构、岗位安排与汇报线。论文中的示例名为Juniper Financial Modelling,这是一家虚拟的财务建模机构,共设十二个岗位,分属执行层、客户关系、分析生产、数据准备等七个部门。
每个岗位背后的虚拟员工都不是瞎编的人设。
职业描述数据库*:论文中使用了
比如Devon Arata,一个资深财务建模师,汇报给生产总监Nolan Voss。他拥有十五项专业技能和五项通用技能,能独立准备内部模型、调用分析脚本、把具体执行工作委托给助手代理,但没有权限对外发布文件或操作真实账户。这种权限边界不是装饰,是整个系统运转的核心规则之一。
更要紧的是组织启动时需要的初始资料,论文里称为
这里有个细节特别值得琢磨:研究者没让这些虚拟员工拥有“上帝视角”,能看到公司里的一切文件。
权限过滤视图
这个设定听起来有点麻烦。为什么不干脆让所有人共享同一个信息池,协作起来岂不是更方便?可你想想现实中的公司,要是每个员工都能随意翻看其他同事电脑里的草稿和未完成的方案,这家公司早晚要乱套,机密文件满天飞,谁也不知道哪份是定稿。OfficeTown故意制造了这种“看不全”的状态。真实的专业工作本身就是信息不对称的,AI要学会的不是“掌握一切信息再回答”,而是“在有限信息里做出合理判断,并且知道什么时候该去问别人”。这才是职场真正的样子。
工作怎么流转,又怎么变成可以打分的任务
组织跑起来之后,具体的协作是什么样的?
论文还讲了个挺直观的片段。Juniper开会商议客户Harborlight的现金流难题,四个岗位的人轮番开口:客户关系总监先把业务问题摆出来,数据准备主管说得先做成模型能用的表格,资深建模师建议出一份十三周现金流预测、带场景开关,独立审核主管则早早表态要查公式是否一致、图表能否对账。这场讨论跟真实的项目启动会几乎一样,前后咬得很紧,每个人都从自己职责的角度讲话。
会议本身不直接产生承诺,真正落地靠的是显式的任务记录。这份记录写明要交付什么、谁负责、用什么材料、截止时间是什么。
先看委托执行机制。任务交到AI手里,并非由一个模型一路做到底。
OfficeTown把结构切成“决策层”和“执行层”,这也是它与普通单代理系统最明显的区别。决策层管的是读懂业务意图、调配资源、检查质量;执行层只管把活干出来。一般的AI代理常是一个模型从头包到尾,这里却是有意拆开。
拆开有什么好处?研究团队补做了一个实验,拿“主事人加助手”这套架构,与Codex、MetaGPT、CAMEL等现有多个多代理框架对比,任务相同,统一用GPT-5.5测试。五项外部基准上,OfficeTown的架构分数都最高。以研究代码复现任务ResearchCodeBench为例,它拿到46.40分,MetaGPT是41.15分;同时token用量还比MetaGPT少21.8%。把“决策”和“执行”分开审查,流程更贴近真实工作,效率和质量也随着上去——审核环节能及时卡住跑偏的执行结果,避免返工吃掉更多资源。
那么,具体任务是怎么从这些持续运转的工作里“摘”出来,变成能打分的测试题的?
这一步叫做
每轮评测,AI拿到这份快照,在一个全新工作区里铺开,可以翻文件、跑命令、调用各类工具,最后交出成果。这个设计的好处在于:任务来自持续工作这一核心优势保住了,又不必每次测试都把几个月的完整模拟重跑一遍,评测的效率和真实性都顾上了。
一场大考,由406道真实工作题组成。
靠这套生成机制,研究团队搭出了
八个领域是审计、临床医疗、设计、娱乐、金融、工业、法律和软件。每个任务平均配44.5个输入文件,文本、表格、代码、图像,连CAD三维模型都有。
这套基准还有一点:它不是关起门来拍脑袋造出来的。
领域专家评审。
71位专家一共审了1051个候选任务和32274条候选评分标准,提出3842条修改建议。这个工作量摆在那里,说明研究者清楚,AI生成的任务和评分标准可能带系统性偏差,得让真正懂行的人来把关,否则测出来的分数没有意义。
前沿大模型在这套题上考得如何?
论文给了一套评分体系,核心指标叫
结果挺有意思。表现最好的
有个数字值得停一下:即便表现最好的Astra,也有大约四分之一的任务没能完整交付。
这意味着,在这4百多道真实职场风格的任务里,每4个任务就有将近1个,连最强的AI都完不成全部必要要求。关键缺陷率更扎心:论文统计发现,Astra满足了88.8%的关键评分权重,可在404个有关键要求的任务里,仍有84个任务漏掉至少一项关键要求,占比20.8%。而
好比一个建筑工人盖了一百栋楼,平均质量打分很高,抽查后却发现五分之一的楼有结构性安全隐患。“平均分高但致命错误频发”,恰恰是只看单一汇总分数会盖住的真相。论文也专门指出,Claude能通过更多任务(50.7%对
让AI边干边学:训练数据能带来多大提升
光评测不够。研究团队还想验证一件事:从模拟组织里长出来的任务,能不能真正帮AI变强,而且不局限在它自己的小圈子里。
他们挑了一个相对轻量的模型
第一阶段是
第二阶段是
结果怎么样?在
这个结果说明,OfficeTown生成的这些“真实工作”数据,确实能教给模型一些跨场景通用的能力,而不是让模型死记某个特定环境里的套路。
打个比方,这就像让一个实习生不去背标准答案,而是在真实公司项目里摸爬滚打几个月;等他去别家应聘,那种“面对复杂任务怎么拆解、怎么跟人沟通、怎么检查自己有没有漏项”的综合能力,是能带得走的。若只让模型刷题式地学标准答案,换个新场景它很可能立刻露馅,因为学到的只是表面套路,不是处理真实工作混乱性的底层能力。
有意思的是,论文还专门测了不同“思考轮次预算”对结果的影响。轮次就是模型和环境交互的来回次数。研究者发现,在8到48轮的区间里,
写在后面
论文里那张图记录的是Juniper公司六个月的运转情况。说实话,让我意外的不是跑分数字,正是这张图。
一开始只有27个种子文件。181个模拟工作日之后,文件累积到497个。中间冒出来的文档、表格、代码,都不是研究者手工塞进去的,是这家虚拟公司自己“干活”干出来的。这条材料自然增长的曲线,比任何单项评测分数都更能说明问题——模拟机制真在转,不是摆样子。
还有个细节我觉得挺有意思:论文把“保存文件”“接受交付物”“对外共享”明确拆成三个互不相干的动作。草稿存下来了,未必会被接受,更未必会流出去。这设定听着琐碎,可恰恰是真实职场里技术系统最容易漏掉的一环。多少人写过的方案、画过的草图,一辈子躺在抽屉里没人翻,这种“沉默的工作量”,居然也能被建模进去。
论文也没回避一个没解决的问题:虚拟组织产出的这些工作,说到底还是合成的。真实公司里那套人情世故、政治博弈、临时变卦的复杂性,跟它比还是被简化了不少。研究者自己提到,后续要验证“模拟出来的工作”和“真实专业实践”之间差多远。这个问题值得接着追:一家全由AI驱动的虚拟公司,究竟能还原多少真实职场里说不清道不明的微妙之处?
Q&A
Q1:OfficeTown是什么?
A:OfficeTown是一套生成式组织模拟框架。给一句话的业务描述,它就能自动搭出一家虚拟公司,让AI驱动的虚拟员工持续协作、委托任务、审核交付物;任务和训练数据从这套持续运转的工作里自然长出来,而非人工单独设计的孤立题目。
Q2:
A:表现最好的
Q3:用OfficeTown的数据训练AI模型有用吗?
A:有明显提升。研究者用OfficeTown生成的数据训练了