OfficeTown让AI进虚拟公司上班,测试从做题变成干活

资讯 腾讯网 作者:科技行者 全文 4257 字 · 约 11 分钟读完

你有没有想过一个问题,现在那些号称能力超强的AI,到底是怎么被考出来的?答案可能会让你有点意外。大部分测试是这样的:给AI一道孤零零的题,比如"帮我写一份财务报表",或者"修一下这段代码",然后看它答得对不对。题目之间互不相干,做完这道就翻篇,像是在做一套没有上下文的填空题。但你回想一下自己上班的样子。你会...

那些号称能力很强的AI,到底是怎么被考出来的?这个问题可能不少人想过。

答案或许有点意外:大多数测试只给AI一道孤零零的题,比如“帮我写一份财务报表”或者“修一下这段代码”,然后看它答得对不对。题目之间互不相干,做完一道就翻篇,跟做一套没有上下文的填空题差不多。

可你回想一下自己上班的样子。昨天没写完的方案会落到你手上,同事在群里问你上周那个数据对不对,老板让你根据客户反馈改一版合同。这些事从来不是孤立的,彼此勾连,带着历史,也带着没干完的尾巴。今天的工作是昨天的延续,明天要出的麻烦,可能就藏在今天随手保存的某个文件里。

武汉大学、微软亚洲研究院等机构的研究者盯上的正是这个问题。他们做出了一个叫OfficeTown的系统。说白了,它不再出孤立的题,而是搭出一整家持续运转的虚拟公司,让AI进去真正“上班”,任务从工作里自己长出来。

工作从哪里长出来

先看现在主流测试方法卡在哪儿。

像

问题出在哪儿?真实的专业工作,从来不是一道题一道题单独出现的。一份审计报告要翻去年的底稿,一个设计方案要考虑客户之前否决过的版本,一次代码修复得知道这个系统过去埋了哪些坑。材料会积累,决策会留痕,没办完的事一直挂在那儿等下文。测试如果只看单次任务的得分,测的其实是“做题能力”,而不是“在真实工作环境里持续产出的能力”。

研究团队把思路反了过来。他们没再琢磨怎么出更多好题,而是想:能不能干脆造一个不断产生工作的系统?这样冒出来的任务,天然带着上下文、带着历史依赖,也带着真实工作该有的那种“麻烦感”。

OfficeTown的起点就在这里。给它一句话描述某个组织的业务方向,比如“提供中小企业的财务建模服务”,它就会自动生成一整套虚拟公司:岗位、汇报关系、权限边界、初始资料,然后开始运转。公司里的“人”其实是大模型驱动的虚拟角色,他们会开会、分配任务、审核交付物、要求返工。时间一天天往前走,文件越积越多,问题越攒越复杂。

这好比不去手动写一百份作业,而是干脆开一家真实运转的公司,那些作业自己就冒出来了,还带着前因后果。只攒题库的话,题目永远是静态的、互相隔绝的;让一个组织真的转起来,工作之间的因果链条自然就形成了,伪造不出来。

一个虚拟公司是怎么被造出来的

OfficeTown生成组织的方式挺有意思,值得细说。

业务描述哪怕只有一句话,系统也能据此铺开部门架构、岗位安排与汇报线。论文中的示例名为Juniper Financial Modelling,这是一家虚拟的财务建模机构,共设十二个岗位,分属执行层、客户关系、分析生产、数据准备等七个部门。

每个岗位背后的虚拟员工都不是瞎编的人设。

职业描述数据库*:论文中使用了

比如Devon Arata,一个资深财务建模师,汇报给生产总监Nolan Voss。他拥有十五项专业技能和五项通用技能,能独立准备内部模型、调用分析脚本、把具体执行工作委托给助手代理,但没有权限对外发布文件或操作真实账户。这种权限边界不是装饰,是整个系统运转的核心规则之一。

更要紧的是组织启动时需要的初始资料,论文里称为

这里有个细节特别值得琢磨:研究者没让这些虚拟员工拥有“上帝视角”,能看到公司里的一切文件。

权限过滤视图

这个设定听起来有点麻烦。为什么不干脆让所有人共享同一个信息池,协作起来岂不是更方便?可你想想现实中的公司,要是每个员工都能随意翻看其他同事电脑里的草稿和未完成的方案,这家公司早晚要乱套,机密文件满天飞,谁也不知道哪份是定稿。OfficeTown故意制造了这种“看不全”的状态。真实的专业工作本身就是信息不对称的,AI要学会的不是“掌握一切信息再回答”,而是“在有限信息里做出合理判断,并且知道什么时候该去问别人”。这才是职场真正的样子。

工作怎么流转,又怎么变成可以打分的任务

组织跑起来之后,具体的协作是什么样的?

论文还讲了个挺直观的片段。Juniper开会商议客户Harborlight的现金流难题,四个岗位的人轮番开口:客户关系总监先把业务问题摆出来,数据准备主管说得先做成模型能用的表格,资深建模师建议出一份十三周现金流预测、带场景开关,独立审核主管则早早表态要查公式是否一致、图表能否对账。这场讨论跟真实的项目启动会几乎一样,前后咬得很紧,每个人都从自己职责的角度讲话。

会议本身不直接产生承诺,真正落地靠的是显式的任务记录。这份记录写明要交付什么、谁负责、用什么材料、截止时间是什么。

先看委托执行机制。任务交到AI手里,并非由一个模型一路做到底。

OfficeTown把结构切成“决策层”和“执行层”,这也是它与普通单代理系统最明显的区别。决策层管的是读懂业务意图、调配资源、检查质量;执行层只管把活干出来。一般的AI代理常是一个模型从头包到尾,这里却是有意拆开。

拆开有什么好处?研究团队补做了一个实验,拿“主事人加助手”这套架构,与Codex、MetaGPT、CAMEL等现有多个多代理框架对比,任务相同,统一用GPT-5.5测试。五项外部基准上,OfficeTown的架构分数都最高。以研究代码复现任务ResearchCodeBench为例,它拿到46.40分,MetaGPT是41.15分;同时token用量还比MetaGPT少21.8%。把“决策”和“执行”分开审查,流程更贴近真实工作,效率和质量也随着上去——审核环节能及时卡住跑偏的执行结果,避免返工吃掉更多资源。

那么,具体任务是怎么从这些持续运转的工作里“摘”出来,变成能打分的测试题的?

这一步叫做

每轮评测,AI拿到这份快照,在一个全新工作区里铺开,可以翻文件、跑命令、调用各类工具,最后交出成果。这个设计的好处在于:任务来自持续工作这一核心优势保住了,又不必每次测试都把几个月的完整模拟重跑一遍,评测的效率和真实性都顾上了。

一场大考,由406道真实工作题组成。

靠这套生成机制,研究团队搭出了

八个领域是审计、临床医疗、设计、娱乐、金融、工业、法律和软件。每个任务平均配44.5个输入文件,文本、表格、代码、图像,连CAD三维模型都有。

这套基准还有一点:它不是关起门来拍脑袋造出来的。

领域专家评审。

71位专家一共审了1051个候选任务和32274条候选评分标准,提出3842条修改建议。这个工作量摆在那里,说明研究者清楚,AI生成的任务和评分标准可能带系统性偏差,得让真正懂行的人来把关,否则测出来的分数没有意义。

前沿大模型在这套题上考得如何?

论文给了一套评分体系,核心指标叫

结果挺有意思。表现最好的

有个数字值得停一下:即便表现最好的Astra,也有大约四分之一的任务没能完整交付。

这意味着,在这4百多道真实职场风格的任务里,每4个任务就有将近1个,连最强的AI都完不成全部必要要求。关键缺陷率更扎心:论文统计发现,Astra满足了88.8%的关键评分权重,可在404个有关键要求的任务里,仍有84个任务漏掉至少一项关键要求,占比20.8%。而

好比一个建筑工人盖了一百栋楼,平均质量打分很高,抽查后却发现五分之一的楼有结构性安全隐患。“平均分高但致命错误频发”,恰恰是只看单一汇总分数会盖住的真相。论文也专门指出,Claude能通过更多任务(50.7%对

让AI边干边学:训练数据能带来多大提升

光评测不够。研究团队还想验证一件事:从模拟组织里长出来的任务,能不能真正帮AI变强,而且不局限在它自己的小圈子里。

他们挑了一个相对轻量的模型

第一阶段是

第二阶段是

结果怎么样?在

这个结果说明,OfficeTown生成的这些“真实工作”数据,确实能教给模型一些跨场景通用的能力,而不是让模型死记某个特定环境里的套路。

打个比方,这就像让一个实习生不去背标准答案,而是在真实公司项目里摸爬滚打几个月;等他去别家应聘,那种“面对复杂任务怎么拆解、怎么跟人沟通、怎么检查自己有没有漏项”的综合能力,是能带得走的。若只让模型刷题式地学标准答案,换个新场景它很可能立刻露馅,因为学到的只是表面套路,不是处理真实工作混乱性的底层能力。

有意思的是,论文还专门测了不同“思考轮次预算”对结果的影响。轮次就是模型和环境交互的来回次数。研究者发现,在8到48轮的区间里,

写在后面

论文里那张图记录的是Juniper公司六个月的运转情况。说实话,让我意外的不是跑分数字,正是这张图。

一开始只有27个种子文件。181个模拟工作日之后,文件累积到497个。中间冒出来的文档、表格、代码,都不是研究者手工塞进去的,是这家虚拟公司自己“干活”干出来的。这条材料自然增长的曲线,比任何单项评测分数都更能说明问题——模拟机制真在转,不是摆样子。

还有个细节我觉得挺有意思:论文把“保存文件”“接受交付物”“对外共享”明确拆成三个互不相干的动作。草稿存下来了,未必会被接受,更未必会流出去。这设定听着琐碎,可恰恰是真实职场里技术系统最容易漏掉的一环。多少人写过的方案、画过的草图,一辈子躺在抽屉里没人翻,这种“沉默的工作量”,居然也能被建模进去。

论文也没回避一个没解决的问题:虚拟组织产出的这些工作,说到底还是合成的。真实公司里那套人情世故、政治博弈、临时变卦的复杂性,跟它比还是被简化了不少。研究者自己提到,后续要验证“模拟出来的工作”和“真实专业实践”之间差多远。这个问题值得接着追:一家全由AI驱动的虚拟公司,究竟能还原多少真实职场里说不清道不明的微妙之处?

Q&A

Q1:OfficeTown是什么?

A:OfficeTown是一套生成式组织模拟框架。给一句话的业务描述,它就能自动搭出一家虚拟公司,让AI驱动的虚拟员工持续协作、委托任务、审核交付物;任务和训练数据从这套持续运转的工作里自然长出来,而非人工单独设计的孤立题目。

Q2:

A:表现最好的

Q3:用OfficeTown的数据训练AI模型有用吗?

A:有明显提升。研究者用OfficeTown生成的数据训练了

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 4.3万人点赞“断更抵制AI”:网文平台为何对AI说不

    网文界今年发生了多场“AI斩杀”。2月和5月,番茄进行了针对AI低质内容的专项治理; 起点7月全面禁止AI文,8月一口气处理了上百本AI小说,其中有多部万订作品;10月30日,起点和QQ阅读发布公告,称将进一步打击签约作品滥用AI的行为,取消对作品的福利发放。起点新发布的公告然而,多轮治理后,读者仍然会抱怨榜单上的作品

    来源 腾讯网
  2. 海淀连办两场科学家创业活动:AI创新街区揭牌与夜话交流

    一群科学家,正在做一件不太一样的事。他们一边在高校、科研院所深耕前沿技术,一边走进创业一线,把实验室里的研究成果变成产品、企业,甚至一个全新的产业方向。而一座城市,如何与这样一群人同行?这一周,海淀用前后脚的两个动作,给出了自己的回答。11月18日,未名·AIPark人工智能创新街区在北大西门旁正式揭牌。依托...

    来源 腾讯网
  3. AI改完代码测试没过:NVIDIA与清华新方法让失败变线索

    你有没有想过,当一个AI程序员提交了代码,结果测试没通过,接下来会发生什么?大部分现在的训练方法里,答案是:这个AI会把这次失败彻底忘掉,然后换一张白纸,重新试一次。就好像你去考试,第一次考砸了,老师不会把你错的卷子给你看,直接让你换一套新题再考一次。你永远不知道自己哪里错了,只能靠蒙。这事儿听起来有点荒谬...

    来源 腾讯网
  4. LSHub 发布 P1 与 MAX 工程 AI 终端:覆盖八大专业,两种部署可选

    日前,四川无量枢人工智能科技有限公司(品牌 LSHub)推出 LSHub P1 与 LSHub MAX 两款工程 AI 智能终端,面向建筑工程行业提供 CAD 出图辅助、工程量计算辅助、图纸审查辅助及工程专业知识问答四类应用。 两款产品对应两种部署需求 LSHub P1 为主力产品,形态是巴掌大小的 AI 智能盒子,连

    来源 AI 行业观察
  5. 16岁辍学创业做AI导弹:他把“击杀成本”当卖点

    16岁高中生Henrijs Dandzbergs辍学加入YC,创办AI导弹初创公司,宣称要用新型导弹把美国及其盟友的“击杀成本”降到最低。本文梳理其背景、产品逻辑与争议,并追问:当战争效率被硅谷式指标衡量,创新与伦理边界在哪里?

    来源 AI 科技快讯
  6. Architect Labs发布Frostbite:AI自主设计CPU,能效比达4.59倍

    2026年11月19日,AI基础设施公司Architect Labs发布Frostbite——一款完全由AI系统自主完成指令集设计、架构探索、RTL实现和GDS版图生成的通用CPU。在25项基准测试中,Frostbite对比主流双发射顺序执行超标量核心,实现了4.59倍功效比(perf/W)和8.77倍面积效

    来源 AI 科技快讯
  7. AI不抢饭碗却拆了梯子:2026年中间层岗位正在消失

    前段时间和一位在互联网大厂做 HR 前同事聊天,聊到今年校招,他说了一句让我挺不是滋味的话: “我们现在不招新人了,直接招能扛事的人。” 我问他,那原来那些让新人练手的活谁干? 他笑了一下说,AI 干。 那一刻我忽然反应过来,很多人焦虑了整整一年的“AI 会不会替代我”,其实问错了方向。 AI 抢走的不是你的饭碗,是你

    来源 AI 行业观察
  8. 黎曼猜想167年悬案:AI与人类同日宣称各自完成证明

    TechCrunch报道,AI与人类数学家几乎同时宣称解决了悬置167年的黎曼猜想。这一千禧年大奖难题若被证实,将颠覆密码学与数论基础。数学界在震惊之余,正紧急验证两份截然不同的证明。AI在纯数学核心领域的突进,引发对机器创造力与人类直觉边界的激烈辩论。

    来源 AI 行业观察
  9. 李彦宏的“最紧迫”与雷军的“热想象”

    APEC时间,科技掌门人谈了什么?作者/ IT时报 孙妍 综合报道编辑/ 孙妍 11月17日至18日,2026年亚太经合组织(APEC)工商领导人峰会在深圳前海国际会议中心举行。作为亚太经合组织第三十三次领导人非正式会议的配套活动,峰会由中国贸促会主办,主题为“共促繁荣,共赢未来”,2000余位政商代表参会,参会企业包

    来源 腾讯网
  10. 深夜,美股AI血崩,英伟达市值已跌去2.7万亿美元

    智东西(公众号:zhidxcom)编译 | ZeR0编辑 | 漠影智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%

    来源 腾讯网
  11. AI交易逆转引发避险潮:日元瑞郎对美元齐涨0.6%,美元指数回落

    周五随着市场对AI热潮可持续性的疑虑加剧,日元和瑞郎对美元均上涨0.6%,日元有望创下近一个月来最大单日涨幅。分析指出当市场转向风险规避,日元套息交易平仓会推动日元走强,而瑞郎则长期以来是机构层面的资产负债表避险工具。

    来源 华尔街见闻
  12. 谷歌字节快手集体降价,AI视频进入分秒计价时代?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳AI视频行业正在靠近一个类似DeepSeek的时刻,模型能力差距收窄,价格被打到分/秒,创作者开始批量调用。11月初,谷歌把视频模型Gemini Omni 1.2 Flash转为正式版,不仅支持15秒视频生成和多轮对话式编辑等

    来源 腾讯网
向下滚动自动加载更多