Data World给AI数据分析师造平行世界:先定真相再生成数据
你有没有想过一个问题:如果让AI帮你分析一堆销售数据,找出业绩下滑的原因,你怎么知道它说得对不对?这听起来像是个蠢问题。数据就摆在那儿,AI算出来的数字,对一下不就知道了吗?但真正麻烦的不是那些能算出来的数字,而是那些需要解释的结论。比如AI说"销量下滑是因为优惠券过期了",这个结论对吗?你翻遍数据,发现确...
让AI去分析一批销售数据、找出业绩下滑的原因,你怎么判断它说得对不对?听起来这问题有点蠢,数据摆在那里,算出来的数字核对一下就行了。可真正麻烦的地方不在能算的数字,而在需要解释的结论。AI说“销量下滑是因为优惠券过期了”,这个结论对不对?你把数据翻一遍,优惠券过期的记录确实在,看着没毛病。问题是另一张表里还写着餐厅营业时间缩短,AI压根没提这一条。这算不算错?
这正是训练AI数据分析师时绕不开的大麻烦:一个找不到标准答案的世界。
眼下训练这类AI,主流做法是拿Kaggle上的真实数据集、政府公开数据,或者企业愿意分享的脱敏记录,让AI在真实文件堆里反复扫,自己总结出问题和参考答案,再用这套东西去训练和考核。乍看挺合理,用的毕竟是真实世界的数据,最接地气。可它有个致命缺口:真实数据是怎么生成的,没有人知道。
举个例子。你手上有一份外卖平台的订单记录,想弄清某个月销量为什么跌。专家或者一个很强的大模型去翻这份数据,可能发现优惠券过期这条线索,就把它写进评分标准。但真正的原因里如果还有餐厅营业时间缩短、配送费涨价、竞品搞活动这些因素,专家没注意到,那AI分析师就算真把这些被忽略的原因挖出来,也拿不到加分,因为评分表里压根没这一条。
这就像让十个最厉害的侦探去看同一起案子的监控录像,可能得出十个不同结论,真相本身是模糊的,没人能拍胸脯说这就是唯一答案。数据分析也一样,数据够复杂、混杂因素够多,十个专家能给出十种解释,现有评测体系只能照顾到专家们想到的那部分。
那怎么办?Data World团队想了个挺巧妙的思路:从现成数据里反推真相这条路走不通,那就反过来,先把真相定好,再照着真相去造数据。整篇论文真正的核心,就是这个顺序的翻转。
世界契约:先写剧本,再拍电影。传统做法是先有文件,再去猜文件背后的世界长什么样;Data World反着来,先把世界的运行规律写清楚,再按这些规律生成具体文件。
打个比方,拍电影这件事:传统套路是导演先胡乱拍一堆素材,再丢给剪辑师,让他自己琢磨这些片段到底想讲什么,影评的评分标准也照着这个来定。剪辑师的理解力就那么多,漏掉的情节线索,演员演得再卖力,这部分分数照样拿不到。Data World 反过来干:先把完整剧本写出来,每个人物图什么、每场戏前因后果怎么接,全都定死,然后照着本子实拍。这么一来,任何一个情节细节都能翻回剧本对一遍,看它到底存不存在、有没有出处,不用剪辑师凭感觉乱猜。
不这么做会怎样?你会永远困在“评分标准只能覆盖发现者想到的那部分”这个死胡同里。AI分析师越聪明,反而越容易因为发现了评分标准之外的洞察,被冤枉扣分。
这套系统的运转方式是这样的。研究团队先搬出 PersonaHub 数据集里那一堆人物角色设定,交给大模型,让它搭出一张有向无环图。这张图干的活,就是把各个变量之间谁影响谁标出来。
依赖骨架(DAG):一张网络图,上面标明各变量之间谁先谁后、谁因谁果,比如“天气影响客流量,客流量影响订单量”。图里不许出现绕成圈的循环依赖。
骨架图有了,接下来就得把它写成一份详尽的世界契约,等于给这个虚构世界定一套规矩。契约要交代清楚:这个世界里有哪些实体、时间线怎么排;每条因果关系落地时具体怎么走,是线性往上加,还是到了阈值突然跳,有没有延迟;哪些东西必须从头到尾保持一致,比如同一个客户的 ID 不能在这张表里一个样、那张表里又一个样;最后要交出哪些数据文件、哪些能被验证的发现。契约一落笔,后面每一步生成都得按它来,不能想改就改。
逐层生成:严格按照因果顺序造数据。契约写好之后就该造数据了,这一步最讲究顺序。
如果因果图里写着“工厂产能影响库存,库存影响门店可售商品数量”,那生成数据时就必须先造工厂产能的数据,再根据这个结果造库存数据,最后才能生成门店数据。顺序不能乱,乱了因果链条就断了。
论文中把这套做法称为拓扑分层生成。每一层由独立的AI会话负责,上层产出的数据到了下层只能读取,无法回改。
这个思路跟工厂流水线装配很像。
拿汽车组装厂打比方:发动机车间把发动机造好送进总装线,总装线工人只能用这台发动机装车,不能跑回发动机车间说“我觉得功率不太对,自己改一下”。要是每个环节都能随手回头改上游的半成品,整条线的记录就全乱了,最终这辆车到底按哪套参数装出来,永远说不清。Data World让每一层的生成结果成为不可篡改的既成事实,就是为了让整条因果链条从起点到终点都能被追溯、被核对。
每层生成时系统还会自检一次,看这一层与上游之间是否真符合契约写明的因果模式——是单调递增还是存在滞后,数据里有没有体现出来。检查结果会留档,供后面的审核员复核。
观察投影:把干净的真相搞脏
这里有一点很反直觉。
直接把造好的“干净”数据丢给AI分析师,任务几乎没难度:变量整整齐齐摆着,写个脚本跑一遍,所有因果关系都能看出来。可真实世界的数据分析从来不会这么轻松。
所以Data World在这一步故意往数据里“注水”,塞进现实里常见的脏乱问题:同一客户在不同系统的ID拼写不一致,数据缺失、延迟、重复记录,单位悄悄漂移(有的表用公斤、有的用斤却不写清楚),不同表之间靠没标注的外键关联,也不给任何数据字典。
所谓观察投影,就是把背后那份“干净真相”按既定规则,通过加入现实世界常见噪声与缺陷,转换成分析师真正能看到的那堆略显凌乱的文件。转换本身有章法,不是随意乱加噪声。
这一步的巧妙之处在于噪声有章可循。每一种脏乱现象背后都对应一个明确的业务流程解释,比如某字段延迟,是因为对应系统每周才同步一次。数据看着乱,可只要分析师够细心、顺着线索理清楚,照样能从这堆脏数据倒推出背后的真相。真正考验分析能力的地方就在这儿:不是会不会算数,而是能不能在混乱信息里做交叉验证、拼图还原。
独立审计:找个“侦探”来挑刺
数据生成完毕,Data World还设了一道独立的审计关卡。
这位审计员AI拿到的是整套生成过程留下的全部痕迹:最初的骨架图、世界契约、每层生成时的检查记录和自述报告、生成脚本、没被弄脏的干净真相,以及最终弄脏后的观察数据。它要重新跑一遍验证脚本,确认契约规定的每条因果关系、每条全局规则是否真在数据里体现出来,还要专门查一件事:被选作分析目标的现象,能不能从弄脏后的观察数据里重新找回来。
审计员只能给出通过或不通过的裁决,不能动手改任何东西;发现的问题必须如实记录,不许隐瞒。
这个角色可以理解成质检员。
工厂出一批产品,质检员不参与生产,只按标准拿仪器挨个检测,合格放行,不合格打回重做,绝不能偷偷把有问题的产品修好再放行。缺了这道独立审计,造出来的世界也许看着精巧,背后的因果关系却根本经不起推敲。审计存在的意义就是守住这条底线,让后面用来出题和打分的素材经得起反复核验。
论文提到,最终1302个候选世界里只留下1087个真正通过各种检验的世界;训练用的世界有95.98%的因果边通过了审查,测试用的50个世界则要求百分之百全部通过。
出题环节:沿着因果箭头问问题
世界造好、审核通过,接下来就是出题。
这里有个设计也挺有意思:每道题都锚定因果图里的某个具体节点,要求AI要么顺着“原因方向”解释这个节点为什么会这样变化(cause路线),要么顺着“结果方向”追踪这个变化会带来什么后续影响(consequence路线)。
为保证出题覆盖整张因果图的各个深度层次,而不是盯着几个热门节点反复问,系统按节点在图里的深度分成若干组,每组挑连接最多的节点出题,题目的结构多样性就这么保住了。
负责出题的 AI 能调阅此前生成的所有内容:世界契约、审计报告、世界指南都在其中。动笔写评分标准之前,它必须先核实一件事——要考察的目标现象,确实能从分析师手里那份脏数据推出来。
评分标准分两块:数据计算部分考中间变量算得对不对,洞察发现部分考最终结论有没有数据支撑。两块都设正面加分项,对应正确计算或站得住脚的结论;也设负面扣分项,专门针对明显算错或被数据反驳的错误结论。
还有个特别人性化的设定:AI若给出评分标准之外但确实合理的洞察,不扣分也不加分,就是不计入。这样一来,一份不完美的评分表就不会惩罚真正聪明的分析。
十个眼下最强的大模型被拉来跑这套题,成绩单挺有看头。
团队用前面那套流程做出了评测基准DataWorld-Bench:题目取自50个从未参与训练的世界,共100道,横跨16个领域。训练用的题库另算,2135道题来自1037个独立世界。
拔得头筹的是GPT-6-Astra,总分74.43。拆开看,数据计算拿到87.80,洞察发现只有66.45,两头相差21.35分。
这个落差不是个例。十个模型无一例外,计算与洞察之间的差距落在4.87到21.35分之间。算得准和想得对,本来就是两码事。
打个比方,这是会计和战略顾问的区别。好会计报表一丝不苟,每笔账都对得上,却未必看得出公司业务的结构性毛病;敏锐的战略顾问一眼能戳中症结,账目细节倒可能漏算几个零。
现在的大模型普遍更像会计:把数字算对是强项,到了“这些数字到底说明什么”这一步就频繁掉链子。只拿计算准确率这一个指标去衡量AI的数据分析能力,考的全是会计功夫,战略判断力这个更难的维度被整个漏掉。Data World把评分拆成两块,用意就在这里。
交互轮数多,分数不一定高。垫底的MiniMax-M3用了93.8轮,比大多数模型都多,分数却最低;GPT-6-Astra反倒用最少的轮数拿了最高分。埋头苦算不是关键,关键是每一步算得有没有方向。
负面扣分项的统计也能看出点名堂。GPT-6.1-Sol和GPT-6-Astra触发错误扣分项的比例最低,可触发得少,洞察分未必就高。
Qwen-3.8-Max-0902犯错的比例比这两个GPT模型还高一些,洞察发现得分却是全场第一。“不犯错”和“能挖到真正的发现”是两种能力,一个保守,一个进取。评分标准把两者分开看,模型强在哪儿才看得清楚。
光有评测基准还不够。研究团队还想验证另一件事:拿这套合成出来的训练题去训练模型,到底管不管用?
他们挑中基础模型Qwen3.6-35B-A3B,用2135道训练题,以GSPO这种强化学习方法来训练。全程没有更强的模型来示范“标准答案”怎么写,全靠模型自己在环境里摸索,靠评分标准的反馈来学。业内把这种训练方式叫作RL-zero。
RL-zero:一种强化学习训练方式,模型不依赖人类或更强模型提供的标准解题过程示范,完全靠自己尝试加上奖励信号来学习。
训练产物叫DataWorld-35B-A3B。跟训练前的自己比,再跟另外几个同基座的模型比,它在四个基准上全部领先。
具体看:没见过的DataWorld-Bench测试世界上涨了7.06分;开放式数据分析基准DAComp上涨14.28分;有标准答案的金融数据分析基准DABstep-Hard上涨20.90分;覆盖35种职业的综合基准JobBench上涨12.13分。
JobBench这个结果值得多说两句。它压根不是专门考数据分析的,从办公室文员、管理层一直到生命科学研究者,35种职业的专业能力都在考察范围内,跟训练内容的重合度是四个基准里最低的。
重合度最低还能涨12.13分,说明这套训练教给模型的不只是“怎么分析这类特定格式的数据”,某种更底层的、跨场景通用的文件理解和推理能力也被抬了上去。
论文里还拿另一个模型DataMind做了对照。它是在网上公开的真实数据分析任务上训练出来的,在那几个外部基准上确实也有提升,可到了靠因果机制严格把关的DataWorld-Bench上,几乎原地踏步。
这个对比有点扎心:用传统方式收集真实数据换来的能力提升,未必迁移得到真正需要挖掘隐藏机制、具备深层洞察力的场景。
团队还查了一件事:这种针对数据分析的强化学习,会不会把模型原本的通用能力带坏。结果是知识类测试MMLU-Pro准确率纹丝不动,还是84.73%;编程能力LiveCodeBench-Hard掉了不到一个百分点;事实问答SimpleQA-Verified反倒从22.20升到24.00。
纯合成环境里的训练,没伤到模型原有的语言和代码能力,也没让它变得更爱瞎编事实。
这套方法当然不是完美无缺。论文作者自己就坦白承认:每重新生成一整套世界和任务,成本都很高,整个流程没法拆开做详细的消融实验,每个环节到底贡献了多少,精确证明不了。
另外,完全合成的任务终究跟真实用户提的问题有距离——那些问题模糊、带着隐含上下文,目标还会随对话不断变。再有,即便审计机制保证了因果关系的可验证性,评分标准也无法穷尽所有合理的分析角度,负责打分的AI裁判本身也可能有偏见。这些都是诚实的局限,不是营销话术式的轻描淡写。
写在后面
读完这篇论文,印象最深的其实不是RL-zero训练带来的分数提升,而是“先定因果关系,再反推造数据”这个思路本身。
放在数据分析这个具体场景里,它可能显得很技术化。可往大了想,它碰的是一个更普遍的问题:要评判一个判断对不对,而这个判断本身关乎开放式、没有唯一答案的问题时,我们究竟该拿什么当标尺。
过去要验证一个分析结论,靠的是请专家凭经验给出参考答案,而这份答案本身带着制定者的认知盲区。Data World 反过来做:先构造一个"上帝视角已知答案"的平行世界,验证就变成了对照已知真相的核验,不再是拿某个人主观总结的标准去比。
这种转换在别的领域也能见到影子。游戏 AI 训练用模拟环境做强化学习,而不是直接扔进真实世界,道理相通——真实环境里的标准答案太模糊、太昂贵、太难拿到时,不如先造一个规则清楚、表象又足够复杂的平行世界去练。
Q&A
论文里那个"计算—洞察差距"让我多想了一下:它在所有十个顶尖模型身上都稳定存在,没有一个例外。这说明眼下大模型做数据分析,普遍是"会算不会想"。
这个瓶颈不是哪一家公司模型的事,而是整个领域共同撞上的一堵墙。墙的成因是训练数据的问题,还是模型架构本身缺了点什么,论文没有回答;但它用一组干净的实验数字,把这堵墙摆在了所有人面前。
Q1:Data World是什么?
A:它是一个多智能体数据环境合成引擎。做法是先构建一个有明确因果规律的虚拟世界,再依这个世界生成供 AI 分析的文件,评测标准和训练奖励因此都能对照已知真相来验证,不必依赖人工从现有数据里总结参考答案。
Q2:Data World解决了AI数据分析评测的什么核心难题?
A:它解决的是开放式分析结论难以验证的问题。以往从真实数据里总结评分标准,容易漏掉尚未被发现的合理结论,AI 挖出了有效发现却拿不到认可。Data World 先定义因果机制再生成数据,评分标准因此有据可查,还能审计分析目标能否从观测数据中被还原。至于用这套方法训练出的模型效果,基于该方法训练的 DataWorld-35B-A3B 在 DataWorld-Bench 上比训练前提升 7.06 分,在 DAComp 上提升 14.28 分,在 DABstep-Hard 上提升 20.90 分,在覆盖 35 种职业的 JobBench 上提升 12.13 分,模型原有的通用知识和编程能力也没有受损。