把评估预算花在哪里，才能让AI问答系统的测试结果更靠得住

你有没有想过，当我们说"这个AI系统比那个好"的时候，这句话到底有多可信？

这不是一个抽象的哲学问题。假设你手上有两套AI问答系统，一套会先规划好所有搜索步骤再去检索资料，另一套会根据第一次搜索的结果动态调整后面的查询。你想知道哪个回答得更准，于是你拿出测试题，跑了几次，发现动态调整的那套系统平均分高了那么一点点。

问题来了：这一点点差距，是真的差距,还是随机噪声?

这正是三位卡内基梅隆大学的研究者在这篇论文里较真的事情。他们没有去发明一个更聪明的AI系统,而是回头问了一个更基础的问题:当我们测试这些系统的时候，钱应该怎么花才划算？

**测试AI系统的钱,可以花在三个完全不同的地方**

先把问题说清楚。

检索增强生成*：一种让AI先去资料库里搜索相关信息，再根据搜到的内容生成答案的技术路径，常用于需要事实依据的问答任务。

第一块预算花在"问题数量"上，你可以测试446道题，也可以只测试96道题。第二块预算花在"轨迹数量"上，同一道题，系统可能要跑好几次完整的搜索流程才算一次有效采样。第三块预算花在"读取次数"上，同一套搜到的资料，让AI读几遍、答几遍。

这三块预算加起来，总花费（这里用模型消耗的token数衡量）可以是一样的，但怎么分配，结果可能天差地别。这就好比你有同样一笔装修预算,可以多买几件家具、少请几次设计师上门,也可以反过来,多请设计师、少买家具,最后呈现的效果完全不同,但账单金额可能一分不差。

研究者们设计了三种分配方案，分别叫A、B、C。A用446道题、2条轨迹、1次读取；B用174道题、2条轨迹、5次读取；C用298道题、3条轨迹、1次读取。三种方案花的模型token几乎一样，都在3414万到3439万之间，差距不到0.8%。关键是，花同样的钱，哪种分配能让测试结果的"标准误"（也就是结果的不确定性）最小？

标准误*：衡量一个统计估计值离真实值可能偏离多远的指标，数值越小，说明这次测量越可靠。

答案是：多问问题，比多重复测试更划算。

**用96道题的"审计数据"去预测446道题的结果，准不准？**

这里有个特别聪明的设计。

这个顺序特别重要。如果你先跑完实验再去"预测"，那其实是作弊，因为你已经知道答案了。研究者特意强调，这些数字预测是在新实验执行之前就封存固定的，没有用新结果去反向调整参数。

结果如何？用一个叫"嵌套模型"的方法预测，A/B/C三种方案的标准误预测值分别是1.07/1.59/1.19，而实际测出来是1.03/1.54/1.18，误差在4%以内。另一种更简单的方法，只看问题数量的影响（叫"Q-only模型"），预测误差也只有3.5%。

嵌套模型*：把测试结果的波动拆解成"问题之间的差异""同一问题不同轨迹的差异""同一轨迹不同读取的差异"三层，分别估算每一层贡献了多少不确定性的统计方法。

这就好比你去一家新开的餐厅之前，先问了几个去过的朋友对菜品、服务、环境的打分方差有多大，然后用这个方差去猜,如果餐厅同时接待200人,平均满意度的误差范围大概是多少。如果朋友的反馈足够一致，你的预测就八九不离十；如果朋友们各执一词,方差本身就不稳定,那预测自然也会跑偏。

有意思的是,这套预测在"轨迹数量"的外推上就不太灵了。研究者专门做了个验证,在48道题上把轨迹数从1跑到5,看预测模型和真实观测的差距。结果发现,当轨迹数超过2的时候,嵌套模型的预测误差反而比更简单的Q-only模型还大(0.16对0.13)，而且置信区间很宽，统计上说不清谁更准。换句话说,**只用两条轨迹的审计数据,没办法可靠地预测跑五条轨迹会发生什么**。

这揭示了一个朴素但容易被忽略的道理：用小样本审计去外推大规模实验，在"你审计过的范围内"管用,一旦超出这个范围,预测就开始打折扣。这跟你用三次约会判断一个人适不适合结婚是类似的风险,前三次约会的信息能告诉你一些趋势,但如果你从没一起经历过生病、吵架、长途旅行,那些场景下的表现终究是外推出来的猜测。

**多问问题省钱吗？还要看搜索请求多贵**

精度提升了，但天下没有免费的午餐。

A方案（446道题）比B方案（5次读取）标准误低33%，比C方案（3条轨迹）低12.6%。但A方案需要的"去资料库搜索"的请求数量是5435次，是B方案2128次的2.55倍。

这就带来了一个现实问题：

研究者算了一笔账。如果搜索完全免费，A方案和C方案相比，在"方差乘以总费用"这个综合指标上，C要比A贵31%，这意味着A依然是更划算的选择。即使搜索涨价到每1000次请求收1美元，A依然领先，领先幅度缩小到25%左右。只有当搜索价格涨到非常高的区间,这个优势区间才会开始包含"打平"的可能性。

但A和B（多读取）之间的比较就没有这么干脆了。免费搜索时A略占优势,搜索越贵B反而越占优势,而且整个价格区间里,置信区间始终包含"二者打平"这个结果。这意味着,**用问题数量换读取次数,在token效率上明显占优,但换算成实际花的钱,谁更便宜还真说不准**。

这个发现挺有现实意义的。它提醒我们，评估一个AI系统到底该怎么测，不能只看"统计上更精确"这一个维度，还要看你的钱到底花在哪种资源上更贵。就像选择交通方式一样,地铁可能比打车慢,但如果你算上打车高峰期的拥堵费,地铁反而更省钱,这个判断取决于当天的具体价格,不是一个永远成立的真理。

**读一次资料够不够？取决于用的是哪个模型**

接下来研究者问了另一个问题：

他们对比了"读一次"和按最优配置读取之间的方差差距，发现在15种模型/面板/选择器的组合里，这个差距（叫"单读惩罚"）普遍在0到9.9%之间。听起来挺小，但细看会发现，不同模型之间的表现差异很大。

用便宜模型（代号Flash）的时候，单读惩罚几乎可以忽略，直接读一次就很稳定。但换成更贵更强的模型（代号Pro）跑同样的设置，某个指标组合下惩罚达到9.9%，而且这个数字的置信区间宽到0%到57.1%，意味着真实值到底是多少，统计上说不清楚。

这就像两个厨师试菜，一个经验老道的大厨尝一口汤就知道该加多少盐，不需要反复尝第二口。但一个新手厨师可能这一口尝的时候味道正常，下一口尝又觉得偏咸,他的判断本身就不稳定，你需要让他多尝几次才能摸清他判断的真实水平。Flash模型在这个实验里表现得像那位老道的大厨，读一次就八九不离十；Pro模型则像那个新手，不确定性太大，光看一次读取的结果，没法确定这到底是真实差异还是噪声。

研究者据此给出了一个很实际的结论：对测试过的Flash工作流而言，读一次确实够用，省下来的预算可以拿去多测几道题。但对Pro这种波动更大的模型，光凭96道题的审计数据，还不足以给出一个靠得住的"读几次最好"的默认建议。

**降低"温度"参数，能不能代替重复测试？**

还有一个很实际的问题：

温度*：控制AI生成文本时随机性大小的参数，数值越高，同样的输入可能得到越不一样的输出；数值为0时，模型倾向于每次给出最大概率的答案，输出更稳定。

研究者在96道题上做了个对照实验，固定好检索到的资料包不变，只改变温度，看答案的"不一致率"有什么变化。结果很直接：温度设为0.7时，同一问题反复问，答案不一致率是14.3%；温度降到0以后，不一致率骤降到3.4%。

这听起来像是降温度就能一劳永逸地解决问题。但紧接着的发现有点让人意外:降温度之后,测试两个系统谁更好的"标准误"几乎没有变化,温度0和温度0.7下的标准误比例是1.01，置信区间是0.91到1.14，统计上看不出明显差别。

这个结果有点反直觉。你可能会想，答案更稳定了，测试精度应该也更高才对。但研究者的解释是，温度本身改变的是"被评估的对象"，降温度不是让同一个系统的测量更精确了，而是换了一个行为模式更保守的系统去测。这就好比你把一个说话随性的朋友训练成每次都用标准话术回答问题，他确实变得更"一致"了，但如果你想知道的是"他和另一个朋友谁更懂这个话题"，光让他说话更固定并不能让这个比较本身变得更靠谱,因为比较的基准点已经悄悄挪动了。

**这篇研究留下的，不只是一套数字**

说回最开始那个问题：当我们说"这个AI系统比那个好"，这句话有多可信？

这篇论文给出的答案是，可信度取决于你把预算花在了哪里，而这件事可以提前算出来,不需要等到花完钱才知道。核心结论可以归纳成几条实用的经验：

多问几道测试题，比反复重测同一道题，在提升统计精度上更划算，33%的标准误降幅就是实证。

用小规模审计数据预测大规模实验的精度，在审计覆盖的范围内（比如问题数量的变化）相当准，误差能控制在4%左右，但在审计没覆盖的维度上（比如把轨迹数从2外推到5）就不靠谱了。

降低生成温度能大幅减少答案的随机波动，但不会自动提升系统对比的统计精度，因为这改变的是被测对象本身。

研究者也诚实地承认了局限：这套结论只在一种策略对比、一个模型家族（DeepSeek系列）、一个检索数据源（FineWeb）、两个问答数据集（HotpotQA和MuSiQue）上验证过，F1分数都在30分上下。换一个场景，这些具体的百分比未必还成立，但"怎么系统性地去想预算分配"这套方法论,应该是能迁移的。

写在后面

读完这篇论文,最触动我的其实不是哪个具体数字,而是研究者选择研究的问题本身。

现在整个行业都在卷"谁的AI系统更强"，发布会上一张张柱状图比来比去，谁高一点谁就赢了。但很少有人问,这些柱状图背后的误差棒,到底算得对不对,预算分配得合不合理。这篇论文选择不去造一个更强的模型,而是回头审视"我们怎么知道一个模型更强"这件事本身的方法论基础,这种选择本身就值得记一笔。

还有一个细节我觉得特别值得单独说一说。论文里提到,Pro模型（更贵更强的那个）的不确定性区间大到0%到57%,这个区间宽到几乎没有信息量,但研究者没有选择隐藏这个尴尬的结果,反而把它当作一个重要发现写进了结论:"96道题的Pro面板提供的信息不足以给出可靠的读取分配默认值"。承认"我们还不知道"，这件事在学术写作里比写出一个漂亮的结论难得多。

论文还留了一个没解决的问题,就是"多问题"和"多读取"在真实货币成本上到底谁更便宜,研究者说这个排名"仍未解决"。这个悬而未决的尾巴,反而让我更信任这篇论文,因为它没有为了给出一个干净的结论而把模糊的部分硬掰直。

如果你的工作也涉及要去对比两个AI系统谁更好,不妨想想,你现在用的测试方法,预算分配是经过设计的,还是随手拍脑袋决定的?

Q&A

Q1：Agentic RAG评估中，预算应该优先分配给问题数量还是重复测试次数？

A：根据实验结果，在模型token花费大致相等的情况下，增加测试问题数量比增加重复读取次数更能降低结果的不确定性，标准误能降低33%左右，比多跑几条搜索轨迹的效果（降低12.6%）也更明显。

Q2：用少量数据做的审计预测，能准确预测大规模实验的结果吗？

A：在问题数量变化的维度上预测很准，误差只有3.5%到4%。但在轨迹数量外推上效果不佳，比如用两条轨迹的审计数据去预测跑五条轨迹的结果，统计上看不出明显的预测优势。

Q3：把AI生成温度调成0，能不能替代多次重复测试？

A：温度调成0确实能让答案的不一致率从14.3%大幅降到3.4%，但对两个系统对比测试的精度几乎没有提升，因为温度改变的是被测系统本身的行为，而不是测量方法的精度。