AI研究员实测LifeSearch：203个生活化任务，中文占102个

去年年底，腾讯的一个研究团队干了件挺有意思的事。他们没去考AI能不能解奥数难题，也没让AI写学术综述，而是把它丢进了普通人天天碰到的麻烦里：挑大学该参考哪些数据，昆山的人口统计口径怎么对齐，

这听着平淡，可背后有个挺扎心的问题。眼下市面上几乎所有评测深度研究类AI的榜单，考的都是学术味很重的任务。查论文、做文献综述、分析金融报表，这些场景固然重要，可离普通人的生活有点远。你上回需要AI帮你写学术综述是什么时候？可能从来没有。但你上回需要AI帮你查个政策、比个产品、弄明白一套报价规则是什么时候？也许就是上周。

这块空白，正是LifeSearch这篇论文想补上的。

深度研究到底是个什么活

先得说清楚，深度研究类AI代理是什么。这类系统如今已不是实验室里的玩具。GPT的Deep Research、Gemini的Deep Research功能，国内各家大模型公司也都推出了类似产品。它们声称能帮你做市场调研、竞品分析、学术检索，听着很美。

问题是：这些系统究竟靠不靠谱，现有的评测体系根本说不清。

早期的评测方式很粗糙，比如一个叫后来的研究者意识到这点，开始搞“打分细则”（

这就好比你想要检验一个厨师的真实水平，结果考题全是米其林餐厅的摆盘要求，却从不问他能不能炒出一盘好吃的青菜。考题本身没错，可考不出这个厨师能不能应付普通人家的日常饭桌。

LifeSearch想做的，就是把考题换成“日常饭桌”。

题目从哪儿来：真实用户的真实烦恼

LifeSearch 基准共收录 203 个任务，其中中文 102 个、英文 101 个，覆盖与生活、工作相关的 7 个领域：公司和竞品调研、学术文献检索、金融市场分析、政策法规查询、行业资讯追踪、技术工具查找，以及日常生活常识。

题目并非研究员在办公室里凭空设想，而是先招募一批普通众包工作者，请他们写下自己实际遇到过的查询需求。这些需求种类繁杂：有人想弄明白某款软件怎么用，有人想比较两所大学的录取要求，还有人想搞清楚某项政策的具体细则。

随后，研究团队设计了一套四阶段筛选流程，用来提炼这些原始需求。第一步是“意图和质量过滤”：先用 AI 剔除意图不明确的问题，以及依赖用户未说明的“最近事件”的问题。像“这个产品最近怎么突然降价了”就属于后者——它预设了一件用户知道、AI 未必知道的“最近发生的事”，这类藏着隐藏前提的问题会被筛掉；而“查一下今天的科技新闻”这样的一般性时效查询则会留下。

第二阶段是“领域发现”，把筛选后的问题自动归类到那7个领域里。

第三步是“任务改写”。不少原始查询夹杂着“生成本地文件”“调用某个工具”之类的操作要求，这些与“搜索信息”本身并无关系，需要剥离出去，只保留纯粹的信息检索需求。

第四阶段是人工复核，由经验丰富的研究人员做最终筛选，确保留下的任务足够复杂、足够清晰、而且真的能被评测。

仅靠筛选还不够。研究团队还邀请专业标注专家，对每条保留下来的查询做深度加工：把简单问题拆成 2 到 4 个互补的子任务，每个子任务分别对应“查找”“计算”“比较”“推理”四种能力类型中的一种。这一步拆解很关键，能让模糊的问题变得具体、可执行。

要是不这么拆会怎样？

你直接问AI“昆山这几年人口怎么样”，问题太宽泛，AI可能随便查两个数字就应付过去。可要是拆成“查近5年常住人口总数”“计算年龄结构变化比例”“对比各区镇的流动人口差异”，每一步都有明确的检查标准，AI就没法偷懒糊弄过去。

这和老师出考题是一个道理。题目要是只写"谈谈你对这篇课文的理解"，学生随便写几句就能交差；换成"概括第一段的中心思想""分析第二段用了什么修辞手法""结合全文说明作者的写作意图"，每道小题都有明确的得分点，想糊弄就没那么容易了。

**4000多条打分细则，4500小时的苦功**

这篇论文的分量，真正体现在它的评分体系上。

203个任务，研究团队一共写了4014条打分细则（

每条细则对应一项能独立判定"通过"或"不通过"的具体要求。拿昆山人口那个任务来说，有一条细则要求答案必须讲明"常住人口"的统计口径是"在本市居住半年以上，或户口在本地且未外出半年以上"；另一条细则要求标注数据来源，并附上可复核的网址链接。

七个评估维度由这些细则覆盖：有没有遵循用户的明确要求、信息覆盖是否完整、事实是否准确、证据和引用质量如何、推理分析是否成立、任务是否真正解决了用户的问题、呈现格式是否符合要求。

每条细则还带了几个标签。

这些标注维度一共四个。第一个是类型标签，用来判断这条要求究竟是"客观可核实的事实"，还是"带有主观判断成分的偏好"。第二个是必要性标签，用来看这条要求是用户"明确说出来的"，还是"合理推断出来但没明说的"。第三个是优先级标签，标出这条要求属于"必须满足"，还是"有则更好"。第四个是权重：标注者会给每条细则打一个 0 到 1 之间的分数，分数代表这条要求在整个任务里的重要程度。

有个细节要说一下：大约40%的细则会明确要求某个具体的数值、日期或者文件名，判断"对不对"时不用再临时上网核实，答案提前就验证好了。这么设计的好处是打分可以标准化、可以复核，不必全凭评判者当时的感觉。

换个角度想：假如没有这套细致的权重和类型区分，情况会变成什么样？所有要求全堆在一起，AI 的回答哪怕只做对了一件无关紧要的小事，整体分数照样能很高；反过来说，漏掉一个关键的硬性要求，只要其他方面写得花哨，分数也不会掉太多。这么评出来的结果，测不出真实水平。拿考试打比方，选择题和作文题混在一起按同样的分算，一个学生靠蒙对几道选择题就能拿高分，可他其实根本没理解作文要考察的核心能力。

**谁来当裁判：AI评AI，靠不靠谱**

4000多条细则，总不能靠人工一条条对着AI生成的报告打分，那工作量太吓人了。研究团队于是采用了"

LLM-as-a-Judge

可问题来了：用哪个AI当裁判才靠得住？

研究团队为此做了一次挺严谨的验证实验。他们先挑了20个任务（中英文各10个），覆盖402条细则，请2到3名领域专家分别独立打分，专家之间的一致性达到了0.715（用

拿到这份标准答案之后，研究团队用四款主流大模型、设置了11种不同的推理强度和温度参数组合，逐一比对哪种配置跟人类专家的判断最接近。

结果挺有意思。温度设成0（让AI的输出更稳定、随机波动更少）确实能提高一致性，比如某个模型在高推理强度下，温度从默认值调到0，三次重复运行的一致性从94.5%提高到98%。可稳定不等于准。有个模型不开启推理时，三次运行结果一致性高达99%，但跟人类判断的匹配准确率只有75.62%，属于"错得很稳定"的那一类。

最后，研究团队选定了Gemini 3.1 Pro（低推理强度、零温度）这套配置，它在这402条标准答案上的匹配准确率达到84.25%，是所有测试配置里最高的。

这个验证过程本身就值得琢磨。它说明"用AI评AI"不是拍脑袋就能定的，得先有一套人类共识当锚点，再去反复测试哪个AI裁判跟这套锚点贴得最近。跳过这一步，随便拿个AI来打分，排出来的名次可能根本不可信。

这就好比请裱花师傅给蛋糕店打分：你得先找几位真正懂蛋糕的美食评审，让他们达成一致意见，确定什么样的裱花算合格，然后才能去测试不同裱花师傅的评判标准跟这几位评审对不对得上号。前面这一步要是省掉，随便拉个人来当裁判，他给出的分数再漂亮，也说明不了问题。

**12个AI选手同台竞技，结果如何**

裁判验证完，研究团队把12款当前最先进的

参赛选手包括

结果是，

63.44%意味着什么？

换句话说，就算是最好的那套系统，放到真实生活和工作里的查询场景中，加权要求也有超过三分之一没被满足。再看它自己的成绩：三次评测平均下来，203个任务里有41个得分不到50%，占到20.2%。也就是每5个任务，就有1个做得相当差。

第二名是

有个数字不妨停下来体会一下：头名和第二名之间隔着7.3个百分点。换成生活里的说法，同样是100条打分细则，GPT-5.6 Sol能比Claude Opus 5多满足大约7条。7条听着不多，可这7条里可能正好有你最在意的那个具体数字、那个关键日期，或者你明确提过却被对方漏掉的信息点。

按领域拆开看，GPT-5.6 Sol和Claude Opus 5在7个领域里都排在前两位，可没有任何一个系统在任何一个领域的得分能超过70%。所有深度研究AI在真实生活场景下都还留着不小的能力缺口，问题不是某个系统在某一块特别弱。

**写得多不代表写得好**

有个发现挺反常识。按直觉，AI的报告写得越长、搜的次数越多，分数就该越高。这个推理听着没毛病，数据却打了个问号。

研究团队统计了每个模型平均每个任务生成的输出。

GPT-5.6 Sol确实又长又好，平均每个任务生成5.15万token，分数也最高。可往下看，规律就不成立了。Claude Opus 5和GLM-5.3的文字量几乎一样，分别是4.89万和4.93万，差距不到1%，得分却差了6.9个百分点。更离奇的是混元4预览版，只用了3.36万token，比GLM-5.3少了三分之一的篇幅，分数却跟GLM-5.3几乎打平（49.73%对49.19%）。

研究团队还算了相关系数：互动轮数（AI搜索、读网页的次数）跟最终得分的相关系数达到0.76，属于比较强的正相关。GPT-5.6 Sol平均要花86.2轮互动才完成一个任务，得分63.44%；GLM-5.2只花11轮，得分37.11%。多查几次资料，这件事确实有价值。

篇幅长度跟得分的相关系数只有0.60，比互动轮数弱一些。豆包Seed-2.1-Pro和Gemini-3.6-Flash的报告篇幅分别是12089字和10256字，都比混元4预览版的9959字长，得分却只有43.09%和34.72%，远低于混元4预览版的49.73%。

光靠堆文字量，换不来更高的信息质量。

这就像写期末论文：有人洋洋洒洒写了八千字，看着很用功，读完却发现全是重复的话、无关的背景介绍，真正切中题目要求的内容没几句；有人只写四千字，每一句都踩在评分点上。老师打分时，字数从来不是标准，踩准得分点才是。要是字数真能决定分数，每个学生无限扩写就能拿满分，评分这件事也就没意义了。

真正决定分数的，是搜索够不够全面，以及把搜到的东西准确写进报告里。这是两件分开的事：一件叫信息收集，一件叫信息整合。只做好其中一件，分数依然上不去。

**三种常见的翻车方式**

研究团队还专门梳理了这些AI系统常犯的错误，归纳出三种典型的失败模式。

第一种叫"过早要求澄清"。有些模型（比如豆包Seed-2.1-Pro和GPT-5.6 Sol）执行任务时会突然停下来向用户提问，想确认一些细节。问题是这套评测走的是全自动流程，旁边没有真人回答它的问题。AI就卡在那里，整个任务直接中断，最后连一份报告都交不出来，自然什么分都拿不到。

第二种叫"时间范围越界"。有些任务明确要求AI只能用某个日期之前的信息作答，模型（尤其是混元4预览版）却经常不自觉地用上执行搜索那一刻的最新数据。这些数据本身可能准确，但放到那个被明确限定的时间窗口里就是错的。论文里举了个具体案例：一个任务要求所有信息截止到2026年7月20日，DeepSeek-V4 Pro却在报告里自己承认，它调用API拿到的数据时间戳是2026年8月21日，比要求的日期晚了整整一个月，但它依然把这些"过期"数据写进了报告。

第三种叫"遗漏具体要求"。平均每个任务有将近20条细则，一份读起来挺流畅、挺像那么回事的报告，很可能漏掉某个具体的实体名称、某个数值、某个日期，或者某个边界情况。整体读下来感觉"写得不错"，逐条核对细则时，会发现不少硬性要求根本没被满足。

论文里给了一个挺典型的案例。有个任务要求AI对比。

**AI打分跟真人感觉对不对得上**

光靠AI裁判打分还不够让人放心，研究团队又补了一轮人工验证，专门检验"AI打出来的综合排名"和"真人看了报告之后的真实感受"是否一致。

评审环节选了30个任务，中英文各占15个。报告先做匿名化处理，顺序也打乱，评审员看不出哪份是哪个模型写的，只能凭自己的判断，从事实准确性、完整度、格式质量三个方面给这些报告排座次。

结果显示，在这个子集里，AI打分排出来的名次跟人类凭感觉排出来的名次。

稍微有点出入的是排名靠后的几个模型。混元3在AI打分里排第5，人类评审却给了它第7（也就是最后一名）；反过来，Claude Opus 4.8和GLM-5.2在AI打分里分别排第6和第7，人类评审却分别提前到第5和第6。

整体排名的框架是靠得住的，尤其是头部选手之间的高下之分；但越往后排名越容易出现细微的摇摆。落后选手的报告普遍质量都不高，彼此之间的差距本身就比较模糊，人类评审和AI评审面对这种"大家都不太行"的情况，判断起来容易产生细微分歧。

Q&A

LifeSearch这个基准测试专门用来衡量深度研究类AI代理在真实生活与工作场景中的表现。它由203个中英文任务构成，覆盖公司调研、学术检索、金融分析、政策查询、行业资讯、技术工具查找以及日常生活常识7个领域；评判AI生成报告的质量，靠的是4014条由专家编写的打分细则。

表现最好的是GPT-5.6 Sol，得分63.44%。这个分数说明什么？即便最强的AI系统，在应对真实生活查询时仍有超过三分之一的要求没有得到满足。另外，在203个任务中，这个最强系统有超过两成的任务得分不到50%。

报告写得越长，分数就越高吗？不一定。研究显示，Claude Opus 5和GLM-5.3生成的文字量几乎一样，得分却相差6.9个百分点；混元4预览版篇幅更短，分数却跟GLM-5.3几乎相同。说到底，报告质量取决于信息是否准确、完整地覆盖了要求，光靠堆文字量并不管用。