ai测试入门:如何测试ai对话模型/智能体

入门与上手

给测试新手一套对话模型与智能体的上手评测流程:先定题、再控变量、最后记录与复现,避开常见误判。

第一次要评一个对话模型或智能体,很多人上来就问它几个问题,凭感觉说「这个更聪明」。结果换个人再问一遍,结论完全反过来。这篇给的是可复用的上手顺序:先明确测什么、把变量摁住、按同一套题目跑完再对比,最后留下能回看的记录。适合没做过评测、但要给团队交一份结论的人。

第一次要评一个对话模型或智能体,很多人上来就问它几个问题,凭感觉说「这个更聪明」。结果换个人再问一遍,结论完全反过来,谁也说服不了谁。问题不在模型,在于你手里的题目、参数、上下文都没固定住。

这篇给的是一条能重复走的顺序:先明确测什么,再把变量摁住,按同一套题跑完再对比,最后留下别人能回看的记录。适合没做过评测、但要给团队交一份结论的人。全程不需要复杂工具,一张表加一份题目清单就能开始。

第一步不是提问,是先想清楚测什么

打开对话框直接提问,是最省事也最容易翻车的做法。因为你没有判断标准,看到一段通顺的话就容易给高分。先花十分钟把「我要测什么」写下来,后面省下的时间远不止十分钟。

答得对不对
事实是否准确、推理链条是否成立、有没有编造不存在的内容
答得稳不稳
同一道题换个说法、换个人问,结论是否一致
用得顺不顺
输出格式是否稳定、长度是否合适、不知道的时候肯不肯直说
  • 按目标挑题,别用一套通用题测所有场景:写文案的和查资料的,题目本来就不该一样
  • 每道题预先写下「合格答案长什么样」,哪怕只是一句判断标准,否则事后容易往结果上凑
  • 题目数量不用多,五到十道覆盖你的真实场景就够,重点是每道都有清楚的对错边界
  • 什么情况下不适用:只想快速感受一下手感、不打算把结论写给别人看时,不必走完整流程

把变量摁住:同题、同参数、同上下文

评测最怕的就是同时改了好几样东西,最后不知道是哪一样带来的变化。原则很简单:一次只动一个变量。要么换模型,要么换提示词,别两个一起换。

要固定的东西怎么固定不固定会怎样
题目与顺序同一份清单,按同样顺序跑两道题难度不同,结果没法比
系统提示词原样复制,不改一个字不知道差异来自模型还是提示词
随机性参数跑之前记下来,各轮保持一致两次输出不可比,参数含义到 /ai-dict/category/basics 对照
上下文对话模型每轮清空重开前一句的残留会影响后一句
  • 对话模型要清空上下文、每轮从零开始,否则你在测的是记忆而不是能力
  • 智能体要额外记录它调了哪些工具、走了几步、哪一步开始跑偏,工具调用类的问题可参考 /stacks/agent-apis
  • 每道题至少跑三遍再看结论,一遍的结果只能当线索,不能当结论
  • 遇到明显离谱的输出,先别急着判死刑,回头检查是不是你的题目本身有歧义

测智能体要多看三层:能不能用、敢不敢用、贵不贵

智能体和纯对话模型最大的区别在于它会动手:调工具、改数据、发请求。所以评测维度也要跟着加,光看最后那段文字是不够的。

  1. 看任务是否真的完成判断标准是结果状态变了没有,而不是它给了一段像模像样的计划。中途卡住时,看它有没有给出合理的失败反馈。
  2. 看边界和确认动作涉及删改、下单、发消息这类不可逆操作前,它会不会先确认;越权调用工具时是直接执行还是拒绝。
  3. 看资源消耗把一次任务的调用轮数、工具次数记下来,拿到 /tools/model-cost-calculator 里按你自己的用量口径算一遍,看是否符合预算预期。

不适用的情况也说清楚:如果你测的只是纯问答、不接任何外部工具,那这三层里只看第一层就够,多测反而浪费时间。

记录和对比:让人能复核你的结论

没有记录的评测等于没做。过两天有人问「你当时那道题它怎么答的」,你答不上来,这份结论就白交了。记录不用复杂,一张表就够。

列名写什么注意
题号和你的题目清单对应别用「第一个问题」这种模糊说法
输入原样粘贴,包括系统提示词改了任何字都要重新跑
完整输出不要摘要,不要只留好的一段给人看的是原始证据
判定与理由理由要具体到哪一句不对别写「感觉一般」
  • 成品结论分三档就够:通过、勉强、不通过,别打细分数值,新手打出的分数没人能复核
  • 要对比多个对象时,先各自跑完再放在一起看,不要边跑边比,容易受上一个结果影响
  • 想找现成的横向参照,可到 /benchmarks 和 /crowd-radar 看一眼别人怎么测,但注意榜单口径和你自己的题不是一回事
  • 判定理由里尽量引用原句,这样复核的人不用重跑也能看懂你的判断

复现与汇报:把结论说成别人能验证的话

一份好的评测结论,应该是别人拿着你的题目清单能重跑一遍、并大致得到同样走向的。做不到这一点,结论就只是个人感受。

  • 汇报里附上原始题目和几条典型原样输出,比「整体感觉不错」有用得多
  • 结论写成有条件的句子:在某类任务上表现稳定,换到另一类任务结论可能不成立
  • 保留随时可重跑的题目清单,隔一段时间重测才不用从零开始
  • 如果几次结果差异很大,先按 /ai-not-working-self-check 自查一遍再下判断
能被别人重跑的结论才叫结论,只能自己复述的叫印象。

做到这一步,你已经能给团队交出一份站得住的上手评测了。剩下的就是积累:题目越贴近你的真实业务,结论越有用;跑的次数越多,你越能分清哪些是模型特性、哪些只是这一次的运气。

下一步想看看别人的题目和横向口径,或者查某个模型当时的价格与参数,去站内页面核对最新数字比听转述靠谱。

常见问题

没有评测经验,第一份测试该从几道题开始?

十来道就够,关键是每道题你都能说清「什么样算过」。宁可题少而标准明确,也不要凑几十道自己都判断不了的题。跑完一轮你会发现不够用,再补题比一开始堆一堆更有效。

同一个问题答案每次都不一样,这算不算不合格?

不一定,先分清是随机性带来的正常波动,还是关键事实反复出错。做法是把同一题跑几遍,看核心结论是否一致、只是措辞不同;如果核心事实都会变,那才是问题。想搞清波动来源,可看 /guides/output-stability-reproducible。

对话模型和智能体能不能用同一套题测?

可以用同一批输入,但判定标准要分开。对话模型看答得对不对、格式稳不稳;智能体还要看它有没有真的把任务做完、动作前是否确认、花了多少轮调用。只看最终那段文字,很容易把「说得漂亮但没做成」判成通过。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。