很多人第一次用智能体,是把它当成「更聪明的聊天框」,结果发现它跑偏、乱调工具、账单失控。问题多半不在模型,而在没分清对话模型和智能体各自负责什么。这篇从能力边界讲起,给你一份判断清单和动手步骤,帮你决定哪些活交给对话模型,哪些值得上智能体。
很多人第一次接触智能体,是把它当成「更聪明的聊天框」来用:说一句话,等它给答案。结果一上手就发现不对——它会自己点开网页、乱调接口、反复绕圈,账单也跟着失控。这多半不是模型不行,而是你没分清对话模型和智能体各自负责什么,把本该分步执行的任务当成一次性问答丢了过去。
这篇不吹概念,只讲两件事:这两类东西的能力边界在哪,以及拿到一个具体任务时,你怎么一步步判断该用哪个、真要上智能体又该按什么顺序搭。想同时看模型侧的价格和规格,可以到 /price-watch 和资料库对着当下的数字核对,别拿记忆里的旧数据做决策。
先把边界划清:一个只会说,一个还会做
普通对话模型的能力上限在「生成内容」:你给它输入,它给你一段输出,然后结束。它不会主动去查外部系统,也不会改变任何外部状态——说错了,你改改提示词再问一次就行。智能体则是在模型外面又套了一层:目标拆解、工具调用、结果回读、循环判断。它能连续动作,直到任务完成或者自己卡住。差别不在「谁更聪明」,而在「谁被允许动手」。
- 对话模型
- 一次问答一次输出,不主动改变外部状态,出错代价通常是返工
- 智能体
- 给目标后自己分步执行,会读外部数据、会写回系统,出错代价可能是真的改数据、发消息、花钱
- 工具调用
- 智能体连接外部能力的通道,也是绝大多数事故和成本的来源
有个简单的判断口诀:任务是否需要「查外部实时状态」「连续多步」「把结果写回去」,这三条里中两条,才值得考虑上智能体。只中一条或者一条都不中,用对话模型加好提示词模板,往往更快、更便宜,也更可控。
四个维度的实际差别,别只看宣传词
宣传材料里智能体总是显得无所不能,但落到实际使用,差别集中在四个维度上。把这四个维度列出来对照,比听任何一方的说法都可靠。尤其是「出错方式」和「成本结构」这两栏,很多人在选型时最容易忽略,等出了问题才发现代价比想象的大。
| 维度 | 对话模型 | 智能体 |
|---|---|---|
| 交互形态 | 一问一答,你说一句它回一句 | 给目标和约束,自己分步执行 |
| 输入来源 | 你贴给它的内容 | 能自己取网页、数据库、文件、接口 |
| 出错方式 | 说错话,返工重问即可 | 做错事,可能真的改数据、发消息、花钱 |
| 成本结构 | 按对话轮次消耗 | 每步都调模型加工具,轮次会翻好几倍 |
这张表里最该盯的是第三行。对话模型答错,你读一眼就知道,改改再问。智能体做错,往往是执行完你去查系统才发现,中间可能已经写了几条脏数据、发了几条不该发的通知。所以评估智能体,不能只看它答得对不对,要看它动作的边界有没有收住。
- 单步明确、答案可核对的任务,优先用对话模型加严格提示词
- 需要读实时数据但不写回的任务,可以让智能体只读不写
- 涉及写操作、发消息、付款的任务,必须加人工确认点
- 同一任务有稳定固定流程的,先写成脚本,再考虑是否需要用模型来调度
- 判断拿不准时,先用对话模型人工跑几遍,把步骤摸清再决定要不要自动化
什么情况下不该上智能体
这一节专门说「不该上」的场景,因为踩坑的钱大多花在这里。智能体的优点是能自己拿主意,缺点是它真的会自己拿主意。凡是要求逐字可控、对外口径不能有一点偏差的产出,比如合同条款、对外声明、客户正式回复,智能体的自由发挥就是风险本身,不是加分项。
- 结果必须逐字可控的文本,用对话模型加人工终审,不要交给它自动发出
- 外部工具没有稳定接口、权限不好收口的,宁可人工中转,别硬接
- 调用频次高、单次价值低的任务,多轮开销会直接吃掉收益
- 任务本身一步能做完、只是你嫌麻烦的,先优化提示词和模板
- 涉及生产数据的写操作,在没有测试账号和回退方案之前不要上线
反过来说,如果任务步骤确实多、状态经常变、你还愿意花时间做验收和回退,那智能体是值得试的。判断的关键不是「别人都在用」,而是「这个任务出错的代价我能不能兜住」。
一张任务筛选表:先按这四栏过一遍
拿到一个具体任务,别急着选框架。先按下面四栏填一遍,填完基本就能定性。这一步跳过的人,后面往往是在一堆工具和参数里反复试错,浪费的时间比省下来的还多。
| 栏目 | 要填什么 | 填完怎么用 |
|---|---|---|
| 步骤数 | 一步、三到五步、还是不确定要几步 | 一步用对话模型;三到五步可以考虑固定脚本;步数不确定才轮到智能体 |
| 状态依赖 | 要不要读实时数据,会不会写回系统 | 只读的可以放宽,要写回的必须加确认点 |
| 容错度 | 错了能不能撤回,要不要人工复核 | 不能撤回的默认降级为人工执行 |
| 频次与价值 | 一天跑几次,单次省多少人工 | 频次高、价值低的任务要特别算清开销 |
四项填完,通常落在这三档:对话模型、固定流程脚本、智能体。中间那档最容易被忽略——很多任务其实是流程固定的,写成脚本比让模型每次自己判断更稳,也更便宜。只有当步骤真的不确定、需要根据中间结果临时决定下一步时,智能体才有发挥空间。
真要动手:最小可跑智能体的搭建顺序
决定上智能体之后,最容易犯的错是一上来就接一堆工具、开一堆循环。正确的顺序是从最小闭环开始,一次只扩一个变量,每一步都能验证。下面这套顺序适用大多数初次搭建的场景。
- 只接入一个工具跑通「调一次、读结果、再决定下一步」的闭环。验证方式是手动构造几种输入,看它拿到工具返回后会不会正确停下或者继续。
- 加人工确认点所有写操作之前必须停下来等你点头。验证方式是把确认点关掉再跑一次,确认它确实会在那一步卡住而不是跳过。
- 做调用日志每次工具调用的入参、出参、耗时都记下来。这是后面排错的唯一依据,没有日志的智能体出问题只能靠猜。
- 再扩工具和循环一次只加一个工具或提高一档循环上限,加完马上回归测试,别一次性改两处。
- 先用沙箱或测试账号执行环境不要直接连生产库,测试账号权限也要按最小可用原则给。
这套顺序看着慢,其实是省时间。工具一多、循环一深,出问题时你面对的是一个黑盒,只能靠日志反推。日志和确认点在早期就加上,后面排查的效率会差出好几倍。
成本与延迟:智能体为什么比聊天贵那么多
很多人对智能体的成本估计偏低,是因为把一次问答的开销乘以步数来算。实际不是这么简单:每一步都要重新带上上下文,token 随步数增长往往不是线性关系,而工具调用的网络往返又会叠加,延迟从秒级变成十几秒甚至分钟级都很常见。
动手之前,先用 /tools/speed-test 量出你这条链路的延迟基线,再判断这个等待时间业务能不能接受。价格和计费口径的当下数字,到 /price-watch 核对,别用记忆里的旧值做预算。
- 限制最大步数,超了就停并报错,不要让循环无限延伸
- 限制单次上下文长度,历史结果做摘要而不是原样堆进去
- 给每次工具调用加超时,接口卡住要能放弃而不是一直等
- 对高延迟工具做缓存,同一参数短期内不重复调用
- 把成本按任务统计而不是按次数统计,才能看出哪个环节在烧钱
怎么验收,以及什么时候该退回对话模型
验收智能体,别只看回答好不好听。真正要看的是三件事:任务完成率、平均步数、误操作次数。回答流畅但误操作多,说明工具边界没收住;完成率高但平均步数一直在涨,说明它在绕圈,成本和延迟迟早出问题。
还有一点要提前定好:回退条件。上线前就写清楚,比如某个工具连续出现误操作就停用、某类任务完成率持续偏低就退回人工。保留一个能随时关掉的智能体入口,业务不至于因为一次事故停摆。具体的模型规格和当下的价格表现,可以到 /rankings 和资料库对照着看,但别把榜单当成选型唯一依据。
下一步想看各家中转站和官方接口的可靠性与价格追踪,去 /sites 和 /price-watch 对一下当下数据,再用 /tools/speed-test 测出自己链路的基线,比在这里估要靠谱得多。→常见问题
智能体和普通对话模型是不是同一个模型?
往往是同一个或同类模型,差别在外层:智能体给模型加了目标拆解、工具调用和循环控制,模型只是其中一个零件。所以换更强的模型不一定让智能体变好,工具和流程设计更关键。
小团队有必要上智能体吗?
看任务。如果每天有大量重复的、需要查系统再回填的活,值得做一个只接一两个工具的小智能体;如果是写文案、改代码这类一次成型的活,对话模型加好模板就够了,别为了概念上智能体。
智能体出错会不会造成实际损失?
会,只要它接了写操作的工具。发邮件、改数据库、下单付款都属于这类。做法是把写操作放在人工确认之后,先用测试账号跑,并且保留操作日志,出问题能追溯。
怎么判断我的任务适合智能体还是普通对话?
问自己三件事:任务要分几步、需不需要读外部实时数据、结果要不要写回某个系统。三项里中两项以上,智能体才可能带来明显收益;只中一项,先试对话模型加手工操作。
选智能体工具时先看什么?
先看它支持接哪些工具、有没有人工确认和日志,再看模型可替换性。具体工具清单可以翻站内 AI 智能体工具目录,按你已有的系统去筛,不要按宣传页筛。