多数人搜「AI agent 大模型应用开发 什么有哪些」,其实是站在项目起步那一步:不知道要装几样东西、哪几样能省、哪几样省不掉。这篇按一条请求真实走过的顺序把组件摊开,每一类都给出「什么时候必须有、什么时候可以先空着」,并说明什么项目根本不适用这套分法。
搜「AI agent 大模型应用开发 什么有哪些」的人,多半正卡在项目起步那一步:不知道该装几样东西,哪几样能省,哪几样根本省不掉。这问题本身有点含糊——有人问的是模型清单,有人问的是框架清单,还有人其实在问要会哪些技能。先把这层确认清楚,不然搜到的答案互相打架,越看越乱。
下面按一条请求真实走过的顺序把组件摊开,从模型、编排、工具、记忆检索到运行部署,每一类都说清楚什么时候必须有、什么时候可以先空着。这不是产品名单,是分层思路——先看清链路,再往里填东西,比照着别人的技术栈抄一套靠谱得多。
先弄清「有哪些」问的是哪一层
同一个问句能指向完全不同的东西。有人想找模型选型建议,有人想找框架推荐,有人其实在纠结自己该学什么。方向不对,看多少篇都在原地打转。我建议先问自己一句:现在卡住的是「用哪个模型」「用什么把它们串起来」还是「整套东西跑在哪」——答案自然就落到不同的层上。
按请求链路分层比按产品名罗列有用得多。一条请求从进来、被理解、决定下一步、调用外部系统、查资料、到最终返回,每一段都对应一类组件。这五层不是每个项目都要齐全,纯文本问答可能只用到两层,硬凑齐反而给自己添麻烦。模型之间的横向对比不在本篇范围,想看具体数字去 /models 核对当时的情况。
- 模型层
- 负责对话、推理、嵌入、多模态,管输入怎么被理解
- 编排层
- 决定谁下一步做什么,是流程的调度中心
- 工具层
- 函数调用、MCP、外部 API,负责把动作真正发出去
- 记忆检索层
- 短期靠上下文窗口,长期靠向量库加切分策略
- 运行层
- 本地进程、容器还是托管推理,决定延迟和运维成本
五类组件:各自干什么、什么情况下可以先不装
模型层先按任务定能力再选形式。对话、推理、嵌入、多模态各管一段,很多时候一个通用模型就能覆盖前期需求,非要一上来就按能力拆开用,调用的复杂度和预算都会翻上去。是否改用自建,看你对数据出网敏感到什么程度、调用量稳不稳定,具体数字到 /price-watch 看当时的对比。
编排层是最容易被过度设计的一层。流程固定、每步输入输出都清晰的项目,用代码写死就够,几十行脚本顶得上一个重框架。只有当步骤会随中间结果变化、需要模型自己决定下一步走向时,agent 框架才值得上。工具层同理——先看目标系统有没有稳定接口,接口本身天天超时,谈函数调用就是空转。
- 记忆检索层:知识不常变优先做检索而不是微调,切分粒度和更新频率要先定下来
- 运行层:先量出延迟基线再决定要不要换,换了要算上并发和运维的额外开销
- 工具层:接口的稳定性和错误返回格式,比工具数量重要得多
- 编排层:固定流程别上框架,否则调试成本翻倍而效果没变
按项目现状做对照,别一次全上
同样叫「做 agent」,一个人做原型、小团队做内部工具、多步骤自动执行,组件取舍完全不同。下面这张表按常见场景给出起步配置,越过对应行直接看后面一列,能省不少返工。
| 项目现状 | 起步该有的层 | 可以先空着的层 |
|---|---|---|
| 一个人做原型 | 模型接口加一段脚本 | 编排、记忆检索、专用运行层 |
| 5 人小团队做内部工具 | 加检索层和调用日志 | 重型编排框架 |
| 多步骤自动执行 | 编排层和工具层成重点 | 复杂检索 |
| 对数据出网敏感 | 换自建运行层 | 托管推理带来的便利 |
有一类项目根本不适用这套分法:一次性脚本、纯离线批处理、固定输入输出的转换任务。这些场景套 agent 框架只会让排查变难,本来十分钟能定位的问题变成要翻三层日志。判断标准很简单——任务是否需要模型根据中间结果改道,不需要就别进 agent 这条线。
起步阶段最容易走歪的几处
最常见的误判是把框架当成能力。装了编排框架,任务本身却是固定三步,结果调试成本翻倍、效果没变。还有一种是把工具层一口气接一堆系统,每个都不稳定,出问题时根本分不清是模型选错还是接口超时。记忆层直接丢个向量库进去、没想清楚切片粒度和更新频率,召回质量自然上不去。
- 先确认请求有没有发出去在调用封装那一层打日志,看到底是网络层还是模型层的问题,别一上来就换模型
- 再看返回内容对不对把原始返回和解析后的结果分开看,格式错误和内容错误是两回事
- 最后才怀疑模型前面两步都正常,才轮到调整提示词或换模型,顺序反了会白折腾
这套排查顺序能省掉大量无效尝试。我见过有人一遇到输出不对就换模型,换了好几个都没解决,最后发现是工具调用返回的字段名拼错了——参数填在了错误的格子里,模型根本没拿到想要的数据。这类问题在链路分层之后一眼就能看出来在哪一段。
下一步按上面五层对照一下你手上的项目,标出真正卡住的那一层,再去站内看对应页面的当时数据,别凭印象做取舍。→常见问题
AI agent 开发和大模型应用开发到底差在哪一步?
差别主要在编排放不放权。应用开发通常是流程写死、模型只负责其中生成或判断那一段;agent 则把「下一步做什么」交给模型决定,于是必须额外准备工具描述、失败处理和人工兜底。判断标准很简单:步骤会不会随中间结果变化,会就需要编排层。
这几层是不是都得用现成平台?
不一定。编排层可以自己写几百行代码代替,记忆层小数据量下用文件加关键词检索也能顶。只有当你需要多模型切换、多人协作或上线运维时,平台才显出自个儿价值。先去站内工具目录对照一遍能力,再决定要不要引入外部依赖。
怎么判断该不该上自建运行层?
看两件事:数据能不能出内网,以及调用量能不能撑起固定成本。数据敏感且调用稳定,自建更可控;调用量忽高忽低或只是验证想法,先走接口。具体的卡型和租金口径到算力页面按当时数字核对,别拿旧印象拍板。