AI 大模型应用开发和 agent 开发推荐清单:先算清这两笔账

模型与算力

给搜推荐清单的人一套判断顺序:先分清应用开发和 agent 开发各自要备什么,再决定模型、框架和算力怎么配,避免清单抄完还是无从下手。

搜「AI 大模型应用开发和 agent 开发推荐清单」的人,八成已经看过好几份清单了,收藏夹里躺着几十个框架名,真开项目还是不知道先动哪。问题不在清单不够长,在于没人告诉你哪几项是地基、哪几项可以后补。这篇按「先定形态、再定底座、最后定工具」的顺序过一遍,每步给判断标准和能马上做的动作,附带什么情况下这套顺序不适用。

搜这个词的人,收藏夹里多半已经躺着几十份清单了。框架名一长串,模型名一长串,每个都写着必装必看。真到开项目那天,你会发现根本不知道先动哪一项。问题不在清单不够长,在没人告诉你哪些是地基、哪些可以后补。这篇不给你加长清单,给你一套顺序:先定形态,再定底座,最后定工具。

顺序这东西听起来虚,实际用下来差别很大。同一份候选名单,按对的顺序过一遍能砍掉大半,按错的顺序过一遍就是反复推翻重来。下面每节都给判断标准和当天能做的动作,也会说清什么情况下这套顺序不适用。

先分清你要做的是应用还是 agent

有个判断标准很土但好使:把模型拿掉之后,你的产品还剩不剩业务流程。剩得越多越偏应用,剩得越少越偏 agent。比如一个合同摘要工具,拿掉模型还剩上传、切分、人工复核这几步,那是应用;一个自动查资料写报告的东西,拿掉模型基本什么都不剩,那是 agent。这个分法不精确,但足够你决定先干什么活。

两类项目的核心工作量差得很远。应用型的活主要在输入组织、输出约束和结果校验上,你要花大量时间想清楚喂什么进去、怎么判定结果算合格。agent 型的活主要在工具定义、循环控制和失败回退上,工具描述写不清楚,模型就不知道什么时候该调哪个,循环没有终止条件,跑着跑着就停不下来。清单上第一条写框架名的,基本可以划掉。

  • 先把需求写成一句话,别写功能列表,就一句话
  • 在这句话里标出两类环节:模型必须做的,人来做兜底的
  • 如果一句话里模型要做的环节超过一半,按 agent 准备
  • 如果兜底环节占多数,按应用准备,先把校验链路搭起来
  • 拿一个最小样例把这条链路跑通,再回头看清单

不适用的情况:需求本身还在飘,两周内可能推翻重来。这时候别急着定形态,拿一个最小样例两条路各跑一遍。跑完你自然知道哪条路更别扭,比坐在那争论快得多。

底座这一层,模型和调用渠道分开挑

混着挑是很多人挑花眼的根源。模型看的是能力和任务匹配度,渠道看的是稳定性、计费和获取难度,这是两件事,得分开过两轮。先按任务类型圈定候选:长文读写、代码、结构化抽取、多轮工具调用,这四类对模型的要求根本不一样。你拿一个擅长代码的模型去做结构化抽取,未必比小模型稳。

候选压到两三个就够了,然后用自己真实的那批输入跑一遍。通用榜单上的名次和你的输入分布经常对不上,尤其是垂直领域和特殊格式的数据。渠道那轮单独走,官方直连、聚合平台、中转站各有适用的项目阶段。中转站便宜方便,但真假和稳定性得先实测,别等上线了才发现调用成功率不稳。

挑什么看哪里注意什么
模型能力站内模型库的规格与适用任务别只看名次,看和你任务类型近不近
调用价格官方 API 价格页当天的数字价格会变,以页面为准,别背数字
渠道可靠性中转站检测页面先小量实测,别一次把量压上去
部署约束算力与原厂部署说明数据不能出内网的话,候选先砍一半

不适用的情况:项目对延迟极度敏感,或者必须数据不出内网。这类项目模型候选要先按部署方式砍一半,再谈能力。顺序反了,你会在一个根本用不了的模型上纠结很久。

框架别一次装全,按缺口补

应用开发先解决三件事:调用封装、上下文拼装、结果校验。这三件事几十行代码能写完,不必为此引入一个大框架。真引入框架的理由通常是团队要协作、要长期维护、或者有现成的组件复用,不是你一个人赶个原型。

agent 开发再多两件:工具注册和循环终止条件。这两件才是真正容易写崩的地方。选框架时优先看它怎么处理超时和重试,工具调用失败之后是直接抛错、自动重试、还是换个工具重来,这几个行为直接决定你的系统稳不稳。

  1. 列缺口把上面五件事逐条对照,标出哪几件自己写要花超过一天
  2. 只装两个从站内 Agent 框架与 SDK 目录里挑两个装,别十个都装,版本冲突能吃掉一整天
  3. 跑通一条工具链用最小样例验证工具注册和失败回退,重点看超时后怎么走
  4. 验收故意让一个工具返回错误,看系统是否按预期回退而不是卡死

常见误判是装上框架以为万事俱备,结果卡在工具描述写得太笼统。模型不知道什么时候该调哪个工具,框架再顺也没用。工具描述要写清触发条件和输入格式,这块没有框架能替你写。

不适用的情况:团队已有成熟的技术栈规范。那就按现有规范来,别为个人偏好换框架,换框架的沟通成本比技术收益大得多。

数据和工具链是最容易被清单忽略的一格

需要检索就把向量库和嵌入模型一起定,这两个是配套挑的。分开挑很容易出现召回结果对不上预期的情况,你以为是库的问题,实际是嵌入模型和你的文本类型不匹配。嵌入模型干的是排序和召回,不是生成,别拿生成模型的标准去评它。

工具链按顺序配:日志、成本核算、效果抽查。这三样在项目第二周就开始有用,不用等到上线。日志先记原始输入输出,方便出事回放;成本核算去站内模型成本计算器估一遍用量,再决定要不要为省钱换更小的模型。

向量库
存和查嵌入向量的地方,选型和嵌入模型一起定
嵌入模型
把文本变成向量的组件,负责召回质量,不负责生成
效果抽查
定期人工看一批输出,判断质量有没有漂
成本核算
按单次请求用量估算,说不清成本说明还没到选型阶段

判断标准很直接:单次请求的成本能不能说清。说不清就说明你还没到能选型的阶段,先把用量和调用路径理明白再说。

算力这件事,先用租的别急着买

开发阶段绝大多数人不需要自建,按量调用或短期租卡都能撑住。你的调用量在早期波动很大,买机器等于提前押注一个还没验证的需求。值得考虑自建或长期租卡的情况就那么几种:调用量稳定到可预测、数据不能出内网、或者有明确的微调需求。

真到要考虑的时候,先去站内算力总览看当天的规格与租金,再看几张卡够用那页按自己的模型规模估一遍。算完如果发现省下的钱还不如自己搭环境花的时间多,那就别折腾。这笔账里时间是有价格的。

不适用的情况:项目还没跑通就研究显卡配置。顺序反了,你会在一个可能根本不存在的瓶颈上投入最多精力。先把请求跑通,等量上来了再回来看这一节。

下一步把候选压到两三个之后,下一步就是实测调用渠道稳不稳。小量跑一批真实请求,记录成功率和异常类型,比看任何评测榜单都直接。

常见问题

清单里的框架我该装几个?

先装一个能跑通的,剩下的等你确实卡在某件事上再补。装三个以上最典型的后果是版本互相冲突,光调依赖就花掉半天。判断标准:你能说清每个框架替你解决了哪件具体的事,说不清的那个先卸掉。

应用开发和 agent 开发能共用一套技术栈吗?

能共用一部分:模型调用封装、日志、成本核算这几层是通用的。分叉点在循环控制和工具管理上,应用型项目通常不需要那套东西。先按通用层搭,等到确实需要多步自主决策再加。

怎么判断我现在该用现成平台还是自己写?

看你的流程能不能塞进平台的固定模具里。能塞进去就用平台,省时间;流程里有自己的业务判断、需要和内部系统来回交互,就自己写那一段。混合着来也正常,不必二选一。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。