企业Agent全栈账单:一个开关忘关,Token费用从1万变3万

资讯 InfoQ 作者:李文朋 全文 5797 字 · 约 15 分钟读完 分类智能体大模型

来自 InfoQ AI&LLM 的资讯,正文需查看原文。

所属频道 模型发布智能体与 Agent

云栖大会企业级 Agent 论坛开场之前,极客邦科技创始人霍太稳接到了一个电话。电话那头是员工,说上个月上线的一款 AI 应用,预估 Token 费用大概一万元,结果结账时花了三万。原因并不复杂:有个开关没关,应用就在后台悄悄烧钱。

把开关关上,眼前的支出是止住了,但问题留在那儿:任务是谁启动的?跑了多长时间?这笔费用算在谁头上?为什么拖到月底才被发现?这些追问指向一个基本要求——系统不能只会干活,还得说清楚它干了什么、该怎么约束它。应用一旦以 Agent 的方式自主行动,这个要求就更紧迫。

传统的问答场景里,下一轮对话由用户说了算。Agent 不是这样:任务接到手以后,它可能连着检索、调用工具、根据结果改计划,甚至重新发起尝试。一次委托到底产生多少调用、占掉多少资源,很多时候得跑起来才知道。

企业于是面对双重不确定:结果不确定,成本也不确定。更准的模型能少犯错,但替不了权限校验、预算约束和故障恢复。Token 单价降了,也不代表完成一项任务的总成本一定跟着降。更好的模型也许能减少重试,让某些补丁变得没必要。可企业一旦据此把更长、更复杂、权限更高的任务交给 Agent,原本由人做的检查、协调和兜底,就得沉淀到系统里去。

全栈协同的需求就是这么来的。算力、模型、数据、执行平台和治理机制,得围着同一项业务任务转——身份能传递,状态能恢复,费用能归属,异常能发现。

一、走向生产后,Agent 效果公式不断变长

Agent 市场的扩张预期,和企业落地的困难,眼下正一起冒出来。IDC 预测,到 2029 年全球部署的 AI 智能体将超过 10 亿个,约为 2025 年的 40 倍。Gartner 则预测,到 2027 年底,超四成 Agentic AI 项目会因成本攀升、价值不清或风险失控而被取消。

这两组数字说的不是同一件事:部署数量可以飞快膨胀,单个项目还是可能撑不下去。企业真正在意的,是演示里能完成任务的 Agent,能不能在真实业务里反复交出合格结果。技术讨论常拿“模型 + Harness”来概括 Agent。Harness 是围绕模型的执行与控制框架,管的是组织上下文、调度工具、记录状态、处理异常。模型负责理解和推理,Harness 把它们接进实际任务。

“模型决定智能上限,Harness 保障端到端交付。”基元律动联合创始人韩凯说。但放到企业环境里,光有这两样远远不够。满帮集团 AI 算法总监高艺铭把业务目标、上下文、Harness、运行环境和持续维护都算进了交付条件——先定清楚什么算完成,再配数据、工具和资源,上线之后还得持续检验效果。

这些条件要到真实交易里去验证。满帮的 Agent 涉及加价、成交和电话沟通。理解货主需求之后,系统还得查货源车辆、核实价格权限、写进交易系统,条件一变就要决定是继续、撤回还是转人工。哪一环理解错了,都可能传到后面的操作上。“错误一次,可能几百次正确都难以挽回。”高艺铭说。

易方达基金首席信息官刘硕凌博士强调,选型不能光看上限,更要看下限。他提到金融系统对“四个 9”可用性的要求。高可用和结果准确属于不同维度,却都指向同一个现实:系统得一直能用,也得把错误造成的损失压住。

所以企业对 Agent 的评估,要超出演示的成功率:失败能不能及时发现?高风险操作能不能拦住?中断以后能不能恢复?有争议时能不能查清发生了什么?这些问题,单靠模型能力答不了。

二、数据未必是护城河,关键问题在各层之间

满帮连的是货主和司机。一趟运费能到数千甚至上万元,找货、找车、议价、履约都得来回沟通。Agent 进到这些流程里,必须同时听懂人的意图和交易的当前状态。高艺铭介绍的几类问题,正好说明这种要求怎么超出了模型本身的能力。

头一个是上下文。物流对话很少按预设顺序走。用户可能中途补条件、改要求,也可能一句话里同时询价、议价还要执行。团队试过把任务拆成单一意图来提确定性,结果反倒限制了模型对完整任务的理解。

"真实场景里几乎不存在纯粹的单意图。"高艺铭说。

任务还是得拆,但拆开之后的每一步,得共用同一份业务状态——哪些条件已经确认过了,哪些要求刚刚发生变化,哪些操作已经执行完毕。不然的话,每一步单看都说得通,拼到一起却做了用户压根没提过的事。上下文工程要解决的,就是让模型在每一步都能拿到跟当前相关的、有效的信息。

信息背后的业务含义也不能忽视。高艺铭拿"标箱车"举例:在满帮的语境下,这指的是拉标准集装箱的平板车,可通用模型很可能把它当成厢式货车。文字模型认得,不代表行业术语它用得准。

那把这些内部文档全丢进知识库行不行?也不行。团队发现,有些文档记的是怎么用心理学技巧去议价的经验。员工在特定场合用过的手段,能不能让 Agent 自动去执行,这是要重新判断的。

知识进系统之前,企业得把业务定义、操作规则、个人经验分开,来源、适用条件、有效期、权限都得标注清楚。检索管的是找到内容,规则和权限管的是这些内容在当前任务里能不能用。数据走完这套处理,才谈得上稳定支撑行动。

执行规模又会带来另一种压力——Agent 系统说到底是个高并发系统。满帮第一次把 Agent 扩到 2000 个的时候,那套原本服务数百万用户的系统居然出了故障。

这两个数字没法直接比。人会停下来等、会读、会想;Agent 却可能一直在查状态、调接口、发起重试。系统真正扛多少负载,取决于并发量、调用频率和重试方式。要是还按面向真人的容量假设来估,很可能会低估压力。

所以运行平台得存任务状态,等待时挂起、收到事件再恢复,队列、限流和重试上限也要设好。应用层减少无效调用,数据库和中间件去接新增的负载,基础设施按需配资源。光堆模型算力,堵在业务接口上的问题消不掉。

满帮后来搞出了"一朵云、两套生产系统、一层桥接"的架构。传统系统管交易规则和确定流程;Agent 系统负责长时任务和多 Agent 编排;桥接层做鉴权、风控、语义转换和沙箱隔离。

举个例子:传统系统返回"219 错误",Agent 就不知道该怎么往下走了。桥接层把它转成"车长字段缺失,需要补充"。这么一转,模型能看懂问题出在哪,原来的业务校验也没丢。

模型可以提操作,执行服务照样得核对身份、参数和业务条件。"Agent 处理不确定性,工程保证确定性"这句话,在这里有了具体的落点:能明确校验的交给机制,没法可靠处理的交回给人。

维护也变成了架构的一部分。满帮每天收到数千个失败案例,团队不停地调框架、加工具、补技能,可第一代 Agent 的评测成绩却慢慢不动了。为单个问题新加的规则,可能跟已有的规则打架;为旧模型设计的补偿机制,升级之后可能就不管用了。

修好一个案例,还得回到原来的任务集上重新跑一遍,确认没伤到别的任务。维护不光是修新问题,也是把旧设计简化掉,持续做熵减。

这些问题在同一条任务链上是缠在一起的。车辆知识错了,就引出无效查询,无效查询又触发重试,最后表现出来就是延时变长、成本上升。各层只顾盯自己的局部指标,企业就很难把整个过程还原出来。

三、阿里云争取的,正是系统协同的位置

当问题横跨模型、数据和业务系统时,企业就得做取舍:哪些能力自己建,哪些交给平台,衔接之后的结果由谁来负责?

这就给阿里云打开了新的市场空间——它提供的不只是模型和算力,还有企业把 Agent 接进生产环境所需要的运行和治理能力。

2025年2月,阿里巴巴对外公布了一项计划:未来三年,云和AI基础设施上的投入不会低于3800亿元。到了2026年云栖大会,目标又被抬高一档——2032年之前,全球数据中心规模要做到20GW以上。芯片、云、模型、模型服务、智能体应用,这些环节被统一收进全栈布局之中。

投入标明了战略方向。企业能不能从中受益,还取决于基础设施与具体业务之间的连接:模型能不能在授权范围内访问数据,工具能不能可靠执行,运行记录能不能用来排查和改进。

千问大模型、千问AI平台,跟阿里云的计算、存储、网络、数据库等底层设施长在同一套体系里,彼此打通,产品层面的底座就这样搭了起来。Agent运行时靠沙箱隔离和弹性扩缩容,让工具调用能稳定跑起来;编排控制层由Router、Planner、上下文管理、身份权限与计量计费组成,模型只能在被授权的范围内取用数据;千问AI平台则把生产、评测、发布连成一条可以回溯的链路,运行记录留下来,日后排查问题、做改进都有据可依。AI应用安全、AI数据安全、AI合规治理这三条线,从头到尾贯穿其间。产品铺得够宽了,但客户在集成、运维、迭代中到底能不能拿到实惠,还得看真实业务里的表现。

阿里云智能集团资深副总裁、公共云事业部总裁刘伟光在云栖大会论坛上表示,一个能打的Agent,要靠模型、合作伙伴和数据一起往前跑,"不是把产品卖给客户就结束了"。模型会迭代,业务规则会调整,真实使用中问题会一个接一个冒出来,所以交付这件事,得一直管到上线之后。

软件开发行业已经能感受到这种变化。AI Coding确实能让代码生成更快,可真要投产,代码库、测试、持续集成与交付、安全审查、上线后的运维,哪一环都少不了。代码产出量涨上去了,验证能力就得同步跟上。

小红书质效 &AI 应用总架构师飞鸿把问题问得直接:"大家确实变快了,但变快的是价值,还是生产垃圾的速度?"

他提到,现在团队里手写代码已经很少了,下一步的重点是搭起验证机制,把架构、编码过程、最终产物都检查一遍。生成和验证两头一起使劲,交付效率才起得来——错误代码要是源源不断流进后面的环节,前端省下来的时间,最后都得在后端返工里还回去。

一旦 Agent 走进办公系统,要对接的就不只是软件,还有组织架构和权限体系。论坛上提到,阿里云内部给公共云事业部总裁做过一个叫 Patrick 的"领导力分身":整理经营看板、出早报、查数据波动,把活儿派给执行人,一周后再把结果收回来。

Patrick 有自己的工号,能被拉进钉钉群,同事可以 @ 它,它也能在权限范围内参与协作。两三个月下来,阿里云公共云事业部已经有 60 个带工号的 Agent。工号解决的是"组织认不认它",真正划出行动边界的其实是授权——它替谁干活,能读什么数据、调什么工具,出了岔子谁来接手。

论坛披露的设计里,Patrick 每调一次 MCP 工具都得过鉴权,身份信息一路贯穿整条交互链路;用的是当前对话人的身份,不是公共账号。

等 Agent 开始独立扛任务,人的职责也跟着挪了位置:精力更多放在授权、监督、验收和处理例外上。业务越靠近交易、医疗、金融这些核心地带,这些职责就越得写进系统规则里。

满帮的交易桥接、小红书的研发验证,加上 Patrick 的身份管理,几个案例指向的要求差不多:模型给出的计划,必须走业务系统能看懂、能执行的接口;业务系统回传的状态,又得成为 Agent 下一步动作的依据。

这既是阿里云全栈布局的商业机会,也是一把检验的尺子:能不能少让企业自己去连各层系统,身份、任务、数据和费用之间的对应关系能不能一直有效。

手里有一份产品目录,这只是开头。

四、算清每项任务的成本,才谈得上持续运行

系统打通之后,企业还得回答开头那通电话留下的疑问:钱花到哪儿去了,换回来什么,下次超支能不能提前拦住?

阿里云智能集团资深技术专家孙廷韬把 Agent 观测分成三层:并发、吞吐、延时和 Token 这类运行指标;任务从开始到结束的执行轨迹;技术指标和业务结果之间的关联。

三层各管各的问题。运行指标提示哪里出了异常,轨迹帮忙定位到具体哪次调用,业务结果则说明这些调用有没有干成有价值的事。串起来看,企业才分得清一次合理的高成本任务,和一段没有产出的反复重试。

所以记录里要留下模型版本、输入输出、工具调用、重试和异常,再按权限处理其中的数据。轨迹能帮人重建系统做过什么,可模型自己生成的解释不能单独证明判断对,结果还是得过规则、测试或业务人员这一关。成本同样要按任务归属。小红书就是把 AI 费用摊到业务经营单元,让使用部门看清消耗了多少 Token、完成了什么工作,再决定要不要接着投。算回报的时候,工具服务、基础设施、人工复核和失败重做的钱都得计进去。企业真正该比的,是每完成一项合格任务的总成本。

观测之外,执行中还得有约束。企业可以按用户、任务和时间周期设预算,限制执行时长、调用次数和重试次数——快碰到阈值就告警,到了阈值就暂停或者转交。前提是身份系统、任务调度和计费记录认的是同一项任务,这些限制才落得了地。

上下文治理和模型路由,则能砍掉不必要的消耗。前者清掉当前步骤已经用不上的信息,同时留好重新读原始记录的口子;后者按任务要求挑模型,再给处理不了的情况留一条升级路径。

小红书质效 &AI 应用总架构师飞鸿分享说,通过裁掉低价值调用记录、保留恢复指针,团队在部分峰值场景里把上下文成本压低了约 20%;模型路由在他讲到的场景中带来过约 69% 的成本下降,团队也没看出体验有明显下滑。

众阳健康科技集团产品研发中心总经理郭龙领强调:医疗应用不能拿诊疗质量去换 Token 消耗的降低。成本优化得在保住业务质量的前提下做,系统调整完还要持续盯着诊断准确率这些核心业务指标。

还有一笔钱容易被漏掉,那就是系统升级的成本。

高艺铭管这种变化叫"水涨船高":底层模型和框架可能几个月就迭代一轮,企业架构必须允许 Harness 和模型被快速换掉。满帮换过一次基座模型——适配得好的 Agent,成本掉到原来的四分之一;那些补丁堆满、跟旧模型绑得太深的 Agent,成本没降,准确率反倒更差。

孙廷韬由此提出,要把记忆、Skills、Tool Proxy 和 LLM Router 这些能力服务化,让 Agent Core 能热切换。哪怕行业里冒出什么新框架,也要争取一周内换完上线。

也就是说,成本管理不该是一次性的调优,而该是一种能持续吃到技术进步红利的架构能力。

"传统 App 功能上线,可能已经完成 80%;Agent 上线,就像种下一颗种子。"高艺铭说。往后它还得不断接收反馈、修正行为、清理技术债、更新知识。

刘硕凌博士把话说得更直白:"过去很多工作在上线之前就做完了,如今越来越觉得,上线才意味着工作真正开始。"

再说回霍太稳接到的那个电话。把开关关了,眼下的支出是止住了,可要想不再出现下一次超支,得靠好几个环节一起发力:预算要跟任务挂钩,任务要跟身份对应,执行过程要留下记录,出了异常得能触发处置。

模型能力越强,企业就越有底气把更多活儿交给 Agent 去干。委托的范围一扩大,相应的责任也得落进系统里。模型跑完一次推理,随之而来的操作、花出去的成本以及业务上的结果,说到底总得有人来扛。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 海光信息谈Agent时代算力:Token产出效率成新标尺

    【环球网科技综合报道】随着人工智能从单一的对话问答走向具备自主规划与执行能力的 Agent(智能体)时代,AI 应用对底层算力的需求正在发生根本性转变。在近日举行的 2026 中国计算机大会上,海光信息智算量化设计专家孙建鹏发表了题为《依托系统层级推进 Token 高效吞吐》的主题演讲,分析了 Agent 时代下大模型

    来源 腾讯网
  2. GPT-6.1 Terra发布:API价格降50%,能力逼近GPT-6 Astra

    OpenAI 又卷起了大模型的性价比。 就在刚刚,OpenAI 正式发布新一代模型 GPT-6.1 Terra,主打更快的响应速度、更强的视觉理解和电脑操作能力,以及更低的使用成本。 图|博客🔗 https://openai.com/index/introducing-gpt-6-1-terra/ 相比上一代 GPT-

    来源 AI 开发者社区
  3. openJiuwen开源:生产级AI Agent平台怎么用

    openJiuwen不是大模型,而是一个基于Apache2.0协议的国产开源AI Agent编排平台。由华为实验室等联合开源,它主打生产环境下的多智能体蜂群协作、状态持久化和断点续跑。本文解析其核心模块、与LangChain的区别,并提供接入Ollama本地模型及自定义工具调用的Python代码示例,帮助开发者快速上手

    来源 AI 应用前沿
  4. Kimi K3.1 Pro冲上全球智能指数第4,Agent测试紧追Opus 5.5

    昨晚的X,被刚刚发布的Kimi K3.1 Pro正式刷屏了! 外国开发者们惊呼:欢迎来到3D Web 开发的新时代。 之前,AI榜单前十几乎被美国公司包圆了。相对而言,国模这边有点沉寂。 有人感慨:国产大模型最近发的都是主打性价比的「Flash」模型,真能打的「Pro」去哪了? 很多人在问:国模是不是掉队了? 今天,K

    来源 AI 行业观察
  5. 蚂蚁灵光2.0对标Meta Muse:国内Personal Agent首棒落地

    双11来了,对购物老手来说,下单前往往还有一长串准备工作。 先列清单,跨平台比价,计算优惠券和满减,再定好付尾款的闹钟。好不容易买完,过两天发现价格又降了,还得查保价规则、找订单、申请退差价。 足够丰富的商品和发达的互联网服务便利了人们的生活,也让人陷入到眼花缭乱的筛选和执行中。这在AI时代有什么解法吗? 今年9月,M

    来源 AI 行业观察
  6. 盛景嘉成王晓辉:AI基础设施刚起步,不必纠结Agent元年

    本期创业邦《Signals》对话盛景嘉成管理合伙人王晓辉,她表示经济发展遵循周期规律。2G到5G 基建迭代,催生一代代互联网巨头。如今 AI 时代,算力、大模型等基础设施才刚起步,不必纠结 AI Agent 元年,抓准天时地利人和才是关键。

    来源 创业邦
  7. 黄仁勋谈Token工厂:智能体上岗,传统软件工具反迎更大用量

    柏林GTC大会上,英伟达创始人黄仁勋的演讲再次为全球AI产业按下加速键。在这场重磅分享中,他抛出核心判断:AI已经跨过单纯对话的大模型阶段,AI智能体(Agent)时代正式全面爆发,单一个大模型只是“大脑”,真正创造生产力、进场干活的是智能体。他强调,智能体依靠模型、知识数据、编排调度、安全沙箱、工具调用五大要素...

    来源 腾讯网
  8. ColGrep-Agent-2B:本地20亿参数模型替Claude Code搜代码,省Token

    LightOn AI 开源了一个 20 亿参数的本地代码搜索智能体 ColGrep-Agent-2B。把它插到 Claude Code 前面当「搜索外包」,在 52 个跨仓库代码定位问题上,API Token 消耗降低了 34%,缓存感知成本下降 40%,而准确率没有明显变化。文章介绍了安装使用方法、与更大模型的对比、

    来源 AI 应用前沿
  9. 36氪研究院:2026年AI Agent从概念验证转入生产力验证

    2026年,随着基础模型能力持续成熟、推理成本下降,AI的价值重心正在从“简单对话”转向“决策执行”。AI Agent以大模型为决策大脑,集成环境感知、长期记忆、规划推理与工具调用能力,能够在较少人工干预下自主理解目标、拆解任务、调用工具并交付结果,当前AI Agent市场已从概念验证迈向生产力验证。 近期,36氪研究

    来源 腾讯网
  10. 腾讯元宝将推独立App“元宝助手”,卡位Personal Agent

    IT之家 10 月 12 日消息,据《读佳》从知情人士处获知,腾讯元宝正在开发一款 Personal Agent 产品“元宝助手”,并计划推出独立 App,给予它独立于元宝主 App 的运行空间与权限,用来承载长周期任务、个人长期记忆等 Agent 核心能力。目前腾讯内部还有包括社交在内的多个业务部门在研发 Perso

    来源 AI 行业观察
  11. Axiom Math用数十个AI Agent,24天形式化有限单群分类定理

    10 月 26 日,AI 数学公司 Axiom Math 宣布,由人类数学家和工程师组织的数十个 AI Agent,在 24 天内完成了这一巨型定理的 Lean 形式化,生成约 4310 万行代码、205 万个形式化声明,给出了第一份覆盖整个分类定理的计算机检查证明。

    来源 凤凰科技
  12. Agent落地卡在哪:上下文成新基线,83.7%项目困在浅水区

    “31个人干2天的活,现在1个人2小时就能搞定。” 这是某头部电信运营商子公司引入AI Agent后,一项财务工作的效率变化。过去,31个省的财务人员每月要花两天,核对打款、订单和开票需求三张表;如今,通过Agent平台,企业将匹配规则沉淀为Skill,一名员工只需两小时,就能完成数万张发票的数据整理。 但在该公司副总

    来源 AI 行业观察
  13. 阿里云Token Plan个人版升级:新增12类Agent Harness工具 价格不变

    Token Plan个人版主要面向个人开发者和中小团队。除月度权益外,Token Plan也新增对视频生成、Managed Agent托管智能体、RAG知识库、Memory记忆库与Sandbox安全沙箱五项服务的支持,采取后付费调用方式。Token Plan希望降低开发者完成完整任务的门槛,让个人开发者也能以较低成本搭

    来源 TechWeb
  14. Anthropic招股书:安全顾虑致旗舰模型停训超一月,4个智能体突破沙箱

    IT之家 10 月 27 日消息,Anthropic 在当地时间周一公布的 IPO 招股文件中披露,出于安全方面的顾虑,该公司曾暂停下一代旗舰 AI 模型的训练长达一个多月;另外还有四个 AI 智能体在测试期间突破限制,接入了真实的外部计算机系统。 IT之家注意到,这家 Claude 开发企业在文件的风险提示章节中表示

    来源 AI 行业观察
  15. 开源「红绿灯」提示语,解决Agent刹不住车浪费token额度的老毛病

    我给Agent每次对话结尾加了三个emoji,把额度省下来了,也终于可以不需要被模型暗示把任务无限往下跑了。现在是凌晨两点,我盯着屏幕上的Claude Code和Codex窗口发呆。本来我是想做一个逆向做一个vibe coding小工具合集,本来是不缺额度的,但是每次对话都刹不住车。我发现自己已经坐了三个小时。最开始的

    来源 腾讯网
向下滚动自动加载更多