InfoQ 2026趋势报告：AI推理支出将占三分之二

InfoQ 的年度人工智能与机器学习趋势报告面向其读者，梳理 AI、ML 与数据工程领域冒出的新技术和新走向。报告内容来自 InfoQ 编辑团队与外部嘉宾的播客对谈，聊的是 2026 年 AI 和 ML 技术会怎么走、未来十二个月该盯住什么。配套播客里，这些趋势都展开了细聊。

技术采用曲线图

曲线图是这份年度报告的重头戏，图上标出了刚进入创新者阶段的趋势、技术和主题，也标出了已经走到早期采用者和早期大众阶段的那些。阶段怎么划分，参照的是 Geoffrey Moore 的《跨越鸿沟》。InfoQ 盯得最紧的，是还没跨过鸿沟的技术。今年的图如下：

ChatGPT 在 2022 年 11 月发布，到现在快四年了。RAG 已经开始被企业用起来，自主 LLM 智能体露面也有两三年。过去几年的爆发式增长在 2026 年没有停，从 InfoQ 团队讨论 2025 年趋势报告（见下方 2025 年曲线图）算起，AI 技术的创新和演进相当明显。

2025 年 AI/ML 技术趋势的更多细节，可以翻去年的趋势报告文章。

今年的报告接着去年的讨论往下走，重心放在解读技术采用曲线图上，说清采用的不同阶段，并把去年报告发布以来新增或更新的技术讲得更细。哪些技术和趋势在采用图里往上挪了，报告里也有讨论。今年的更新版曲线图里，团队还补了一些播客中没聊到的主题。

另外，范围有重叠的主题做了大幅重组，有些技术已经进入主流，不再需要跟踪，就被拿掉了。

去年报告发布以来的部分变动要点如下。

创新者阶段

采用曲线图的第一站是创新者阶段，今年这里多出了几个值得关注的方向，下面逐个说。

智能体间通信协议

智能体式 AI 系统越做越复杂，常常由多个智能体组成、横跨多个业务域，单个智能体之间以及多智能体系统之间的通信，直接关系到这些系统能不能稳定、安全、准确、可靠地跑起来。

趋势报告播客嘉宾 Daniel Dominguez 聊到了智能体通信协议，以及它在整体智能体式 AI 方案里占的分量。

Daniel Dominguez：底层正在发生一场架构变革。智能体要在企业内部发挥作用，就得调用工具、读取数据、访问 API，还要和其他智能体对话。MCP 或 A2A 这类协议会变得越来越不一样。我认为问题是智能体间协议是否会成为新的企业集成层。

比如现在我们把应用接到 API 上，将来可能还会加上智能体发现能力，基于这些 API 做任务协同。我认为这些架构层也在改变智能体彼此交互的方式。

推理引擎（vLLM、SGLang、llm-d）

AI 推理是另一个跑得快、变化大的领域，2026 年被称为推理之年。企业正从训练模型转向在生产环境里跑 AI 推理。按预计，到今年年底推理会吃掉 AI 计算支出的三分之二左右。推理模型、长上下文和智能体凑到一起，推理就不只是模型执行的问题了，算力、内存、网络、路由、成本都得管，是一整套系统工程。

Hien Luu 把这一趋势讲得很细，也谈了他看到的推理框架方面的情况。

Hien Luu：从 2026 年初开始，推理相关的话题热度猛涨。一头是 vLLM、SGLang 这类推理技术栈，让人能在自己的环境里很快把推理服务搭起来；另一头是开放权重模型越做越强。早先这个领域没多少人清楚它们怎么运作、怎么运维，如今关于如何用好、调优这些软件的资料和资源多了不少。另外，我们聊到的一部分应用场景是面向金融企业的，这类场景会牵涉个人身份信息（PII）。

面对这类具体业务，把开源权重模型部署在企业内部就显得很关键。我觉得这个走向还会延续，因为门槛降了很多、实施起来更省事，往后会有更多企业走这条路。有的企业为了压成本，会在内部部署开源权重模型来做编码。不管从哪方面看，推理仍然是个很有用、影响很大的话题，会有越来越多企业开始这么干。

Harness 工程

Harness 工程这个相对较新的领域，今年开始被很多人盯上。Hien 讲了它为什么重要，以及它怎么撑起记忆管理、协同执行这类工程能力。

Hien Luu：智能体这块，我想再补两点。第一是 Harness 工程，在我看来它是上下文工程的延续。有个现象挺有意思，也跟我马上要开的研讨会主题有关：这些智能体 SDK 一开始只是帮我们写任务循环逻辑，后来已经往外扩，能提供 Harness 工程能力了，比如上下文记忆管理、协同执行，还有一些现成的本地文件系统工具。

这是另一个能看到的趋势：LangChain、Anthropic 和 OpenAI 的智能体 SDK，都在往 Harness 工程里加更多能力。做智能体的人，这一点值得留意，也值得用起来。智能体管理方面还有个大趋势，就是这些公司提供托管智能体的运行时环境。你想不想这么做是另一回事，但这确实是行业里观察到的现状。“我们有能力搭建智能体，也能把它做好，但接下来该如何规模化运维、部署运行？”

规范驱动开发和 AI 软件工厂

AI 在软件开发中已经承担了大部分代码的产出，开发者的注意力随之转向需求与规范，并借助自动化完成应用设计与编码。规范驱动开发、AI 软件工厂这类做法由此兴起。企业开始组建专门团队搭建软件工厂模式，让开发团队用 AI 工具把整套软件开发流程自动化。这一模式覆盖 SDLC 的若干特定步骤：自动编译并分析现有软件应用对应的业务与需求，评审新的业务需求或系统增强，为这些新需求编写功能与非功能（技术）规范，生成设计与开发任务来实现新需求，最终自动产出新版本软件的代码与交付产物。

嘉宾 Hien Luu 谈了自己对规范驱动开发的看法。在他看来，这件事大概从四五年前就开始了。编码智能体如今已经相当强大，但做项目时，人们通常还是先明确目标、功能、做好规划，而不是直接把活丢给编码智能体去写代码。这套做法借鉴的是早已为人熟知的最佳实践，只是现在把它编纂成编码智能体能够遵循的形式。比如从零启动一个全新项目，要先写需求规范：这个项目是做什么的？需要具备哪些能力？

接着和编码智能体一起头脑风暴，在它动手编码前把需要的上下文交给它。围绕这一点，人们已经积累了不少好实践，多数人也认同这是好做法。相关讨论反而少了，因为大家已经在实践。AI 工厂则是另一个趋势，可能最近几个月才真正出现，说的是如何把 AI 融入软件开发生命周期的各个步骤。一个典型场景是：有人提了一个缺陷，怎么让 AI 从头到尾处理它——拉取 PR、分析、尝试重现问题、修复、提交 PR，再走完评审、测试等后续流程？每个人手上的事情和任务都太多，这个过程若能自动化，软件开发生命周期的提速会再上一个层面。

物理 AI / 具身 AI

物理 AI 是另一个创新不断涌现的方向，也就是把智能带进现实的物理世界。AI 智能体属于软件系统，人们想把同样的能力搬进硬件，不论是机器人、协作机器人还是自动驾驶汽车。

Daniel Dominguez 介绍了物理 AI 领域的进展和值得关注的地方。他的核心命题是“我们如何将 AI 带入物理世界？”过去几年，业界把智能放进了软件里；现在开始把这种智能接到能感知物理环境、执行物理动作的机器上。机器人、自动驾驶汽车、无人机、工业系统，都已成为这一转变的一部分。物理 AI 和软件智能体的根本区别在于，物理 AI 一旦出错，会产生实实在在的物理后果。

软件智能体生成文件时出错尚可承受，机器人失误则是完全不同级别的错误。可靠性、模拟、安全、验证和评估在物理世界里会越来越重要。与此相关，机器人基础模型也在经历一个重要转变：机器人开始受益于语言、视觉领域已经验证有效的基础模型路线。

数字孪生机器人这类技术将逐步落地，开源机器人领域会迎来新进展，实现从 AI 智能体到物理智能体的跨越。这些进展明年会发展得越来越快——AI 能力已经就绪，接下来必须把它落到物理世界中。

Chip Huyen 也谈到了机器人与视觉语言模型如何协同。她认为，让模型进入现实世界是下一个前沿方向，目前进展不少，挑战同样多重。人们常说机器人就像汽车，就像大模型说的，“我们知道在现实世界中有很多机器人。”Waymo、Zoox 都在路上，现实世界里的机器人已经很多。

机器人模型和 LLM 有一个很大的区别，就是回退带来的难题。在虚拟环境里训练 LLM，犯了错可以回退，重置状态后继续，能做大量探索并挑出最佳状态。机器人却很难照办。举个例子，机器人爬楼梯摔坏了，你没法让它恢复到出事之前的状态，试错探索因此变得非常非常困难。另一个挑战是数据。她研究过不少机器人方案，也关注很多机器人创业团队，Janatics Robotics、Generalist、Physical Intelligence、Sunday、Skild AI 这些公司都很值得期待。

今年创新者类别中新增或修订的趋势还包括这些主题：智能体安全与治理。

• 语音智能体

• 专用决策模型（例如 TypeSafeAI 的 Jev 模型）。

• AI 网关

• GraphRAG；LLMOps / GenAIOps。

• 脑机接口

早期采用者

早期采用者类别中，有两个主题需要重点说明：语言模型的创新和 RAG。

AI 智能体 / 智能体编排

智能体式 AI 和去年一样，仍是本年度的核心热点。2025 年及更早，大家关心的是如何学习、如何构建 AI 智能体；现在企业要弄清楚的是如何运维智能体，如何把它们部署到生产环境，以及如何在生产环境中扩展它们。

Daniel Dominguez 在 2025 年的一期播客里聊过 AI 智能体的最新进展。

Daniel Dominguez 认为，2026 年最大的变化在于 AI 正从跟人打交道的工具，变成能真正干活的执行者。按 Hien 的说法，过去几年多数 AI 应用都建立在简单交互上——你提问，手机给答案。今年开始，能自主规划、调用工具、执行动作并持续工作更长时间的系统出现了。今年的重点不是模型智能再跳一级，而是把已有的智能能力落成真正可用的系统。

有意思的是，智能体跨越几个阶段的速度非常快。先是个体智能体，接着出现了跟团队协作的智能体，眼下企业又在琢磨覆盖整个组织的智能体。最要紧的变化是超越了聊天机器人模型——不再只生成一个答案。智能体可以有目标、能用工具、能跟软件交互、能做决策，还能一直干到任务完成。

这就把 AI 从界面推向更接近执行层的位置。软件开发领域体现得最清楚：从代码补全到智能助手，再到编码智能体。Claude、Codex、Cursor、Replit 这些工具能浏览代码库、改动多个文件、运行命令、执行任务、检查失败，还能自己迭代。现在有意思的问题已经不是“AI 能写代码吗”，这一点早就没有疑问。

在 AI 智能体领域，多智能体系统越来越常见，相比单智能体系统，它能带来额外的好处。

嘉宾 Arthur Casals 介绍了多智能体系统的前沿研究现状、运作原理，以及真实落地场景。

Arthur Casals 说，多智能体系统并非随 LLM 智能体才出现，这个话题在学术界已经存在几十年。LLM 智能体以及 Transformer 之后出现的各种进展，都跟多智能体系统有关联，在他看来，这实际上是在把过去已经有的东西重新做一遍。他本人研究的正是 LLM 之前的多智能体系统，不过这并不妨碍把 LLM 系统当作其中的一个组成部分。近来他把精力放在信念修正上，这个问题牵涉 AI 领域的两个大难题：一个是幻觉，另一个是智能体处理完信息后，其准确性和来源如何保证。这个方向横跨计算机科学与哲学，形式逻辑用得很多，他觉得很值得琢磨。从去年年底到今年年初起，他一直在做基于形式逻辑的配置文件定义，思路类似前面提过的 Jev 概念——有结构化输入、结构化输出，还要约束智能体，让它们按可靠路径把任务做完。

模型与智能体评估

今年质量保证领域也出现了更多发展，包括 AI 评估、护栏和 Harness 框架。2026 年被称为 AI 评估之年。这个领域有不少技术受到关注。测试 Harness 框架可能是今年讨论最多的话题。AI 工具越来越多地被用于编写代码和软件解决方案的其他组件，对正式、严格、一致且可靠的 Harness 框架的需求变得很迫切。那么 AI 的有效性怎么衡量？评估和验证环节该用什么指标，才能形成端到端流程并配上适当的制衡校验机制？

我们请嘉宾分享了他们在智能体式 AI 评估领域观察到的趋势，以下是他们的观点。

Hien Luu 认为，对把 AI 智能体投入生产的公司来说，这是非常重要的主题，尤其是那些为客户提供服务的公司，内部使用智能体的公司反倒没那么突出。举个例子，DoorDash 就构建了一个用于点餐的 AI 助手。还有其他公司正在为外部用户构建客户支持智能体。LLM 不具备确定性，建出来的智能体可能走错路，可能做出错误的工具调用等等。评估机制就是用来保障智能体能够高质量、按要求完成对应任务。

缺少评估机制的话，智能体有没有失控、有没有做出预期之外的动作、有没有违反企业政策，这些都无从判断。企业不光得做这件事，还得把它当成构建 AI 智能体的核心步骤之一。不少企业最后都会搭一套评估 Harness，用来带动整个评估流程：从取数据、跑评估或测试，一直走到最后的质量评估。

Daniel Dominguez 完全认同今年正在成为模型和智能体评估之年的观点。智能体一旦能够执行动作，只评估底层模型就不够了。你必须评估整个系统——模型、工具、上下文、智能体循环、环境。评估指标也随之发生了变化。

评判标准不再局限于答案对不对，还要看智能体有没有把任务完成、花了多少成本、用了多长时间、需要人工介入几次、过程中有没有出现不安全行为。Daniel Dominguez 的看法是，这些评估都才刚起步，后面会看到针对智能体、LLM 以及它们在业务流程中交互路径的各类评估工作流陆续出现。

除了上面这些重点技术趋势，另有一批技术正从创新者阶段迈入早期采用者阶段。下列技术都经历了充分的发展和采用，已经在大量企业业务系统中落地。

AI 技术已经开始被用于 DevOps 和 SRE 领域的生产支持、故障排除、维护和升级操作。

• 智能体编码 / 自主软件工程

• 智能体可观测性

• 推理优化和模型路由

• 小语言模型（SLM）

• 推理模型

• 可解释 AI

• 虚拟现实（例如 VR/AR/MR/XR）

• 认知服务

• 边缘 AI 推理

• 模型上下文协议（MCP）

• 多模态 AI 与 AI DevOps/AI 驱动的 SRE 被列入本阶段观察对象。

早期大众

下面这些技术之所以被归入早期大众阶段，是因为它们已趋于主流，在各类机构的软件开发团队中被广泛采用。

上下文工程

进入 AI 智能体时代，上下文工程仍在持续演进，为 AI 驱动的方案提供支撑。Arthur Casals 就谈到了这一点，并特别指出上下文工程里的一大难题——上下文污染。

Arthur Casals 认为，上下文污染其实是最大的问题，也是当下最值得关注的问题。过去一年，行业普遍朝更大的上下文窗口方向走，可如果系统分不清哪些信息有用、哪些是最新的、哪些只是备选参考、哪些不相关或已过时、带有干扰，问题就解决不了。他结合自己的研究观点表示：总的来说，上下文越多，智能体越慢、越贵、越不可靠。

一个很现实的疑问是：上下文窗口再大，究竟哪些信息能放进去？信息来自哪些数据源、需要什么权限、对应工作流里的哪一步，才能避免严重的上下文污染。这牵涉检索质量、来源管控、业务规则，还有通用上下文模型、上下文压缩等一堆问题。用他的话说，“上下文”这个词背后藏着大量难题。这就是他的看法。

与去年的报告相比，又有更多技术迈入早期大众阶段。

• 生成式 AI/大语言模型（LLM）与检索增强生成（RAG）均在其中。

• 知识图谱

• MLOps

• 向量数据库

• 数据契约

• 数据可观测性同样位列这一阶段。

• 图数据分析

• 合成数据生成与开放表格式（OTF）也出现在早期大众阶段的名录里。

晚期大众

采用曲线图的最后一个阶段是“晚期大众”，这里有一些从早期大众移入的主题。这些技术如今已被团队完全采用，并融入其核心架构、设计模式和开发流程。

• 自动化机器学习与图像识别（计算机视觉）属于这一阶段。

• 数字助手

• 数据网格

• 流处理和分析也归入晚期大众阶段。

• 推荐引擎

• 湖仓一体

• Spark

有些技术用了多年、已经成熟，这期 AI/ML 趋势报告不再把它们放进曲线图里跟踪。

报告的解释是，这些技术早已成为主流，是技术采用中相当重要的一块，继续留在图上盯着看已经没什么必要。

被拿掉的主题里，有 NLP 和深度学习，也有 NoSQL 数据库、内存数据网格，以及大数据（Hadoop）这类成熟技术。

总结

回头看，AI 带来的变化不小。快四年过去，它没变成一闪而过的热点，也没在技术雷达上晃两下就消失。这套东西会长期存在，属于过去二十多年里几波主要技术浪潮中的一波。与其怕它，不如接住它——在办公室的项目里也好，在自己的日常里也好，都可以想想怎么用 AI 工具把重复的活儿自动化掉。

对于明年，团队给出的预测有这么几条：

• 美国本土的机器人企业会冒出更多创新；

• 更便宜、更快的模型会一个接一个出来，TypeSafe 风格的模型尤其值得盯；

• AI 受到的约束也会一点点露出来：能源和算力基建会卡在电力供给、机房容量、散热条件上。到 2027 年，行业里的重磅新闻可能就不在模型本身了，而是能源、芯片、基础设施和地缘因素；

• 每个 AI 智能体都会带上某种形式的 Jev 模型；

• 智能体的开发、运维和规模化落地逐渐成熟之后，智能体之间互相通信交互会变得很常见；

• 不少场景会用上轻量化的专用智能体、混合模型，去处理边界清楚的任务；差异化的重点落在配套系统上；

• AI 会更深入地进入日常生活；行业的边界也会慢慢清楚起来——哪些场景里 AI 的价值特别突出，哪些场景还是离不开人。