Spring AI落地Java企业应用:不换语言也能接大模型

资讯 AI 应用前沿 全文 7170 字 · 约 18 分钟读完 分类大模型

本文不讲虚的,直接拆解 Spring AI 的核心架构与代码实现。从 ChatClient 统一调用、RAG 知识库搭建,到函数调用和 Docker 部署,展示 Java 生态下集成大模型的具体路径。适合希望在不引入 Python 技术栈的前提下,为现有 Spring Boot 项目增加 AI 能力的后端工程师参考。

所属频道 模型发布

为什么Java开发者需要Spring AI

过去两年,大语言模型(LLM)持续升温,不少后端团队因此感到压力。Python看上去成了AI的专属语言,Java开发者则常被放到“只管调API”或者“等Python团队把服务封装好”的位置上。

情况正在起变化。Spring AI要做的并不是抢Python在数据科学领域的地盘,它瞄准的是一个很具体的工程问题:在现有的Java/Spring生态里,如何安全、规范地把大模型能力接进来。

对多数企业应用而言,AI只是业务逻辑中的一块。可能是一个智能客服入口,也可能是一个基于内部文档的问答助手。为这些功能单独养一套Python微服务,代价是额外的运维成本、跨语言通信的延迟,以及团队技能栈被拆散。Spring AI的核心价值就是“就地解决”——依赖注入、配置管理、安全机制,Java开发者用熟悉的那一套就能处理AI交互。

这篇文章不谈宏大的行业趋势,直接看代码和架构,看Spring AI究竟怎样把复杂的LLM交互收拢成几个Bean。

核心设计:抽象是为了不被厂商绑定

Spring AI的设计哲学很明确:抽象即自由。这和当年Spring JDBC或JPA的思路一脉相承。

如果直接调用OpenAI的HTTP API,代码里会塞满Authorization: Bearer sk-...这类头信息,以及OpenAI特有的请求体结构。哪天老板说“我们要换成阿里云通义千问以降低成本”,大量代码就得重写。

Spring AI用两层核心抽象把这个问题解决掉:

  1. Model层(ChatModel/EmbeddingModel):最底层的接口,负责与具体的LLM提供商通信,各家厂商API的差异在这里被屏蔽。
  2. Client层(ChatClient):更高一级的抽象,类似RestTemplate或WebClient。链式调用、提示词模板管理、消息历史记忆等功能都由它提供。

分层架构解析

Spring AI的应用结构可以分成四层:

  • 应用层:你的Controller或Service,处理业务逻辑,比如“用户提问”、“生成报表”。
  • 增强层:PromptTemplate(提示词模板)、Function Calling(函数调用)、Structured Output(结构化输出)和RAG流程都在这一层。让LLM变得“有用”的关键组件就是这些。
  • 抽象层:ChatClient 和 ChatModel。用哪个模型在这里决定,具体的HTTP请求细节则不必关心。
  • 基础设施层:VectorStore(向量数据库)、DocumentReader(文档解析器)。RAG应用靠它们打底。

这样分层的好处是,底层模型提供商随时可以换(比如从OpenAI切到Ollama本地模型),上层业务逻辑几乎不用动。只需修改application.yml中的配置,Spring AI会自动加载对应的Starter。

快速上手:从依赖配置开始

建一个Spring AI项目,最省事的办法是用Spring Initializr。需要添加spring-ai-starter以及具体模型的starter,比如spring-ai-openai-spring-boot-starter 或 spring-ai-ollama-spring-boot-starter。

在Maven里,版本管理建议走BOM,避免依赖冲突:

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-bom</artifactId>
            <version>1.0.0-M3</version> <!-- 请检查最新稳定版 -->
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

配置文件 application.yml用法很直接。拿本地 Ollama 来说:

spring:
  ai:
    ollama:
      base-url: http://localhost:11434
      chat:
        model: llama3.2
        options:
          temperature: 0.7

换成 OpenAI 的话,把这段替换成openai节点,再填上 API Key 就行。敏感信息可以通过环境变量注入,Spring AI 支持这种做法,生产环境里这一步跑不掉。

核心功能实战

1. 基础对话:ChatClient vs ChatModel

简单的问答场景,最推荐用它的 API 很顺,消息列表的管理交给它自动完成。ChatClient

@RestController
public class SimpleChatController {
    private final ChatClient chatClient;
    public SimpleChatController(ChatClient.Builder chatClientBuilder) {
        this.chatClient = chatClientBuilder.build();
    }
    @GetMapping("/chat")
    public String chat(@RequestParam String message) {
        return chatClient.prompt()
                .user(message)
                .call()
                .content();
    }
}

乍看之下,这段代码跟普通的服务调用没差别。实际上它在背后会把自动拼好,发给配置好的模型,再把返回的内容取出来。ChatClientmessage 封装为 UserMessage

想要更细的控制,比如设系统提示词(System Message)、调温度参数,那就用底层的ChatModel:

Prompt prompt = new Prompt(
    List.of(
        new SystemMessage("你是一个严谨的技术专家,回答要简洁。"),
        new UserMessage(message)
    )
);
ChatResponse response = chatModel.call(prompt);

2. 流式响应(SSE)

聊天界面里,没人愿意盯着屏幕干等几秒,等整句生成完才见字。这个问题的标准解法就是 Server-Sent Events (SSE)。

Spring AI 对 Reactor 的支持,让流式响应的实现变得很简单:

@GetMapping(value = "/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public Flux<String> streamChat(@RequestParam String message) {
    return chatClient.prompt()
            .user(message)
            .stream()
            .content();
}

前端订阅这个 SSE 端点,就能实时收到生成的文本片段。要留意,这里返回的是Spring WebFlux 会把它转成 SSE 格式。Flux<String>

3. 结构化输出:告别 JSON 解析噩梦

LLM 一般吐的是纯文本,可业务系统要的往往是结构化数据,比如 JSON 对象。过去开发者得写一堆复杂的正则或提示词,逼着模型输出 JSON,解析失败的情况还得另外兜着。

Spring AI 带来了BeanOutputConverter只要模型本身支持结构化输出,比如 GPT-4o 或者版本较新的 Ollama 模型,也可以走这条路。

做法是先写一个 POJO:

public class WeatherInfo {
    private String city;
    private double temperature;
    private String condition;
    // getters and setters
}

调用的时候再把输出类型指定好:

WeatherInfo info = chatClient.prompt()
    .user("查询北京今天的天气")
    .call()
    .entity(WeatherInfo.class);

剩下的交给 Spring AI:提示词怎么拼(相当于告诉模型“请返回符合以下 JSON Schema 的数据”)、结果怎么反序列化,它都在后台完成。代码的健壮性因此提升不少。

4. 函数调用(Function Calling)

LLM 从“聊天机器人”走向“Agent”,函数调用是绕不开的一环。有了它,模型能自己判断什么时候该去调外部工具,比如查数据库、请求天气 API。

在 Spring AI 里,先定义一个方法,加上@Tool注解就行:

@Service
public class WeatherService {
    @Tool(description = "获取指定城市的当前天气状况")
    public String getWeather(String city) {
        // 模拟调用外部 API
        return "{\"temperature\": 22, \"condition\": \"Sunny\"}";
    }
}

当你在 ChatClient这个 Tool 注册进去之后,用户问“北京今天天气怎么样?”这类问题,模型会自动认出该调getWeather函数,再把返回结果揉进最终回答。对开发者来说,这整套流程基本是透明的。

5. RAG:检索增强生成

幻觉和知识滞后是 LLM 的两个老毛病,RAG 就是对付它们的标准方案。Spring AI 把整条 RAG 流水线都备齐了:

  1. Document Reader:负责读 PDF、Word、Markdown 等文件。
  2. Text Splitter:把长文档切成小块(Chunks)。
  3. Embedding Model:把文本块转成向量。
  4. Vector Store:存向量,Milvus、Redis、Pinecone 等都能用。
  5. Retrieval:按用户提问去检索相关的文档块。
  6. Generation:检索到的内容作为上下文,和问题一起送给 LLM。

代码示例:

@Service
public class RagService {
    private final VectorStore vectorStore;
    private final ChatClient chatClient;
    // 注入依赖...
    public void ingestDocuments(Path filePath) {
        // 1. 读取和分割
        Document document = new Document(Files.readString(filePath));
        List<Document> chunks = new TokenTextSplitter().split(List.of(document));
        // 2. 嵌入并存储
        vectorStore.add(chunks);
    }
    public String askQuestion(String question) {
        // 1. 检索相关文档
        List<Document> relevantDocs = vectorStore.similaritySearch(question);
        String context = relevantDocs.stream()
            .map(Document::getContent)
            .collect(Collectors.joining("\n"));
        // 2. 构建提示词
        String promptText = "基于以下上下文回答问题:\n{context}\n问题:{question}";
        return chatClient.prompt()
            .system(promptText)
            .user(u -> u.param("context", context).param("question", question))
            .call()
            .content();
    }
}

上面这段代码就是 RAG 的核心逻辑。至于向量库的切换,Spring AI 的VectorStore接口把不同向量数据库的操作统一了起来,换底层存储不再费劲。

部署与运维:Docker 化实践

落到企业环境,大家一般都想少依赖点外部 SaaS 服务,实在不行也至少留个本地 fallback。Ollama 就是眼下常用的本地 LLM 运行工具。

用 Docker Compose 可以把 Ollama 和 Spring Boot 应用一起拉起来:

version: '3.8'
services:
  ollama:
    image: ollama/ollama
    ports:
      - "11434:11434"
    volumes:
      - ollama-data:/root/.ollama
  app:
    build: .
    ports:
      - "8080:8080"
    environment:
      - SPRING_AI_OLLAMA_BASE_URL=http://ollama:11434
    depends_on:
      - ollama
volumes:
  ollama-data:

在 Dockerfile应用这边,按标准 Java 镜像打包即可。这样部署出来的 AI 应用能在内网独立跑,数据隐私和安全合规的要求也就照顾到了。

可观测性:盯住 AI 服务的运行状态

跟传统 CRUD 比,AI 服务的不确定性高出不少。下面这几件事得心里有数:

  • 每调一次用掉多少 Token?
  • 响应要等多久?
  • 出错的请求是不是很多?

Spring AI 已经自带 Micrometer 集成。只要把spring-boot-starter-actuator 和 micrometer-registry-prometheus引进来,就能通过/actuator/prometheus这个端点把指标暴露出来。

主要看这几个指标:

  • spring.ai.chat.client.call.duration调用花了多长时间。
  • spring.ai.chat.client.tokens.usageToken 消耗了多少。

再配上 Grafana,就能搭一个实时监控面板,随时看 AI 服务健不健康、成本烧了多少。想把 LLM 的使用成本管住,这一步很关键。

最佳实践与避坑指南

  1. 版本选择:Spring AI 眼下迭代挺快。上生产最好等 GA 版本,或者把 M 版本的兼容性测扎实了再用。依赖管理一定要走 BOM。
  2. 超时设置LLM 的响应时间起伏很大。所以RestTemplate 或 WebClient这一层要设好合理的超时,别让线程卡死。
  3. 缓存策略:同一个问题,LLM 给出的答案通常差不多。把常见问答对放进 Redis 缓存,Token 成本和延迟都能明显降下来。
  4. 安全过滤:用户输入不能直接信。发给 LLM 之前,先做基本的敏感词过滤或者长度限制。LLM 的输出同样要校验,防住注入攻击和不当内容。
  5. 本地测试:开发阶段最好用 Ollama 或 LocalAI 在本地跑。API 费用能省一大笔,调试起来也顺手。

结语

Spring AI 并没有造出什么新的 AI 算法,它干的是工程化的活。原来那些零散、各说各话的 LLM 接口,被它收拢进了 Java 开发者最熟的 Spring 编程模型里。

对 Java 团队而言,这意味着不用专门招 Python AI 工程师,也不用把现有的微服务架构推倒重来,就能动手做智能应用。从简单的聊天机器人到复杂的 RAG 知识库,Spring AI 给了一条清楚、好维护的路。

当然,AI 应用开发照样有不少难题,尤其是提示词工程和效果评估。但至少在代码这一层,Spring AI 能让你把心思放在业务逻辑上,而不是底层 API 那些琐碎细节。框架的意义也就在这里。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 李彦宏APEC中英文两场对话:AI价值最终在应用层

    李彦宏表示,AI的价值最终来自应用层他指出,过去几年AI技术在芯片、云计算、大模型等层面取得了巨大成就,但在他看来,AI的力量最终要靠应用层释放——只有把AI真正用进各个国家、各个公司、各类组织的真实场景中,技术能力才能转化为实际价值。

    来源 TechWeb
  2. 李彦宏APEC谈AI:价值在应用层,最紧迫是找到合适场景

    李彦宏表示,AI的价值最终来自应用层他指出,过去几年AI技术在芯片、云计算、大模型等层面取得了巨大成就,但在他看来,AI的力量最终要靠应用层释放——只有把AI真正用进各个国家、各个公司、各类组织的真实场景中,技术能力才能转化为实际价值。

    来源 TechWeb
  3. AI自己造的harness靠谱吗?中科院计算所团队推出Doc2Harness评测

    你可能听说过GPT、Claude这些大模型能自己写代码、改bug、完成复杂的软件工程任务。但很少有人意识到,这些模型能做到多好,其实有一大半功劳不在模型本身,而在一个叫"harness"的东西上。harness:可以理解为AI智能体的工作外壳,它负责管理对话轮次、调用各种工具(读文件、写文件、执行命令)、处理权限、保存

    来源 腾讯网
  4. M5 Max MacBook Pro实测:本地AI能干哪10类活

    作者:邓震东作者 | Don来源 | 至顶AI实验室本地 AI的视频和文章,很多都在聊模型、TPS、显存、模型参数。但普通用户可能并不知道,买了一台能够运行大模型的机器,具体能用它做什么?至顶 AI 实验室在录制本地 AI 视频的时候,通常是结合真实场景进行测试。上次,我就用一台华硕 QN10 迷你主机搭建了一套 AI

    来源 腾讯网
  5. AI漫剧报价跌到每分钟40元:一天交付一部剧

    行业变天,AI漫剧制作价格骤降至原来的五分之一 “AI漫剧承制报价,每分钟40元。一天交付一部剧” 进入2026年11月,有公司开始在各大AI漫剧行业群给出每分钟40元的承制报价,并承诺一天交付一部剧。这在多个漫剧行业群引发了密集讨论。 AI漫剧行业对降价并不陌生。平台加快布局,大模型持续迭代,制作价格也在不断走低。据

    来源 AI 行业观察
  6. 蚂蚁灵波具身大模型挑战赛收官:TARS战队82.5分夺冠

    对于方兴未艾的具身智能产业而言,蚂蚁灵波科技CEO朱兴在接受采访时强调,行业目前还在快速迭代,尚未迎来具身智能的Scaling Law时刻。但是随着一些技术落地验证和产学研生态的协同,也会加速具身智能的进化。

    来源 TechWeb
  7. 蚂蚁灵波具身大模型赛:48小时真机比拼,TARS战队夺冠

    对于方兴未艾的具身智能产业而言,蚂蚁灵波科技CEO朱兴在接受采访时强调,行业目前还在快速迭代,尚未迎来具身智能的Scaling Law时刻。但是随着一些技术落地验证和产学研生态的协同,也会加速具身智能的进化。

    来源 TechWeb
  8. AI越聪明选择越单调:马茨实验揭示算法如何压平人类多样性

    我们对 AI 的信任,正在达到史无前例的高度。 无论是在屏幕前码字,还是在生活中做决策,我们都习惯向 AI 寻求那个「完美建议」。用得多了,你甚至会发现它总是精准地踩中我们预期中的最优解。 这种顺滑,很可能是一种被精心设计的心理按摩。 哥伦比亚大学教授桑德拉·马茨用冰淇淋店 Baskin Robbins 做了一个实验。

    来源 AI 行业观察
  9. 三大厂内存涨价7倍的锅,AI不背了

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。 更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。 这一年

    来源 AI 行业观察
  10. PaddleOCR联合Qwen3.8实测:发票报销从识别到确认要走几步

    本文记录了一次基于PaddleOCR、Spring AI和Qwen3.8构建的企业发票报销链路测试。重点在于展示如何将OCR结构化结果与业务上下文(如账套、费用类型)结合,生成人工确认卡。文章强调了OCR识别与业务校验的分离,指出单纯依靠大模型解释票面信息的风险,并分享了在Windows环境下部署CPU OCR与GPU

    来源 AI 应用前沿
  11. Garlic LLM 让越狱 PS4 跑起 90 亿参数模型:最高每秒 43 词元

    科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。

    来源 IT之家
  12. 三星美光海力士内存涨价7倍,法官戳破AI背锅说法

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。这一年多来

    来源 腾讯网
  13. 想学AI智能体开发?先搞懂感知、决策、记忆、通信、执行这五块

    本文拆解AI智能体开发的核心路径,摒弃晦涩理论,直接切入Python实战。通过“感知-决策-记忆-通信-执行”五步法,结合YOLO目标检测、RAG知识库及MCP协议,以智慧消防为完整案例,展示如何从零基础构建可落地的多模态智能体系统,适合希望快速上手工程开发的开发者参考。

    来源 AI 应用前沿
  14. Gemini 4 Carbon向万名科学家开放:实测结果如何?

    Google 向万名科学家免费开放 Gemini 4 Carbon,实测显示其在代码安全验证和生物序列发现上效率显著。NVIDIA 生态持续扩张,Cosmos 世界基础模型在 Hugging Face 下载量突破 2000 万,Nemotron 3.5 Transcribe 在说话人分离任务中表现优异。Hugging

    来源 AI 应用前沿
  15. 奥特曼不敢全速训AI,Christiano推演GPT-10失控风险

    用AI加速训练下一代AI,这件事在OpenAI内部已经司空见惯了。 但再往前一步呢? 就在刚刚落幕的Semafor峰会上,主持人直接问到了外界最关心的那个临界点:「你们现在已经进入RSI阶段了吗?」 对此奥特曼回答道,OpenAI早已在用自家的技术加快新一代模型研发。 只不过,眼下还没到「按下按钮、让模型在无人监管下飞

    来源 AI 行业观察
  16. 诺奖得主哈萨比斯的AI制药公司Isomorphic Labs完成50亿美元C轮融资

    智东西11月17日消息,刚刚,由诺奖得主、谷歌DeepMind联合创始人德米斯·哈萨比斯(Demis Hassabis)创办的英国AI药物研发公司Isomorphic Labs宣布完成50亿美元(约合人民币333亿元)C轮融资,融资获得超额认购。 结合公开数据不完全统计,本轮融资刷新该公司此前的单轮融资纪录,可能创下全

    来源 AI 行业观察
向下滚动自动加载更多