谷歌API Gateway预览流式处理:AI应用实时通信不再绕开网关
谷歌宣布公开预览 API Gateway 流式处理功能,将传统的请求-响应模型扩展至需要实时通信的应用程序。据谷歌称,这对于提供流式模型响应、多步骤代理工作流和交互式会话的 AI 应用尤为重要。 这项新功能使流式端点能够在 API Gateway 背后运行,同时保留了现有的网关策略和安全控制措施,从而解决了之前存在的一
谷歌API
Gateway的流式处理能力已进入公开预览阶段,原本只处理请求-响应模式的网关,如今把触角伸向需要实时通信的应用。谷歌方面表示,流式模型响应、多步骤代理工作流和交互式会话这类AI应用,对这种能力的需求尤其迫切。
新功能让流式端点可以直接跑在API Gateway后面,网关原有的策略与安全控制不变,此前的一个限制由此解开。在这之前,开发者要在API Gateway里做这类体验,只能二选一:把网关摆在API前端、放弃流式传输;或者让流式端点绕过网关,把身份验证、API密钥强制执行和可观测性一并丢掉。问题是,这几项恰恰是网关存在的理由。
流式传输模式上,API Gateway覆盖服务器发送事件(SSE)、分块传输编码和HTTP响应流式传输、WebSockets以及gRPC。连接最长可以保持打开一小时,超过之后客户端若还要继续通信,得重新建一条连接。
版本更新带来了流式传输支持,现有的API规范不用改,也不需要专门的API、扩展或注解。谷歌强调,原有API配置和功能照旧运行,API密钥强制执行、JWT验证、后端服务账户身份验证、Cloud Logging和Cloud Monitoring集成,以及路径模板和请求路由都在其中。
另一项变化是网关主机名变得可预测。过去主机名里带一个生成的哈希值,只有网关创建完成才能确定;现在改为固定格式GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev,开发者在创建资源之前就能引用和配置它。
谷歌还专门讲了流式传输对AI应用的意义:这类应用里,模型响应是一步步生成的,不是一次性完整返回。有了新功能,开发者可以实时流式传输模型响应,在多步骤任务中更新代理进度,支持工具调用协议、连接远程MCP服务器,并处理交互式AI应用。
模型路由也在支持范围内。它提供一个兼容OpenAI的单一端点,按请求负载中的模型字段,把请求分发给Gemini、Claude或OpenAI gpt-oss模型。模型路由加上流式传输,客户端拿到的是熟悉的、基于标准的流式传输接口;哪些模型可以访问、由谁访问、遵循什么策略,仍然集中控制。
公告下面也有不同声音。X平台用户emildrops点出两处局限:一是“现有网关无法就地切换”;二是“延迟衡量的是整个数据流,而非首字节到达时间……因此,延迟图表可能会因非故障原因而显得异常”。LinkedIn用户Ehsan Elahi Zaheer同样指出:
监控同样得留神:网关请求延迟指标算的是数据流持续时间,不是“首字节到达时间”。一张延迟图表背后,可能藏着完全不同的用户体验。
预览期间,开发者创建网关时必须显式指定--enable-streaming命令行标志,这项新功能才会启用。