Open Source AI Gateway

它加在应用和大模型服务商之间，应用只对着网关发请求，由网关决定走哪家模型、用哪个密钥。差别在于：直连时每接一家都要写一套对接代码，接了网关后业务侧只维护一个入口，换模型和加模型改在网关配置里完成。

网关的作用就是屏蔽各家接口差异，通常可以配置多个服务商的密钥并按规则路由到不同模型。具体支持哪些提供商和模型列表，以官方的为准。

它以开源形式发布，主要用法是部署在自己的服务器上，模型流量和密钥不经过第三方托管，适合对数据流向有要求的场景。代价是这层服务需要你自己保证可用性。

直接在业务代码里判断走哪家，切换逻辑会散落在各处，改一次要动很多地方。放到网关后，路由、密钥、降级都集中在配置里，业务代码只认一个接口，排查问题也有统一的日志出口。

请求多经过一层转发，链路本身会多一跳，实际影响取决于部署位置和网络情况。如果网关和你的应用部署在同一网络内，这一跳通常不是主要耗时来源，真正的大头还是模型本身的响应时间。

密钥集中在一处，比散落在多个代码库和服务里更好管控，但也意味着网关本身成为重点保护对象。建议密钥用环境变量注入、不要写进代码仓库，并限制网关管理接口的访问范围。

适合需要同时使用多个模型、且看重自部署和密钥自主可控的团队。如果只调用一家模型、或者没有人手维护这层服务，直接调接口会更简单。