SGLang联手AWS：Trainium插件Beta支持推理与RL Rollout

SGLang团队过去一年一直在扩大所支持的硬件范围，开放模型的首日适配、Miles里的RL rollout能力也在同步推进。现在他们跟AWS走到了一起，把SGLang搬上了AWS Trainium。

前沿AI正在往异构硬件方向走，AWS Trainium因此成了一个值得盯住的机会。这颗芯片是AWS专为AI负载打造，以云服务形式大规模供给，瞄准的是高吞吐场景下更划算的price-performance。开放模型服务和RL rollout生成恰好属于这类场景：两者通常要长时间运行，每个token的成本直接决定团队能铺开多少算力。

SGLang团队称，目标是让SGLang成为Trainium上跑这类负载的一等选择。此次与AWS紧密协作、并配合TorchNeuron的发布，团队正式推出基于新发布的TorchNeuron的SGLang Trainium plugin Beta，推理服务和RL rollout两种用途都覆盖在内。

起步就搭在TorchNeuron上

TorchNeuron是AWS为Trainium提供的原生PyTorch后端。还在TorchNeuron私有预览阶段，SGLang团队就动手搭SGLang的Neuron backend了，这个技术选择也定下了整个适配工作的走向。

TorchNeuron走的是原生PyTorch路子，SGLang的模型组件和核心抽象基本能整体搬到Trainium上。开发者在Trainium上服务模型，用的接口跟在GPU上一样，团队想从GPU迁到Trainium，改动可以很小。

性能再往上调，就靠NKI（Neuron Kernel Interface）：开发者能在PyTorch工作流里写自定义的Trainium kernel。对一个横跨多种硬件平台的开源项目而言，这既给了熟悉的编程模型，又在性能关键路径上留住了对底层硬件的控制。

Beta版本里有什么

这一Beta能在AWS Trainium2和Trainium3上跑两类核心负载：LLM inference serving，以及给后训练用的RL rollout generation。首批覆盖的范围是：

• 模型方面有Qwen3（dense）、Qwen3-MoE-30B-A3B、DeepSeek-V2-Lite、GLM-4，以及GLM-5.2/5.3。团队表示，更多大型前沿模型的适配还在推进。
• 特性方面包括Data Parallel、Tensor Parallel、Expert Parallel、Radix Cache、BF16 / FP8、Async scheduler。
• RL rollouts方面，SGLang可以在Trainium上充当异构RL pipeline的rollout engine，撑起后训练流程。

Beta期间，SGLang团队打算继续扩大模型和功能的覆盖面，更广泛的可用性预计在今年晚些时候推进。

早期预览：异构RL工作流

推理服务之外，Trainium给RL后训练带来了新的部署方式。RL的每一步一般拆成两个阶段：一是rollout generation，本质是偏decoding的推理负载；二是policy update，属于训练负载。多数团队把这两个阶段放在同一个GPU集群上跑，可它们对硬件的诉求并不一样。

SGLang Trainium plugin让这两个阶段可以跑在不同硬件上。首次端到端运行中，SGLang在Trainium3上为Qwen3-MoE-30B-A3B生成rollouts；另一边，SGLang团队的RL后训练框架Miles用Megatron，在单个H200节点上训练GRPO policy。Miles把Trainium上的SGLang接成外部rollout engine，完成了一次稳定的训练运行。

这样一来，团队规划RL算力时余地更大。两个阶段可以按各自的price-performance挑硬件，Trainium上的rollout capacity也能独立于GPU训练资源单独扩容。

不过SGLang团队也强调，这还是个早期里程碑。Trainium上的性能优化仍在进行，后续进展会在11月的SGLang Summit上分享。

怎么加入Beta

目前的初始Beta只向少量团队开放，为的是让SGLang团队能跟每个参与者紧密配合。这个Beta尤其适合两类团队：

• 一类是正在或打算在Trainium2 / Trainium3上跑LLM inference的团队；
• 另一类是对异构RL感兴趣，想在Trainium上生成rollouts、在GPU上做训练的团队。

想申请访问权限的团队，可以通过官方表单联系SGLang团队。