亚马逊云科技发布TorchNeuron:PyTorch模型可直接跑在Trainium上
在最近举行的 2026 年 PyTorch 北美大会上,亚马逊云科技推出了原生 PyTorch 后端 TorchNeuron,让开发者可以在几乎无需修改代码的情况下,在 AWS Trainium AI 芯片上运行现有的 PyTorch 代码。
2026 年
PyTorch 北美大会近期召开,亚马逊云科技在会上发布 TorchNeuron。这是一套原生 PyTorch 后端,开发者手里已有的 PyTorch 代码几乎不用动,就能在 AWS Trainium AI 芯片上跑起来。
这套后端带来的不只是工程量的下降。企业还能让训练和推理两类负载共用同一批硬件容量,在非高峰时段把资源从推理任务挪给训练任务。
亚马逊云科技称,切换硬件只需改一次配置,迁到 Trainium 时不必重写模型,也不用重新验证。
目前,85% 的人工智能研究人员和开发者用 PyTorch 写代码。可过去能跑这些代码的硬件,限制比代码本身多得多;要扩到新芯片上,就得重写并重新验证那些花了数月才打磨好的代码。
TorchNeuron 的文档显示,借助 torch.accelerator 启用 PyTorch 的自动设备检测后,唯一要改的地方是把 .to(‘cuda’) 换成 .to(‘neuron’)。分布式训练和 PyTorch 并行 API 也在原生支持之列,涵盖 DDP、FSDP2、DTensor 等。另外,TorchNeuron 通过 torch_neuronx.Stream 和 torch_neuronx.Event 原生支持 Torch 流与事件。
Amazon Annapurna Labs 副总裁 Colin Brace 带领 TorchNeuron 开发团队。他强调,为了让开发者用上新后端时体验顺畅,团队验证了 10 万个最受欢迎的模型和 800 多种机器学习架构。
开发者与研究人员还能用 Neuron 内核接口(NKI)开发、优化和执行自定义运算符。
具体做法是,在模型代码里直接调用对性能至关重要的 NKI 内核,替代一组标准 PyTorch 操作(ATen 操作),由此获得比自适应即时执行(Adaptive Eager)和 torch.compile 更细的性能控制。
亚马逊云科技在 LinkedIn 上发布公告后,Liner Notes Consulting 首席执行官 Yasuo Maeda 表示:
“能不能在生产环境里拿到有竞争力的性能和总拥有成本,才是真正的考验。AI 基础设施这一仗,比的不是谁造得出最好的芯片,而是谁能让这些芯片在大规模使用时更好上手。”
用户 Pratham pratham 也表达了类似看法:降低迁移门槛对避免加速器锁定很关键,但真正的考验落在特定工作负载的性能、每 token 成本以及可重复性上。
亚马逊云科技还提到,TorchNeuron 已获多家机构采用。Cartesia 将其用于语音 AI 推理;利伯脑发育研究所则在探索它在药物靶点识别和药物发现领域的应用。
这次发布紧跟在谷歌推出 TorchTPU 之后。TorchTPU 是谷歌为自家 TPU 硬件打造的原生 PyTorch 后端。