亚马逊云科技发布TorchNeuron:PyTorch模型可直接跑在Trainium上
在最近举行的 2026 年 PyTorch 北美大会上,亚马逊云科技推出了 TorchNeuron——这是一个原生 PyTorch 后端,可以让开发者在几乎无需修改代码的情况下,在 AWS Trainium AI 芯片上运行现有的 PyTorch 代码。 除了减少工程工作量外,TorchNeuron 还允许企业在训练和
2026 年
PyTorch 北美大会近日召开,亚马逊云科技在会上亮出 TorchNeuron。这是一个原生 PyTorch 后端,开发者手里现成的 PyTorch 代码几乎不用改,就能放到 AWS Trainium AI 芯片上跑。
省下工程量的同时,TorchNeuron 还让企业把训练和推理的硬件容量打通使用。到了非高峰时段,原本跑推理的资源可以腾出来转给训练任务。
亚马逊云科技的说法是,切换硬件只动一次配置就行,迁到 Trainium 不必重写模型,也不用重新验证。
眼下 85% 的人工智能研究人员和开发者用 PyTorch 写代码。可过去能跑这些代码的硬件,限制比代码本身多得多;要想扩到新芯片上,就得把花了数月才调好的代码重写一遍、再验证一遍。
TorchNeuron 的文档显示,借助 torch.accelerator 调用 PyTorch 的自动设备检测功能时,要改的地方只有一处:把 .to(‘cuda’) 换成 .to(‘neuron’)。分布式训练和 PyTorch 并行 API 也在原生支持之列,DDP、FSDP2、DTensor 等都包括在内。Torch 流和事件同样有原生支持,走的是 torch_neuronx.Stream 和 torch_neuronx.Event。
Amazon Annapurna Labs 副总裁 Colin Brace 领导着 TorchNeuron 的开发团队。他提到,为了让开发者用上新后端时体验顺畅,团队验证了 10 万个最受欢迎的模型和 800 多种机器学习架构。
开发者和研究人员还能借助 Neuron 内核接口(NKI)开发、优化并执行自定义运算符:
做法是在模型代码里直接调用对性能至关重要的 NKI 内核,用它替掉一连串标准 PyTorch 操作(ATen 操作)。这样一来,性能控制比自适应即时执行(Adaptive Eager)和 torch.compile 更细。
亚马逊云科技在 LinkedIn 上发了公告,Liner Notes Consulting 首席执行官 Yasuo Maeda 对此表示:
芯片造得再好,也得看开发者在生产环境里能不能跑出有竞争力的性能、把总拥有成本压下来,这才是真考验。AI 基础设施这一仗,比的不是谁家芯片最强,而是谁能让人在规模化使用时更省事。
用户 Pratham pratham 也表达了类似看法:降低迁移门槛对避免加速器锁定很关键,但真正要看的还是针对特定工作负载的性能、每 token 成本以及可重复性。
亚马逊云科技还提到,TorchNeuron 已有多个机构采用。Cartesia 把它用于语音 AI 推理;利伯脑发育研究所则在探索它在药物靶点识别和药物发现上的应用。
谷歌推出 TorchTPU 之后没多久,亚马逊云科技就发布了 TorchNeuron。TorchTPU 是谷歌为其 TPU 硬件开发的原生 PyTorch 后端。