亚马逊云科技发布TorchNeuron:PyTorch模型可直接跑在Trainium上

资讯 InfoQ 全文 1324 字 · 约 4 分钟读完 配图 1 张 分类亚马逊云计算AWS

在最近举行的 2026 年 PyTorch 北美大会上,亚马逊云科技推出了原生 PyTorch 后端 TorchNeuron,让开发者可以在几乎无需修改代码的情况下,在 AWS Trainium AI 芯片上运行现有的 PyTorch 代码。

所属频道 大厂动态算力与芯片

2026 年 PyTorch 北美大会近期召开,亚马逊云科技在会上发布 TorchNeuron。这是一套原生 PyTorch 后端,开发者手里已有的 PyTorch 代码几乎不用动,就能在 AWS Trainium AI 芯片上跑起来。

这套后端带来的不只是工程量的下降。企业还能让训练和推理两类负载共用同一批硬件容量,在非高峰时段把资源从推理任务挪给训练任务。

亚马逊云科技称,切换硬件只需改一次配置,迁到 Trainium 时不必重写模型,也不用重新验证。

目前,85% 的人工智能研究人员和开发者用 PyTorch 写代码。可过去能跑这些代码的硬件,限制比代码本身多得多;要扩到新芯片上,就得重写并重新验证那些花了数月才打磨好的代码。

TorchNeuron 的文档显示,借助 torch.accelerator 启用 PyTorch 的自动设备检测后,唯一要改的地方是把 .to(‘cuda’) 换成 .to(‘neuron’)。分布式训练和 PyTorch 并行 API 也在原生支持之列,涵盖 DDP、FSDP2、DTensor 等。另外,TorchNeuron 通过 torch_neuronx.Stream 和 torch_neuronx.Event 原生支持 Torch 流与事件。

Amazon Annapurna Labs 副总裁 Colin Brace 带领 TorchNeuron 开发团队。他强调,为了让开发者用上新后端时体验顺畅,团队验证了 10 万个最受欢迎的模型和 800 多种机器学习架构。

开发者与研究人员还能用 Neuron 内核接口(NKI)开发、优化和执行自定义运算符。

具体做法是,在模型代码里直接调用对性能至关重要的 NKI 内核,替代一组标准 PyTorch 操作(ATen 操作),由此获得比自适应即时执行(Adaptive Eager)和 torch.compile 更细的性能控制。

亚马逊云科技在 LinkedIn 上发布公告后,Liner Notes Consulting 首席执行官 Yasuo Maeda 表示:

“能不能在生产环境里拿到有竞争力的性能和总拥有成本,才是真正的考验。AI 基础设施这一仗,比的不是谁造得出最好的芯片,而是谁能让这些芯片在大规模使用时更好上手。”

用户 Pratham pratham 也表达了类似看法:降低迁移门槛对避免加速器锁定很关键,但真正的考验落在特定工作负载的性能、每 token 成本以及可重复性上。

亚马逊云科技还提到,TorchNeuron 已获多家机构采用。Cartesia 将其用于语音 AI 推理;利伯脑发育研究所则在探索它在药物靶点识别和药物发现领域的应用。

这次发布紧跟在谷歌推出 TorchTPU 之后。TorchTPU 是谷歌为自家 TPU 硬件打造的原生 PyTorch 后端。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 亚马逊披露中国背景AI代理11分钟自主攻破东亚医疗影像服务器零日漏洞

    亚马逊威胁情报披露,中国背景黑客利用开源AI渗透框架Cairn,指挥AI代理在9月对东亚大学医疗影像服务器发起攻击。代理在MONAI Label中发现路径遍历零日漏洞,11分钟内完成从API测绘到root权限获取的全流程。这是云厂商首次正式归因AI代理独立完成漏洞发现与利用的事件,MONAI Label补丁已于11月1

    来源 AI 行业观察
  2. Anthropic 上市、阿里财报同日发布:两家公司都在往对方地盘走

    十一月的股市为 AI 沉默,沉默是十一月的 AI。在美股持续回调的 11 月,千呼万唤的 Anthropic 终于登陆纳斯达克。11 月 19 日,这家 Claude 背后的公司正式挂牌交易。Anthropic 在国内为人熟知,除了 Claude,还有已然成为流行梗的大规模封号。但比起上市本身,更值得注意的是,除了继续

    来源 腾讯网
  3. 阿里平头哥启动上市:百亿营收芯片业务待独立估值

    11月19日晚,阿里巴巴CEO吴泳铭在财报电话会上透露,千问已经在平头哥芯片上训练下一代模型,百炼也已基于国产芯片提供模型推理服务。 三个月前,阿里公布了一次业务调整:云智能集团与平头哥整合为“AI云与算力服务”。两项业务被放进同一个财务分部,阿里希望芯片与云计算更加紧密地配合。 9月11日,平头哥向港交所秘密递交了上

    来源 AI 行业观察
  4. 欧洲央行:4万亿美元表外承诺,AI首入系统性风险清单

    欧洲央行2026年11月金融稳定报告首次将AI估值过高列为系统性核心风险。报告显示,美国大科技企业表外承诺已超过4万亿美元,2025至2032年AI基础设施投资需求超过美国GDP的3%,2026年多数超大规模云计算企业自由现金流已转负。ECB副行长博里斯·武伊契奇明确警告银行与非银机构面临交叉传染风险,并将这

    来源 AI 科技快讯
  5. 纳德拉谈AI购物代理:零售商屏蔽将丢份额

    11 月 18 日, 微软 首席执行官萨蒂亚·纳德拉在《纽约时报》 DealBook峰会 上发出警告,称随着软件助手逐步承担商品浏览与自动下单任务,拒绝 人工智能 购物代理的零售商将面临客户流失风险,市场份额可能被更开放的竞争对手抢占。 纳德拉在发言中直接提及 亚马逊 目前禁止第三方AI代理扫描其平

    来源 AI 开发者社区
  6. 纳德拉:零售商屏蔽AI购物代理,份额或流向Shopify

    11月18日,微软CEO纳德拉在《纽约时报》DealBook峰会警告,随着软件助手承担商品浏览与自动下单,拒绝AI购物代理的零售商将面临客户流失,市场份额或被更开放对手抢占。他点名亚马逊禁止第三方AI代理扫描平台并代下单,而Shopify等竞争平台只需向数字助手开放结账权限,即可抢占先机。

    来源 AI 产业速递
  7. 贝佐斯再创业:410亿美元估值押注物理世界AI

    卸任亚马逊CEO五年后,贝佐斯联合创立Prometheus,估值飙升至410亿美元。这家公司不造聊天机器人,而是试图用AI重构实体制造业,打造“通用AI工程师”。文章解析其技术路径、数据困境及背后的资本野心,探讨AI从比特世界向原子世界迁移的真实挑战。

    来源 AI 应用前沿
  8. Edge AI Daily 早报(11月22日)-钛媒体官方网站

    英伟达同时面临治理追问、加州传票与SEC调查传闻,AI芯片估值经历重估;亚马逊拟以最高75亿美元收购Decart,AWS将LLM缓存推向集群。谷歌调整TPU出货并研究Agent记忆迁移,OpenAI把对抗性蒸馏防护推进API层。Anthropic黎曼猜想主张待验证,IPO定价为模型公司提供估值参照。Meta Muse用

    来源 钛媒体
  9. 英伟达一周市值缩水2.7万亿美元,芯片股创2001年以来最惨单周

    本周,费城半导体指数跌逾10%,芯片板块市值蒸发约2.3万亿美元,创2001年以来最惨单周表现。英伟达股价连续七周下跌,自10月高点以来市值缩水约2.7万亿美元。英伟达收紧融资支持、Anthropic IPO抽走流动性,美联储鹰派立场再添压力,AI交易遭遇集中抛售,市场对增长前景的担忧升温。

    来源 华尔街见闻
  10. 英伟达七周连跌:市值缩水2.73万亿美元,纳指周线创疫情后最差

    IT之家 11 月 21 日消息,英伟达股价持续遭遇抛售。当地时间 11 月 20 日周五收盘,英伟达股价下跌 14%,创下 2025 年 5 月以来最低水平。这也是英伟达连续第七周收跌,为 2008 年金融危机以来最长的周线连跌纪录。 据《华尔街日报》今日报道,英伟达当前市值约为 3.03 万亿美元(IT之家注:现汇

    来源 AI 行业观察
  11. 美国的“马云们”,重返电商赛场

    把 Jet.com 卖给沃尔玛、随后执掌沃尔玛美国电商的 Marc Lore,又做起了购物生意。这一次,他联合创办的 Wizard,要让消费者向 AI 说出需求,再由 AI 帮忙找商品、比价格、下单。 和他一起回到创业一线的,还有不少熟面孔。亚马逊前技术副总裁、Bolt 前 CEO Maju Kuruvilla,正在帮

    来源 AI 行业观察
  12. 英伟达万亿敞口承压:AI资本开支是见顶还是中途调整

    杰富瑞认为,市场已经把情况按“见顶”来定价,但尚无“实体层面的证据”支持这一判断:英伟达以3300亿美元表外敞口充当AI生态的“央行”,治理转向可能会使融资链条收紧;四大云厂商净利润增长73%,但剔除AI非现金账面收益后仅增长15%;东南亚芯片出口新规进一步抬高跨境算力扩张的门槛。

    来源 华尔街见闻
  13. 英特尔18A拿下首家外部客户:陈立武确认签约,未透露名称

    每日头条芯闻英特尔18A工艺签下首家外部客户西门子收购Breker字节跳动与微软洽谈购买Azure云服务魏少军预测:2026年国内芯片销售额将突破1.5万亿元,同比增幅达89%消息称OpenAI进军手机领域Gartner预测:2027年全球人工智能支出将突破4万亿美元英伟达员工大会宣布告别“黄仁勋时代”:12月员工加薪

    来源 腾讯网
  14. 甲骨文:OpenAI合同资金已筹齐,2029财年自由现金流预计超300亿美元

    甲骨文表示,已筹集履行与OpenAI基础设施合同所需的全部资金,本月早些时候完成最后一轮融资后,成为本轮投资周期中首家完成全部资金筹措的超大规模云服务商。公司称,相关融资方案已落实,后续与供应商的讨论仅涉及额外融资选择,不影响合同履行。甲骨文还表示,与OpenAI合作的阿比林园区已接近完工,下一座吉瓦级园区Shacke

    来源 AI 行业观察
  15. 英特尔代工获微软Azure芯片采用EMIB封装

    每经记者:杨卉 每经编辑:张锦河,杨军记者|杨卉 编辑|张锦河 杨军 杜波 校对|梁露月 英特尔投入大量人力物力的代工业务迎来重量级客户。 11月19日晚间,《每日经济新闻》记者从英特尔处获悉,微软成为首家宣布在Azure自研芯片上采用英特尔代工业务EMIB(嵌入式多芯片互连桥)封装的客户。英特尔首席执行官陈立武还在同

    来源 腾讯网
  16. 可灵Kling Image 4.0发布:8K原生分辨率,单图支持2000字

    过去几年,AI 生图模型在真实感、分辨率和光影表现上不断刷新人们的认知。但当这些图片真正被用于海报、广告这些商业场景时仍会面临文字能否准确呈现、局部修改是否能保留原有设计等问题。 这些看似不起眼的要求,至今仍是图像模型的难题。(雷峰网) 今年 3 月,微软研究院发布了一项名为 BizGenEval 的商业视觉生成评测,

    来源 AI 行业观察
  17. OpenAI开放GPT-Live-1.1 API:实时双向对话,智能体边聊边干活

    OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交互能力,可以

    来源 AI 开发者社区
向下滚动自动加载更多