亚马逊云科技发布TorchNeuron:PyTorch模型可直接跑在Trainium上

资讯 AI 行业观察 作者:Sergio De Simone 全文 1324 字 · 约 4 分钟读完 配图 1 张 分类亚马逊云计算AWS

在最近举行的 2026 年 PyTorch 北美大会上,亚马逊云科技推出了 TorchNeuron——这是一个原生 PyTorch 后端,可以让开发者在几乎无需修改代码的情况下,在 AWS Trainium AI 芯片上运行现有的 PyTorch 代码。 除了减少工程工作量外,TorchNeuron 还允许企业在训练和

所属频道 大厂动态算力与芯片

2026 年 PyTorch 北美大会近日召开,亚马逊云科技在会上亮出 TorchNeuron。这是一个原生 PyTorch 后端,开发者手里现成的 PyTorch 代码几乎不用改,就能放到 AWS Trainium AI 芯片上跑。

省下工程量的同时,TorchNeuron 还让企业把训练和推理的硬件容量打通使用。到了非高峰时段,原本跑推理的资源可以腾出来转给训练任务。

亚马逊云科技的说法是,切换硬件只动一次配置就行,迁到 Trainium 不必重写模型,也不用重新验证。

眼下 85% 的人工智能研究人员和开发者用 PyTorch 写代码。可过去能跑这些代码的硬件,限制比代码本身多得多;要想扩到新芯片上,就得把花了数月才调好的代码重写一遍、再验证一遍。

TorchNeuron 的文档显示,借助 torch.accelerator 调用 PyTorch 的自动设备检测功能时,要改的地方只有一处:把 .to(‘cuda’) 换成 .to(‘neuron’)。分布式训练和 PyTorch 并行 API 也在原生支持之列,DDP、FSDP2、DTensor 等都包括在内。Torch 流和事件同样有原生支持,走的是 torch_neuronx.Stream 和 torch_neuronx.Event。

Amazon Annapurna Labs 副总裁 Colin Brace 领导着 TorchNeuron 的开发团队。他提到,为了让开发者用上新后端时体验顺畅,团队验证了 10 万个最受欢迎的模型和 800 多种机器学习架构。

开发者和研究人员还能借助 Neuron 内核接口(NKI)开发、优化并执行自定义运算符:

做法是在模型代码里直接调用对性能至关重要的 NKI 内核,用它替掉一连串标准 PyTorch 操作(ATen 操作)。这样一来,性能控制比自适应即时执行(Adaptive Eager)和 torch.compile 更细。

亚马逊云科技在 LinkedIn 上发了公告,Liner Notes Consulting 首席执行官 Yasuo Maeda 对此表示:

芯片造得再好,也得看开发者在生产环境里能不能跑出有竞争力的性能、把总拥有成本压下来,这才是真考验。AI 基础设施这一仗,比的不是谁家芯片最强,而是谁能让人在规模化使用时更省事。

用户 Pratham pratham 也表达了类似看法:降低迁移门槛对避免加速器锁定很关键,但真正要看的还是针对特定工作负载的性能、每 token 成本以及可重复性。

亚马逊云科技还提到,TorchNeuron 已有多个机构采用。Cartesia 把它用于语音 AI 推理;利伯脑发育研究所则在探索它在药物靶点识别和药物发现上的应用。

谷歌推出 TorchTPU 之后没多久,亚马逊云科技就发布了 TorchNeuron。TorchTPU 是谷歌为其 TPU 硬件开发的原生 PyTorch 后端。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 亚马逊披露中国背景AI代理11分钟自主攻破东亚医疗影像服务器零日漏洞

    亚马逊威胁情报披露,中国背景黑客利用开源AI渗透框架Cairn,指挥AI代理在9月对东亚大学医疗影像服务器发起攻击。代理在MONAI Label中发现路径遍历零日漏洞,11分钟内完成从API测绘到root权限获取的全流程。这是云厂商首次正式归因AI代理独立完成漏洞发现与利用的事件,MONAI Label补丁已于11月1

    来源 AI 行业观察
  2. Megaspeed调查:41.3亿美元芯片进口与5万颗差额

    作者|画画2015年,一家名叫7 Road International的公司在新加坡注册。最初几年,它并不起眼。谁也不会想到,十年后,这家公司会成为英伟达先进AI芯片供应链上一个引人注目的名字。2023年,公司更名为Megaspeed International,业务重心也开始转向云计算和AI基础设施。随后,它的生意急

    来源 腾讯网
  3. 美国的“马云们”,重返电商赛场

    把 Jet.com 卖给沃尔玛、随后执掌沃尔玛美国电商的 Marc Lore,又做起了购物生意。这一次,他联合创办的 Wizard,要让消费者向 AI 说出需求,再由 AI 帮忙找商品、比价格、下单。 和他一起回到创业一线的,还有不少熟面孔。亚马逊前技术副总裁、Bolt 前 CEO Maju Kuruvilla,正在帮

    来源 AI 行业观察
  4. 甲骨文:OpenAI合同资金已筹齐,2029财年自由现金流预计超300亿美元

    甲骨文表示,已筹集履行与OpenAI基础设施合同所需的全部资金,本月早些时候完成最后一轮融资后,成为本轮投资周期中首家完成全部资金筹措的超大规模云服务商。公司称,相关融资方案已落实,后续与供应商的讨论仅涉及额外融资选择,不影响合同履行。甲骨文还表示,与OpenAI合作的阿比林园区已接近完工,下一座吉瓦级园区Shacke

    来源 AI 行业观察
  5. 可灵Kling Image 4.0发布:8K原生分辨率,单图支持2000字

    过去几年,AI 生图模型在真实感、分辨率和光影表现上不断刷新人们的认知。但当这些图片真正被用于海报、广告这些商业场景时仍会面临文字能否准确呈现、局部修改是否能保留原有设计等问题。 这些看似不起眼的要求,至今仍是图像模型的难题。(雷峰网) 今年 3 月,微软研究院发布了一项名为 BizGenEval 的商业视觉生成评测,

    来源 AI 行业观察
  6. 欧洲央行:4万亿美元表外承诺,AI首入系统性风险清单

    欧洲央行2026年11月金融稳定报告首次将AI估值过高列为系统性核心风险。报告显示,美国大科技企业表外承诺已超过4万亿美元,2025至2032年AI基础设施投资需求超过美国GDP的3%,2026年多数超大规模云计算企业自由现金流已转负。ECB副行长博里斯·武伊契奇明确警告银行与非银机构面临交叉传染风险,并将这

    来源 AI 科技快讯
  7. 纳德拉谈AI购物代理:零售商屏蔽将丢份额

    11 月 18 日, 微软 首席执行官萨蒂亚·纳德拉在《纽约时报》 DealBook峰会 上发出警告,称随着软件助手逐步承担商品浏览与自动下单任务,拒绝 人工智能 购物代理的零售商将面临客户流失风险,市场份额可能被更开放的竞争对手抢占。 纳德拉在发言中直接提及 亚马逊 目前禁止第三方AI代理扫描其平

    来源 AI 开发者社区
  8. 纳德拉:零售商屏蔽AI购物代理,份额或流向Shopify

    11月18日,微软CEO纳德拉在《纽约时报》DealBook峰会警告,随着软件助手承担商品浏览与自动下单,拒绝AI购物代理的零售商将面临客户流失,市场份额或被更开放对手抢占。他点名亚马逊禁止第三方AI代理扫描平台并代下单,而Shopify等竞争平台只需向数字助手开放结账权限,即可抢占先机。

    来源 AI 产业速递
  9. 贝佐斯再创业:410亿美元估值押注物理世界AI

    卸任亚马逊CEO五年后,贝佐斯联合创立Prometheus,估值飙升至410亿美元。这家公司不造聊天机器人,而是试图用AI重构实体制造业,打造“通用AI工程师”。文章解析其技术路径、数据困境及背后的资本野心,探讨AI从比特世界向原子世界迁移的真实挑战。

    来源 AI 应用前沿
  10. Edge AI Daily 早报(11月22日)-钛媒体官方网站

    英伟达同时面临治理追问、加州传票与SEC调查传闻,AI芯片估值经历重估;亚马逊拟以最高75亿美元收购Decart,AWS将LLM缓存推向集群。谷歌调整TPU出货并研究Agent记忆迁移,OpenAI把对抗性蒸馏防护推进API层。Anthropic黎曼猜想主张待验证,IPO定价为模型公司提供估值参照。Meta Muse用

    来源 钛媒体
  11. 英伟达一周市值缩水2.7万亿美元,芯片股创2001年以来最惨单周

    本周,费城半导体指数跌逾10%,芯片板块市值蒸发约2.3万亿美元,创2001年以来最惨单周表现。英伟达股价连续七周下跌,自10月高点以来市值缩水约2.7万亿美元。英伟达收紧融资支持、Anthropic IPO抽走流动性,美联储鹰派立场再添压力,AI交易遭遇集中抛售,市场对增长前景的担忧升温。

    来源 华尔街见闻
  12. 大学生涌进黑客松:文科生拿下一等奖,也撞上真实的产品难题

    黑客松越来越火了。 据AI赛事社区“AI赛事通”统计,今年上半年,全国举办了近500场黑客松,平均每天有两三场,主办方包括高校、科技公司和创业社区。 黑客松(Hackathon)是一种限时开发比赛。参赛者通常需要在24小时、48小时或72小时内组队,从提出创意、设计方案到开发产品,最终交出一个能够运行的Demo。为了赶

    来源 AI 行业观察
  13. 谷歌Nest应用2027年停服,功能整体并入Google Home

    IT之家 11 月 22 日消息,谷歌近日在官网支持页面公布了智能家居应用程序 Nest 的最新动态。官方宣称,独立版 Nest(App、网页端)将于 2027 年 1 月 15 日停止服务,相关功能将整合进 Google Home 应用。 IT之家注意到,谷歌还将在 2027 年 8 月 2 日停止智能音箱等设备的

    来源 AI 行业观察
  14. 英伟达万亿敞口承压:AI资本开支是见顶还是中途调整

    杰富瑞认为,市场已经把情况按“见顶”来定价,但尚无“实体层面的证据”支持这一判断:英伟达以3300亿美元表外敞口充当AI生态的“央行”,治理转向可能会使融资链条收紧;四大云厂商净利润增长73%,但剔除AI非现金账面收益后仅增长15%;东南亚芯片出口新规进一步抬高跨境算力扩张的门槛。

    来源 华尔街见闻
  15. 英特尔18A拿下首家外部客户:陈立武确认签约,未透露名称

    每日头条芯闻英特尔18A工艺签下首家外部客户西门子收购Breker字节跳动与微软洽谈购买Azure云服务魏少军预测:2026年国内芯片销售额将突破1.5万亿元,同比增幅达89%消息称OpenAI进军手机领域Gartner预测:2027年全球人工智能支出将突破4万亿美元英伟达员工大会宣布告别“黄仁勋时代”:12月员工加薪

    来源 腾讯网
  16. 英特尔代工获微软Azure芯片采用EMIB封装

    每经记者:杨卉 每经编辑:张锦河,杨军记者|杨卉 编辑|张锦河 杨军 杜波 校对|梁露月 英特尔投入大量人力物力的代工业务迎来重量级客户。 11月19日晚间,《每日经济新闻》记者从英特尔处获悉,微软成为首家宣布在Azure自研芯片上采用英特尔代工业务EMIB(嵌入式多芯片互连桥)封装的客户。英特尔首席执行官陈立武还在同

    来源 腾讯网
  17. HD Moore 实测近200万条请求:AI服务链泄密,“零数据保留”也失守

    IT之家 11 月 21 日消息,科技媒体 Ars Technica 今天(11 月 21 日)发布博文,报道称安全公司 Dragos 首席研究官 HD Moore 向多家 AI 服务商发送近 200 万条带有可追踪“诱饵”的请求,发现 AI 服务链存在黑客窃取提示词、转售商泄露数据及未遵守隐私设置等问题。 研究人员故

    来源 AI 行业观察
向下滚动自动加载更多