英伟达Vera Rubin每GPU内存仅增3%:AI推理吞吐量最高提升30倍

资讯 腾讯网 作者:腾讯网 全文 347 字 · 约 1 分钟读完 分类RubinVera英伟达模型发布存储芯片

【英伟达提出AI内存全栈协同设计方案 Vera Rubin平台每GPU内存容量仅增约3% 推理吞吐量提升最高30倍】财联社11月6日电,英伟达11月5日发布文章称,随着AI模型规模扩大、上下文窗口延长以及智能体应用普及,GPU内存压力持续上升,HBM供应趋紧、价格上涨。英伟达提出通过GPU、CPU、网络、存储及软件协同

所属频道 模型发布算力与芯片
财联社11月6日电,英伟达11月5日发布文章称,AI模型越做越大、上下文窗口不断拉长、智能体应用走向普及,GPU内存承受的压力随之上升,HBM供应吃紧、价格也在上涨。为此,公司提出AI内存全栈协同的设计思路:用NVFP4低精度格式压缩模型权重和KV Cache,把一时用不上的上下文挪到成本更低的存储层,再靠多GPU分布式部署腾出HBM空间。
测试数据来自SemiAnalysis AgentX。GB300 NVL72在特定工作负载下,单位成本推理吞吐量最高可达到H200平台的10倍;Vera Rubin NVL72对比GB300 NVL72,单位成本推理吞吐量最高提升30倍,而单GPU的HBM容量只增加约3%。
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 英伟达 CUDA Toolkit 13.5 发布:Vera Rubin 转正,多 GPU 通信升级

    IT之家 11 月 5 日消息,英伟达于当地时间 11 月 4 日正式发布了最新的 CUDA Toolkit 13.5,为下一代 AI 计算平台 Vera Rubin 提供正式可用(GA)支持,标志着相关架构从早期开发者预览阶段进入面向企业生产环境的部署阶段。据英伟达官方介绍,此次更新不仅完善了 Vera Rubin

    来源 腾讯网
  2. 英伟达DSX POD把AI工厂缩到14天,丁艳谈谁来接住Token洪流

    21世纪经济报道记者 吴佳楠 深圳报道近日,英伟达在柏林GTC上宣布推出DSX POD参考设计,用于建设基于Vera Rubin平台的完整AI工厂。合作伙伴可在模块化集装箱内完成系统集成与验证。英伟达表示,在现场公用设施准备就绪后,该方案有望将部署周期从约六个月缩短至14天。英伟达此前将AI产业拆为五层,包括能源、算力

    来源 腾讯网
  3. 英伟达发布Realtime-Bench:GPT-6-Astra实时任务成功率仅44%

    人工智能大模型在文本创作、代码编写和图像生成等静态任务上已经展现出惊人的实力,但在瞬息万变的实时交互场景中,它们的真实表现究竟如何?近日,英伟达携手得克萨斯大学奥斯汀分校(UT-Austin)等顶尖机构正式发布了全新的实时交互任务基准——Realtime-Bench。该基准的诞生,旨在为评估人工智能在动态环境下的综合表

    来源 AI 开发者社区
  4. 进博会十大看点:存储双雄、芯片设备三强、四大粮商都来了

    进博会今日开幕,它是跨国企业展示实力的舞台。这里既有人形机器人,也有存储双雄、芯片设备三强以及全球四大粮商;跨国企业也带来了重磅减重药物,对抗艾滋病的新疗法。第一财经盘点了进博会上的十个重要看点。韩国存储双雄“秀肌肉”本届进博会上,三星与SK海力士这对韩国存储双雄将同台“秀肌肉”。眼下正值AI驱动的存储...

    来源 腾讯网
  5. OpenAI或周五发Astra、Sol及Cyber模型,AI安全赛道被看好

    OpenAI最快周五或发布新一代面向网络安全的Cyber等模型据媒体报道,OpenAI最快将于当地时间11月6日(周五)发布新一代Astra、Sol系列大模型,及面向网络安全的Cyber模型。目前型号编号、定价、上下文窗口及基准性能等关键参数尚未公布,上线渠道亦未明确。部分用户已在Codex用量统计中发现"gpt-6.

    来源 腾讯网
  6. Xen曝CVE-2026-102703与102704双重VM逃逸,4.6至4.16无官方补丁

    Xen项目11月3日发布XSA-523公告,披露两个critical级grant-copy漏洞,允许恶意VM绕过隔离读写其他VM内存,包括dom0。受影响版本从4.6起全覆盖,4.16已超支持期。Claude在commit中获“Assisted-by”credit,成为大模型首次在主流虚拟化核心代码库获得critica

    来源 AI 行业观察
  7. Xen曝grant-copy双重漏洞:4.6至4.16全受影响,无官方补丁

    Xen项目11月3日发布XSA-523公告,披露两个critical级grant-copy漏洞,允许恶意VM绕过隔离读写其他VM内存,包括dom0。受影响版本从4.6起全覆盖,4.16已超支持期。Claude在commit中获“Assisted-by”credit,成为大模型首次在主流虚拟化核心代码库获得critica

    来源 AI 科技快讯
  8. SGLang联手AWS:Trainium插件Beta支持推理与RL Rollout

    SGLang 团队宣布与 AWS 合作推出 SGLang Trainium plugin Beta,基于新发布的 TorchNeuron,为 AWS Trainium2 与 Trainium3 提供 LLM 推理服务和 RL rollout 支持。该插件旨在帮助团队以更高性价比运行开放模型服务与后训练流程,并探索 Tr

    来源 AI 行业观察
  9. Dropbox 3.5亿美元收购Tigris Data,押注AI存储平台DBX Agent Cloud

    Dropbox宣布以3.5亿美元收购数据基础设施初创公司Tigris Data,该交易旨在支撑其全新存储平台DBX Agent Cloud的开发。这一平台面向构建AI模型与智能体的开发者,标志着Dropbox从云存储服务商向AI基础设施提供商的战略转型。本文梳理交易细节、技术背景与行业影响。

    来源 AI 科技快讯
  10. SGLang推出Elastic EP扩容:MoE推理加GPU不用重启

    SGLang 引入 Elastic Expert Parallelism Scaling,让 MoE 推理服务可在运行中细粒度增加 GPU,无需完整副本或重启。借助 Mooncake PG 与 NIXL,系统在 8×H100 测试中比重启更快完成扩容,并支持 CUDA graph 重捕获与 EPLB 重平衡。

    来源 AI 科技快讯
  11. 凌川科技完成10亿元B轮融资:快手系AI芯片公司加码3D近存架构

    芯东西(公众号:aichip001)作者 | 崔嫄伟编辑 | 陈骏达芯东西11月4日报道,今日,据启明创投披露,北京智能视频芯片公司凌川科技于近日完成10亿元B轮融资。据企业信息查询平台企查查,本轮融资由启明创投、朝晖资本和亦庄产投联合领投,鼎晖百孚、金舵投资与海通开元等投资机构跟投,顺禧基金与九智资本等老股东追投。融

    来源 腾讯网
  12. 华为nova 16系列怎么选:三款机型用三四年配置够不够

    主力机一用就是三四年,性价比不能只看首发价便宜,还要看配置余量撑不撑得住时间:芯片性能够不够、内存存储够不够用、电池衰减后还剩多少续航。买的时候省一笔,用两年就卡顿换机,反而多花了

    来源 快科技
  13. 小米vivo试水付费,手机AI影像要收钱了?

    今年手机厂商们在影像上的竞争,已经从硬件转向AI了。从最早的AI消除路人、AI扩图,到如今的AI超清、AI修图、AI构图,甚至只需要输入一句话,就能让手机自动调整照片的色彩、光影和背景,AI在手机影像中的存在感越来越强。尤其是今年,AI几乎成为旗舰手机发布会上绕不开的重点,厂商恨不得把所有拍照功能都加上AI两个字。(图

    来源 腾讯网
  14. 谷歌开源ML Drift:跨平台GPU推理引擎,内存开销低12%

    谷歌发布 ML Drift,一个开源、跨平台的 GPU 计算引擎,专为端侧 AI 和机器学习推理而设计。它采用 Apache 2.0 许可,抽离了不同 GPU 硬件和底层 API 的复杂性,支持 OpenGL ES、OpenCL、Metal 和 WebGPU。 ML Drift 是为 LiteRT 提供动力的核心 GP

    来源 AI 行业观察
  15. 苹果收紧员工AI预算:部分工程师日额度降至200美元,最低或到100美元

    IT之家 11 月 5 日消息,彭博社今天(11 月 5 日)发布博文,报道称苹果公司为了遏制快速上升的 AI 使用成本,正在削减员工使用人工智能工具的内部预算。 报道称苹果公司希望在研发、工程和日常运营流程中,更深入地整合 AI 从而提高运转效率,但伴随着 AI 使用成本不断上涨,苹果公司开始对员工调用 AI 模型的

    来源 AI 行业观察
  16. 后摩智能B轮融资数十亿元:存算一体AI芯片加速端侧大模型落地

    11月4日消息,国内存算一体 AI 芯片领域的代表企业——后摩智能正式宣布,已于近期成功完成总额高达数十亿元人民币的 B 轮融资。值得一提的是,这也是该公司在过去一年内连续完成的多轮重磅融资之一。 此次融资吸引了上下游多方重磅产业资本的集体押注,同时兼有国有资本及国际投资人的联袂入局,多位老股东也选择持续加码。这一强大

    来源 AI 开发者社区
  17. Discovered Materials设100万美元悬赏:AI能否破解材料科学5大难题?

    成立仅数月的YC初创公司Discovered Materials宣布,设立总额100万美元的悬赏基金,围绕五个尚未解决的材料科学问题,每个解决方案奖励20万美元。该公司用AI寻找芯片材料,希望以开放创新加速材料发现,并验证AI在半导体材料研发中的潜力。这既是科研激励,也是初创公司构建生态、吸引人才与实验合作者的战略动作

    来源 AI 行业观察
  18. 百度首次发布物理AI世界模型Apollo World,萝卜快跑近百辆无人车搭载新架构运营

    11月3日,在深圳举行的百度AI Day·Apollo专场上,百度首次披露面向物理AI的世界模型Apollo World。百度智能驾驶事业群组首席架构师王亮表示,目前约百辆萝卜快跑无人车已搭载新一代端到端架构参与运营,累计全无人运营安全里程接近百万公里。 新一代架构采用端到端模型,从驾驶数据中直接学习驾驶策略,预测转向

    来源 AI 开发者社区
  19. 美光45亿美元桃园工厂停建,劳资纠纷成导火索

    据彭博社报道,美光已经暂停在中国台湾桃园市建设一座价值45亿美元(约300亿人民币)的存储芯片工厂。此次暂停与当地持续发酵的劳资纠纷有关。美光管理层对于项目面临的不确定性日益担忧,其中包括此前与当地工会达成的协议存在被推翻的风险。

    来源 华尔街见闻
  20. 虎鲸文娱推出鲸锐AI:影视制作省30%成本,支持百人协同

    虎鲸文娱发布行业首个AI影视制作平台“鲸锐AI”,集成60多个模型,通过精控套件解决生成不可控难题。实测显示,该平台能将单分钟视频成本降低30%以上,制作时长缩短40%-60%,并支持百人实时协同与无限画布创作,旨在推动AI影视从“抽卡”走向工业化标准生产。

    来源 AI 应用前沿
  21. 字节跳动限制员工用外部AI:L4代码库与飞书文档封禁访问

    【TechWeb】11月5日消息,据媒体报道,字节跳动近日出台内部AI工具使用管理新规,将大范围限制员工通过个人账号在内部使用Claude、Codex等外部AI工具。报道称,自本月起,字节跳动将对全公司所有L4级别的代码仓库和飞书文档实施外部AI访问封禁,员工个人采买的AI账号将无法继续访问相关内部资源。有消息称,该通

    来源 腾讯网
  22. 云策Omni评测:本地AI工作流怎么跑通

    云策Omni是一款跨平台桌面AI工作平台。它通过“模型+技能+插件+虚拟环境”的架构,让AI在本地安全地执行代码开发、内容创作和自动化任务。核心亮点在于插件的沙箱隔离机制,避免污染系统环境,以及前端开发的可视化验收功能,能直接预览渲染效果并修复视觉Bug。数据完全本地存储,适合对隐私敏感或需要长期稳定工作流的开发者与创

    来源 AI 应用前沿
向下滚动自动加载更多