英伟达推 Nemotron 3.5 Super VL：1200 亿参数，单卡吞吐最高 5 倍
IT之家 10 月 15 日消息，英伟达宣布推出开放多模态模型 Nemotron 3.5 Super VL，面向需要持续运行、执行多步骤任务的 AI 智能体。 该模型采用混合专家（MoE）架构，总参数量为 1200 亿，激活参数 120 亿。英伟达称，在单张 GPU 上执行智能体任务时，该模型的吞吐量最高可达到同规模其
英伟达放出了一款开放多模态模型，名叫 Nemotron 3.5 Super VL，10 月 15 日正式对外宣布。它瞄准的是那些得长时间跑着、要完成多步任务的 AI 智能体。
架构上走的是混合专家（MoE）路线，总参数 1200 亿，其中被激活的是 120 亿。英伟达给出的说法是：只在一张 GPU 上跑智能体任务，这款模型的吞吐量能顶到同规模其他开放模型的 5 倍。
按英伟达的介绍，推理、指令遵循和工具调用这几项能力，跟文本、图像、文档、视频的理解能力，被塞进了同一个模型里。能派上用场的地方包括代码测试和调试、跨网站找信息、分析文档、识别网络安全威胁，还有检索视频内容。开发者这边可以用英伟达 NeMo 工具链，拿自己的数据、工具、政策和工作流程做后训练，按业务需要去调模型的行为。
企业定制的例子，英伟达也一起放了出来。AI 数据技术提供商 Scale AI 给媒体娱乐公司 Skydance Corporation 做了一个供应商信用处理智能体，这类工作负载的推理成本预计能砍掉 97.5%，延迟降 80%。
金融运营平台 Ramp 正在把收据图像变成结构化的 JSON 数据，里面带商户、日期和支付信息，预计吞吐量最多涨 50%，延迟降 90%。AI21 则和 AI 安全公司 Alice 联手做定制模型，用在威胁情报和漏洞分析上，这类任务的准确率提升了 40%。
评测成绩方面，英伟达称 Nemotron 3.5 Super VL 在 CharXiv 图表推理基准测试里拿到 80.8%，Nemotron 3 Nano Omni 是 63%；再把 Python 代码解释加进来，分数到了 84%。
Hermes Bench 和 LangChain 行为评估这两项，该模型分别是 63.44% 和 87.05%，高于 Nemotron 3 Ultra 的 56.33% 和 84.3%。英伟达还提到，在 OCRBench v2 榜单上，它属于表现靠前的开放模型。
推理开销这块，Nemotron 3.5 Super VL 用上了投机解码、混合精度和上下文复用等手段。英伟达介绍，其 LiLiCorr 投机解码方法跑在 DGX Spark 上，词元生成速度最高能提到 2.3 倍。模型也支持 NVFP4 量化：在英伟达 Blackwell 架构上用 4 位权重加 4 位激活值；换到非 Blackwell 平台，同一个检查点则是 4 位权重配 16 位激活值。
分布式推理的部署优化方案，英伟达同样公布了。按其披露的数据，16 张 NVIDIA B200 GPU、每名用户每秒生成 50 个词元的测试条件下，NVIDIA Dynamo 搭配缓存感知路由、会话亲和性和 KV 缓存卸载，最多能服务的用户数量是原来的 8 倍，首词元延迟降了 85%。
这次发布的东西还包括基础模型、后训练模型和 NVFP4 量化模型权重，另外有训练配方、数据集和强化学习环境。
英伟达说，Nemotron 3.5 Super VL 在预训练和持续预训练阶段一共用了约 26 万亿词元，后训练阶段用了约 380 万个样本，强化学习则在数十种环境里进行。新开放的数据集覆盖智能体工具调用、金融推理、指令遵循、长上下文、公平性和视觉语言理解这些方向。
除了 Super VL，英伟达还带来两款 Nemotron 3.5 Bolt 端侧模型。Nemotron 3.5 Bolt 74B-A9B 24GB 是 740 亿总参数、90 亿激活参数的 MoE 架构，靠原生 2 位量化压到 24GB，面向本地智能体任务，支持 llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio。另一款 Nemotron 3.5 Bolt E4B 4GB 面向本地语音助手、交互角色和嵌入式界面等场景，定在 10 月 23 日推出。
Nemotron 3.5 Super VL 和 Bolt 74B-A9B 24GB 现在就能拿到，开发者可以通过 Hugging Face、OpenRouter、ModelScope 等渠道使用相关模型资源。Super VL 能部署在 DGX Spark、DGX Station、RTX 系统、数据中心或云端；Bolt E4B 4GB 则要等到 10 月 23 日发布。
