NVIDIA NIM

💰 价格与方案

🔧 API 与开发者体验

• API 风格: 兼容 OpenAI 的 /v1/chat/completions 端点，地址 https://integrate.api.nvidia.com/v1 —— 现有 OpenAI SDK 客户端（openai-python、openai-node、LangChain、LlamaIndex）只需替换 base_url 和 api_key 即可使用。stream=true 支持流式；chat-tuned Nemotron 检查点支持 tool / function calling。
• 鉴权与免费层: 从 build.nvidia.com 签发单一 NVIDIA_API_KEY Bearer token；40 个免费端点模型无需信用卡。免费层按模型设 RPM 上限（无固定月度积分池）；合作伙伴端点需要在各合作方控制台单独申请 API key。
• 模型目录（100+ 模型，23 个 Nemotron 品牌）: 覆盖 LLM、视觉、Embedding、ASR、OCR、Guardrails：Nemotron-3 Ultra 550B (a55B)、Nemotron-3 Super 120B (a12B)、Nemotron-3 Nano 30B (a3B)、Nemotron-3.5-Lightning-30B-A3B、Nemotron-3 Nano Omni 30B（推理）、Llama-3.1-Nemotron-Ultra-253B v1、Llama-3.3-Nemotron-Super-49B v1.5、Llama-3.1-Nemotron-Nano-8B v1，加上 Nemotron-Embed-1B、Nemotron-OCR-v1/v2、Nemotron-Parse、Nemotron-ASR-Streaming、Nemotron-VoiceChat、llama-nemotron-rerank-vl-1b-v2、mistral-nemotron，以及 Nemoguard 安全 / 主题控制 / 越狱检测系列。
• 推理模式: Nemotron-3 Ultra / Super / Nano-Omni 检查点通过 extra_body={"chat_template_kwargs":{"enable_thinking":True}} 暴露显式思考轨迹，并在流式响应中返回 chunk.choices[0].delta.reasoning_content —— 同一个 chat-completion 表面同时返回推理过程和最终答案，应用零改造即可拿到思维链。
• 上下文与限制: 旗舰 Nemotron 上限 16384 completion token；上下文窗口随检查点变化（Nemotron-3 Ultra 通常 128K 级）。OpenAI 标准采样参数（temperature、top_p、top_k、frequency/presence penalty）全部支持。Tool-use schema 未超出 OpenAI function-calling 标准形态。
• 自托管路径: 每个公开 NIM 都附带 Docker 容器与 NVIDIA AI Enterprise 许可 —— 一条 helm / docker run 即可在 H100 / H200 / L40S / A100 / RTX PRO 6000 上跑通 Triton Inference Server + TensorRT-LLM + vLLM 优化引擎。API 表面与 integrate.api.nvidia.com/v1 完全一致，同一份客户端代码可在托管与自托管之间无缝迁移。
• 推理引擎: 底层：NVIDIA 自研模型走 TensorRT-LLM，社区开源模型走 vLLM，Triton Inference Server 作为服务层。每个模型的容器 GPU 矩阵在目录中可查（已知支持 A100 / H100 / L40S / A10G / A100-PG509-200）。

🧬 Nemotron-3 LatentMoE：Mamba-2 + MoE + Attention 混合架构

Nemotron-3（Ultra 550B / Super 120B / Nano 30B）在遍地 Llama 微调的当下真正有意思的地方是 LatentMoE 混合架构：每一层把 Mamba-2 选择性状态空间模型与稀疏 MoE 混合，再加少量 vanilla attention，而不是全程堆叠 attention。实际效果是绝大部分计算按 token 线性扩展（Mamba-2 是 O(n)，attention 是 O(n²)），只在确实需要时才保留 attention —— 远距离依赖、上下文检索、工具调用规划。推理时表现为：prompt 长度超过 32K 后 tok/s 衰减明显更平缓，对 H100 / H200 的 KV-cache 压力更小，同样的硬件能承载 550B active 参数模型，否则需要更大规模部署。NVIDIA 还配套了显式推理检查点（Nemotron-3 Nano Omni 30B reasoning，加上 Ultra / Super 上的 enable_thinking 开关），调用方可在 chat 与 chain-of-thought 两种模式间切换，无需重新部署权重。

🌐 中国访问与延迟

build.nvidia.com 与 integrate.api.nvidia.com 都托管在美国，同时美国出口管制限制 NVIDIA 高端加速器（H100 / H200 / Blackwell 级）销往或从中国大陆前端提供服务 —— 公共 NIM 端点只能通过稳定的海外代理 / VPN / SD-WAN 从国内连通，根据出口位置（HK / Tokyo / Singapore），典型往返延迟 250-450 ms。免费端点允许海外邮箱免信用卡注册，但服务按 Trial 服务条款记录每一次 prompt 与输出用于产品改进，这对任何保密代码或专有数据都是硬性阻断。实用的国内友好路径：(1) 通过 OpenRouter 或 Together AI 合作伙伴密钥调用 Nemotron（两者在 HK / Tokyo 边缘节点可用，接受海外卡，按合作方价格表通常与 NVIDIA 挂牌价持平）；(2) 在不受出口规则约束的亚太云（AWS Tokyo、Azure Singapore、GCP Taiwan 或 HK / SG GPU 主机）上自托管同一份 NIM 容器 —— 通过 NVIDIA AI Enterprise 自行持证，API 表面完全一致；(3) 仅在评估阶段使用 build.nvidia.com 免费端点，所有生产流量走上述两条之一。没有支付宝 / 微信支付充值，没有中国本土定价档，也没有 NVIDIA 官方中国大陆渠道 —— 每一条可行路线都涉及海外环节。