vllm-ascend支持的模型

你在昇腾卡上要挑一个模型上线，翻文档只看到一句「支持主流模型」，具体到你要用的那个能不能跑、要不要改配置、多模态行不行，全靠猜。这篇不讲排行榜，只给一套核对方法：从哪查清单、按什么维度筛、什么情况下这份清单不适用。

你在昇腾卡上要挑一个模型上线，翻文档只看到一句「支持主流模型」，具体到你要用的那个能不能跑、要不要改配置、多模态行不行，全靠猜。这篇文章不讲排行榜，只给一套核对方法：从哪查清单、按什么维度筛、什么情况下这份清单不适用。

先说清楚一件事：本文里的「支持」不是拍板结论，而是一个需要你自己动手验证的状态。任何清单都会随框架版本、驱动版本、量化格式变化，所以真正有用的不是记住某个模型名，而是学会怎么在站内把当时的清单和硬件条件对齐。

先把「支持」这两个字拆开

很多人把「权重能加载」当成「支持」，结果跑起来发现输出乱码、速度慢到不能用。选型时先给自己分三层：第一层是能加载，第二层是能正常出结果，第三层是性能和精度都达到上线标准。大部分踩坑都发生在把第一层当成第三层。

能加载

模型权重读进显存、进程不报错，但不保证输出质量

能出结果

给定输入能返回语义正确的内容，精度可接受

能上线

吞吐、延迟、并发、精度都满足你的业务指标

• 对照站内模型库和加速卡规格库，确认参数量、量化格式与显存对得上，不要只看模型名；
• 昇腾侧常见限制集中在自定义算子、量化格式和并行方式，选型时优先挑社区里已有人跑过的结构；
• 如果你的模型带自定义注意力或特殊位置编码，先按「可能不支持」预期排期；
• 判断标准很简单：核对清单时任何一项对不上，就当作需要额外适配工作，别默认它会自动兼容。

自己核清单的四步动作

下面这套顺序是让你从零到有一个可复现的结论，不是让你背清单。每一步都有验证动作，做完能拿到一条可回滚的基线。

1. 找对清单来源在 vLLM 昇腾分支的文档与模型支持页找到当前版本列出的模型。注意别拿通用版清单套用，两者的支持范围经常不一致。
2. 算硬件账到站内部署测算页按参数量和量化档位算一遍显存与并发，确认卡型和卡数够不够。这一步能提前排除「模型支持但机器跑不动」的情况。
3. 最小输入跑通用一句最短的提示词跑一次生成，重点看加载日志里有没有算子回退或权重裁剪告警。有告警就说明精度可能打折。
4. 记下版本组合把这次跑通的框架版本、卡型、量化格式写下来，作为以后升级或换模型的对比基线。没有基线就没法判断升级是否引入退化。

这套流程也有不适用的时候：如果你只是做一次演示、随时能换云上 API，没必要走完整验证；如果模型已经有人在同一卡型上跑通并给出可复现记录，你可以直接从第三步开始。是否值得投入，取决于这个模型会不会进生产。

选型时真正该看的几个维度

支持清单只回答「有没有」，选型还要回答「划不划算」。下面几个维度比模型名更能决定你后面会不会返工。

• 先定任务类型，再挑模型，顺序反了容易选到不匹配的结构；
• 量化格式的优先级往往高于模型名字，同一模型换格式可能直接可用；
• 把并发预期写下来再去核对硬件，别等压测才发现只能单路跑；
• 许可证和商用边界单独查一遍，这一步省不得。

清单没写你的模型，怎么办

清单里找不到你的模型很常见，不代表这条路走不通，但要先判断缺口的性质，再决定投入多少。判断顺序是：先看是不是整体缺，再看是不是只差某个配置项。

• 能降级就降级：换同系列稠密版本、换更通用的量化格式，通常比啃适配划算；
• 真要自己适配，先估三块工作量：算子改写、精度对齐、回归测试；
• 给出退出条件：如果几天内跑不到可接受的精度和速度，就换模型或换回通用 GPU 路线，别无限期投入；
• 把这次适配的结论记回站内笔记，下次别人遇到同样问题能省一轮试错。

需要提醒的是，上面这些判断都基于你当前拿到的清单和硬件。具体到参数量、显存占用、吞吐数字，站内页面会随时间和版本更新，务必到站内对应页面核对当时的数字，不要凭记忆下结论。