开源大模型指南 (opensource-llm)
帮助用户选型、部署、对比开源(开放权重)大语言模型的一站式技能。所有数据为本技能自带的结构化文件,无需联网即可给出分类/部署/排名;榜单排名为带日期的快照,使用前建议以实时榜单复核。
何时使用
- 用户问"有哪些开源大模型""开源大模型怎么分类"
- 用户问"本地怎么部署 Qwen/DeepSeek/Llama""用什么工具跑开源模型"
- 用户问"哪个开源模型最强""开源大模型智能程度/评分排名"
- 用户问"我的显卡(X GB)能跑什么开源模型""开源模型许可证能不能商用"
数据文件(本技能自带,路径相对本 SKILL.md)
references/models.json:14 个模型家族的结构化档案(功能/尺寸/上下文/许可证/部署工具/智能梯队/评分/强弱项/GitHub 仓库与星标)。references/leaderboard-2026-10.json:2026-10 LMArena 开放权重榜 Top20 及后续关注项(含分数、实验室、国家/地区)。references/deploy.json:8 个部署/微调工具(官方域名、适用场景、示例命令、支持的模型)与按硬件的选型表。
> 数据来源说明:models.json 的 GitHub 仓库与星标由 gh 实时检索核验;排行榜来自 LMArena 等公开榜单 2026-10 快照,模型迭代快,排名随月份波动,给出结论时务必标注"快照日期"并建议复核实时榜单。
四大功能 → 操作指引
1) 按功能分类
读取 models.json,按 functions 字段聚合。常用分类维度:
- 通用对话:Llama、Qwen、DeepSeek、ChatGLM、Kimi、Mistral、Gemma
- 代码:Qwen-Coder、DeepSeek(代码/数学最强开源之一)、Qwen3-Coder
- 多模态:Llama 4、Qwen-VL、InternLM-XComposer
- 推理:DeepSeek-R1/V4、MiMo、Qwen3.5(科学推理强)
- 金融垂直:FinGPT
- 轻量/端侧:Phi-4、Gemma 3/4 小尺寸、Qwen 小尺寸
- 长上下文:Llama 4 Scout(10M)、DeepSeek(1M)、Qwen(256K–1M)
- RAG/引用:Command R+
输出时按"功能 → 推荐模型清单"分组,并标注该模型的许可证与最小显存。
2) 本地部署方式
读取 deploy.json 的 tools 与 hardware_selection:
- 零配置桌面:优先
ollama run <model>(如ollama run qwen3:8b) - 低显存/CPU/量化:优先
llama.cpp(GGUF) - 生产级高吞吐 API:
vllm serve <model> - InternLM 官方 & 量化服务:
lmdeploy - 微调:
unsloth(显存友好)、LlamaFactory(100+ 模型 Web UI) - 统一训练/推理框架:
transformers - 云端 OpenAI 兼容:
OpenLLM
给出命令示例时严格使用各工具官方域名(ollama.com、github.com、docs.vllm.ai、lmdeploy.readthedocs.io、huggingface.co),不要引入任何第三方镜像/代理/CDN 地址。
硬件选型直接引用 hardware_selection:按"内存/显存 → 推荐模型 → 工具"三列给出。
3) 智能程度由高到低
两种口径,按用户意图选择:
- 实时榜单位(推荐):读取
leaderboard-2026-10.json的open_weight_top20,按score降序输出 Top N(默认 10),标注实验室与国家/地区,注明"2026-10 LMArena 开放权重快照"。 - 家族梯队口径:读取
models.json,按intelligence_tier升序(1 最高)分组展示。Tier 1 含 Qwen/DeepSeek/ChatGLM/Kimi/MiMo;Tier 2 含 Gemma4/Mistral Large 3;Tier 3 为 Llama 4 Maverick 级;Tier 4 为 Baichuan/InternLM/Phi/Command R+/Yi;Tier 5 为 FinGPT(垂直)。
4) 综合评分由高到低
- 优先用
leaderboard-2026-10.json的score字段降序。 - 若用户问的是"某家族内具体版本评分",用
models.json的rating字段(Arena 分,0 表示无 2026 Arena 数据,应说明"该家族未进入当期 Arena 榜,按综合基准/生态归入对应梯队")。 - 输出评分时一并给出
license与min_vram_gb,让"强"与"能不能用/能不能商用"一并可见。
输出规范
- 排名/评分类回答必须标注数据快照日期与来源,并提示"模型迭代快,正式选型前请以实时榜单(LMArena / OpenCompass)复核"。
- 涉及商用,必须显式列出
license关键限制(如 Llama 社区许可 7 亿月活门槛、Mistral/Gemma/Phi/DeepSeek 的 MIT/Apache、ChatGLM/GLM 与 Kimi 的带条件许可)。 - 部署命令只引用官方域名,不出现任何镜像/代理转发地址。
- 结论先行:先给"最适合你的 1–3 个选择 + 理由",再展开表格与命令。