稀疏 MoE 架构
总参数量 37B，但每个 token 只激活 11B 参数，其余专家不参与计算，从而在训练与推理时节省算力。
RWKV-6 Mixture of Experts
AI TOOL PROFILE工具资料RWKV 家族中规模最大的 MoE 实验模型，用稀疏专家提升参数效率。
官网地址 https://substack.recursal.ai/p/flock-of-finches-rwkv-6-mixture-of
价格官网未标价
平台—
归类大模型与开发平台
收录2026-10-12
复核2026-10-12
编辑评分
4.2 / 5
★★★★☆
RWKV-6 Mixture of Experts编辑总结
Flock of Finches 37B-A11B v0.1 是 RWKV 模型家族中的实验性版本，采用稀疏混合专家（MoE）架构，总参数量 37B、激活参数 11B。它在只训练 109 billion tokens 的情况下，常见基准评测分数大致追平 Finch 14B。模型基于 Finch 7B 检查点扩展，增加八个 FFN 专家和一个共享专家，并在 16 张 AMD MI300X 上训练近四周。短板是效率提升伴随更高的 VRAM 占用，且模型仍在实验阶段。
RWKV-6 Mixture of Experts是什么？
Flock of Finches 37B-A11B v0.1 是 RWKV 模型家族的实验性发布版本，定位为家族中规模最大的 MoE 模型。它基于已有的 Finch 7B 检查点扩展而来，该检查点此前已在约 2 trillion tokens 上训练。
架构上，它在原有 FFN 之外增加了八个新的前馈网络专家，并保留原 FFN 作为「共享专家」。每个 token 由共享专家加一个从八个专家中选出的专家共同处理，结果相加，数学上等价于一个动态选择的双倍宽度 FFN。路由方式采用哈希路由而非训练式 top-k 门控，token 索引加一个质数后对八取模，决定该 token 交给哪个专家。
训练在 16 张 AMD MI300X 上完成，历时近四周，期间还加入 token-shift 等 RWKV 特有的处理。模型权重与代码已在 Hugging Face 发布，也可在 Featherless AI 平台试用。
RWKV-6 Mixture of Experts核心功能
共享专家加八专家
原 Finch FFN 始终参与计算作共享专家，另从八个新增专家中为每个 token 选一个，结果相加，形成双倍宽度的动态 FFN。
哈希路由
不用训练的 top-k 门控，而是用 token 索引加一个质数后对八取模决定专家，实现自然均匀的 token 到专家分配。
高效训练配置
在 16 张 AMD MI300X 上训练近四周。每张卡 192GB VRAM，足以容纳 MoE 带来的额外显存需求。
token-shift 扩展
把 RWKV 特有的 token-shift 一维卷积应用到新增专家上，让当前 token 与前一 token 的信息在 FFN 中混合。
训练数据效率
仅用 109 billion tokens 继续训练，就在常见基准评测分数上大致追平 Finch 14B，说明该架构学习速度较快。
RWKV-6 Mixture of Experts值不值得用？
当你需要研究稀疏 MoE 架构、或想在 RWKV 生态里做实验时，这个模型值得关注：它用 11B 激活参数达到与 14B 稠密模型相近的评测表现，且权重和代码公开可下载。但如果你的部署环境显存紧张，要注意 MoE 会带来更高的 VRAM 占用，效率提升并非没有代价；同时它仍是实验性发布，不适合直接用于对稳定性要求高的生产场景。
建议选它的情况
- 研究 MoE 路由策略与专家设计的研究者
- 希望在 RWKV 生态内做实验的开发者
- 显存充裕、愿意尝试新架构的团队
不建议选它的情况
- 显存受限、只能跑小模型的部署环境
- 要求模型长期稳定、直接上生产线的项目
RWKV-6 Mixture of Experts使用建议
入门先把路子走对
- 从官方权重入手权重与代码发布在 Hugging Face，可先加载 37B-A11B v0.1 版本，对照 Finch 14B 的评测结果做基线对比。
- 先算显存再部署MoE 在提升效率的同时会显著增加 VRAM 需求，部署前先确认硬件是否满足，16 张 MI300X 的训练配置可作参考。
- 用平台快速试跑不想本地搭建时，可在 Featherless AI 平台直接试用该模型，先感受输出质量再决定是否自行部署。
进阶省时间也省钱
- 理解哈希路由的影响哈希路由让 token 到专家的分配天然均匀，有助于推理效率，但也意味着专家选择不随上下文学习，需要评估是否适合你的任务。
- 关注学习率策略训练中对新增专家用了极高的初始学习率，再逐步退火到原模型的学习率，复现或继续训练时可参考这一设置。
- 对照共享专家设计该模型保留原 FFN 作共享专家并新增八个专家，而非克隆替换，实验表明这种设计学习更快，可作为架构消融的对照。
RWKV-6 Mixture of Experts适合谁用？
MoE 架构研究者
推荐模型公开了哈希路由、共享专家、token-shift 等设计细节，适合用来做稀疏专家路由的实验与消融。
RWKV 生态开发者
推荐作为 RWKV 家族最大的 MoE 版本，可直接下载权重与代码，在现有 RWKV 工具链上尝试迁移。
显存有限的部署者
有条件MoE 带来更高 VRAM 占用，单卡显存不足时可能无法运行，需要先评估硬件再决定。
生产环境用户
不推荐该版本标注为实验性模型，稳定性与长期支持尚未明确，不建议直接用于关键业务。
RWKV-6 Mixture of Experts优点和缺点
优点
- 11B 激活参数达到与 Finch 14B 相近的常见基准评测分数
- 仅用 109 billion tokens 继续训练即取得该效果
- 权重与代码在 Hugging Face 公开，可下载复现
- 哈希路由实现均匀的 token 到专家分配，利于推理效率
缺点
- 效率提升的代价是更高的 VRAM 占用
- 仍属实验性模型，未说明长期维护计划
- 训练仅持续近四周，规模相对有限
RWKV-6 Mixture of Experts常见问题
这个模型有多大？＋
总参数量 37B，但每个 token 只激活 11B 参数，因此实际计算量接近 11B 级别，而知识容量来自更大的总参数。
它的效果和谁比？＋
在只训练 109 billion tokens 的情况下，常见基准评测分数大致追平 Finch 14B，说明该 MoE 架构的学习效率较高。
在哪里可以下载或试用？＋
模型权重与代码发布在 Hugging Face，也可以在 Featherless AI 平台直接试用，无需本地部署即可先看输出质量。
为什么用哈希路由而不是训练门控？＋
哈希路由实现简单、速度快，并带来天然均匀的 token 到专家分配，作者希望借此改善推理效率，代价是专家选择不随上下文学习。
训练用了什么硬件？＋
在 16 张 AMD MI300X 上训练近四周，每张卡 192GB VRAM，足以容纳 MoE 带来的额外显存需求。
RWKV-6 Mixture of Experts最新动态
-
Flock of Finches 37B-A11B v0.1 发布
RWKV 家族新增最大的 MoE 实验模型，采用 11B 激活参数与八个新增 FFN 专家。
