QKV 转 RWKV
把 Qwen、LLaMA 这类基于 QKV 注意力的模型权重转成 RWKV 变体，不需要从零重新训练，从而用较小预算验证 RWKV 线性注意力机制。
Q-RWKV-6 32B Instruct Preview
AI TOOL PROFILE工具资料把 Qwen 32B 的注意力头换成 RWKV-V6，转换训练而成的线性注意力模型
官网地址 https://substack.recursal.ai/p/q-rwkv-6-32b-instruct-preview
价格官网未标价
平台Hugging Face / Featherless.ai
归类大模型与开发平台
收录2024-12-11
复核2024-12-11
编辑评分
4.3 / 5
★★★★☆
Q-RWKV-6 32B Instruct Preview编辑总结
Q-RWKV-6 32B Instruct Preview 是 Recursal AI 联合 RWKV 与 EleutherAI 开源社区推出的 RWKV 模型变体，做法是把 Qwen 32B Instruct 的权重转成定制的 QRWKV6 架构，用 RWKV-V6 注意力头替换原有的 transformer 注意力头，不需要从头重训。转换在 16 张 AMD MI300X 上完成，耗时约 8 小时，支持约 16k 上下文长度。它的亮点是转换后表现与原本的 32B 模型接近，并保留了线性模型在大上下文下推理成本更低的潜力；短板是知识面受制于母模型只覆盖约 30 种语言，且沿用母模型的前馈网络结构，与现有 RWKV 推理代码不兼容。
Q-RWKV-6 32B Instruct Preview是什么？
Q-RWKV-6 32B Instruct Preview 由 Recursal AI 团队开发，与 RWKV 和 EleutherAI 开源社区联合完成，是一个把已有 transformer 模型改造成 RWKV 线性注意力架构的实验性模型。
它的做法是转换 Qwen 32B Instruct 的权重，用 RWKV-V6 注意力头替换原有的 transformer 注意力头，形成定制的 QRWKV6 架构，整个过程不需要从头训练模型。转换在 16 张 AMD MI300X GPU 上完成，每张 MI300X 带 192GB 显存，整体耗时约 8 小时。模型目前以 Preview 形式发布，官方说明它还不是最终版本，可在 Hugging Face 与 Featherless.ai 上获取。
对研究者和开发者来说，它的价值在于用较小的预算在更大规模上验证 RWKV 线性注意力机制；对普通使用者来说，它是一个可以试用的 32B 指令模型，但需要注意它沿用母模型的前馈网络设计，与现有 RWKV 推理代码不兼容，且语言覆盖受限于母模型。
Q-RWKV-6 32B Instruct Preview核心功能
RWKV-V6 注意力头
用 RWKV-V6 注意力头替换原有 transformer 注意力头，形成定制的 QRWKV6 架构，这是一套新的转换训练流程。
32B 指令模型
转换自 Qwen 32B Instruct，其整体表现与原本的 32B 模型接近，并以 Instruct Preview 形式发布，尚未定为最终版本。
16k 上下文转换
受算力预算限制，转换训练只做到 16k 上下文长度；模型在超出该长度时仍表现出稳定性，但后续模型可能需要额外训练才能准确支持更长上下文。
线性推理省钱
线性模型在大规模下算力成本明显更低，尤其在大上下文长度下推理成本可实现超过 1000x 的算力效率，对 O1 式推理期思考等场景有帮助。
双平台获取
模型权重可在 Hugging Face 的 recursal/QRWKV6-32B-Instruct-Preview-v0.1 页面获取，也可在 Featherless.ai 的对应模型页面调用。
官方说明 ↗Q-RWKV-6 32B Instruct Preview适合谁用？
RWKV 架构研究者
推荐想验证线性注意力在更大规模模型上是否成立，这个模型提供了 32B 量级的转换样本与基准对比，可直接下载权重复现测试。
做长上下文推理的开发者
推荐线性模型在大上下文下推理成本可实现超过 1000x 的算力效率，适合评估长文本场景的成本下降空间。
多语言产品团队
有条件模型语言覆盖受限于母模型 Qwen 支持的约 30 种语言，此前 RWKV 模型覆盖 100+ 语言；若产品需要小语种支持，需要先确认目标语言是否在覆盖范围内。
已有 RWKV 推理栈的用户
不推荐模型沿用母模型的前馈网络结构，而非 RWKV 的 channel mix 与 feedforward 层，会与现有 RWKV 推理代码不兼容，直接替换会跑不起来。
要求稳定版本的生产环境
有条件官方明确说明这是指令预览版，尚未视为最终版本，用于线上业务前需要自行评估版本变动风险。
Q-RWKV-6 32B Instruct Preview优点和缺点
优点
- 其转换后表现与原本的 Qwen 32B 模型接近
- 用权重转换替代从零训练，可用更小预算验证更大规模的 RWKV
- 转换在 16 张 AMD MI300X 上完成，整体耗时约 8 小时
- 线性架构在大上下文下推理成本可降低超过 1000x
- 转换方法可推广到 Qwen、LLaMA 等 QKV 注意力模型
- 模型权重已在 Hugging Face 与 Featherless.ai 公开
缺点
- 官方说明这是预览版，尚不视为最终模型
- 知识覆盖受限于母模型，只支持约 30 种语言
- 沿用母模型前馈网络结构，与现有 RWKV 推理代码不兼容
- 受算力预算限制，转换只做到 16k 上下文长度
Q-RWKV-6 32B Instruct Preview常见问题
Q-RWKV-6 32B Instruct Preview 是什么？＋
它是 Recursal AI 团队与 RWKV、EleutherAI 开源社区合作推出的 RWKV 模型变体，做法是把 Qwen 32B Instruct 的权重转换成定制的 QRWKV6 架构，用 RWKV-V6 注意力头替换原有的 transformer 注意力头。它不需要从头重训，是目前最强、也是最大的 RWKV 模型变体。
它和原来的 Qwen 32B 表现差多少？＋
官方给出的是定性结论：转换后的 QRWKV6 模型整体表现与它原本的 32B 模型接近。原文没有公开逐项基准分数，因此具体差距无法从公开内容里读出。官方同时表示，他们在与已有的开源权重模型（transformer 类与线性架构类）做过对比后得出这一判断。
国内能直接下载和使用吗？＋
模型权重挂在 Hugging Face 与 Featherless.ai 两个平台上，官方未说明这两个平台在各地的访问情况，也未提及任何地域限制。开发环境能否正常拉取权重、调用接口，需要按所在网络环境自行确认。
它支持多长的上下文？＋
受算力预算限制，转换训练只做到 16k 上下文长度。模型在超出这个长度时仍表现出稳定性，但后续模型可能需要额外训练，才能准确支持更长的上下文。
为什么说它和现有 RWKV 推理代码不兼容？＋
说明，这个模型在改造时保留了母模型的前馈网络架构设计，而没有换成 RWKV 的 channel mix 与 feedforward 网络层。因此它虽然属于 QRWKV6 架构，却不能直接套用现有 RWKV 推理代码，接入前需要先确认推理侧的适配情况。
后面还会有哪些模型？＋
在文中提到，目前正在训练 Q-RWKV-6 72B Instruct 模型。随着 RWKV-7 架构即将定稿，他们计划重复这套流程，推出 Q-RWKV-7 32B 与 LLaMA-RWKV-7 70B。转换流程的更多细节与论文，会在后续模型发布后公开。
Q-RWKV-6 32B Instruct Preview竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Q-RWKV-6 32B Instruct Preview本工具 | 4.3 | 未标价 | QKV 转 RWKV；RWKV-V6 注意力头；32B 指令模型；16k 上下文转换 | Hugging Face / Featherless.ai |
| RWKV-6 Mixture of Experts | — | 未标价 | RWKV 家族中最大的模型，采用 MoE 技术提升效率 | API / Web |
| RWKV v6 Finch 14B | — | 未标价 | RWKV v6 Finch 14B,开源大模型，高效处理长文本 | Web / API |
| LVBench | — | 未标价 | 长视频理解基准测试 | — |
| DCLM-baseline | — | 未标价 | 高性能语言模型基准测试数据集 | — |
| Geekbench AI | — | 未标价 | 跨平台 AI 性能基准测试工具 | — |
