第六代 Finch 架构
Finch 是 RWKV 架构的第六个版本,接替 Eagle / v5 系列。相比上一代,它把数据依赖性引入 token shift 与 time-mixing,让模型在处理提示时对长期记忆的管理更高效,上下文覆盖范围更好。
架构论文 ↗拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
RWKV 架构第六代开源大模型,主打长文本与长程记忆
RWKV v6 Finch 14B 是 RWKV 架构第六代 Finch 系列中规模最大的开源模型,由 RWKV 项目发布,2024 年 9 月上旬上线,模型权重对外开放。它在上一代 Eagle(v5)基础上,把数据依赖性引入 token shift 与 time-mixing,让模型在处理提示时对“长期记忆”的管理更高效,从而拥有更好的上下文覆盖范围。Finch 7B 与 Finch 14B 都是在 Eagle 7B 权重上用同一份数据集(World v2.1)继续训练得到,14B 由 7B 堆叠两份而来,相当于强化了模型的短期记忆。跑了 235 项基准,Finch 7B 相较 Eagle 7B 整体提升 5.38%,Finch 14B 在此基础上再提升 7.14%。短板也比较直接:项目公开提到 GPU 算力是瓶颈之一,因此对外接受捐赠;14B 的评测在每个模型上要花 2 天,迭代与验证成本都不低。
RWKV v6 Finch 14B 是 RWKV 开源项目推出的第六代大模型,属于 Finch(v6)系列,接替此前的 Eagle(v5)系列。项目本身是受 Linux Foundation 认可的开源项目,训练代码托管在 GitHub 上,模型权重对外公布,主要面向需要长文本处理能力的研究者、开发者和开源社区用户。
从架构看,Finch 在 Eagle 的基础上,把数据依赖性引入 token shift 和 time-mixing,使模型在处理提示时能更高效地管理“长期记忆”,上下文覆盖范围更好。Finch 14B 是目前训练过的最大 Finch 模型,也是 RWKV 项目迄今最大的模型——在 Eagle 阶段,训练过的最大规模只有 7B。它的训练起点是 Eagle 7B 的权重,用的是同一份数据集 World v2.1;14B 由两份 7B 模型堆叠而成,堆叠的作用是提升模型的短期记忆,也就是每一层能接收到的精确提示内容,这与单纯把模型加宽的效果并不相同。
使用方式上,普通用户可以通过官方给出的托管推理入口直接体验 14B;开发者可以下载 14B、7B、3B、1.6B 各档权重自行部署,也可以用公开的训练代码做继续训练或微调;团队层面则更偏向把 RWKV 作为长文本场景的底层模型来评估,但需要自行准备算力。
Finch 是 RWKV 架构的第六个版本,接替 Eagle / v5 系列。相比上一代,它把数据依赖性引入 token shift 与 time-mixing,让模型在处理提示时对长期记忆的管理更高效,上下文覆盖范围更好。
架构论文 ↗Finch 14B 是目前训练过的最大 Finch 模型,也是 RWKV 项目历史上最大的模型——此前的 Eagle 系列最大只训练到 7B,14B 的出现把项目的规模上限往上推了一档。
14B 由两份 7B 模型堆叠而成,堆叠能提升模型的短期记忆,也就是每一层能接收到的精确提示内容,这种增强方式和单纯把模型加宽带来的效果并不一样。
了 14B、7B、3B、1.6B 四档模型权重,其中小于 14B 的 Finch 模型在 2024 年陆续出现,开发者可以按自己的算力与场景挑选合适规模。
训练代码 ↗通过把数据依赖性引入 token shift 和 time-mixing,Finch 在处理提示时对长期记忆的管理更高效,从而获得更好的上下文覆盖范围,适合长文本类任务。
架构论文 ↗官方给出了 14B 的托管推理页面,无需自行准备算力即可在线调用体验该模型,适合快速验证效果或做小规模试用。
托管推理 ↗项目的训练代码在 GitHub 上公开,开发者可以据此复现训练流程、继续训练或做定制化调整,项目本身也是受 Linux Foundation 认可的开源项目。
GitHub ↗官方用 RWKV 版的 lm-evaluation-harness 跑了 235 项基准,尽量扩大覆盖面;该评测框架也是 HuggingFace Open LLM Leaderboard 所用的标准框架的分支。
评测框架 ↗当你要做长文本或长程记忆类实验时,RWKV v6 Finch 14B 值得放进候选名单:它把数据依赖性引入 token shift 与 time-mixing,官方在 235 项基准上测得 Finch 7B 相较 Eagle 7B 整体提升 5.38%,Finch 14B 再提升 7.14%。当你要的是开箱即用的商业服务时则要谨慎:权重虽然开源,官方也提供了托管推理入口,但项目公开表示 GPU 算力是瓶颈之一,正在寻求算力捐赠,说明训练与迭代资源并不宽裕。另外 14B 属于较大规模,自行部署对硬件有要求;如果只是做轻量任务,官方同时放出了 3B 和 1.6B 两个更小的版本可供权衡。
Finch 把数据依赖性引入 token shift 与 time-mixing,长期记忆管理更高效,适合做长上下文相关的实验与对比。
权重与训练代码均公开,项目还是 Linux Foundation 认可的开源项目,便于二次开发、继续训练和定制化部署。
14B 是项目迄今最大的模型,自行部署对硬件有要求;官方同时提供托管推理入口,可以先在线验证再决定是否本地部署。
开源权重需要自行配置推理环境,官方托管入口的功能范围与调用限制需以官网为准,不适合完全不想碰技术细节的人。
项目公开表示 GPU 算力是瓶颈之一并接受捐赠,说明资源并不宽裕,对服务稳定性和支持响应有硬要求的业务需谨慎评估。
模型权重本身是公开的,官方也给出了 14B 的托管推理入口,具体调用是否收费、额度多少,官网未公开,需要以官方页面为准。另外项目公开表示 GPU 算力是瓶颈之一,接受机构捐赠闲置算力,联系方式在官方博客里公布。
Finch 是 RWKV 架构的第六个版本,接替 Eagle / v5 系列,14B 是目前训练过的最大 Finch,也是 RWKV 项目迄今最大的模型。它在 Eagle 基础上把数据依赖性引入 token shift 和 time-mixing,对长期记忆的管理更高效,上下文覆盖范围更好;14B 由两份 7B 堆叠而来,用以增强短期记忆。
跑了 235 项基准做对比:Finch 7B 相较 Eagle 7B 整体提升 5.38%,Finch 14B 在此基础上再提升 7.14%。两者都是在 Eagle 7B 权重上用同一份数据集 World v2.1 继续训练得到的,所以提升本身就说明 Finch 的架构改动带来了额外价值。
未说明国内访问与使用方面的限制。可确认的是模型权重对外公布、训练代码在 GitHub 上开源,也提供了 14B 的托管推理入口,实际能否访问以及速度表现需要。
了 14B、7B、3B、1.6B 四档 Finch 模型权重。小于 14B 的 Finch 在 2024 年陆续出现,14B 是其中最大的一个。Eagle 阶段训练过的最大规模只有 7B,因此 14B 同时刷新了 Finch 系列和整个 RWKV 项目的规模上限。
不完全是。14B 由两份 7B 模型堆叠而成,堆叠提升的是短期记忆,也就是每一层能接收到的精确提示内容,这与把模型加宽带来的效果不同。二者的训练起点都是 Eagle 7B 权重,用的是同一份数据集 World v2.1。
在他们的环境里,每个模型跑完整评测要 2 天。他们一共跑了 235 项基准,用来尽量扩大覆盖面,同时控制计算时间。如果要自行验证效果,建议提前留出足够的评测时间预算。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| RWKV v6 Finch 14B本工具 | 4.3 | 未标价 | 第六代 Finch 架构;14B 最大规模;7B 权重堆叠;多尺寸权重 | Web / API |
| Qwen2.5-Turbo | — | 未标价 | 高效处理长文本的先进语言模型 | — |
| ModernBERT-base | — | 未标价 | 高效处理长文本的双向编码器模型 | — |
| RWKV-6 Mixture of Experts | — | 未标价 | RWKV 家族中最大的模型,采用 MoE 技术提升效率 | — |
| Q-RWKV-6 32B Instruct Preview | — | 未标价 | 最强大的 RWKV 模型变体,打破多项英语基准测试 | — |
| MediaTek Research Breeze-7B | — | 未标价 | 一款开源大型语言模型,适用于中英文 | — |