Atto系列模型:840参数能做检索吗?小模型实测解析
NeuML推出的Atto系列模型挑战了“检索必须大参数”的常识。从840参数的ColBERT变体到2800万参数的稠密模型,Atto通过卷积注意力混合器和相位门控MoE架构,在极低参数量下实现了接近主流模型的检索效果。本文拆解其技术原理、基准测试数据及在垂直领域落地的可能性,探讨如何让中小企业低成本定制专属嵌入模型。
检索模型非大不可吗?
眼下向量搜索和RAG(检索增强生成)走红,很多人心里都有个默认前提:检索效果想做好,模型就得往大了堆。BGE、E5这些主流嵌入模型,参数动辄几亿乃至几十亿,算力开销不低。
NeuML最近放出的Atto系列,偏偏抛出一个反直觉的疑问:840个参数,还能不能撑起有意义的语义检索?换个更实际的说法,一个9万参数的稠密嵌入模型,有没有机会逼近比自己大几百倍的对手?
Atto并非单个模型,而是一族专攻参数效率极限的紧凑型上下文模型,参数量跨度拉得很开——从极端的840参数ColBERT配置,到2800万参数的稠密嵌入模型,都在覆盖范围内。这一系列实验想验证的不只是谁更小、谁排名更靠前,而是在有限的参数预算下,靠架构调整和训练策略优化,垂直领域的定制化嵌入模型能不能真正落地。
基准测试:小模型究竟能拿多少分
为摸清Atto的真实水平,测试选在三个标准BEIR检索数据集上展开:ArguAna(论证分析)、NFCorpus(生物医学文献)、SciFact(科学事实核查)。评价指标用NDCG@10,分数越高,说明检索排序越准。
稠密嵌入的成绩
稠密嵌入是当前最主流的向量搜索路子,把文本映射成固定维度的向量。下表列出不同规模At模型与其他知名小模型的对比:
| 模型 | 参数量 | 维度 | 词表大小 | ArguAna | NFCorpus | SciFact | 平均分 |
|---|---|---|---|---|---|---|---|
| atto-90k-2048d | 90K | 2048 | 1K | 0.4021 | 0.2676 | 0.6074 | 0.4257 |
| bert-hash-nano | 953K | 128 | 30K | 0.3828 | 0.2562 | 0.5032 | 0.3807 |
| atto-2m-8192d | 2M | 8192 | 4K | 0.4343 | 0.3125 | 0.6653 | 0.4707 |
| all-MiniLM-L6-v2 | 23M | 384 | 30K | 0.4789 | 0.3089 | 0.6527 | 0.4802 |
| atto-28m-8192d | 28M | 8192 | 30K | 0.5111 | 0.3461 | 0.6843 | 0.5138 |
数据里有几处值得留意。先看9万参数那一档,[[保留2]]模型平均分达到0.4257。和2300万参数的行业标杆[[保留3]](0.4802分)相比确实还有距离,可参数量少了约256倍,这笔性价比账相当划算。atto-90k-2048dall-MiniLM-L6-v2
再看参数涨到200万时,[[保留4]]平均分来到0.4707,已经贴着MiniLM的水平。到了2800万参数档位,Atto更是以0.5138的平均分略微超过MiniLM。也就是说,架构选对了,小模型把输出维度加上去,完全有底气和更大模型掰手腕。atto-2m-8192d
稀疏嵌入与ColBERT晚期交互
传统稠密向量之外,Atto也试了稀疏嵌入和ColBERT式的晚期交互(Late Interaction)。
稀疏嵌入这边,1700万参数的Atto稀疏模型平均分0.4596,保住了同规模稠密模型约90%的性能。这条路子不必像传统BM25那样依赖庞大的词表输出,转而学习潜在的稀疏空间,等于给语义检索多添了一种轻量选择。
更极端的是ColBERT系列。它不把整篇文档压成一个向量,而是保留每个Token的向量,检索阶段再做细粒度的Token对Token匹配。Atto在这种架构下把“小”做到了头:
- 840参数模型:
colbert-atto-840-8d区区840个参数,在三个数据集上拿下0.3139的平均分。作为对照,参数量大出数百倍的[[保留6]](243K参数)平均分只有0.2065。bert-hash-femto - 95万参数模型:
colbert-atto-950k-128d得分0.4816,几乎追平400万参数版本(0.4818)。
这里得澄清一个误区:840参数不等于能直接替掉通用大模型。ColBERT架构的开销大头在检索时的交互阶段,而非单纯的向量生成。不过结果至少说明,在特定检索架构下,参数效率能挖到让人意外的程度。
Atto的架构秘密:这么小为何还能用?
Atto没照搬标准Transformer块,而是自己搭了一套更轻的序列处理结构,这正是它在极小参数量下仍有竞争力的原因。
核心组件:GatedConvAttentionMixer
传统Transformer靠自注意力算全局上下文,参数和计算量都不小。Atto的做法是引入GatedConvAttentionMixer(门控卷积注意力混合器)。
具体流程分几步:先对隐藏层表示做深度卷积(Depthwise Convolution),把局部Token上下文抓出来;接着通过融合投影,生成本地门控信号、本地值,以及注意力的查询(Q)、键(K)、值(V)。
真正的关节在“方向性门控机制”上。它把两个非线性激活流合到一起,产出一个有界的门控信号。这个信号既用来搭本地特征,也同时作用到Q、K、V投影上——局部上下文因此能直接左右全局注意力的计算。最后,本地卷积特征与全局注意力输出合并,做一次残差更新。
说白了,局部细节交给卷积,全局关联交给注意力,中间用门控机制把两边串起来,全量注意力矩阵那笔计算开销就省掉了。
多尺度处理:PhaseGatedMoE
另一处创新是PhaseGatedMoE(相位门控混合专家模块)。一般MoE模型得学一个路由网络来判断哪个专家接手数据,这本身就要多出参数。
Atto换了个更巧的办法,用两个深度卷积专家:
- 本地专家:核大小为3,负责捕捉邻近的词组信息。
- 扩张专家:核大小为3,扩张率为2,负责捕捉更宽的上下文区域。
它没有额外加学习路由,而是让视野更宽的“扩张专家”产出一个调制信号,直接去调“本地专家”的输出。这种跨尺度交互不占路由参数,多尺度特征提取能力保住了,模型体积也压住了。
内部紧凑,外部扩展
Atto还有一条设计原则:内部处理维度和最终嵌入维度分开。
内部若一直维持高维表示(如4096或8192维),参数量会炸。Atto的做法是内部用紧凑隐藏空间做上下文理解,处理完再经一个学到的线性投影层,把Token表示扩到目标高维嵌入空间。
先压缩理解、再扩展表达,Atto因此能以较小的内部代价产出适合高精度检索的高维向量。稠密模型上,它主要用逐维最大池化(Max Pooling),而非常见的平均池化。最大池化留得住序列里最显著的特征激活,这和ColBERT保留Token级信息的思路相近,都是怕信息在聚合时被稀释。
训练策略:从语言建模到检索蒸馏
架构再好也得靠数据喂出来。Atto的训练分两步。
第一步是基础预训练。所有Atto模型都在英文维基百科上做掩码语言建模(MLM),先学会基本词汇、语法结构和词语间的普遍关系,把通用语言理解的底子打好。
第二步是知识蒸馏,这也是小模型变强的关键。
- 稠密和稀疏模型使用LightOn AI开发的
DenseOn它被当作教师模型,在 MS MARCO 500K 三元组数据集上做蒸馏;小模型通过模仿大模型的输出分布,学会检索。 - ColBERT 模型则用 LightOn AI 的 MS MARCO BGE-Gemma 数据集蒸馏,专门围绕 Token 级晚期交互做优化。
教师模型和数据集都复用同一套,Atto 由此保证各变体之间可以横向比较,也说明蒸馏在压缩模型这件事上确实管用。
840 参数模型的启示
绕回那个最抓眼球的 840 参数模型:它到底有没有用?
ArguAna、NFCorpus 和 SciFact 三个数据集上,它的平均分是 0.3139。绝对分数确实不算高,大模型能到 0.5+;可在极低端市场,它已经压过参数量大出几百倍的 BERT Hash 系列基线。
这背后有两点。其一,检索任务的冗余度也许比预想中更高,不少场景根本用不着千亿参数级别的理解力;其二,架构怎么选,比一味堆参数更要紧。ColBERT 的晚期交互机制本身携带的信息就比单向量稠密检索多,编码器再小,整套系统照样能跑出效果。
当然,别指望拿 840 参数的模型去做通用开放域问答。它的意义在于标出参数效率的下限,也让人看到特定约束条件下——嵌入式设备、极低延迟要求——存在哪些可能。
让领域专用模型变得触手可及
Atto 最大的实际价值,可能不在刷榜,而在于把定制嵌入模型的门槛拉低了。
不少企业和机构并不需要通晓天下事的通用大模型。医院要的是懂医学术语的模型,律所要的是懂法律条文引用的模型,代码仓库要的是懂 API 文档的模型。通用模型在这些垂直领域往往表现平平——训练数据太杂,特定术语的权重被稀释了。
过去训练一个专用嵌入模型,成本高、难度大,大家只能凑合用通用模型。现在有了 Atto 这类高效架构,组织完全可以拿自己的数据集,训练多个小型专用模型。
比如一家科技公司可以同时部署三个模型:一个查内部技术文档,一个查客户支持知识库,一个搜代码库。参数量都小,训练快,推理成本低;针对性强,检索准确率反而可能高过通用大模型。
这种“多模型策略”,让嵌入技术从“一刀切”转向“量体裁衣”。
如何使用与展望
目前 Atto 全系列模型已上传至 Hugging Face Hub,开发者可以按需求挑:
- 要兼容现有向量数据库,选 Dense 系列,维度按显存和精度要求来定(384/2048/8192)。
- 看重存储效率、又能接受稀疏索引的,可以试 Sparse 系列。
- 追求极致检索精度、也扛得住稍高检索计算开销的,ColBERT 系列是不错的选择,尤其 950K 参数版本,性价比很高。
用之前建议把每个模型的 Model Card 仔细读一遍,弄清它的池化策略(Mean 或 Max)和预处理要求。
Atto 的出现提醒我们,AI 工程化不只是把模型做大,更是找到更合适的模型。算力成本和隐私合规越来越要紧的今天,小而美的专用模型或许才是企业落地更优的解。往后架构优化继续深入,大概会看到更多像 Atto 这样、在极低资源消耗下还能提供实用能力的基石模型。