Atto系列模型:840参数能做检索吗?小模型实测解析

资讯 AI 应用前沿 全文 4214 字 · 约 11 分钟读完

NeuML推出的Atto系列模型挑战了“检索必须大参数”的常识。从840参数的ColBERT变体到2800万参数的稠密模型,Atto通过卷积注意力混合器和相位门控MoE架构,在极低参数量下实现了接近主流模型的检索效果。本文拆解其技术原理、基准测试数据及在垂直领域落地的可能性,探讨如何让中小企业低成本定制专属嵌入模型。

检索模型非大不可吗?

眼下向量搜索和RAG(检索增强生成)走红,很多人心里都有个默认前提:检索效果想做好,模型就得往大了堆。BGE、E5这些主流嵌入模型,参数动辄几亿乃至几十亿,算力开销不低。

NeuML最近放出的Atto系列,偏偏抛出一个反直觉的疑问:840个参数,还能不能撑起有意义的语义检索?换个更实际的说法,一个9万参数的稠密嵌入模型,有没有机会逼近比自己大几百倍的对手?

Atto并非单个模型,而是一族专攻参数效率极限的紧凑型上下文模型,参数量跨度拉得很开——从极端的840参数ColBERT配置,到2800万参数的稠密嵌入模型,都在覆盖范围内。这一系列实验想验证的不只是谁更小、谁排名更靠前,而是在有限的参数预算下,靠架构调整和训练策略优化,垂直领域的定制化嵌入模型能不能真正落地。

基准测试:小模型究竟能拿多少分

为摸清Atto的真实水平,测试选在三个标准BEIR检索数据集上展开:ArguAna(论证分析)、NFCorpus(生物医学文献)、SciFact(科学事实核查)。评价指标用NDCG@10,分数越高,说明检索排序越准。

稠密嵌入的成绩

稠密嵌入是当前最主流的向量搜索路子,把文本映射成固定维度的向量。下表列出不同规模At模型与其他知名小模型的对比:

模型 参数量 维度 词表大小 ArguAna NFCorpus SciFact 平均分
atto-90k-2048d 90K 2048 1K 0.4021 0.2676 0.6074 0.4257
bert-hash-nano 953K 128 30K 0.3828 0.2562 0.5032 0.3807
atto-2m-8192d 2M 8192 4K 0.4343 0.3125 0.6653 0.4707
all-MiniLM-L6-v2 23M 384 30K 0.4789 0.3089 0.6527 0.4802
atto-28m-8192d 28M 8192 30K 0.5111 0.3461 0.6843 0.5138

数据里有几处值得留意。先看9万参数那一档,[[保留2]]模型平均分达到0.4257。和2300万参数的行业标杆[[保留3]](0.4802分)相比确实还有距离,可参数量少了约256倍,这笔性价比账相当划算。atto-90k-2048dall-MiniLM-L6-v2

再看参数涨到200万时,[[保留4]]平均分来到0.4707,已经贴着MiniLM的水平。到了2800万参数档位,Atto更是以0.5138的平均分略微超过MiniLM。也就是说,架构选对了,小模型把输出维度加上去,完全有底气和更大模型掰手腕。atto-2m-8192d

稀疏嵌入与ColBERT晚期交互

传统稠密向量之外,Atto也试了稀疏嵌入和ColBERT式的晚期交互(Late Interaction)。

稀疏嵌入这边,1700万参数的Atto稀疏模型平均分0.4596,保住了同规模稠密模型约90%的性能。这条路子不必像传统BM25那样依赖庞大的词表输出,转而学习潜在的稀疏空间,等于给语义检索多添了一种轻量选择。

更极端的是ColBERT系列。它不把整篇文档压成一个向量,而是保留每个Token的向量,检索阶段再做细粒度的Token对Token匹配。Atto在这种架构下把“小”做到了头:

  • 840参数模型:colbert-atto-840-8d区区840个参数,在三个数据集上拿下0.3139的平均分。作为对照,参数量大出数百倍的[[保留6]](243K参数)平均分只有0.2065。bert-hash-femto
  • 95万参数模型:colbert-atto-950k-128d得分0.4816,几乎追平400万参数版本(0.4818)。

这里得澄清一个误区:840参数不等于能直接替掉通用大模型。ColBERT架构的开销大头在检索时的交互阶段,而非单纯的向量生成。不过结果至少说明,在特定检索架构下,参数效率能挖到让人意外的程度。

Atto的架构秘密:这么小为何还能用?

Atto没照搬标准Transformer块,而是自己搭了一套更轻的序列处理结构,这正是它在极小参数量下仍有竞争力的原因。

核心组件:GatedConvAttentionMixer

传统Transformer靠自注意力算全局上下文,参数和计算量都不小。Atto的做法是引入GatedConvAttentionMixer(门控卷积注意力混合器)。

具体流程分几步:先对隐藏层表示做深度卷积(Depthwise Convolution),把局部Token上下文抓出来;接着通过融合投影,生成本地门控信号、本地值,以及注意力的查询(Q)、键(K)、值(V)。

真正的关节在“方向性门控机制”上。它把两个非线性激活流合到一起,产出一个有界的门控信号。这个信号既用来搭本地特征,也同时作用到Q、K、V投影上——局部上下文因此能直接左右全局注意力的计算。最后,本地卷积特征与全局注意力输出合并,做一次残差更新。

说白了,局部细节交给卷积,全局关联交给注意力,中间用门控机制把两边串起来,全量注意力矩阵那笔计算开销就省掉了。

多尺度处理:PhaseGatedMoE

另一处创新是PhaseGatedMoE(相位门控混合专家模块)。一般MoE模型得学一个路由网络来判断哪个专家接手数据,这本身就要多出参数。

Atto换了个更巧的办法,用两个深度卷积专家:

  1. 本地专家:核大小为3,负责捕捉邻近的词组信息。
  2. 扩张专家:核大小为3,扩张率为2,负责捕捉更宽的上下文区域。

它没有额外加学习路由,而是让视野更宽的“扩张专家”产出一个调制信号,直接去调“本地专家”的输出。这种跨尺度交互不占路由参数,多尺度特征提取能力保住了,模型体积也压住了。

内部紧凑,外部扩展

Atto还有一条设计原则:内部处理维度和最终嵌入维度分开。

内部若一直维持高维表示(如4096或8192维),参数量会炸。Atto的做法是内部用紧凑隐藏空间做上下文理解,处理完再经一个学到的线性投影层,把Token表示扩到目标高维嵌入空间。

先压缩理解、再扩展表达,Atto因此能以较小的内部代价产出适合高精度检索的高维向量。稠密模型上,它主要用逐维最大池化(Max Pooling),而非常见的平均池化。最大池化留得住序列里最显著的特征激活,这和ColBERT保留Token级信息的思路相近,都是怕信息在聚合时被稀释。

训练策略:从语言建模到检索蒸馏

架构再好也得靠数据喂出来。Atto的训练分两步。

第一步是基础预训练。所有Atto模型都在英文维基百科上做掩码语言建模(MLM),先学会基本词汇、语法结构和词语间的普遍关系,把通用语言理解的底子打好。

第二步是知识蒸馏,这也是小模型变强的关键。

  • 稠密和稀疏模型使用LightOn AI开发的DenseOn它被当作教师模型,在 MS MARCO 500K 三元组数据集上做蒸馏;小模型通过模仿大模型的输出分布,学会检索。
  • ColBERT 模型则用 LightOn AI 的 MS MARCO BGE-Gemma 数据集蒸馏,专门围绕 Token 级晚期交互做优化。

教师模型和数据集都复用同一套,Atto 由此保证各变体之间可以横向比较,也说明蒸馏在压缩模型这件事上确实管用。

840 参数模型的启示

绕回那个最抓眼球的 840 参数模型:它到底有没有用?

ArguAna、NFCorpus 和 SciFact 三个数据集上,它的平均分是 0.3139。绝对分数确实不算高,大模型能到 0.5+;可在极低端市场,它已经压过参数量大出几百倍的 BERT Hash 系列基线。

这背后有两点。其一,检索任务的冗余度也许比预想中更高,不少场景根本用不着千亿参数级别的理解力;其二,架构怎么选,比一味堆参数更要紧。ColBERT 的晚期交互机制本身携带的信息就比单向量稠密检索多,编码器再小,整套系统照样能跑出效果。

当然,别指望拿 840 参数的模型去做通用开放域问答。它的意义在于标出参数效率的下限,也让人看到特定约束条件下——嵌入式设备、极低延迟要求——存在哪些可能。

让领域专用模型变得触手可及

Atto 最大的实际价值,可能不在刷榜,而在于把定制嵌入模型的门槛拉低了。

不少企业和机构并不需要通晓天下事的通用大模型。医院要的是懂医学术语的模型,律所要的是懂法律条文引用的模型,代码仓库要的是懂 API 文档的模型。通用模型在这些垂直领域往往表现平平——训练数据太杂,特定术语的权重被稀释了。

过去训练一个专用嵌入模型,成本高、难度大,大家只能凑合用通用模型。现在有了 Atto 这类高效架构,组织完全可以拿自己的数据集,训练多个小型专用模型。

比如一家科技公司可以同时部署三个模型:一个查内部技术文档,一个查客户支持知识库,一个搜代码库。参数量都小,训练快,推理成本低;针对性强,检索准确率反而可能高过通用大模型。

这种“多模型策略”,让嵌入技术从“一刀切”转向“量体裁衣”。

如何使用与展望

目前 Atto 全系列模型已上传至 Hugging Face Hub,开发者可以按需求挑:

  • 要兼容现有向量数据库,选 Dense 系列,维度按显存和精度要求来定(384/2048/8192)。
  • 看重存储效率、又能接受稀疏索引的,可以试 Sparse 系列。
  • 追求极致检索精度、也扛得住稍高检索计算开销的,ColBERT 系列是不错的选择,尤其 950K 参数版本,性价比很高。

用之前建议把每个模型的 Model Card 仔细读一遍,弄清它的池化策略(Mean 或 Max)和预处理要求。

Atto 的出现提醒我们,AI 工程化不只是把模型做大,更是找到更合适的模型。算力成本和隐私合规越来越要紧的今天,小而美的专用模型或许才是企业落地更优的解。往后架构优化继续深入,大概会看到更多像 Atto 这样、在极低资源消耗下还能提供实用能力的基石模型。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. LSHub 发布 P1 与 MAX 工程 AI 终端:覆盖八大专业,两种部署可选

    日前,四川无量枢人工智能科技有限公司(品牌 LSHub)推出 LSHub P1 与 LSHub MAX 两款工程 AI 智能终端,面向建筑工程行业提供 CAD 出图辅助、工程量计算辅助、图纸审查辅助及工程专业知识问答四类应用。 两款产品对应两种部署需求 LSHub P1 为主力产品,形态是巴掌大小的 AI 智能盒子,连

    来源 AI 行业观察
  2. 4.3万人点赞“断更抵制AI”:网文平台为何对AI说不

    网文界今年发生了多场“AI斩杀”。2月和5月,番茄进行了针对AI低质内容的专项治理; 起点7月全面禁止AI文,8月一口气处理了上百本AI小说,其中有多部万订作品;10月30日,起点和QQ阅读发布公告,称将进一步打击签约作品滥用AI的行为,取消对作品的福利发放。起点新发布的公告然而,多轮治理后,读者仍然会抱怨榜单上的作品

    来源 腾讯网
  3. 心智永生实验:冷冻、固定与扫描,三条路能否存下“我”?

    从低温冷冻到醛基固定,从连接组图谱到全脑仿真,一批科学家正试图把“自我”从衰亡的肉体中抢救出来。MIT Technology Review 的圆桌讨论聚焦这一古老而激进的问题:我们想保存的究竟是大脑组织,还是那个正在思考的“我”?技术在进步,但结构能否等于体验,仍是横亘在永生梦想前的最深鸿沟。

    来源 AI 科技快讯
  4. SoduWork修自己:一份AI原生开发的全流程实测记录

    本文记录了使用 SoduWork 修复其自身两个真实缺陷的全过程。从搭建本地环境、接入多模型,到编写可验收的任务单,再到执行代码修改、异构模型评审及最终提交上游 PR。文章详细拆解了如何处理返工策略类型错误和多语言资源加载遗漏问题,并总结了 AI 辅助开发的适用边界与实操方法,旨在展示 AI 原生开发在真实工程场景中的

    来源 AI 应用前沿
  5. 16岁辍学创业做AI导弹:他把“击杀成本”当卖点

    16岁高中生Henrijs Dandzbergs辍学加入YC,创办AI导弹初创公司,宣称要用新型导弹把美国及其盟友的“击杀成本”降到最低。本文梳理其背景、产品逻辑与争议,并追问:当战争效率被硅谷式指标衡量,创新与伦理边界在哪里?

    来源 AI 科技快讯
  6. 拓竹MakerWorld创作者靠积分赚55万:模型社区为何难复制

    模型社区成了 3D 打印厂商争夺的下一块阵地。 作者丨姚单 编辑丨董子博 2026 年 9 月底,一个 3D 打印模型社区收益榜上排第一的创作者,纯靠赚积分,已经攒下价值约 55 万元人民币的收益。年末是购机和打印高峰,照这个势头,全年冲到 80~90 万元也不成问题。 这不是个例。头部创作者一年收入高达 40 万美金

    来源 AI 行业观察
  7. 黎曼猜想167年后被宣称破解:AI与人类数学家同日提交证明

    TechCrunch报道,AI与人类数学家几乎同时宣称解决了悬置167年的黎曼猜想。这一千禧年大奖难题若被证实,将颠覆密码学与数论基础。数学界在震惊之余,正紧急验证两份截然不同的证明。AI在纯数学核心领域的突进,引发对机器创造力与人类直觉边界的激烈辩论。

    来源 AI 科技快讯
  8. Shopify Overexposed:代码配了鉴权,服务为何仍暴露公网?

    作者 | Claudio Masolo译者 | 田橙Shopify 推出了 内部扫描工具 Overexposed,用于定位 GKE 上的 Kubernetes Ingress 和 Cloud Run 服务,并检查它们是否能够在没有身份验证的情况下从互联网访问。该工具的第一个版本基于代码仓库中的配置文件,但存在误报和盲区

    来源 腾讯网
  9. Architect Labs发布Frostbite:AI自主设计CPU,能效比达4.59倍

    2026年11月19日,AI基础设施公司Architect Labs发布Frostbite——一款完全由AI系统自主完成指令集设计、架构探索、RTL实现和GDS版图生成的通用CPU。在25项基准测试中,Frostbite对比主流双发射顺序执行超标量核心,实现了4.59倍功效比(perf/W)和8.77倍面积效

    来源 AI 科技快讯
  10. 企业用 AI 面试我,我能用 AI 回答吗?

    写在前面 在面试时,使用 AI 来回答问题,是对企业和个人来说,都已经是一个已经无法回避的问题。 有 HR 对此深恶痛绝,认为是诚信问题。一个面试官和我说过一个真事,当时线上面试的时候,他们希望候选人分享自己做过的一个项目,结果候选人一不小心投屏的时候把 AI 辅助回答给亮了出来。 本来他们对于候选人的资质非常认可,但

    来源 AI 行业观察
  11. 海淀连办两场科学家创业活动:AI创新街区揭牌与夜话交流

    一群科学家,正在做一件不太一样的事。他们一边在高校、科研院所深耕前沿技术,一边走进创业一线,把实验室里的研究成果变成产品、企业,甚至一个全新的产业方向。而一座城市,如何与这样一群人同行?这一周,海淀用前后脚的两个动作,给出了自己的回答。11月18日,未名·AIPark人工智能创新街区在北大西门旁正式揭牌。依托...

    来源 腾讯网
  12. Superhuman把Go助手推向全线产品

    Superhuman正在把旗下AI助手Go从单一功能升级为贯穿产品的核心代理,并让它在Docs与Mail中同时可用。这标志着邮件与文档类工具正从“点按钮调用AI”走向“常驻式智能代理”,也意味着生产力软件的竞争焦点,正从功能数量转向上下文与工作流的整合能力。

    来源 AI 行业观察
向下滚动自动加载更多