美团开源LongCat-2.5,长序列SFT单卡吞吐较DDP提升86%
美团11月10日开源LongCat-2.5,采用MIT协议,支持商用推理部署与二次训练,无需额外授权。模型面向长程智能体任务,为原生多模态架构,总参数1.6万亿、每个token激活约480亿参数,支持一百万上下文,在复杂代码库开发、完整项目构建、Visual Coding与专业办公场景的端到端交付能力明显提升,权重上线
美团在11月10日把LongCat-2.5开源出来,协议选的是MIT,商用推理部署和二次训练都不必再申请额外授权。这个模型瞄准长程智能体任务,走原生多模态路线,总参数1.6万亿,每个token激活约480亿参数,上下文支持一百万,权重已经上到HuggingFace,技术博客和API平台也一并开放。它在复杂代码库开发、完整项目构建、Visual Coding以及专业办公场景里的端到端交付能力,提升相当明显。能力涨上来,靠的是整条训练链路一起扩展:视觉表征层把视觉信号拆成多层级离散token,跟文本一样交给主干统一处理,没有另挂视觉模块;对原生分辨率特征做残差向量量化,逐级补齐细节,视觉码本与主干联合训练,视觉token还能离线缓存。落到专业办公这一侧,材料处理和专业判断被强化,报告、演示文稿以及办公工具都能端到端交付。


推理端用的是W4A4方案,专家权重和激活都量化到4bit,交给原生INT4矩阵乘法单元执行,MoE量化精度靠FlatQuant来优化,下游表现跟量化前差不多,再配上专用融合算子把成本压下去。训练和监督微调两边都走长序列,国产AI加速器单卡显存不到80GB,就用FSDP双重分片加混合词表并行把显存压力摊开。这套配置在长序列SFT里,单卡吞吐量比DDP基线高出86%,万亿参数MoE的开源部署因此有了效率底子。
美团方面表示,选MIT协议是为了让模型能被自由使用、修改和再分发,后面还会继续开放模型和工程经验。显存和带宽都受限,还要把万亿参数MoE跑起来,这延续的是大模型竞争的一个转向:从拼参数规模,转到拼工程落地和国产算力适配。