美团龙猫开源LongCat-2.5:1.6万亿参数、百万上下文,MIT协议可商用
IT之家 11 月 9 日消息,11 月 2 日,美团龙猫发布面向长程智能体任务的原生多模态模型 LongCat-2.5。随后来到今天(9 日),美团宣布该模型正式开源。该模型采用 MIT 协议,支持商用推理部署与二次训练,无需额外授权,是面向长程智能体任务的原生多模态模型。在复杂代码库开发、完整项目构建、Visual
11月2日,美团龙猫推出LongCat-2.5,这是一款面向长程智能体任务的原生多模态模型。到了11月9日,美团宣布该模型正式开源。
开源采用MIT协议,商用推理部署和二次训练都不需要额外授权。在复杂代码库开发、完整项目构建、Visual Coding以及专业办公等场景里,模型的端到端交付能力提升明显。模型总参数1.6万亿,每个token激活约480亿参数,上下文长度支持一百万。针对显存与带宽受限的国产算力芯片,团队还在模型架构、芯片适配和部署策略上做了深度协同优化。
据官方介绍,LongCat-2.5在Visual Coding上表现突出,能支持创意设计、3D等任务。能力提升源于视觉表征层的改造:视觉信号被表示为多层级离散token,和文本一样交给主干模型统一处理,而不是另挂一个视觉模块。具体做法是对原生分辨率视觉特征做残差向量量化,逐级补足细节;视觉token可以离线预计算并缓存,在线计算量因此减少,分布式训练的负载也更均衡;视觉码本与主干联合训练,视觉和文本共享同一套主干参数,在同一语义空间内协同完成视觉理解与代码生成。
推理方面,LongCat-2.5采用W4A4高效方案,专家权重与激活同时量化到4 bit,计算由原生INT4矩阵乘法单元执行。
有关链接如下:
- 模型开源:https://huggingface.co/meituan-longcat/LongCat-2.5
- 技术博客:https://longcat.ai/blog/longcat-2.5/
- API 平台:https://longcat.chat/platform/product