LongCat-2.5发布：1.6万亿参数原生多模态模型，强化长程智能体

LongCat-2.5 今天正式发布。这是一款原生多模态模型，面向长程智能体任务。模型总参数量 1.6 万亿，每个 token 激活约 480 亿参数。它在 LongCat-2.0 基础上进一步强化了原生视觉理解与智能体编程能力。

新模型在长程智能体任务上提升明显。原因在于长序列训练中加入了更多长程轨迹数据，同时通过大规模长程强化学习，模型在复杂代码库开发、完整项目构建等任务中的端到端工程能力得到增强。数据合成、环境构建与跨 Harness 混合训练，这条训练链路我们还在持续扩展。另外，真实 Agent 的失败轨迹也被转化为可复现、可验证的训练任务，用来针对能力短板不断补充数据。

视觉方面，LongCat-2.5 具备原生视觉理解能力。它把视觉信号表示为多层级离散 token，主干模型因此能以统一的 token 形式处理视觉与文本输入。该模型在 Visual Coding 上表现出色，创意设计和 3D 等任务也在支持范围内。

支撑这些升级的是持续演进的基础设施。我们在国产算力上优化了长上下文训练与 W4A4 推理，训推数值一致性和长上下文 rollout 优化则保障了大规模长程 RL 的高效运行。

为直观呈现 LongCat-2.5 当前的能力水平，下图选取 GPT-5.5、GPT-5.6-Sol、Claude-Opus-4.8 和 Claude-Opus-5 进行对比。涵盖更多模型的详细评测结果见后文表格。

LongCat-2.5 将视觉信号表示为多层级离散 token，让主干模型以统一的 token 形式处理视觉与文本输入。这一设计融合了三部分：原生分辨率视觉离散化、离线视觉预处理，以及与主干模型联合学习的视觉 embedding。它既支持原生多模态融合，也简化了训练中的视觉计算与负载管理。

离散原生分辨率视觉 Transformer：为了让视觉基元建模具备与语言建模类似的 token 级抽象，我们把视觉信号表示为多层级词表 token。方法沿用 LongCat-Next

的具体做法：对语义对齐编码器（Semantic-and-Aligned Encoder，SAE）产生的原生分辨率特征应用残差向量量化（Residual Vector Quantization，RVQ），以此解决视觉离散化的信息瓶颈。

图 1：原生分辨率视觉离散化：将不同分辨率的图像编码为离散 token 序列，并通过视觉解码器重建图像。

离线视觉 token 预处理：固定的 tokenizer 允许我们离线预计算并缓存视觉 token ID，从而减少在线视觉计算和工作负载异构性。主干模型直接处理预先分词的序列，长序列打包与切分随之简化，分布式训练的负载均衡也得到改善。

原生视觉表示：视觉码本 embedding 与主干模型联合学习。在平均激活参数约为 3B 的较小规模 MoE 模型上，初步验证显示视觉与文本 embedding 在 t-SNE 可视化中呈交织分布，说明两者已在共享语义空间中融合。

图 2：视觉与文本 embedding 的 t-SNE 对比。右图为平均激活参数约 3B 的 MoE 模型上的验证结果。

RL scaling 是提升模型智能的关键步骤。围绕 LongCat-2.5，我们搭建了全面的 Agentic RL 训练链路，从数据、环境、算法和 Harness 等方面对长程任务进行大规模扩展。

图 3：面向长程任务的 agentic RL 训练链路，涵盖数据与环境、异步训练、奖励设计和混合训练。

在数据合成与环境搭建上，我们做了一条可扩展的流水线：训练任务、可交互环境、可验证的测试用例都由它自动产出。代码任务的来源有两块，一块是 GitHub 上的公开仓库，另一块是内部真实场景。筛出来的 PR 连同关联 issue 交给 Agent，由它自动打标、合成环境，再跑 fail-to-pass（F2P）和 pass-to-pass（P2P）两类测试做校验。到了 RL 训练阶段，实时 rollout 产生的轨迹和通过率会被拿来对数据做二次打标与筛选；同时结合假阴、假阳分析，F2P 测试用例不断被修正、扩充，任务功能描述的覆盖面和验证信号的准确度也就跟着往上走。

长尾效率的难题，靠 partial rollout 异步训练策略来缓解：每个 RL step 都维持一定的过采样率，批次凑齐就中断，把没跑完的轨迹存下来，等下一采样阶段再接着跑。过采样率按任务通过率来调；全对或全错、梯度为零的样本组直接过滤掉，这样有效梯度才有保障。partial rollout 有个副作用——同一条轨迹里的 token 可能出自不同的历史 checkpoint，样本陈旧性就这么来了。训练稳定性方面，我们的做法是裁剪采样时与当前训练时 logprob 的差异，再根据历史累计差异去调整每个 token 对梯度的贡献，把陈旧性造成的梯度偏置压住；infra 层面同样给出了训推一致性的优化方案。

Reward hacking 与输出行为优化：任务环境中断网、清除 git 历史和文件缓存，并引入 LLM judge 监督轨迹，以限制模型的投机行为。输出行为优化上，重复思考和重复工具调用会施加额外惩罚；过度思考、长度增长过快的问题，则通过重新分配正样本中的 Reward 加以抑制。

混合训练与泛化：模型在 RL 中能自主学习和适配近似任务与 Harness。前置冷启阶段只需覆盖少量适配 scaffold 用例；到了 RL 阶段，跨多任务和跨 scaffold 的混合训练可显著提高泛化能力，并带动不同任务上的性能提升。

要把各领域的能力收进主线模型，LongCat-2.5 继续用了 LongCat-2.0 的专家组机制，对 Agent 能力、推理能力、交互体验分别做优化，覆盖多轮任务执行、单轮推理、细粒度指令遵循，以及不牺牲有用性的安全防御。MOPD 的做法是：学生模型在各领域任务中在线采样，领域专家根据采样结果上的全词表 KL 散度

训练学生。

这些样本一方面要体现学生真实的任务行为，另一方面还得让教师给出可信的学习信号。为压住分布偏移，先前工作把教师在 SFT 或 RL 阶段见过的轨迹拆成 per-turn prefix，当作学生采样的上下文。LongCat-2.5 又往前走了一步：每轮教师回复按固定长度拆成 per-cut prefix，学生自采样的最大长度就限定在这个值，单轮长回复里的分布偏移由此得到处理。

计算和存储成本也要控。同一条教师轨迹的 prefix 会被归为一组，送进同一个推理引擎，prefill 计算与 KV cache 都共享。训练时以教师轨迹为树干、学生采样为分支搭成一棵树，再结合 Tree Attention

，一次前传加一次反传就把同组所有样本的 OPD 训练做完，教师轨迹上的冗余计算和存储省掉了。

训练中阶段和监督微调阶段，LongCat-2.5 都采用长序列训练。国产算力单卡显存不到 80 GB，训练系统因此把重点放在显存开销上，并行策略则围绕超节点架构来设计。

并行组按超节点拓扑来配：FSDP 和 EP 的并行度都与单个超节点的卡数一致，CP 并行度不超过这个卡数。这样参数 AllGather、专家 token AllToAll 和 KV AllGather 都落在超节点内的高带宽互联域里完成。

混合词表并行则在 DP 和 CP 联合并行域内，对基础词嵌入层、LM head 和 N-gram 嵌入层做分片，显存占用进一步下降。

大规模专家并行还有负载不均衡的麻烦。LongCat-2.5 基于 MoonEP 加了阈值触发的动态专家复制：只有 EP 负载不均衡程度到了预设阈值才启用复制，免得额外通信开销盖过负载均衡收益，同时也防止路由 token 把接收端显存撑爆、通信操作把发送端显存撑爆。

图像 token 提前生成之后，训练计算图里不再有视觉编码器，并行实现也跟着简化。图像 token 数量是已知的，系统在数据打包和打散时就能预估各模态的负载比例，让各数据并行 rank 上的模态占比尽量接近。

LongCat-2.5 用了双重分片 FSDP：模型参数在超节点内的 FSDP 域中分片，FP32 主权重和优化器状态再通过 HSDP 副本跨 FSDP 域分片。参数通信效率保住了，常驻显存也降了下来。

参数、梯度、优化器状态统一组织成连续的扁平化缓冲区，非均匀分片和 Muon 优化器分片都支持。权重梯度直接写入，临时缓冲区复用，中间拷贝减少，峰值显存占用随之降低。

通信侧采用零拷贝 AllGather/ReduceScatter，默认通信算法带来的中间拷贝被消除。EP 把 token 与路由概率打包传输，通信实现基于 AIV，AICPU 任务展开的瓶颈得到缓解。参数预取让 AllGather 与计算重叠执行，同时控制与 CP 的资源竞争；ScMoE 则让 EP 通信与稠密分支计算重叠执行。

主机侧开销靠批量执行梯度操作、合并指标归约、CPU 绑核和 NUMA 感知调度来降低。

上述优化叠加后，该 FSDP 配置在长序列 SFT 任务中的单卡吞吐量比 DDP 基线提升 86%。

基于 IsoExec

与 GLM-5以及 XoRL在这些工作的基础上，我们搭出了一套生产级训推一致性方案。训练、Prefill、Decode 三端可以各自挑选并行配置，性能基本不掉，逐 token logprob 还能保持 bitwise 一致。训练和推理两端统一用高效的 batch-invariant 算子，框架的计算逻辑也对齐了，backward 支持一并补齐。目前这套方案已在实验和生产任务中默认开启，算子与框架迭代时拿它当统一的数值回归基准。另外，不同并行方式会让训推对不上，这个问题我们在社区方案上又往前推了一步，把 TP 和 DCP 的训推一致性也纳入了支持。

TP 的做法是拿完整 K 维计算替掉分段求和，性能接近无损。训练侧权重仍保留分片，靠权重 All-Gather 加输入 AlltoAll，独立跑完完整 K 维 GEMM，局部结果不必再做 Reduce-Scatter 求和。Prefill 照搬这套思路；Decode 则把 o_proj/fc2 改成 column-parallel，走输入 All-Gather、完整 K 维 GEMM、输出 AlltoAll 这条路，既不用每步聚合完整权重，也绕开了跨卡数值求和。

DCP 的思路是在训练和 Prefill 里复现 Decode 的累加路径。训练 forward 和推理 Prefill 都接入了配套的 sparse attention 算子，按指定 DCP 配置还原 Decode 的 KV 分块与归约顺序，三者的计算精度由此对齐。

长上下文多轮 rollout 的负载可控，我们为此采用 PD 分离，给 Prefill 和 Decode 各配各的并行策略，并从缓存存储、跨层卸载、请求调度三方面一起做优化：

• 先把有效缓存容量做大：Prefill 用 QCP 按 token 分配计算、KVP 按页分散存储，MLA 下 TP 切分造成的 KV 冗余就避开了。KV 回迁显存后，HiCache 会释放没有其他读取引用的主存副本，两级缓存不再重复占用；权重管理与 Actor offload 方案也基于 Mooncake 做了重构，给 HiCache 腾出更多内存。

• 再用跨层预取把搬运开销藏起来：借助 LSA

  [7] 
  奇数层会复用前一偶数层的 top-k 索引，我们据此把奇数层完整 KV 卸到主存，显存里只留一个小容量工作缓存。偶数层索引一出来，下一奇数层要用的 KV 就提前加载，和当前层后续计算叠着跑，TPOT 无损，Decode KV 缓存容量却接近翻倍。

• 调度上则靠容量感知来防重算雪崩：Router 看 L1+L2 缓存容量和请求 token 总量决定放不放行，完成度高的 Group 优先推进，好尽早凑齐训练批次、把缓存释放出来，免得多条长轨迹交替推进时互相淘汰前缀，触发大规模重算。

图 6：所测长上下文负载的 Prefill/Decode 配置；该场景下，P/D 实例配比 3:2 性能最优。

面向 1.6T 级 MoE 模型，我们把模型结构和国产 AI 加速器的硬件特性放在一起考虑，从量化精度、底层算子、推理流水三处协同优化，做出了 W4A4 高效推理方案。

方案里专家权重和激活同时压到 4 bit，相应的矩阵计算交给原生 INT4 矩阵乘法单元执行。

精度这块，以 FlatQuant 的可学习等价变换为底子，我们针对 MoE 模型又做了优化，已评测的各项下游任务上，表现与量化前模型相当。

算子和数据路径上，输入变换由专家共享，量化在 token 复制与分发之前就完成，同一份 INT4 表示贯穿专家通信与计算全程。变换、尺度计算、量化、打包融进专用算子，再配合权重布局与转置访问优化，数据搬运和转换开销随之下降。

系统层面则盯着 prefill 与 decode 各自的执行特点，按模型的数据依赖和硬件资源约束，把计算与通信的流水重叠调好。

线上压测结果：对比 W8A8 INT8 基线，prefill 和 decode 吞吐分别提升 43.3% 和 42.77%，TTFT 和 TPOT 分别降低 15.91% 和 19.72%。算子层面，GMM 相对 W8A8 平均加速 1.73×。

下面这些案例都是 LongCat-2.5 端到端生成的真实演示，分属软件开发与专业办公两个场景——实时流体模拟、3D 数字展览、城市沙盘，以及经营分析、反馈报告、活动运营都在其中。点开任意案例即可查看完整演示视频。 用 LongCat-2.5 做了一个实时流体模拟与视觉特效生成工具，能生成带实时流体动态模拟的高帧率动态交互网页，开发者、设计师和科普创作者可以借它把复杂物理现象做成可交互的可视化与美学展示。 把多渠道经营数据整合起来，理清数据口径，算准真实利润；再结合业务目标拆解经营表现与投入产出，找出关键驱动因素，转成营销、供货、库存与预算配置上的建议。

用 LongCat-2.5 开发了一个 3D 文物交互式展示页面生成工具，靠 WebGL 渲染与前端交互技术，生成带 3D 模型（如三星堆青铜神树）、交互控制（支持拖拽旋转、滚轮缩放、双击聚焦、线框模式切换）以及历史文化信息面板的动态网页，线上 3D 数字展览和文化科普页面都能用它来做。

对客户反馈做分析，把重复信息和后续更新挑出来，按问题严重程度、紧迫性和业务目标排出处理优先级；再生成可交互的 HTML 报告，点一下就能看到原始反馈。

用 LongCat-2.5 搭城市沙盘，道路网格错综复杂，建筑群落错落有致，等距视角下的 3D 视口交互与全局统一、干净利落的低多边形光影氛围整合在一起。

用 LongCat-2.5 开发了一个传统中国风色彩与美学动态演示网页，主题图形色卡组件和科普文案都在生成内容里，从色彩灵感提取到内容排版与视觉呈现的工作流一并打通，设计师与文化创作者可以拿它做色彩科普和美学展示页面。

用LongCat-2.5做一个微缩场景展示网页，旋转木马那种多层结构、多重复元素都能还原出来，低多边形风格下的跨材质表现和全局光影氛围也一并呈现。再配合3D视口交互，可以看出模型生成游戏级3D资产与场景时的稳定性和可用性。

它还能当可复用的活动邀请工具：上传场地照片、用自然语言提需求，模型会结合照片的色彩与氛围生成邀请及报名网页，真实报名、名单查看、表格导出这条流程全部打通。

需要说明的是，除非另有标注，LongCat-2.5的全部结果都是在enable_thinking=on、temperature = 1.0、top_p = 0.95下取得的。对比模型里带 * 的分数来自公开技术报告、博客或官方榜单，没标 * 的是我们自测，仅供参考。更多细节见官网技术博客：https://longcat.ai/blog/longcat-2.5。

引用：

[1] LongCat-Next方法：https://arxiv.org/abs/2603.27538

[2]全词表KL散度：https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf

[3] Tree Attention：https://arxiv.org/pdf/1909.07606

[4] IsoExec：https://vllm.ai/blog/2026-08-21-isoexec

[5] GLM-5：https://github.com/THUDM/slime/pull/2262

[6] XoRL：https://kiddyboots216.github.io/mismatch/

[7] LSA：https://arxiv.org/abs/2608.01662

---

LongCat-2.5已经可以体验了。

注册并通过认证就送千万token，老用户在此基础上再加五百万token，新模型的限时福利目前已经上线。

在线体验：https://longcat.chat

API接入：https://longcat.chat/platform/product

github和huggingface都显示即将上线。