1.6 万亿参数、每 token 激活约 480 亿:LongCat-2.5 把视觉离散化、长程智能体 RL 与超节点并行拼成一条国产算力流水线
美团 2026-11-02 发布的 LongCat-2.5 技术博客拆解。口径声明:模型总参数 1.6 万亿(1.6T),每个 token 前向涉及的激活参数量约 480 亿(约 48B),两者之比约 33 倍(总参/激活参数比)。核心内容:视觉信号经 RVQ 残差量化转成多层级离散 token 并离线预计算缓存;长程智能体 RL 用 partial rollout 异步采样,裁剪 logprob 差异并调整梯度贡献;官方此次所述训练硬件(单卡显存不足 80 GB)约束下,FSDP/EP 并行度对齐超节点卡数,长序列 SFT 单卡吞吐较 DDP 基线提升 86%(官方口径,折算约 1.86 倍为本文自算);W4A4 推理在线上压测中相对 W8A8 INT8 基线 prefill 吞吐 +43.3%、decode 吞吐 +42.77%、TTFT 降低 15.91%、TPOT 降低 19.72%(官方线上压测口径)。全部性能数字均为美团官方口径转述,本文未做独立复现;折算类数字已单列「本文自行推导」。
2026 年 11 月 2 日,美团技术团队发布 LongCat-2.5,官方口径是「面向长程智能体任务的原生多模态模型」。 先把两个最容易读混的数字钉死: 模型总参数量 1.6 万亿(1.6T),但每个 token 前向涉及的激活参数量只有约 480 亿(约 48B)——前者是参数总量,后者是每个 token 涉及的激活参数量,两者之比约 33 倍(总参/激活参数比)。注意:激活参数量不等于整次推理计算量,长上下文 attention、通信与整条推理链的开销不由它单独代表。 还有一个容易混进来的数字提前交代:官方另用平均激活约 3B 的小规模模型做了视觉 embedding 验证实验——那是另一个验证模型的激活量口径,与 2.5 的 48B 相差 16 倍,两者不可比(详见第一节末)。 这个比例意味着它是一个稀疏度极高的混合专家(MoE)模型: 与 2026 年 6 月 30 日发布的 LongCat-2.0(总参数同为 1.6T,平均激活约 48B,动态范围 33B~56B)相比,2.5 这一代的参数规模没有扩大。官方还披露了 MOPD per-cut prefix、训推数值一致性与 rollout 基础设施等其它变化,本文重点讨论三个方向——视觉怎么进模型、长程智能体 RL 怎么训、国产算力上怎么把长上下文训完并便宜地推理出来。
发布 4 天内,中证网、新浪财经(转载环球网)、腾讯新闻平台账号「朝阳资本论」等多平台出现报道与转载(热度信号见文末);「评测成绩介于 Claude-Opus-4.8 与 Claude-Opus-5 之间、部分超过 Claude-Opus-5」是第三方媒体转述的说法,不在官方博客原文里,本文不引用任何具体榜单分数。 对做工程的人来说,这篇博客真正值得逐段读的,是它把「国产单卡显存不足 80 GB」(官方此次所述训练硬件条件)这个硬约束变成了系统设计的出发点: 并行策略围绕超节点拓扑配置、训推做到逐 token logprob 的 bitwise(逐位)一致、推理把专家权重和激活同时压到 4 bit。 本文按数据流顺序拆解四条主线: 视觉离散化、长程智能体 RL、超节点训练系统、W4A4 推理,最后给边界与未核验项。
术语与符号约定
先给符号表,后文所有公式共用这套记号。
| 符号 | 含义 | 出现的章节 |
|---|---|---|
| 模型总参数量,LongCat-2.5 为约 (1.6T) | 全文 | |
| 每 token 激活参数量,约 (48B) | 激活比 | |
| 视觉编码器输出的原始特征 | 视觉离散化 | |
| RVQ 第 级量化后剩余的残差(扣除该级选中码字后的余量,即下一级输入) | 视觉离散化 | |
| 第 级码本中被选中的码字 | 视觉离散化 | |
| 训练时刻的当前策略 | 长程 RL | |
| 采样时刻(可能来自历史 checkpoint)的策略 | 长程 RL | |
| , | MOPD 中的教师/学生输出分布(全词表) | MOPD |
| 量化的每组缩放因子 | W4A4 | |
| 序列长度 | 国产算力 | |
| 模型层数 | LSA 预取 |
缩写速查(每个缩写在后文首次使用前,先在这里给一句话定义):
- logprob:模型对某个 token 输出的对数概率,是 RL 重要性权重的原料;
- bitwise 一致:相同权重、相同输入条件下,两个引擎算出的每个数值逐位相等;
- rollout:模型与环境交互生成的一条采样轨迹;
- F2P(fail-to-pass):修复前失败、修复后通过的测试,可验证奖励的锚点;
- P2P(pass-to-pass):修复前后都应通过的回归测试,用来排除「改好了这个、弄坏了那个」;
- MOPD:多教师在线蒸馏机制(2.0 博客口径,见第三节);
- FSDP:全分片数据并行(参数/梯度/优化器状态在数据并行组内切分);
- EP:专家并行(MoE 专家分布在不同卡上);
- CP:上下文并行(按序列维度切分);
- DP:数据并行;HSDP:分片与副本混合的数据并行形态;
- TP:张量并行;DCP:官方口径中长序列场景的上下文并行变体;
- PD:Prefill/Decode 分离部署;MLA:Multi-head Latent Attention(对 KV 做 latent 压缩的注意力形式);
- QCP/KVP/HiCache:官方博客口径的 Prefill 计算切分、KV 分页存储与 KV 两级缓存机制名;
- GMM:分组矩阵乘(grouped matmul,MoE 按专家分组执行计算);
- AIV/AICPU:国产加速器上承载通信与任务展开的两类执行单元(官方博客原文用语,全称未披露,本文不猜);
- RLVR:以可验证奖励为信号的强化学习。
一行提醒: 文中「万亿」级的数字有两处不同量纲——「1.6 万亿」是参数个数; LongCat-2.0 阶段披露的「30T+ tokens」是累计预训练数据规模、「稳态日吞吐 1T tokens/day」是集群稳态吞吐率,两者不能直接比较大小,也不能据此直接还原实际训练时长。
零、先把总参/激活参数比算清楚
读 MoE 模型的任何性能数字之前,都要先会算这笔账。 激活比的定义: 代入 LongCat-2.5 的官方口径(总参 1.6T、每 token 激活约 48B): 即每个 token 只「点亮」约 3% 的参数。 这不是常数:LongCat-2.0 披露的动态激活范围是 33B~56B,说明激活量随 token 的难度逐 token 变化——官方称零计算专家机制让「简单 token 激活更少、复杂 token 获得更多计算」。 动态范围折算:33B/1.6T ≈ 2.06%,56B/1.6T = 3.5%(本文按 2.0 的披露口径自算,2.5 未披露动态范围)。 存储账(本文按通用规则自算,官方未披露部署实例的具体显存构成):
- 1.6T 参数以 BF16 存储需 字节 = 3.2 TB(裸权重下界);
- 若假设全部 1.6T 参数均为 4 bit 存储,理论位宽下限为 0.8 TB——这是理想化下限、非官方 W4A4 部署的实际占用(官方只明确专家权重与激活量化至 4 bit,量化 scale 与非专家参数的精度未披露);
- 这是「单实例至少要把权重装进显存」的量级下界,尚未计入 KV cache、激活与框架开销。 再算显存常驻的通用账(混合精度 + Adam 类优化器的通行口径,属背景知识、非美团披露):
- BF16 权重 2 字节/参数 + BF16 梯度 2 字节 + FP32 主权重 4 字节 + 两项 FP32 优化器矩 8 字节 = 16 字节/参数;
- 对 1.6T 参数即约 25.6 TB 的状态总量(按假定的 Adam 类状态口径),靠单卡 80 GB 以内的显存直接装下是不可能的,这就是后文「先看拓扑再定并行」与「优化器状态跨 FSDP 域分摊」的出发点。 这笔账解释了本文后面每一个系统选择的动机:稀疏激活省的是「计算」,省不掉「权重存储」; 所以 LongCat-2.5 的系统优化清单里,排在最前面的全是显存与通信(FSDP 双重分片、混合词表并行、超节点通信域),而不是算子速度。
一、视觉离散化:把图像变成与文本同一种「词」
据美团 2026-11-02 中文技术博客(本节事实如无另行标注均出自该文第 01 节):LongCat-2.5 的视觉方案有三个互相咬合的组件:原生分辨率离散化、离线预处理、与主干联合学习的视觉 embedding。先看为什么要「离散化」。
常见的在线多模态训练实现(如 CLIP-encoder + projector 路线)把视觉当作连续向量「嫁接」在语言模型旁边:在这类实现在线编码的形态下,视觉特征不进入词表空间,视觉编码与主干耦合在同一张动态计算图里,负载管理(哪些卡上放多少视觉计算)变成一件异构而琐碎的事(连续视觉特征并非只能在线耦合,也有离线缓存方案;本文对照的是这一类常见的在线 encoder+projector 训练实现)。 LongCat 走的是另一条路,其技术脉络来自 LongCat-Next(arXiv:2603.27538,2026-03-29 首次提交,DiNA 框架与 dNaViT 结构): 视觉信号被表示为多层级离散 token,主干模型以「统一 token 流」的方式处理视觉与文本——对主干而言,进入模型的数据接口统一为 token。
量化器是残差向量量化(RVQ)。 设 SAE(语义对齐编码器,Semantic-and-Aligned Encoder)对一张任意分辨率的图像产出特征 ,RVQ 用 级码本逐级「削残差」:
即每一级先在码本 里找最近邻码字,再把残差交给下一级继续量化。重建时把各级码字加回来:
多层级码本解决的是「视觉离散化的信息瓶颈」: 单级量化要么码本大得没法用、要么细节全被抹平; RVQ 用「先粗后细」的残差结构让每一级只负责上一级没表达完的部分,这与音频生成领域的神经编解码器(SoundStream/EnCodec 一族)是同一思想。 官方博客展示了通过视觉解码器重建图像的结果(官方原文配图):说明离散表示保留了可用于重建的信息;重建仍有损失、不等于可逆,官方也未给出定量的信息下界。下方本文图 1 仅绘制训练输入路径(SAE→RVQ→离线缓存→主干),不含解码与重建分支。
第二个组件是离线预处理。 因为视觉 tokenizer 是固定的,token ID 可以离线预计算并缓存——训练语料中的图像不需要在每个 epoch 重新编码。 这个设计表面上是省算力,真正的收益在系统层: 主干拿到的直接是「预分词序列」,长序列的打包与切分不再需要区分「图像段必须先过视觉编码器」,数据并行各 rank 的模态负载占比可以在打包时预估并配平。 官方博客说得很直白: 离线化「简化长序列打包与切分,并改善分布式训练的负载均衡」。
第三个组件是表征学习: 视觉码本 embedding 与主干联合训练。 官方在平均激活约 3B 的较小规模 MoE 模型上做了验证(注意: 这是另一个「激活量」口径,验证实验模型的规模远小于 2.5 的 48B,两者不可比),t-SNE 显示视觉与文本 embedding 交织分布。 这个口径要如实交代: 联合学习的「融合度」证据来自小模型验证,2.5 全量模型上没有公开同类可视化。
对照一下两条技术路线的工程差异:
| 维度 | 常见在线连续编码实现 | 离散 token 路线(LongCat-2.5) |
|---|---|---|
| 视觉与文本的接口 | projector 投影后拼接连续向量 | 同一 token 流,统一词表空间 |
| 视觉计算位置 | 在线、随训练动态执行 | 离线预计算缓存 token ID |
| 长序列打包 | 需要处理异构负载(图像段触发编码器) | 序列同构,可预估配平 |
| 重建可验证性 | 常见实现通常不提供解码回像素的组件 | 配视觉解码器可重建(仍有损失) |
| 主要工程权衡 | 生态成熟、社区方案多 | 量化误差、码本训练与维护成本 |
二、长程智能体 RL:partial rollout、陈旧性裁剪与反投机
据美团 2026-11-02 博客(本节事实如无另行标注均出自该文第 02 节):LongCat-2.5 官方称长程智能体能力的来源是「大规模长程强化学习」,训练链路分四件事:数据与环境合成、异步训练、奖励设计与混合训练。 把这一节拆成四个问题来读:
- 奖励从哪来:GitHub 公开仓库与内部真实代码任务,Agent 自动打标、合成环境,F2P/P2P 校验给奖励锚点;
- 谁拖慢了训练:长轨迹 rollout 的长尾耗时,用 partial rollout 的过采样与中断/恢复来摊平;
- 异步带来什么副作用:样本陈旧性,用 logprob 差异裁剪与历史累计差异降权来兜底;
- 奖励可信吗:假阴/假阳分析持续修正 F2P 用例,断网与清缓存堵「读答案」的旁路。 假阴/假阳值得多说一句:假阴是「正确实现被测试误判为失败」(如错误断言、额外约束或环境问题),直接丢数据会低估模型能力;假阳是「没真会但碰巧过了」,会给策略注入虚假的正向梯度。 官方把两者都纳入二次打标;本文据此认为,测试用例本身的质量是可验证奖励(RLVR)的关键约束之一——这个判断在做 RLVR 的团队里普遍成立;它是本文观点、不是官方原话。
数据侧的起点是 GitHub 公开仓库与内部真实代码任务: 对筛选后的 PR 及关联 issue 自动打标、合成可交互环境,并做 fail-to-pass(F2P)与 pass-to-pass(P2P)测试校验——F2P 保证「这个测试在修复前失败、修复后通过」,是可验证奖励的锚点;P2P 保证「修复前后都应通过的回归测试不被破坏」,排除「改好了这个、弄坏了那个」的假通过。 RL 训练中,实时 rollout 的通过率反过来用于二次数据打标,并基于假阴/假阳分析持续修正 F2P 用例。 这一步的关键是把「奖励是否可信」本身也纳入了闭环。
训练侧最重要的是 partial rollout 异步策略。 长程任务的 rollout 耗时存在长尾(官方口径;具体轨迹长度的 token 量级官方未披露),同步 RL 会被最慢的轨迹拖死。 官方做法是: 每个 RL step 保持一定过采样率,凑齐批次后中断、保存未完成轨迹,下一采样阶段恢复; 过采样率随任务通过率调整,并过滤「全对或全错」的样本组(在组内相对优势的设定下,这类组不提供奖励区分信号,对奖励驱动的策略梯度项没有贡献)。
异步带来一个必然代价: 同一轨迹的 token 可能来自不同历史 checkpoint,存在样本陈旧性(staleness)。 官方的处置是两层的: 「裁剪采样时与当前训练时 logprob 的差异,并基于历史累计差异调整每个 token 的梯度贡献」。 官方未公开具体裁剪函数与累计差异的定义,本文不反推其损失函数——只把可确定的机制记下来:第一层在 token 级压掉新旧策略偏离过大的样本影响,第二层按轨迹的历史累计偏移进一步降权陈旧部分。 作为背景对照(仅说明方向,不代表 LongCat-2.5 的实现):PPO 一族常用截断式重要性权重 限制单步更新幅度;美团的披露没有给到这个层面,读者不要把任何具体公式当成 LongCat-2.5 的算法。
奖励侧专门有一节对抗 reward hacking: 任务环境断网、清除 git 历史和文件缓存(堵住「读答案」的旁路),并用 LLM judge 监督轨迹。 输出行为上,对重复思考和重复工具调用施加额外惩罚;对长度增长过快,官方口径是「重新分配正样本中的 Reward」——在正样本之间重新分配奖励,具体分配粒度与规则未披露(截至 2026-11-06)。
泛化靠混合训练: 前置冷启阶段只覆盖少量 scaffold(harness/工具框架的适配样例),RL 阶段跨多任务、跨 scaffold 混合训练,官方称这显著提高模型对未见 harness 的适配能力——本质是「让模型学会适配环境,而不是背熟环境」。
三、MOPD 多专家在线教学:全词表 KL 与 per-cut prefix
本节事实出自美团 2026-11-02 博客(MOPD 机制本身沿自 2.0 的 2026-06-30 博客)。 LongCat-2.5 沿用 2.0 的多专家机制,把 Agent、推理、交互三类能力各自训成领域专家,再通过 MOPD(多教师在线蒸馏)融进主线模型。 蒸馏信号不是「教师给样本打分」,而是教师对学生输出分布的直接约束——官方口径为全词表 KL 散度(官方未披露方向与温度等细节;下式仅示意 KL 的一种方向 ,不代表官方损失定义):
其中 是完整词表。 学生在线采样、教师对着学生的实际任务行为给学习信号,这避免了「离线蒸馏的训练分布与学生真实分布脱节」的老问题。
工程上有两个很「抠」的细节。 其一,per-turn prefix 会被进一步切成 per-cut prefix: 先前工作把教师在 SFT/RL 见过的轨迹按轮拆成前缀作为学生采样上下文,官方进一步把每轮教师回复按固定长度拆段,并把学生自采样长度限制为该段长度——单轮长回复内部的分布偏移也被处理了。为什么 per-cut 要切到「固定长度」这么细?先看 per-turn 的问题边界: 学生采样的上下文是教师轨迹的前缀,但学生自己的输出分布与教师不同,采样越往后偏移越大; 先前工作按「轮」切分,粒度停留在轮级; 官方观察到单轮长回复内部(比如一段几千 token 的推理链)偏移同样在累积,于是把每轮再按固定长度切 cut,学生的自采样长度被限制在一个 cut 之内,偏移被压到最小粒度。 树形批量的收益账(本文按官方描述自算量级): 同一条教师轨迹派生 个学生分支时,若各分支独立前传,教师前缀的 KV 与计算要付 次; 以教师轨迹为树干建树后,主干只付一次, 个分支只付各自增量——共享教师前缀部分的理想冗余从 份降为 1 份;只有共享前缀成本占主导时,总成本改善才可能接近 倍; 代价是 Tree Attention 的实现复杂度与显存峰值上升,官方未披露 的取值。
其二,成本侧: 同一教师轨迹的 prefix 分组送同一推理引擎,共享 prefill 计算与 KV cache; 训练时以教师轨迹为树干、学生采样为分支建树,结合 Tree Attention,用单次前传与反传完成整组样本——树形批量让「多个学生分支共享同一段教师前缀」的显存与计算只付一次。
四、国产算力上的长上下文训练:先看拓扑,再定并行
据美团 2026-11-02 博客(本节事实如无另行标注均出自该文第 04 节)。这一节是整篇博客系统味最重的部分。 硬约束: 国产 AI 加速器单卡显存不足 80 GB(官方此次所述训练硬件条件),而中训练与 SFT 都要用长序列训练(2.5 官方未披露训练序列的最大长度;「原生 1M 上下文」是 2.0 披露的能力口径,两者不要混传)。 设计原则只有一句话: 并行策略不先看「模型需要什么」,而先看「超节点拓扑给什么」。
LongCat-2.5 的超节点并行布局: FSDP(全分片数据并行)与 EP(专家并行)的并行度都等于单个超节点的卡数,CP(上下文并行)不超过该卡数。 由此,参数 AllGather、专家 token AllToAll、KV AllGather 三类大通信落在超节点内的高带宽互联域中完成;超节点之外还需承担其余控制类通信,官方未披露其类型与流量(「跨超节点只走小流量、可重叠的通信」是本文基于该并行设计的推测,非官方披露)。 词表相关的大参数层(基础词嵌入、LM head、N-gram 嵌入层)在 DP×CP 联合域内再分片(混合词表并行),进一步压显存。 三条并行约束是本次披露配置的总结(不是任何拓扑下的通用定律):
- FSDP 并行度 = EP 并行度 = 超节点卡数:参数分片与专家通信都吃高带宽,设计目标是锁在超节点内;
- CP 并行度 ≤ 超节点卡数:KV AllGather 的流量随 CP 度增长,设计目标是留在高带宽域内;
- 词表大参数层(嵌入、LM head、N-gram 嵌入)在 DP×CP 域再分片:这些层按词表切分天然可并行。 此外,并行度数值相等并不自动保证 rank 组落在同一超节点内——还须保证各并行组的 rank 映射位于对应超节点内(官方按此配置部署)。 官方未披露超节点具体卡数与互联带宽(截至 2026-11-06),所以本文不复原具体拓扑,只记录「并行度对齐拓扑边界」这条规则本身。
专家并行的负载不均用「阈值触发的动态专家复制」解决: 仅当 EP 负载不均衡达到预设阈值才复制热点专家,避免复制本身的通信开销超过均衡收益,并防住两个显存事故面——路由 token 撑爆接收端、通信操作撑爆发送端。 注意这是「按需复制」而不是常见的「每层固定冗余」,与 MoonEP 机制一脉相承(该归属为美团博客的描述性引用,本文未核读 MoonEP 原始实现)。
显存上的关键设计是双重分片 FSDP: 模型参数在超节点内的 FSDP 域分片,而 FP32 主权重和优化器状态通过 HSDP 副本进一步跨 FSDP 域分摊,降低每卡常驻显存。 参数、梯度、优化器状态统一组织为连续扁平化缓冲区,支持非均匀分片与 Muon 优化器分片。 通信侧则是零拷贝 AllGather/ReduceScatter、基于 AIV 的通信实现(缓解 AICPU 任务展开瓶颈)、参数预取与计算重叠、ScMoE 让 EP 通信与稠密分支计算重叠。
官方给出的汇总数字:在所测长序列 SFT 任务中,该 FSDP 配置的单卡吞吐量较 DDP 基线提升 86%。折算一下(本文自行推导):
即同样一张卡在同样时间内完成原来约 1.86 张卡的工作量。 这个 1.86 倍是「该 FSDP 配置 vs DDP」的相对值,且只对「所测长序列 SFT 任务」成立——它不等于绝对 MFU,也不能外推到其它任务形态。
五、训推数值一致性:为什么逐 token logprob 要 bitwise 一致
据美团 2026-11-02 博客(本节事实如无另行标注均出自该文相应章节)。 RL 系统里有一个容易被忽视的正确性问题: rollout 用的推理引擎和训练用的框架,算子实现与并行切分方式不同,同一个 token 的 logprob 两边对不齐——重要性权重的分子分母各带自己的舍入误差,策略梯度被带偏。 LongCat-2.5 基于 IsoExec、GLM-5 与 XoRL 的社区工作构建了生产级训推一致性方案(官方标注的来源关系;其中 IsoExec 与 XoRL 的原始文献本文截稿时未逐篇核读): 训练、Prefill、Decode 可独立选择并行配置,同时保持逐 token logprob 的 bitwise 一致(相同权重、相同输入条件下逐位相等); 训推两端统一使用 batch-invariant 算子并对齐框架计算逻辑。 要注意边界:bitwise 一致消除的是数值执行差异,不消除历史策略与当前策略的真实差异——异步 RL 里新旧 checkpoint 的 logprob 本就应当不同,bitwise 一致保证的是「同一份权重同一份输入,两边算得一模一样」。 给一个直观算例(本文自拟,用十进制示意浮点效果): 分段求和 与 在浮点里可以不相等—— 按不同顺序结合,末位就可能差一个 ulp; 单看一次 attention 投影这点误差可以忽略,但策略梯度的重要性比值 里,分子分母各自带这点噪声,可能扰动重要性比值并影响训练稳定性; bitwise 一致不是洁癖,而是把「梯度有偏」这类问题从「靠 loss 曲线猜」变成「确定性可测」。
两个具体机制值得记录。 TP 的一致性: 完整 K 维 GEMM 替代分段求和——分段并行 matmul 再 Reduce-Scatter 求和时,浮点加法的顺序不同结果就不同(浮点加法不可结合),改成每张卡独立完成完整 K 维计算就消除了求和顺序差异; 训练侧保留权重分片,用权重 AllGather + 输入 AlltoAll 实现这一点。 DCP 的一致性: 在训练 forward 和推理 Prefill 中接入配套的 sparse attention 算子,复现 Decode 的 KV 分块与归约顺序,把三者的计算精度对齐。
这套方案的定位是「数值回归基准」:算子与框架迭代时,bitwise 一致给了确定性判据,而不是靠 loss 曲线「看起来正常」。
六、长上下文 rollout 基础设施:LSA 跨层预取让 KV 缓存「近乎翻倍」
据美团 2026-11-02 博客(本节事实如无另行标注均出自该文第 05 节)。 RL 长上下文多轮 rollout 的 infra 采用 PD 分离,并从缓存、预取、调度三方面优化。 缓存侧: Prefill 用 QCP 按 token 分配计算、KVP 按页分散存储,避免 MLA 下 TP 切分带来的 KV 冗余; HiCache 在 KV 回迁显存后释放无其他引用的主存副本,减少两级缓存重复占用; 并基于 Mooncake 重构权重管理与 Actor offload 为 HiCache 腾内存(Mooncake 归属为美团博客的描述性引用)。
最漂亮的一招是利用 LSA(LongCat Sparse Attention,arXiv:2608.01662,2026-08-03 首次提交、08-04 修订)的结构性特点做跨层预取。 LSA 的跨层索引让奇数层复用前一偶数层产出的 top-k 索引,于是系统把奇数层的完整 KV 卸载到主存,显存只留小容量工作缓存; 偶数层算出索引后,提前把下一奇数层需要的 KV 拉回显存,与当前层后续计算重叠。 官方口径: 在 TPOT 无损的情况下,Decode KV 缓存容量「接近翻倍」。 算一笔账(本文自行推导,理想化假设:各层 KV 大小相同、奇偶各半、忽略工作缓存): 奇数层全部卸载后,显存内需要常驻的 KV 层数从 降到 ( 为模型层数),容量近似
与官方「接近翻倍」吻合;之所以是「接近」而不是精确 2 倍,是工作缓存与预取窗口本身还要占显存——不能把这里的 2 倍当成官方实测值。
调度侧是容量感知放行: Router 根据 L1+L2 缓存容量与请求 token 总量控制放行,优先推进完成度高的 Group,尽早凑齐训练批次、释放缓存——否则多条长轨迹交替推进,会互相淘汰彼此的前缀,引发「重算雪崩」。 官方在所测负载下给出的最优 P/D 实例配比是 3:2(口径: 该场景实测,不可外推为通用结论)。
七、W4A4 推理:权重和激活同时压到 4 bit
据美团 2026-11-02 博客(本节事实如无另行标注均出自该文第 06 节)。 对 1.6T 级 MoE,推理的显存与带宽压力主要在专家权重上。 LongCat-2.5 的 W4A4 方案把专家权重与激活同时量化到 4 bit,用国产加速器原生 INT4 矩阵乘单元执行。 精度靠 FlatQuant 一类的可学习等价变换打底(美团博客的描述性引用)——先学一个变换把激活分布「整平」,再量化,官方称在已评测的下游任务上保持与量化前相当的表现。
量化本身的数学很朴素:对每组数值取缩放因子 ,量化值与反量化为
每组缩放因子 的一种通行取法是组内绝对值最大者除以表示上限(对称均匀量化的教学示例,非 FlatQuant 的实现定义;官方未披露其分组细节):
- 组越小,离群值对整组的拖累越小、量化误差越低,但存储 scale 本身的开销越大;
- FlatQuant 一类「可学习等价变换」的思路是先学一个变换矩阵把激活的分布拉平,让简单 per-group 量化也能拿到接近更细粒度方案的精度;
- 官方称该方案「在已评测的各项下游任务上保持与量化前模型相当的表现」——注意这是厂商口径,且「相当」不等于无损,逐任务的量化损失表官方未附(截至 2026-11-06)。
4 bit 有符号整数 16 个档位,clip 到 。 权重侧 16 bit→4 bit 是理论位宽比较,单是存储与读取就压到四分之一;注意本文线上压测口径的基线是 W8A8,单看权重位宽是 8 bit→4 bit,两组数字不能混成一笔账。 系统侧的巧思在「专家共享的输入变换」: 在 token 复制与分发前完成量化,同一份 INT4 表示贯穿专家通信与计算,变换、尺度计算、量化和打包融合进专用算子,减少数据搬运。
官方线上压测口径(相对 W8A8 INT8 基线):
| 指标 | 变化 | 换算(本文自行推导) |
|---|---|---|
| Prefill 吞吐 | +43.3% | prefill 吞吐约为基线 1.433 倍 |
| Decode 吞吐 | +42.77% | 约为基线 1.4277 倍 |
| TTFT(首 token 延迟) | 降低 15.91% | |
| TPOT(每 token 延迟) | 降低 19.72% | |
| GMM 算子 | 平均 1.73× | GMM 实现相对 W8A8 的平均加速比(官方口径) |
注意分子分母: 这些百分比的基线是 W8A8 INT8,不是未量化模型; 「提升 43.3%」是相对 W8A8 而不是相对未量化。 1.73× 的 GMM 数字是该 GMM 实现相对 W8A8 的算子级均值,端到端数字受通信与调度影响,两者不该混用。
八、把四份发布/开源材料对齐读
LongCat 系列的公开脉络现在有四份可以互相印证的材料: 2026 年 6 月 30 日的 2.0 发布博客、7 月 12 日的开源博客(含 SGLang GPU/NPU 推理代码)、11 月 2 日的 2.5 博客,以及 GitHub 仓库。 对齐着读能看到演进逻辑:
| 维度 | LongCat-2.0(2026-06-30) | LongCat-2.5(2026-11-02) |
|---|---|---|
| 总参数 / 激活 | 1.6T / 平均 48B(动态 33B~56B) | 1.6T / 每 token 约 48B(未披露动态范围) |
| 上下文 | 原生 1M,LSA 稀疏注意力 | 中训练/SFT 用长序列(未披露最大长度),LSA 延续 |
| 视觉 | 无(纯语言,SGLang 推理栈) | 原生多模态:RVQ 离散 token + 离线预处理 |
| 训练硬件 | 五万卡国产算力集群 | 国产算力(未披露集群规模),长程 RL 大规模上量 |
| 训练数据规模 | 累计预训练数据 30T+ tokens | 未披露 |
| 集群稳态吞吐 | 日吞吐超 1T tokens/day | 未披露 |
| 训练效率口径 | 「训练 MFU 提升 1.5 倍」(沿用原文措辞,未据此折算百分比) | 长序列 SFT 单卡吞吐较 DDP +86% |
| 后训练 | MOPD 三专家(Agent/推理/交互) | MOPD 延续 + 大规模长程 Agentic RL |
| 推理形态 | BF16/FP8/INT8 多精度开源 | W4A4 在线服务(线上压测口径) |
注意训练效率一行的两个数字不可比:一个是 2.0 博客原文的 MFU 措辞(中文「提升 1.5 倍」本身有歧义,本文不据此折算),一个是「FSDP 配置 vs DDP 基线的单卡吞吐」,基线与任务都不同。
常见误读澄清
读官方性能数字时建议按三步走,能避开绝大多数口径陷阱: 第一步,找基线:+43.3% 对的是 W8A8 INT8,+86% 对的是 DDP——基线不同,两个百分比永远不能直接比较; 第二步,找范围:「所测长序列 SFT 任务」「所测长上下文负载」「线上压测」,每一个数字都只对自己的测试形态成立; 第三步,找披露粒度:86% 是配置级对比、1.73× 是算子级均值、bitwise 一致是确定性判据——粒度混用是翻车的最常见姿势。 这三步不是针对美团的,任何厂商博客的性能数字都适用。
再澄清五点最容易读错的口径:
- 「1.6 万亿参数」不等于「占 1.6T 显存」:占显存的是权重与优化器状态的存储,而每个 token 前向涉及约 48B 参数的计算与激活;
- 「激活 48B 被 4 bit 化了吗」:W4A4 压的是专家权重与激活的存储/带宽表示,激活参数「个数」不变,变的是每个数值的位宽;
- 「prefill 吞吐 +43.3%」不是相对未量化模型的 43.3% 加速:基线是 W8A8 INT8 的在线服务,未量化的 BF16、FP8 等精度版本不在该对比基线内;
- 「1M 上下文」是 LongCat-2.0 披露的原生上下文口径;2.5 官方只说明中训练与 SFT 使用长序列、未披露最大序列长度(截至 2026-11-06)——训练用多长序列与上线放多大窗口本来就是两回事;
- 「MFU 提升 1.5 倍」(2.0 博客原文措辞)与「+86% vs DDP」(2.5 博客口径)不是同一件事:基线与统计层级都不同,不可换算。
九、边界与未核验项
如实列出本文没能核实或官方未披露的部分(「未披露」均指截至 2026-11-06、所核美团 2026-11-02 博客及官网页面未披露):
-
评测数字:官网已公布逐项评测表格,本文截稿时未核读,故不转引、也不据此归纳跨任务总排名(表格入口 longcat.ai/blog/longcat-2.5);官方中文博客只给了对比看板(GPT-5.5、GPT-5.6-Sol、Claude-Opus-4.8、Claude-Opus-5);「介于两代 Claude 之间」的说法来自第三方媒体转述(见文末热度信号),不在官方博客原文里。
-
86%(vs DDP)、43.3%/42.77%(vs W8A8)、KV 近乎翻倍等全部性能数字为美团官方口径,本文未做任何独立复现;折算数字(1.86 倍、0.8409、0.8028、2 倍账)已在文中标注「本文自行推导」。
-
视觉与文本 embedding「交织融合」的证据来自平均激活约 3B 的验证模型,不是 2.5 全量模型。
-
W4A4 压测的对比基线是 W8A8 INT8,两边的具体卡型、并发与序列长度分布官方未披露,数字不可跨硬件平台外推。
-
partial rollout 的过采样率取值、陈旧性裁剪的具体函数形式与累计差异定义、动态专家复制的触发阈值、RVQ 级数与码本大小,官方博客均未给出数值。
-
训推 bitwise 一致方案标注了「基于 IsoExec、GLM-5 与 XoRL 的工作」,其中 IsoExec 与 XoRL 两篇本文截稿时未逐篇打开核读,仅确认了美团对其用法的描述。
-
LongCat-2.5 的 N-gram Embedding 配置(2.0 为 135B、占总参 <10%)是否变化、中训练数据规模、RL 步数与批次构成,官方均未披露。
-
「P/D 配比 3:2 性能最优」只对官方所测长上下文负载成立,不可当通用部署建议。
-
开源状态:官网已预告 GitHub/HuggingFace「Coming soon」,但具体时间、开放范围、许可证及是否包含 W4A4 与训练栈未披露;2.0 已开源(HuggingFace/GitHub/ModelScope),两代的开源口径不同,不要混传。
十、对开发者的意义
如果只取三条工程启示: 其一,多模态的离散 token 路线从「能跑」进到了「训练系统更省事」——离线预处理把视觉从训练关键路径上摘掉,负载配平简化为普通序列统计问题; 其二,RL 的 infra 已经和算法同等重要——陈旧性裁剪、零梯度组过滤、容量感知调度,这些名字看起来琐碎,但它们才是长程 RL 能 scale 的原因; 其三,「先看拓扑再定并行」是国产算力环境下的通用方法论——把三类大通信留在超节点高带宽域(本次披露配置的规则),剩下的并行度让给显存约束去决定,这套思路在任何受限于互联拓扑的集群上都值得参考。
小结:回扣开头
回到开头那两个数字:1.6 万亿总参数、每 token 激活约 480 亿——约 33 倍的总参/激活参数比,是 LongCat-2.5 一切工程选择的前提。 正因为激活是稀疏的,在 decode 与典型批次负载下推理瓶颈更偏向「显存与带宽」(本文工程解读;prefill 或不同批量下仍可能受计算制约),W4A4(权重与激活同时 4 bit)才值得做,且收益能直接落在吞吐上(官方口径: prefill +43.3%、decode +42.77%)。 正因为要按长序列训练(2.5 未披露具体长度)、三类大通信流量大,参数 AllGather、专家 AllToAll、KV AllGather 以超节点高带宽域为界组织,「先看拓扑再定并行」才成立。 正因为长程 RL 的 rollout 存在长尾耗时、采样与训练注定异步,样本陈旧性裁剪与零梯度组过滤才和算法本身同等重要。 视觉离散化(RVQ + 离线缓存)把多模态从训练系统的「异构负担」变成普通序列统计问题——「解决的主要是系统成本问题」是本文工程解读;官方同时强调了视觉理解与信息瓶颈的建模动机。 一句话: LongCat-2.5 的技术博客没有讲任何玄学,它讲的是一个受限于国产算力物理条件的工程团队,如何把每一个约束翻译成一条可执行的系统规则; 这套翻译方法论在任何受约束的集群上都成立。
给赶时间的读者一行版: LongCat-2.5 = 参数不变(1.6T/激活约 48B)+ 视觉走离散 token(RVQ、离线缓存)+ 长程智能体 RL(partial rollout、陈旧性裁剪、反投机)+ 三类大通信留在超节点内(+86% vs DDP)+ W4A4 推理(prefill +43.3%、TTFT −15.91%,基线 W8A8)。 所有百分比都有明确基线与适用范围,基线拿掉了,数字就失去意义——这也是读任何厂商发布数字的正确姿势。
- 评测口径的可用性:官方中文博客给了对比看板(GPT-5.5、GPT-5.6-Sol、Claude-Opus-4.8、Claude-Opus-5)但未附逐项分数;官网另附逐项评测表(截稿时未核读);第三方媒体转述的排名不在官方博客原文里,本文一律未采用;
- 本文引用的 IsoExec、XoRL、FlatQuant、MoonEP 等机制名均来自美团官方博客的描述性引用,除 arXiv:2603.27538 与 arXiv:2608.01662 外,本文未逐一打开其原始文献核读。
后续值得盯的四个信号:
- 开源与不开源:2.0 已在 HuggingFace/GitHub/ModelScope 全面开源并放出国产卡推理代码;2.5 官网已预告 GitHub/HuggingFace 即将上线,但时间、范围与许可证未披露——若延续 2.0 的开源节奏,W4A4 与超节点训练栈能否一并开源,是「可复现性」的分水岭;
- 官网博客(longcat.ai/blog/longcat-2.5)的逐项评测表:官网已公布逐项表格,本文截稿时未核读;核读后才能做同口径对比;
- 2.5 的动态激活范围:2.0 披露了 33B~56B,2.5 只给了「约 48B」,动态范围是否因 RL 训练变化值得观察;
- 视觉离散化路线在第三方生态的复现:RVQ token + 离线预计算对训练系统的简化是实的,但码本与解码器的维护成本要等社区复现才能看清。
📋 来源与核验记录
以下编号来源为本文写作当轮(2026-11-06)实际打开并读取的 URL,引用要点经与原文核对;其中美团对第三方机制的采用关系,除另有记录外,仅按其博客描述转述,不代表本文已核读第三方全部论文、代码或复现结果。
- 美团技术团队《美团正式发布 LongCat-2.5:面向智能体任务的原生多模态模型》,2026-11-02,https://tech.meituan.com/2026/11/02/Meituan-LongCat-2.5.html (1.6T/激活约 48B、RVQ 与离线预处理、partial rollout 与陈旧性裁剪、MOPD per-cut prefix、超节点 FSDP/EP/CP、+86%、训推 bitwise 一致、LSA 跨层预取、W4A4 全部数字的主要来源;官方压测口径:prefill 吞吐 +43.3%、decode 吞吐 +42.77%、TTFT 降低 15.91%、TPOT 降低 19.72%、GMM 平均 1.73×、长序列 SFT 单卡吞吐较 DDP 基线提升 86%)
- 美团技术团队《美团 LongCat-2.0 正式发布:在国产算力集群上完成全流程训练与推理的万亿参数模型》,2026-06-30,https://tech.meituan.com/2026/06/30/LongCat2.0.html (2.0 规格口径 1.6T/48B/动态 33B~56B、30T+ tokens、五万卡、MFU「提升 1.5 倍」原文措辞、日吞吐 1T tokens/day、MOPD 三专家定性、原生 1M 上下文口径)
- 美团技术团队《正式开源!美团 LongCat-2.0 同步开放国产卡推理代码》,2026-07-12,https://tech.meituan.com/2026/07/12/LongCat-2.0-Open-source.html (LSA 三策略、N-gram Embedding 135B/占比 <10%、MOPD、BF16/FP8/INT8 多精度开源、SGLang NPU 推理代码)
- GitHub meituan-longcat/LongCat-2.0 仓库 README,https://github.com/meituan-longcat/longcat-2.0 (1.6T/48B、1M 上下文训练数据数千亿 token 级、GPU/NPU 双平台部署、MIT License;README 读取于 2026-11-06,内容可能随后续提交变化)
- LongCat-Next: Lexicalizing Modalities as Discrete Tokens,arXiv:2603.27538,https://arxiv.org/abs/2603.27538 (DiNA 框架、dNaViT 任意分辨率分词/去分词、层级化离散 token 的方法源头;2026-03-29 首次提交)
- LongCat Sparse Attention: Taming the Lightning via Streaming-aware Hierarchical Cross-Layer Indexing,arXiv:2608.01662,https://arxiv.org/abs/2608.01662 (LSA 的流感知索引、跨层索引、层级化索引三策略与索引开销摊销原理;2026-08-03 首次提交、08-04 修订)
- LongCat 官网博客 Introducing LongCat-2.5,https://longcat.ai/blog/longcat-2.5 (评测看板与逐项评测表的官方入口;本页为脚本渲染,截稿时仅确认可访问,逐项分数未核读)
本文自行推导(非官方数字):DDP→FSDP 折算 1.86 倍、激活比约 3%(48B/1.6T)、TTFT 换算系数 0.8409、TPOT 换算系数 0.8028、LSA 奇偶层卸载的 2 倍容量账(按层数 的理想化推导)、0.8 TB 的「全部参数 4 bit」理想化存储下限、按 2.0 动态范围折算的激活比区间约 2.06%(33B/1.6T)至 3.5%(56B/1.6T)。
热度信号(二手,仅作发布热度佐证,未用于任何技术数字): 中证网(中国证券报)2026-11-02 报道 https://cs.com.cn/ssgs/01/2026/11/02/detail_2026110210049222.html ; 新浪财经转载环球网 2026-11-02 报道 https://finance.sina.com.cn/jjxw/2026-11-02/doc-inixiiqx2347210.shtml ; 腾讯新闻平台账号「朝阳资本论」2026-11-02 报道 https://view.inews.qq.com/a/20261102A07AFH00 。
内容透明度声明:本文由 AI 辅助生成,基于公开资料整理,MagicNetWorld 尚未对 LongCat-2.5 做独立实测。