概念科普 📅 2026-11-19 ✍️ MagicNetWorld 编辑部

混合专家的容量因子到底在买什么:为什么 token 会被丢掉,辅助损失又在均衡什么

全部数字为模拟值,非真机实测。稀疏专家(MoE)的两个旋钮常被混为一谈:容量因子是每个专家能收多少分配对的硬上限,只防溢出;辅助损失才改变分配本身。在 8 专家、每 token 选 2 个、8192 token 的模拟里:偏斜偏好下容量因子从 1.0 提到 2.0,丢弃率只从 27.2% 降到 8.8%;专家从 8 增到 256、每专家平均负载不变时,同一容量因子 1.25 下丢弃率从 20.9% 升到 43.8%。还有一个口径陷阱:容量因子 1.0、均匀偏好时,单个指定专家超容的概率是 0.494,而被丢弃的分配对占比只有 0.0082,差约 60 倍。

混合专家MoE容量因子负载均衡稀疏激活

从一间只有固定座位的餐厅说起

想象一家餐厅,后厨有八位厨师,每位只做一种菜系。门口不设迎宾,客人进门自己看一眼菜单就往某个档口走——因为「看他像哪国人」比「排队等位」快得多。为了不让后厨爆掉,老板给每个档口固定数量的灶位:你的客人再多,也只能做这么多份。超过的部分,直接退单。

这就是稀疏专家(Mixture of Experts,下称 MoE)一层前向传播的骨架:一个轻量的「路由器」把每个 token 分给少数几个专家,每个专家只能接收固定数量的 token;收不下的那部分分配不计算;被跳过的贡献不进入求和,等于这一小块「被旁路」——它不改变 token 的走向,只是少了一份专家输出。

这套设计在 2017 年被提出时(Shazeer 等,arXiv:1701.06538),主要动机是「让模型参数量涨十倍而计算量不变」。将近十年后的今天(2026 年),它成了大模型的主流形态之一,但工程上真正让人睡不着的往往不是参数量,而是下面两个数字:每个专家该留多少个灶位,和客人怎么才能分得均匀。

这两个问题分别对应两个旋钮——容量因子(capacity factor)与辅助损失(auxiliary loss)。它们在代码里常常挨着出现,在论文里也常常一起讲,于是很多人把它们当成同一件事的不同写法。这篇文章想说清:它们防的是两种完全不同的失效。容量因子是硬上限,只防溢出;辅助损失是软约束,才改变分配本身。把前者的数值调大,不会让流量自己变均匀。

先把话说清楚:几个术语的准确定义

在往下走之前,先把后面反复用到的词钉死。每个术语第一次出现时给一句话定义,后面就用这句话的意思。

  • token:模型处理文本的最小单位,可以粗略理解为一个词或半个词。本文所有「客流」都是指 token。
  • 专家(expert):一层前馈网络(FFN)的一个副本。它和普通 FFN 结构一样,只是参数不同;八个专家就是八套不同的 FFN 权重。
  • 稀疏激活(sparse activation):每个 token 只经过少数几个专家,而不是全部。所以「总参数量」可以很大,「每个 token 用到的参数量」(激活参数)却很小。
  • 路由器(router / gate):一个极小的线性层,输入是 token 的隐状态,输出是它在每个专家上的分数。它不参与「专家内部计算」,只负责分派。
  • top-kk:每个 token 选分数最高的 kk 个专家。k=1k=1 叫 Switch 式(Fedus 等,arXiv:2101.03961),k=2k=2 是 GShard 式(Lepikhin 等,arXiv:2006.16668)与多数后续模型的默认。
  • 容量因子(capacity factor,cf\mathrm{cf}):每个专家的槽位数相对于「平均负载」放大的倍数。它是乘在平均负载上的系数,不是绝对数量。
  • 分配对(assignment):一个 (token, 专家) 组合。top-kk 时每 token 有 kk 个分配对。
  • 丢弃(dropping):某个分配对超出容量后不计算。注意它丢的是「一个分配对」,不必然是整个 token。
  • 辅助损失(auxiliary loss):加在训练目标里的一项惩罚,用来让 router 别把 token 全塞给少数专家。它不是主任务损失。

后面所有公式里的符号固定为:EE 是专家数,kk 是每 token 选中的专家数,NN 是这一批的 token 数,cf\mathrm{cf} 是容量因子。

符号表

符号含义本文取值或用法
EE专家数(一层 FFN 被切成几份)实验取 8 / 16 / 64 / 256
kk每个 token 选中的专家数(top-kk)固定 2
NN一批里的 token 数与 EE 联动的取值见表
cf\mathrm{cf}容量因子(平均负载的放大倍数)扫 1.0 / 1.25 / 1.5 / 2.0
CC每个专家的容量(分配对数量)⌈cf⋅kN/E⌉\lceil \mathrm{cf}\cdot kN/E\rceil
λ\lambda每专家平均负载 kN/EkN/E实验固定 2048
fif_i实际分到专家 ii 的 token 比例训练期统计量
PiP_irouter 给专家 ii 的平均概率训练期统计量
α\alpha辅助损失的系数(「均衡税」税率)情景参数,未扫
CV\mathrm{CV}每专家负载的变异系数(标准差 / 均值)判别溢出还是塌缩

这一节想让你记住的一件事:「总参数」「激活参数」「容量」是三个独立的东西,混淆它们会让后面每一个判断都错。

一、MoE 想解决的问题:把参数量和算力拆开

先说清楚它为什么存在,否则容量因子看起来只是一个莫名其妙的限制。

稠密(dense)模型里,一个 token 要过每一层 FFN 的全部权重,所以「参数量」和「这个 token 花的算力」是绑死的。想让模型容量变大,就得让每个 token 多算——成本线性上升。

MoE 把一层 FFN 切成 EE 份,每个 token 只走其中 kk 份。于是总参数与单 token 算力解耦:

Ptotal=Pattn+Pshared+E⋅Pexpert⏟模型多大\underbrace{P_{\text{total}} = P_{\text{attn}} + P_{\text{shared}} + E \cdot P_{\text{expert}}}_{\text{模型多大}} Pactive≈Pattn+Pshared+k⋅Pexpert⏟每个 token 用多少\underbrace{P_{\text{active}} \approx P_{\text{attn}} + P_{\text{shared}} + k \cdot P_{\text{expert}}}_{\text{每个 token 用多少}}

只看路由专家那部分,激活比例是 k/Ek/E;但全模型的激活比例要把不参与路由的注意力与共享参数算回来:

PactivePtotal=A+(k/E) RA+R  ≥  kE,A=Pattn+Pshared,  R=E⋅Pexpert\frac{P_{\text{active}}}{P_{\text{total}}} = \frac{A + (k/E)\,R}{A + R} \;\ge\; \frac{k}{E}, \qquad A = P_{\text{attn}} + P_{\text{shared}},\; R = E\cdot P_{\text{expert}}

也就是说 k/Ek/E 是只对路由专家部分成立的比例,是全模型激活比例的下界,不是上界。下面这张表的「路由专家部分激活占比」严格按 k/Ek/E 算:

总参数(含注意力等)专家数 EEtop-kk路由专家部分占比 k/Ek/E若全部参数都是路由专家时的算术值
47 B8225.0%11.75 B
47 B8112.5%5.875 B
671 B8225.0%167.75 B
671 B32412.5%83.875 B
671 B25683.12%20.969 B

47 B / 671 B 这两组总量只是用来对照量级的假设配置,不是任何已发布模型的规格。表里最后一列是「把全部参数都当成路由专家」时的算术值,只有当注意力与共享参数可忽略时它才接近真实激活量。举例:总量 671 B、其中注意力与共享 31 B、路由专家 640 B、k/E=8/256k/E=8/256,真实激活量约 31+640×8/256=5131 + 640\times8/256 = 51 B,占约 7.6%,而不是表里的 20.969 B / 3.12%。

但代价立刻出现:既然每个 token 的去向由一个学出来的 router 决定,那么「有多少 token 去第 ii 个专家」就是数据相关的随机变量。而 GPU 不喜欢随机形状:要一次性把所有 token 发到对应专家,通常就得预先分配一个固定大小的缓冲区。容量因子就是那个「预先分配多少」的开关。

这一节想让你记住的一件事:稀疏买的是「每 token 算力」,卖的是「形状确定」——容量因子是常见实现里用来补这笔账的手段。

二、路由:token 去哪个专家,是谁决定的

router 本身非常小:一个可学习的矩阵 Wg∈Rd×EW_g \in \mathbb{R}^{d \times E},把隐状态 x∈Rdx \in \mathbb{R}^{d} 映射成 EE 个分数,取前 kk 个。

s(x)=xWg,T(x)=TopK(s(x),k)s(x) = x W_g, \qquad \mathcal{T}(x) = \mathrm{TopK}\big(s(x), k\big)

门值怎么算,Switch 与 GShard 不一样,这一点常被忽略:

  • Switch(top-1):先对全部 EE 个专家做 softmax,再取最大者的概率作为门值。因为 k=1k=1,这个门值一般不等于 1(它表示 router 有多确信)。
  • GShard(top-2):先对全部专家做 softmax,再在选中的两个之间重新归一化,使两个门值之和为 1。
gi(x)={exp⁡(si(x))∑j∈T(x)exp⁡(sj(x)),i∈T(x)0,否则g_i(x) = \begin{cases} \dfrac{\exp(s_i(x))}{\sum_{j \in \mathcal{T}(x)} \exp(s_j(x))}, & i \in \mathcal{T}(x) \\[4pt] 0, & \text{否则} \end{cases} y=∑i∈T(x)gi(x)⋅Experti(x)y = \sum_{i \in \mathcal{T}(x)} g_i(x) \cdot \mathrm{Expert}_i(x)

(上式写的是 GShard 式重新归一化;Switch 的 k=1k=1 情形应换成全专家 softmax 的取值。两者在 k=1k=1 时数值完全不同,读代码时务必看清用的是哪一种。)

Shazeer 原始论文给门控分数加的是可调方差的高斯噪声;Switch 用的是 input jitter(对输入加抖动,见其附录讨论),ST-MoE 则报告在其规模下移除 input jitter 更稳。目的都是在训练早期别让 router 过早锁定,推理时一律关掉。

到这里出现第一个关键认知:router 是学出来的,它没有「必须均衡」的内在约束。在只有主任务损失的训练里,省事的解往往是「把大家都压给那几个学得快的专家」——因为这样 loss 掉得最快。这不是 bug,是优化的自然方向。

这一节想让你记住的一件事:不均衡是训练的默认结局,均衡是额外施加的约束。

三、容量:常见实现里的硬上限

MoE 一层的数据流:router 分派、按专家重排、容量截断与加权求和
图 1 MoE 一层的数据流:容量截断发生在专家计算之前,被截断的分配对不参与计算(本文自绘)

这张图想说明的一件事:容量不是专家内部的限制,而是「进专家之前」的一道闸门——超出容量的分配对根本不进 kernel,代价是这部分贡献在这一子层为零。

现在给每个专家一个槽位数。固定填充实现里最常见的做法是「平均负载 × 容量因子」:

C=⌈cf⋅kNE⌉C = \left\lceil \mathrm{cf} \cdot \frac{kN}{E} \right\rceil

这里 kNkN 是这一批要分派的全部分配对——因为每个 token 选 kk 个专家——所以 kN/EkN/E 是「如果完全均匀,每个专家该收多少」。cf=1.25\mathrm{cf}=1.25 就是「比平均需求多留 25%」。

口径要小心:不同实现的容量定义不统一。有的公式写 ⌈cf⋅N/E⌉\lceil \mathrm{cf}\cdot N/E\rceil,分母只除专家数、分子只取 token 数——这是在平均负载里没有乘 k 的写法,只适合 top-1(或 k=1 的等价情形);GShard 的组容量写成 2N/(GE)2N/(GE),已经把 top-2 的因子 2 计进去了。本文统一用上式,即每专家可接受的分配对数量;比对不同模型时,先确认它的平均负载里有没有乘 kk。

容量为什么常见是硬的?三个原因:

第一,全对全通信需要固定 buffer。MoE 层要把 token 按专家重排,经典实现是一轮 all-to-all(每张卡把 token 发给所有持有专家的卡,同时收下别人发来的);参与通信的设备必须提前知道「我要发多少、要收多少」。这不是唯一路径:也有实现按实际计数动态打包(如 MegaBlocks 的块稀疏方案),代价是 kernel 更复杂、调优更难。

第二,分组矩阵乘法偏好静态形状。把 token 拼成一个 C×dC \times d 的稠密矩阵送进专家组,是固定填充实现能在 GPU/TPU 上跑得快的关键;变长形状需要专门的稀疏 kernel(arXiv:2211.15841 一类工作做的就是这件事)。

第三,成本可预测。CC 决定了固定填充实现里一次前向的 FLOPs 与显存上界;没有它,容量规划就只能按实测峰值留余量。

代价也直接:C×EC \times E 是预留的槽位总数,而实际分配数是 kNkN。空槽占预留量的比例是

空闲比例=1−实际用量E C  ≤  1−kNE C\text{空闲比例} = 1 - \frac{\text{实际用量}}{E\,C} \;\le\; 1 - \frac{kN}{E\,C}

注意区分三个数:相对平均需求的额外预留是 cf−1\mathrm{cf}-1;1−1/cf1-1/\mathrm{cf} 是额外预留占总容量的比例;空闲比例只有完全没有丢弃、且忽略取整时才等于它,有丢弃时实际用量更小、空闲更多。拿本文配置(C=2560C=2560、E=8E=8):空闲比例 =1−16384/20480=20%=1-16384/20480=20\%,额外预留相对平均需求是 25%。

这一节想让你记住的一件事:容量因子不是「性能开关」,是预留 buffer 的系数;调大它先花的是显存与通信窗口。

顺手把账算一遍:一次前向里,容量到底占多少

把公式代进一个具体配置:E=8E=8、k=2k=2、N=8192N=8192、隐层宽度 d=4096d=4096、fp16 精度、cf=1.25\mathrm{cf}=1.25。

容量:C=⌈1.25×2×8192/8⌉=2560C=\lceil 1.25 \times 2\times8192/8\rceil = 2560。八个专家一共预留 2560×8=204802560\times8=20480 个槽位,而实际分配数是 kN=16384kN=16384——即使分布完全均匀,也有 4096 个槽位(20%)是空的。

token 缓冲区大小(单层、单份、只算隐状态有效载荷):

20480×4096×2 字节=160 MiB,实际分配量16384×4096×2=128 MiB20480 \times 4096 \times 2\ \text{字节} = 160\ \mathrm{MiB}, \quad\text{实际分配量}\quad 16384 \times 4096 \times 2 = 128\ \mathrm{MiB}

多留的 32 MiB 是按预留槽位做稠密填充时的直接显存账单(实际分配若发生丢弃还会更少);乘以层数与同时在飞的微批数量,才是真实占用。这也是为什么大模型训练里容量因子常被压到 1.0~1.25 附近,而不是随手写 2。

通信账按有效载荷估:至少要一轮 all-to-all 把 token 送到专家所在设备、一轮送回;这里给「每个分配对都跨设备、且都按有效载荷发送」的上界:

2×N×k×d×2 字节=2×8192×2×4096×2=256 MiB2 \times N \times k \times d \times 2\ \text{字节} = 2 \times 8192 \times 2 \times 4096 \times 2 = 256\ \mathrm{MiB}

这是上界估计(忽略对齐、碎片与丢弃)。真实实现里本地专家的分配不必出网、填充槽位通常不发,因此实际通信量通常小于这个数。

这一节想让你记住的一件事:容量因子的成本可以算成 MiB,它不是抽象的超参。

四、丢弃率:两种口径差 60 倍

一旦有了容量,超出部分怎么处理?GShard 与 Switch 的处理方式并不相同:GShard 的算法按组内 token 顺序、用每专家的计数器依次分配第一、第二专家,位置超出容量的分配对被跳过;Switch 则沿 token 维累积计数(cumsum)确定每个分配对的容量位置。两者都不是「按全 batch 门控分数排序」,这一点在复现时要看清。

被跳过的分配对不参与计算;一个 token 若它的 kk 个分配对全部被跳过,这一子层的专家贡献才完全为零,输出等于残差直通。丢一个分配对 ≠ 整个 token 少走一层。

现在要算「丢了多少」。这里有两种完全不同的口径,混淆它们会得出差一个数量级的结论。

口径一:某个指定专家超容的概率。 假设均匀偏好、每专家负载 X∼Binomial(kN,1/E)X \sim \mathrm{Binomial}(kN, 1/E),则

Psingle=P(X>C)=1−P(X≤C)P_{\text{single}} = P(X > C) = 1 - P(X \le C)

注意这是单个专家的概率,不是「整批至少一个专家超容」。后者是各专家事件的并集;由于总分配数 ∑iXi=kN\sum_i X_i = kN 固定,各 XiX_i 并不独立,不能把单个概率简单相乘。

口径二:被丢弃的分配对占比。 它等于每个专家期望超出的量乘以专家数,再除以总分配对数:

ρdrop=E⋅E[(X−C)+]kN,(z)+=max⁡(z,0)\rho_{\text{drop}} = \frac{E \cdot \mathbb{E}\left[(X - C)^+\right]}{kN}, \qquad (z)^+ = \max(z, 0)

两者不是同一个量。用 E=8E=8、k=2k=2、N=8192N=8192、cf=1.0\mathrm{cf}=1.0(即 C=2048C=2048,正好等于平均负载)做一次对照:

量数值说明
每专家平均负载 λ=kN/E\lambda = kN/E2048与容量相等
单个指定专家超容的概率 PsingleP_{\text{single}}0.494二项尾概率,近乎掷硬币
期望丢弃分配对比例(正态近似)0.0082460.82%
模拟丢弃分配对比例(20 次 × 8192 token,种子 20261119)0.0083530.84%
二者比值≈ 60 倍同一组数据

也就是说:「某个指定的专家有一半概率溢出」和「只丢了 0.8% 的分配对」可以同时为真。前者听起来像事故,后者才是真正的计算损失。若只看前者去调容量因子,会不必要地把 cf\mathrm{cf} 抬到 2 以上,白白浪费一半专家算力。

模拟与理论在 0.82% 与 0.84% 上吻合,说明本文的模拟口径(按多项分布抽样、再按容量截断)与二项尾概率是自洽的。

这一节想让你记住的一件事:「单个专家超容的概率」和「被丢弃的分配对比例」是两个量,报指标时必须写明是哪一个。

被丢掉的那部分,实际发生了什么

前面一直把「丢弃」当成一个统计量。对单个分配对来说,后果是具体的:这一份专家贡献不计算。若一个 token 的 kk 个分配对全被跳过,它这一子层就只剩残差。

后果有三层,按影响从小到大:

第一,前向表达能力变浅。被跳过的分配对不产生专家输出,token 得到的专家侧信号变弱。丢一个分配对只是少一份贡献,不等于少走一层;本文的脚本没有统计「全丢 token 比例」,所以无法把 20% 的分配对丢弃率换算成「多少 token 少走一层」。

第二,梯度缺失可能加剧偏斜。被跳过的分配对不产生该专家的梯度,router 也就拿不到「这个专家本来也适合它」的信号。这会让已经被压满的专家更难被纠正、空闲的专家更难被发现——丢弃与偏斜之间可能形成正反馈,这也是为什么只把容量因子调大有时并不能让训练曲线变好。

第三,推理时引入非确定性。容量截断取决于这一批里其它 token 的构成:同一个 prompt 单独跑,和塞进一个已经偏斜的 batch 里跑,可能得到不同输出。服务端若把容量固定死,这个差异会表现为输出随 batch 组成漂移。

这一节想让你记住的一件事:丢弃改变的是「这一份贡献算不算」,不是「这个 token 走几层」。

五、容量因子买不到均衡

上一节的结论建立在「偏好均匀」这个前提上。真实训练里,router 在均衡约束生效之前是偏斜的。(下表来自 exp1/exp2 两组独立实验:抽样次数、容量与 trial 数与第四节略有不同,末位数字不能直接与第四节互比。)把偏好换成一列 Zipf 权重(wr∝1/r0.9w_r \propto 1/r^{0.9},八专家里最热的一个吃掉约 33.8% 的分配),其余设定不变,容量因子从 1.0 扫到 2.0:

容量因子 cf\mathrm{cf}每专家容量 CC均匀偏好丢弃率偏斜偏好丢弃率(Zipf 0.9)偏斜时专家负载变异系数
1.0020480.90%27.17%0.718
1.252560未观测到20.83%0.719
1.503072未观测到14.69%0.709
2.004096未观测到8.78%0.717

(「未观测到」表示这 5 次模拟里没有出现丢弃;理论上二项分布仍有极小的超容尾部,不是严格为零。)

两列的形状完全不同。均匀偏好下,cf=1.25\mathrm{cf}=1.25 就已经把丢弃压到观测不到——因为负载波动只有 λ\sqrt{\lambda} 量级(2048≈45\sqrt{2048}\approx 45,相对 λ\lambda 只有 2.2%),25% 的余量绰绰有余。

偏斜偏好下,CC 翻倍也只把丢弃从 27% 压到 8.8%,而负载变异系数几乎不动(0.71→0.72)——容量因子改变的是「闸门多高」,不是「水流多不均」。要让最热专家的超容概率降到 0.1% 以下,得让容量接近它的期望负载;对这份 Zipf 权重,扫描得到 cf≈2.8\mathrm{cf} \approx 2.8(八专家、最热占 33.8%)。注意这个 2.8 是**「最热专家超容概率」这个指标**的网格结果,不是「丢弃分配对比例」——按后者算,cf=2.75\mathrm{cf}=2.75 时该比例按同一正态近似独立复算已约 1.1×10−41.1\times10^{-4}。两个指标差在这里会直接导致两种相反的结论。

再换一个角度看同一个结论。固定 cf=1.25\mathrm{cf}=1.25,把专家数从 8 增到 256,同时让 token 数同比例增长、保持「每专家平均负载 = 2048」不变:

专家数 EEtoken 数 NN容量 CC负载变异系数丢弃率被压满的专家数
8819225600.71320.88%2 / 8
161638425600.96026.63%3 / 16
646553625601.60136.70%11 / 64
25626214425602.55043.79%36 / 256

每专家平均负载没变、容量因子没变、容量本身也没变,只有专家数与 token 数一起放大——丢弃率却从 21% 涨到 44%。原因在这一族 Zipf 权重上:同一指数下,最热专家相对平均值的倍数是 share×E\mathrm{share}\times E(E=8E=8 时 0.338×8=2.70.338\times8=2.7,E=64E=64 时 0.174×64=11.20.174\times64=11.2),倍数越大,固定容量越挡不住。这里的关键是「相对平均值的倍数」,不是绝对份额。

需要限定:这条结论只在本文这一族 Zipf 权重(指数固定、份额随 EE 重新归一)下成立。真实的 router 分布随训练动态变化,不能直接外推成「专家越多必然越难均衡」。

这一节想让你记住的一件事:容量因子只能挡溢出,挡不住偏斜;偏斜的后果取决于相对平均值的倍数。

六、辅助损失:为什么要收一笔「均衡税」

既然不均衡是优化的默认结局,就让优化目标自己去反对它。做法是给训练损失加一项,专门惩罚「流量集中」。

Switch Transformer 的形式(原文第 2.2 节,其 NN 指专家数、token 数用 TT 表示,这里改写成 EE):

Laux=α⋅E⋅∑i=1Efi⋅PiL_{\text{aux}} = \alpha \cdot E \cdot \sum_{i=1}^{E} f_i \cdot P_i

其中

fi=1T∑x1[arg⁡max⁡jsj(x)=i],Pi=1T∑xpi(x)f_i = \frac{1}{T}\sum_{x} \mathbf{1}\left[\arg\max_j s_j(x) = i\right], \qquad P_i = \frac{1}{T}\sum_{x} p_i(x)

fif_i 是实际被分到专家 ii 的 token 比例(硬统计量,不可微),PiP_i 是 router 给专家 ii 的平均概率(可微)。这一项是「实际分配 × 期望概率」的乘积和——它同时约束硬分配的统计外观与 softmax 的形状。

在完全均衡时 fi=Pi=1/Ef_i = P_i = 1/E,于是

Lauxbalanced=α⋅E⋅E⋅1E⋅1E=αL_{\text{aux}}^{\text{balanced}} = \alpha \cdot E \cdot E \cdot \frac{1}{E}\cdot\frac{1}{E} = \alpha

这是完全均衡时的基准值:只要 router 均匀,这一项就停在 α\alpha 附近,与 batch 大小无关。但要说清两件事:

其一,它不是一般情况下的全局最小值。举个两专家、四个 token 的反例:三次 (0.51,0.49)(0.51,0.49)、一次 (0.07,0.93)(0.07,0.93),则 f=(0.75,0.25)f=(0.75,0.25)、P=(0.4,0.6)P=(0.4,0.6),∑ifiPi=0.45\sum_i f_iP_i=0.45,小于均衡时的 0.5——存在比「完全均衡」更低的取值。只有在 f=Pf=P 之类的附加条件下,才能证明均衡是极小点。

其二,常数基准本身不改变梯度。给损失加一个与参数无关的常数,梯度不变;所以「基准不为零」不能推出「主任务质量必然下降」。真正的代价来自它对路由决策的扰动:为了压这一项,router 可能牺牲判别力,把本该分给更合适专家的 token 分给负载较轻的专家。这是风险,不是从常数项推出来的必然结论。

本文模拟里用的就是上面这个形式(αE∑ifiPi\alpha E\sum_i f_iP_i),下表给出未乘 αE\alpha E 的点积 ∑ifiPi\sum_i f_iP_i(同一套 Zipf 权重序列、不做容量截断、按固定概率抽样):

偏斜程度(Zipf 指数 ss)点积 ∑ifiPi\sum_i f_iP_i
0.0(完全均匀)0.125
0.30.130
0.60.151
0.90.191
1.20.246

均匀时正好是 1/E=0.1251/E = 0.125,乘上 αE\alpha E 后回到 α\alpha,与上面那个基准值一致;偏斜越重,点积越大,梯度就越会把流量往均匀推。它解释了一个常见误解:辅助损失不是「让 router 更聪明」,而是「让 router 更无聊」——它用一点路由判别力换负载的形状可控。

2022 年的 ST-MoE(Zoph 等,arXiv:2202.08906)还引入 router z-loss:

Lz=1B∑x(log⁡∑j=1Eesj(x))2L_z = \frac{1}{B}\sum_{x} \left(\log \sum_{j=1}^{E} e^{s_j(x)}\right)^2

(BB 是批内 token 数)它约束的是 router logits 的 log-sum-exp 尺度(缓解舍入误差与数值不稳定),不是 softmax 的置信度:把所有 logits 整体平移一个常数,softmax 完全不变,但 z-loss 会明显变化。这一点常被误读成「防过度自信」。

DeepSeekMoE(Dai 等,arXiv:2401.06066 第 3.3 节)列了两类均衡:专家级(单个专家别被压满)与设备级(单卡上的专家总量别失衡);通信级均衡损失是在 DeepSeek-V2 的技术报告(arXiv:2405.04434 第 2.2.3 节)里明确列出的第三类。层级不同,但都是同一件事的变体——用可微的惩罚去影响不可微的硬分配。

还要补一句:辅助损失不是唯一手段。Expert Choice 路由(arXiv:2202.09368)让专家去挑 token,从结构上改变溢出;Loss-Free Balancing(arXiv:2408.15664)用按近期负载更新的专家偏置来均衡,不使用辅助损失。本文只讨论「固定填充 + top-k + 辅助损失」这一族。

这一节想让你记住的一件事:辅助损失买的是「形状可控」,它在均衡时等于 α\alpha,代价来自它对路由的扰动而不是那个常数。

怎么在训练日志里看出 router 塌了

上面说的是机制,落到日常,最省时的诊断是三行统计,跑在一批验证数据上(不参与训练,所以不被辅助损失直接影响):

第一行,每专家收到的分配对数量的变异系数。均匀偏好在 λ=2048\lambda=2048 时,单批 CV 约 0.02 量级(本文表格里的 0.004–0.012 是多次抽样取平均后的值,噪声更小);本文 Zipf(0.9) 是 0.71;专家放大到 256 时到 2.55。用 CV 判别时要注意聚合窗口:单批统计与多批平均的 CV 不是同一个量。

第二行,argmax 分配的熵。这里算的是「每个 token 的 top-1 落点」这个经验分布的熵,归一化成 H/log⁡EH/\log E:完全均匀是 1.0,全部落到一个专家是 0。它是硬选择的统计,不是 softmax 概率的熵——若所有 token 的概率都接近 (0.5,0.5)(0.5,0.5),概率熵接近最大,但 argmax 仍可能全落在同一个专家,两者会给出相反的读数。

第三行,被完全丢弃的 token 比例。它需要逐 token 记录 kk 个分配对是否都被跳过,与「丢弃分配对比例」不是一回事:分配对丢弃 8% 时,全丢的 token 比例取决于两个分配对是否相关,可能远低于 8%。本文脚本没有输出这一项,所以不给数值。

三行一起看,就能把「容量问题」和「均衡问题」分开:CV 高且分配熵低 = 均衡问题;CV 低 = 容量与统计波动问题。至于「哪个更早报警」,取决于具体训练动态,本文没有时间序列实验,不做断言。

这一节想让你记住的一件事:CV 看分配实况,分配熵看硬选择,全丢比例看 token 的真实损失,三者不能互相替代。

七、两种失效,两张不同的处方

容量因子与辅助损失作用在 MoE 不同环节:前者是闸门高度,后者是水流分布
图 2 两种失效对应两个旋钮:容量因子管闸门高度(溢出),辅助损失管水流分布(塌缩),作用点不同(本文自绘)

这张图想说明的一件事:两个旋钮作用在 router 的两侧——容量因子在分派之后截断,辅助损失在训练时改分派本身。

现在可以把开头的判断说完整了。上面所有实验其实在讲两种失效:

失效一:溢出。 流量大致均匀,但某一批恰好某个专家多收了几十个 token。处方是容量因子——把 CC 抬高一点,用显存换确定性。这是统计波动问题,相对波动约 1/λ1/\sqrt{\lambda} 量级。

失效二:塌缩。 router 学成了「少数专家吃大头」。此时即使把容量抬到 NN(每专家都能收下全部 token)也消除不了偏斜——溢出没了,但绝大多数专家仍然常年闲置,参数容量被浪费。处方是改变分配本身:辅助损失、路由噪声、损失无关的偏置调节,或换一种路由结构。

两者的判别方法很便宜:跑一批数据,统计每个专家收到的分配对数量,算变异系数(标准差除以均值)。均匀偏好在 λ=2048\lambda=2048 时 CV 约 0.02 量级;本文的 Zipf(0.9) 是 0.71;专家数放大到 256 时到 2.55。

现象变异系数 CV丢弃率该动哪个旋钮代价
轻微溢出低(单批约 0.02 量级)低容量因子略增少量空槽显存
明显偏斜0.3–0.8(本文设定)10–30%(本文设定)辅助损失 α\alpha ↑ 或换路由结构主任务损失可能变差
严重塌缩> 1.5(本文设定)高改路由:辅助损失 / 噪声 / 偏置调节训练更慢,可能需重训

表里的 CV 与丢弃率区间是本文 Zipf 族下的观测值,不是通用阈值;换一种分布,同一个 CV 对应的丢弃率会不同。

还要澄清一个反直觉的点:如果指标报的是「某个指定专家超容的概率」,cf=1.0\mathrm{cf}=1.0 时它天然接近 0.5,看起来像灾难,其实只丢了 0.8% 的分配对。换一个有明确口径的指标,比换超参便宜得多。

这一节想让你记住的一件事:溢出调容量因子,塌缩改分配方式——两种失效的处方是相反的。

读一个 MoE 模型的超参表时,先对齐这四件事

公开的 MoE 模型很少把符号写全,下面四项是比对时最容易错位的:

  • 容量公式里的平均负载是否乘了 kk。 写成 ⌈cf⋅N/E⌉\lceil\mathrm{cf}\cdot N/E\rceil 与写成 ⌈cf⋅kN/E⌉\lceil\mathrm{cf}\cdot kN/E\rceil 差一个 top-kk 因子;同时要确认 CC 是「每专家分配对数」还是「每专家 token 数」(在不重复选同一专家时两者相等)。
  • kk 是否含共享专家。 有的实现把共享专家算进「每个 token 必经」,此时 kk 只数路由专家;有的算进总数。
  • 辅助损失的归一化。 αE∑fiPi\alpha E\sum f_iP_i(Switch 写法,均衡值 α\alpha)与只乘一个专家的写法差一个 EE 因子,直接比 α\alpha 的数值没有意义,要比「α\alpha 乘以归一化因子」后的等效税率。
  • 容量因子在训练与推理是否同一个值。 训练时常压到 1.0~1.25 省显存;推理时可能按 batch 动态调高以避免尾延迟。

这四项对齐之后,不同模型的数字才有可比性。

这一节想让你记住的一件事:跨模型比较容量与 α\alpha 之前,先确认这四件事的口径。

八、五个常见误解

这一节的五条,每一条都在实际讨论里反复出现。列出来是为了让你在看到「专家越多越好」「容量因子调到 2 就稳了」这类说法时,能立刻定位它错在哪一步。

误解一:参数大就等于推理贵。 MoE 的显存占用看总参数(每个专家的权重都要放得下),单 token 算力看激活参数。E=256E=256、k=8k=8 的模型只有 3% 的路由专家参数参与单个 token 的计算,但显存里仍然要装下全部权重。把这两个数字混着说,会同时高估算力和低估显存。

误解二:容量因子越大越准。 只对「溢出型」失效成立。对「塌缩型」失效,容量因子提高只是把闸门抬高,让空槽更多——本文的偏斜设定下,cf\mathrm{cf} 从 1.0 到 2.0 只把丢弃从 27% 压到 8.8%,代价是多预留约一倍槽位。

误解三:丢弃率高就是模型坏了一半。 先问是哪个口径。cf=1.0\mathrm{cf}=1.0、均匀偏好时,单个指定专家超容的概率是 0.494,而真正被丢弃的分配对比例是 0.0082。前者接近 0.5 是二项分布的正常结果,不是故障。

误解四:辅助损失越小越好。 它在完全均衡时等于 α\alpha,不可能压到 0;设得太小等于没加,设得太大则 router 退化成近似均分,稀疏化的判别力被抹掉。它本质是一笔税,问题是税率多少,不是能不能免税。

误解五:专家越多越划算。 在本文这族 Zipf 偏好下,专家数上升会让负载变异系数放大(8→256 时从 0.71 到 2.55),容量因子不变时丢弃率随之上升;另外每专家的 batch 规模、kernel 利用率与跨设备通信开销还取决于 token 总量与设备映射,不能一概而论。收益是「同样的激活算力换更大的参数容量」,代价是均衡与通信都更难。

这一节想让你记住的一件事:这五条错的共同点是「把一个数字当成结论」,而 MoE 的每个数字都带着口径。

九、服务端:容量因子在推理时是另一个问题

训练时容量因子为的是显存和通信的可预测性;推理时它多了一层含义——它进入延迟与结果分布。

在线服务的 batch 是拼出来的:一个请求进来,可能等几十毫秒凑满一批。于是同一份模型、同一套权重,不同时刻的 batch 组成完全不同。若容量因子固定,一个「恰好偏斜」的 batch 会让某些专家的队列溢出,这些分配对不算,输出随 batch 组成漂移;若按 batch 动态调容量,每批的显存与通信量都在变,延迟变得更难预测。

三种做法的取舍(表里的判断只针对固定填充实现):

策略丢弃显存与通信结果一致性适用场景
固定 cf=1.0\mathrm{cf}=1.0偏斜 batch 上会明显偏高(本文 Zipf 设定下两位数百分比)最省随 batch 组成变离线批处理、吞吐优先
固定 cf=1.25∼1.5\mathrm{cf}=1.25\sim1.5均匀偏好下很低,偏斜时仍可能两位数(本文 20.8% / 14.7%)多留 25%–50% 槽位取决于实际偏斜程度一种常见取舍,需按自家分布实测
按 batch 动态设可压低不可预测取决于实现是否仍丢弃延迟 SLA 宽松、显存充足

澄清一个常见混淆:固定容量截断下,溢出本身不会让 batch 变慢——超出的分配对直接不算,计算量反而少了;它伤的是输出质量。只有当实现改成「动态扩容 / 排队等专家」时,溢出才会转化为时延。

还有一个细节:decode 阶段增长的是上下文长度,不是 batch 大小——每步每个活跃请求贡献一个新 token,活跃请求数可增可减。当活跃请求数很少、专家数很多时,每个专家分到的分配对可能只有个位数,相对波动 1/λ1/\sqrt{\lambda} 很大:λ=8\lambda=8、cf=1.25\mathrm{cf}=1.25 时 C=10C=10,容量只比平均负载多 2 个分配对,而 8≈2.8\sqrt{8}\approx2.8 只是一倍标准差——两者不是同一个概念。这也是很多推理框架在 decode 阶段干脆不用容量截断、改用变长 kernel 的原因。

这一节想让你记住的一件事:训练时容量因子是显存参数,推理时它是延迟与一致性的参数——同一个符号,两种用法。

十、边界与未解

有几点必须写在明处,否则上面的表会被过度外推。

第一,本文的偏好分布是人为设定的。Zipf(0.9) 不是从任何真实模型里测出来的 router 分布,它只用来展示「偏斜 ⇒ 容量因子失效」这个机制的方向与量级。

第二,模拟不是严格的 top-2 路由。脚本按独立多项分布抽取 kNkN 个分配对,允许同一个 token 的两次分配落到同一个专家;严格 top-2 要求每 token 选两个不同专家,此时单专家负载的边缘分布是 Binomial(N,k/E)\mathrm{Binomial}(N,k/E),标准差约 39.19,而本文的独立抽样是 42.33。因此本文的丢弃率应读作「允许重复分配的独立抽样玩具模型」的量级,不是精确的 top-2 数值;方向性结论(容量因子改不了偏斜)不受影响。

第三,容量因子的成本只算了一部分。本文算了按预留槽位稠密填充的显存与「全部跨设备」的通信上界,没算重排/反重排拷贝、对齐与碎片;MegaBlocks 一类不规则实现(arXiv:2211.15841)正是为了消掉填充浪费,代价是 kernel 更复杂。

第四,辅助损失不是免费的。它会让 router 的判别力下降。α\alpha 太大时模型可能退化成近似均分,稀疏化的收益随之消失。这个折中点目前主要靠实验确定。

第五,推理时容量因子的语义会变。训练时它保护显存与通信,推理时它影响输出一致性与实现选择;具体影响取决于该实现是丢弃、排队还是动态扩容。

第六,token 之间并不独立,本文的独立抽样假设偏乐观。同一段文本的 token 高度相关。若按每段 32 个聚簇、簇内路由完全同步(相关系数 r=1r=1),方差膨胀因子为 1+31r=321+31r=32,标准差放大约 32≈5.7\sqrt{32}\approx5.7 倍;一般相关下膨胀因子是 1+31r1+31r。本文没有做相关性实验,也没有真实日志样本,所以不给出「实测丢弃率通常比理论高多少」的数字。

第七,容量因子与辅助损失不是正交的。均衡之后容量因子可以降下来;反过来,容量压得过低会通过丢弃改变梯度,间接影响 router。把两者分开讨论是为了讲清机制,不是断言它们独立。

第八,专家并行下还有第二层不均衡。单专家负载完全均匀、且每卡专家数与专家成本都相同时,设备负载也会均匀;只有当每卡专家数不同、专家计算成本不同或通信去重方式不同时,才需要额外看按设备聚合的负载(木桶效应)。DeepSeekMoE 的设备级损失就是为这一类情形准备的。

这一节想让你记住的一件事:外推上面任何一张表之前,先记住它的两个前提——独立抽样与人为设定的 Zipf 分布。

十一、三分钟自检:拿到一份 MoE 配置先算什么

如果你手上只有一份配置文件和一个 batch 的统计量,按下面顺序算:

  1. 算 λ=kN/E\lambda = kN/E。这是每专家的平均负载,后面所有数都以它为标尺。若它只有个位数,容量截断的相对波动会非常大(∝1/λ\propto 1/\sqrt{\lambda}),小 batch 推理尤其明显。
  2. 算 C=⌈cf⋅λ⌉C = \lceil \mathrm{cf}\cdot\lambda\rceil,再算空闲比例 1−kN/(EC)1-kN/(EC) 与额外预留比例 cf−1\mathrm{cf}-1。两个数不是一回事。
  3. 算 CV。先确认聚合窗口(单批 vs 多批平均);单批 CV 与多批平均的噪声底差一个量级。
  4. 算两种丢弃口径。用二项分布给出单个专家的超容概率与期望丢弃对比例,和实测对比。若实测远高于理论,可能来自 token 相关性、偏好不均或实现的分组策略。
  5. 记全丢 token 比例(需要逐 token 记录)。它才是「多少 token 这一子层只剩残差」的直接度量。

这五步都不需要重训模型。本文没有给出通用的「CV 阈值 / 丢弃率阈值」——那需要按具体模型的分布实测确定,任何写在纸上的固定数字都只是示例。

这一节想让你记住的一件事:先算,再调;口径不对,调什么都是猜。

小结

把全文压成四句话:

  • MoE 用 router 把每个 token 分给少数专家,从而把「总参数量」和「每 token 算力」拆开;代价是分配形状变成了数据相关的随机变量。
  • 容量因子 C=⌈cf⋅kN/E⌉C=\lceil \mathrm{cf}\cdot kN/E\rceil 是为了让形状重新确定下来,它防的是统计波动导致的溢出;本文配置下,即使完全均匀也有 20% 的预留槽位是空的。
  • 丢弃率有两种口径;单个指定专家在 cf=1.0\mathrm{cf}=1.0、均匀偏好下超容的概率是 0.494,而真正被丢弃的分配对比例只有 0.0082——差约 60 倍,报指标时必须说清是哪一个。
  • 偏斜只能靠改变分配本身(辅助损失、路由结构、偏置调节)压下去;容量因子调得再大,也只改变闸门高度,不改变水流分布。

如果只记一句话:看到 MoE 的丢弃率异常时,先算变异系数——CV 小是容量问题,CV 大是均衡问题,两者的处方完全相反。

一页速查

你想知道算什么说明
每专家平均收多少λ=kN/E\lambda=kN/E后面所有比例都以它为标尺
预留槽位里有多少是空的1−kN/(EC)1-kN/(EC)与「额外预留比例」cf−1\mathrm{cf}-1 不同
是溢出还是塌缩每专家分配对的 CV单批与多批平均要先分清窗口
单个专家会溢出吗P(X>C)P(X>C),X∼Binomial(kN,1/E)X\sim\mathrm{Binomial}(kN,1/E)不是「整批至少一个」的并集
丢了多少计算E E[(X−C)+]/kNE\,\mathbb{E}[(X-C)^+]/kN与上一个指标可差一个数量级
均衡时辅助损失多大α\alpha是基准值,不是全局最小

建议的原文阅读顺序

  1. Shazeer 等(arXiv:1701.06538)第 2 节——原始骨架:稀疏门控 + top-k + 可调方差噪声。
  2. GShard(arXiv:2006.16668)第 2.2 节——容量与截断在这里成型,注意组容量里已含 top-2 因子。
  3. Switch(arXiv:2101.03961)第 2.2 节——最简形式的辅助损失,以及 top-1 路由为什么在工程上更省。
  4. ST-MoE(arXiv:2202.08906)第 3 节——z-loss 管的是 log-sum-exp 数值尺度,不是置信度。
  5. DeepSeekMoE(arXiv:2401.06066)第 3 节 + DeepSeek-V2(arXiv:2405.04434)第 2.2.3 节——细粒度切分与三类均衡损失。
  6. MegaBlocks(arXiv:2211.15841)与 Loss-Free Balancing(arXiv:2408.15664)——两条不靠固定填充或辅助损失的替代路线。

📋 来源与核验记录

以下来源均为本文写作时实际打开核对的页面(含标题与首次提交日期):

  1. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer,Shazeer 等,arXiv:1701.06538,首次提交 2017-01-23。本文「从一间只有固定座位的餐厅说起」与「路由」两节引用的「稀疏门控 + top-k 选择 + 可调方差高斯噪声」出自该文摘要与第 2 节。https://arxiv.org/abs/1701.06538
  2. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding,Lepikhin 等,arXiv:2006.16668,首次提交 2020-06-30。本文「容量」与「丢弃率」两节引用的「top-2 门控、组容量 2N/(GE)、按组内 token 顺序与计数器截断」出自该文第 2.2 节算法 1。https://arxiv.org/abs/2006.16668
  3. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity,Fedus 等,arXiv:2101.03961,首次提交 2021-01-11。本文「辅助损失」一节的 Laux=αE∑ifiPiL_{\text{aux}}=\alpha E\sum_i f_iP_i 形式(原文 NN 为专家数)、fif_i 与 PiP_i 的定义、以及 top-1 路由与容量因子出自该文第 2.1–2.2 节;input jitter 出自其附录讨论。https://arxiv.org/abs/2101.03961
  4. ST-MoE: Designing Stable and Transferable Sparse Expert Models,Zoph 等,arXiv:2202.08906,首次提交 2022-02-17。本文「辅助损失」一节末尾的 router z-loss 形式(约束 log-sum-exp)与「只加均衡损失不够稳」的判断出自该文第 3 节。https://arxiv.org/abs/2202.08906
  5. DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models,Dai 等,arXiv:2401.06066,首次提交 2024-01-11。本文「辅助损失」一节提到的「专家级 / 设备级两类均衡」与细粒度专家切分出自该文第 3 节。https://arxiv.org/abs/2401.06066
  6. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model,DeepSeek-AI,arXiv:2405.04434,首次提交 2024-05-07。本文「辅助损失」一节把「通信级均衡损失」归到这份报告的第 2.2.3 节。https://arxiv.org/abs/2405.04434
  7. MegaBlocks: Efficient Sparse Training with Mixture-of-Experts,Gale 等,arXiv:2211.15841,首次提交 2022-11-29。本文「容量」与「边界与未解」两节提到的「块稀疏、不丢 token 的实现」出自该文摘要与第 3 节。https://arxiv.org/abs/2211.15841
  8. Mixture-of-Experts with Expert Choice Routing,Zhou 等,arXiv:2202.09368,首次提交 2022-02-18。本文「辅助损失」一节末尾作为替代路线的「让专家挑 token」出自该文摘要。https://arxiv.org/abs/2202.09368
  9. Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts,Wang 等,arXiv:2408.15664,首次提交 2024-08-28。本文「辅助损失」一节末尾作为替代路线的「不用辅助损失、按近期负载更新专家偏置」出自该文摘要。https://arxiv.org/abs/2408.15664

本文自行推导与自算的部分(与上述论文数字分列,不要混读):

  • 「路由专家部分占比」按 k/Ek/E 计算,只覆盖路由专家参数;全模型激活比例是 (A+(k/E)R)/(A+R)≥k/E(A+(k/E)R)/(A+R)\ge k/E,因此表中数字是全模型比例的下界,不是上界。47 B 与 671 B 两个总量只是对照量级的假设值。
  • 第四节两种口径的公式推导(PsingleP_{\text{single}} 与 ρdrop\rho_{\text{drop}})是本文按独立同分布假设自写的;0.494 / 0.008246 / 0.008353 三个数分别来自二项尾概率求和、正态近似与多项分布模拟(trials=20)。三者的关系是「单专家超容概率 vs 期望丢弃对比例」,不是「整批并集 vs 丢弃比例」。
  • 正文所有百分比(0.90%、8.78%、20.83%、14.69%、20.88%、26.63%、36.70%、43.79%、12.5%、25.0%、0.82%、0.84% 等)都是脚本输出小数乘以 100 后的显示值。
  • 第五、六节所有表格来自 exp-2026-11-19-moe.py(仅用 Python 标准库,固定种子 20261119,输出 exp-2026-11-19-moe-out.json),对应 JSON 键为 exp1_capacity_sweep、exp2_scale、exp3_binomial_check、exp4_param_arithmetic、exp5_cf_needed、exp6_aux_loss;各实验的 trials 见脚本(exp3 为 20,exp2 与 exp5 为 3,exp1 为 5)。
  • 「最热专家超容概率 ≤0.1% 需 cf≈2.8\mathrm{cf}\approx2.8」来自 exp5_cf_needed 的正态近似扫描(指标是最热专家的尾概率,不是丢弃对比例);扫描步长 0.05,所以这是网格值。同一组参数下丢弃对比例在 cf=2.75\mathrm{cf}=2.75 时按同一正态近似约 1.1×10−41.1\times10^{-4}。
  • 变异系数 CV 在模拟里先对 trials 次抽样取平均再计算,因此是「多批平均后的 CV」;单批 CV 的噪声底显著更大(约 0.02 量级)。作诊断阈值时必须声明聚合窗口。
  • 模拟按独立多项分布抽取分配对,允许同一 token 的两个分配落到同一专家,因此不是严格的 top-2;严格 top-2 的边缘分布标准差约 39.19,本模拟为 42.33。
  • 本文没有真实模型训练、没有 GPU 实测、没有对任何已发布模型的 router 分布做过测量;所有「丢弃率」都是人为设置偏好分布后的理论量级。文中 160 MiB / 128 MiB / 256 MiB 三个数按公式手算,不是脚本输出。

复现脚本:_ops/tech-daily-plan/article-drafts/exp-2026-11-19-moe.py,命令 python exp-2026-11-19-moe.py,仅使用 Python 标准库(random / math / json),输出同目录 exp-2026-11-19-moe-out.json,全流程约 2 秒。

内容透明度声明:本文由 AI 辅助生成,基于公开资料整理;机制推导与数值实验为本文自行完成,未经真机训练验证。