层归一化到底在稳什么:为什么 Post-LN 非要 warmup,Pre-LN 与 RMSNorm 又省掉了什么
同一层归一化(LayerNorm),装在残差相加之前还是之后,决定了训练要不要 warmup:原始 Post-LN 在初始化时靠近输出端的参数梯度相对更大(本文受控合成实验里,同一层比较约 0.87–3.88 倍,靠输出端最大),大学习率下更容易发散,所以需要学习率预热;Pre-LN 把归一化挪到子层前面,代价是残差流的方差随深度累积(本文实验里 32 层从 0.999 涨到 58.290,而让这条增长接近线性的前提是层间协方差近似常数)。RMSNorm 进一步省掉「减均值」这一步,只保留缩放不变性:本文对一个 64 维测试向量实测,整体平移 7 后 RMSNorm 输出变化 0.744,而 LayerNorm 只差 4.4e-16。文中推导与实验为本文自算,没有训练真模型、也没有真机实测。
先讲一个生活里的场景。一栋老楼供水,水压从市政主管进来时是很高的,楼层越高越不稳;物业的解决办法是在每个分户的进水管上装一个减压阀(把水压压到一个固定值的那种阀门)。装了这个阀以后,每家水龙头出来的水压都差不多,热水器也不会因为水压过高而报警。
现在问题来了:这个减压阀应该装在哪儿?
一种装法是先让你家的水管接上各种设备(热水器、洗衣机),最后在出水口装阀。另一种装法是先把水压压稳,再让设备吃这股稳定的水。两种装法都能让「最终出水压」稳定,但对中间那些设备的影响完全不同:第一种里设备吃的是原始高压,第二种里设备吃的是已经被压过的水。
Transformer 里的层归一化(Layer Normalization,下文简称 LayerNorm 或 LN)就是这个减压阀,残差连接(把这一层的输入直接加到这一层的输出上,让梯度有一条直通的路)就是那根水管。同一个阀,装在「残差相加之前」还是「相加之后」,决定了整栋楼的设备要按什么规格做、也决定了训练时学习率要不要预热。
这篇文章想讲清三件事:LayerNorm 到底做了什么、为什么原始 Transformer 必须 warmup(学习率预热)、以及后来的 Pre-LN 和 RMSNorm 各自省掉了什么、代价又跑到哪里去了。文中所有数字来自我自己写的纯 numpy 合成实验(脚本与随机种子在文末核验记录里),不是论文实验的复现,也没有训练任何真实模型。
1. 先把符号摆上桌:LN 里的每个字母指什么
在讲机制之前,先把后面会反复出现的符号定义清楚。下表就是本文的术语与符号表,约定后文所有记号;不熟悉这些记号不影响往下读,遇到看不懂的地方回来查这张表即可。
| 符号 | 含义 | 量纲 / 取值 | 本文设定 |
|---|---|---|---|
| 被归一化那一层的神经元个数(特征维度) | 个 | 实验取 64 或 128 | |
| 层里第 个神经元的「求和输入」 | 实数 | 随机初始化,见各实验 | |
| 同一层内所有 的算术平均 | 实数 | 随输入变化 | |
| 同一层内的方差 | 实数 | 随输入变化 | |
| 归一化后的值 | 无量纲 | 均值 0、方差 1(未乘 时) | |
| 可学习的缩放与偏置 | 向量 | 本文实验取 、 | |
| 防止除以 0 的小常数 | 实数 | LN 取 ,RMSNorm 取 | |
| 一个子层(多头注意力或前馈网络) | 函数 | 本文用两层线性 + GELU 代理 | |
| 第 层残差流的取值 | 向量 | 深度最多 32 层 | |
| 均方根 | 实数 | 见第 7 节 |
三句话把术语也定义掉:
- 残差流:从第一层一路加到最后一层的那条主干,每一层往里「加一点东西」,而不是「替换掉」。
- 归一化阀:把一组数的尺度强行拉回某个固定范围的运算,本文专指 LayerNorm / RMSNorm。
- warmup(预热):训练最开始的一小段步数里,把学习率从很小线性升到目标值,避免一开始就用大学习率。
这一节想让你记住的一件事: 与 都是同一层内部、同一个样本内统计出来的,跟 batch 里别的样本无关——这一句话就把它和 BatchNorm 分开了(见第 8 节)。
2. LayerNorm 做的四件事:算两个统计量,然后拧两次
LayerNorm 的定义本身只有四行(Ba 等人 2016 年提出,arXiv:1607.06450),但它做的每一件事都有独立的后果,值得一行一行看。
第一件事,算这一层的均值:
第二件事,算这一层的方差:
第三件事,减掉均值、除以标准差:
第四件事,把尺度和偏置学回来:
前两步是「统计」,第三步是「拧」,第四步是「再拧回去一点」。为什么要有第四步?因为如果 LN 只做前三步,那么这一层的输出就永远被钉死成均值 0、方差 1,模型连「这一层该有多大尺度」都无法表达。 与 把这部分自由度还给了模型——同时也解释了为什么 LN 的 通常初始化成 1、 初始化成 0:起点等价于「纯归一化」,训练自己去调。
值得注意的是第三步里的 。它让「严格的不变性」退化成「近似的不变性」,第 7 节会用实测说明这个差别有多大:对一个 64 维向量整体放大 2.5 倍时,输出只差约 ——「1e-6 与 0 的差别」。
真正决定训练行为的是反向传播。把上面四步对 求导,会得到一个很特别的雅可比矩阵:
这个式子值得多看一眼,因为它同时说了三件事:
- 梯度被 缩放。如果这一层的输入本身尺度很大( 大),回传给输入的梯度就被压小;反之被放大。归一化阀在反向上也是一个「按尺度自动调的衰减器」。
- 是一个投影:它把梯度里「所有神经元一起加同一个数」的成分整个抹掉。这正好是不变性的对偶——前向对整体平移不敏感,反向就不给平移方向任何梯度。
- 减去 又抹掉了「沿 方向」的成分,也就是「整体放大缩小」那个方向。前向对整体缩放不敏感,反向也就不给它梯度(\varepsilon>0 时是「几乎不给」,见下文)。
在「忽略 、输入方差非零」这个前提下可以验证:这个矩阵的秩是 ,整个 维空间里有两个方向拿不到梯度。 时严格说秩是 ——沿 方向不是完全没有梯度,而是只剩一个量级约 的弱分量。这个区别在做定性推导时可以忽略,在数值实现里不能忘(低精度下它会被放大)。这两行数学,是后文所有「省掉这一步会怎样」的出发点。
这一节想让你记住的一件事:LN 不只是「让数据好看」,它在反向上按尺度缩放梯度,并且系统性地丢掉两个方向的梯度。
3. 手算一遍:把一个 4 维向量过两遍阀
纸上的公式不算数,给一组具体数字,走一遍 LayerNorm 与 RMSNorm,看它们在哪一步分开。
先取 。
- 均值:
- 方差:
- 均方根:
LayerNorm 走的是「减均值再除标准差」:先减 1 得到 ,再除以 :
RMSNorm 走的是「直接除均方根」:同一个向量除以 :
把两者的输出放在一起比,差别立刻看得出来:
| 项 | LayerNorm | RMSNorm |
|---|---|---|
| 输出向量 | ||
| 输出均值 | 0 | 0.4082 |
| 输出标准差 | 1 | 0.9129 |
| 与输入平移的关系 | 严格不变 | 平移会改变输出 |
这张手算表其实就是第 7 节实测数字的缩小版:RMSNorm 的输出保留了输入的均值偏移,所以它的标准差只有 0.9129 而不是 1。这个输出尺度有闭式(忽略 、取 ):
顺带把 的位置也看清楚:如果分母里加的是 ,那么 与 相差约 ——保留四位小数时看不出差别,但后文对 64 维向量整体放大 2.5 倍时测出的 缩放不变性误差,来源就在这个 上。纸面上的「不变」与浮点里的「几乎不变」,差的就是这个 。
这一节想让你记住的一件事:LN 与 RMSNorm 的分歧,从「输入均值是不是 0」这一件事就开始了;均值不为 0 时,RMSNorm 的输出方差必然小于 1。
4. 阀装错位置:Post-LN 与 warmup 为什么是必需品
原始 Transformer(Vaswani 等 2017 年那版)的写法是:
也就是:先算子层、先相加、最后才归一化。这种写法后来被叫作 Post-LN(归一化在残差相加之后)。
图 1 把两条流水线并排放在一起,左边是 Post-LN,右边是后来的 Pre-LN。差别只有一格:归一化阀是在「子层之前」还是「相加之后」。
这张图想说明的一件事是:Post-LN 里,残差流的尺度在每一层出口都被重置成 1;Pre-LN 里,残差流的尺度从第一层一路累积到最后。
这个差别看起来只是「顺序」问题,但 Xiong 等人 2020 年的分析(arXiv:2002.04745)指出:两者的初始化时梯度分布完全不同。论文用平均场理论证明,对原始 Post-LN,初始化时靠近输出层那些参数的期望梯度很大——大学习率作用在这些梯度上会让训练不稳定,而 warmup 正是用来避开这一个阶段的手段。反过来,Pre-LN 的期望梯度在初始化时是「良性」的,所以不需要 warmup。
这里必须说清楚两件事,否则容易读成「Pre-LN 更好所以大家都不用 warmup 了」:
- 论文的结论是为什么 warmup 对 Post-LN 必要,不是说 Post-LN 一定训不起来——加上 warmup 它照样能训,2017 年到 2019 年的大批模型就是这么训的。
- 「Pre-LN 不需要 warmup」这句话成立的前提是「没有别的东西同时需要 warmup」。学习率调度里还有别的理由要预热(比如优化器二阶矩估计在最开始几步还不准),本文不涉及那一部分。
这一节想让你记住的一件事:warmup 不是玄学调参,它是给「初始化时梯度偏大」这一具体现象打的补丁——而梯度偏大,源头是归一化阀装在了相加之后。
5. 自己量一遍:初始化时梯度到底差多少
光看论文结论不够直观,我写了一个最小的对照实验:同一组权重、同一批输入、同一个目标,只改归一化的位置,再反向把每个子层参数的梯度范数量出来。
有两个设计决定值得先交代,因为本文第一版做错的正是这两处:
- 权重必须共享。 如果两条流水线各自随机初始化,比出来的差值里就混着初始化噪声,不能说「差别来自结构」。本文的做法是先按固定种子建一次参数列表,两种布局复用同一组数组。
- 损失不能是常数量。 第一版用「输出的平方和均值」当损失,而两种布局的出口都过了一次 LayerNorm(输出均值 0、方差 1),这个损失因此几乎是常数 ,梯度只剩 泄漏出来的那一小部分——量到的其实是 敏感性,不是梯度大小。
设定如下(全部为合成设定,不涉及任何真实数据集):
- 维度 ,前馈隐层 256,深度 24 层,batch 32;
- 子层写成 ,、 都按 He 初始化(方差 );
- 损失取「输出与一个固定随机目标 的均方误差」的一半, 与输入同分布、独立采样——这样梯度不会退化成常数;
- 两种布局共享完全相同的权重、输入与目标。
先做一件事:确认我的反向传播没写错。用中心差分在 2 层小模型上逐个核对一个权重元素和输入梯度的元素,最大相对误差是 (Post-LN)与 (Pre-LN);输入梯度那一项是 与 。误差都在有限差分的正常量级上,可以认为解析梯度是对的。
然后是结果。下表是各层参数梯度范数(把该层 与 的梯度平方和开根):
| 深度位置 | Post-LN 参数梯度范数 | Pre-LN 参数梯度范数 | 比值(Post / Pre) |
|---|---|---|---|
| 第 1 层 | 0.87 | ||
| 第 7 层 | 1.63 | ||
| 第 13 层 | 2.09 | ||
| 第 19 层 | 2.75 | ||
| 第 24 层 | 3.88 | ||
| 输入梯度范数 | 0.88 |
两个方向都值得看:
- Post-LN 的梯度沿深度基本平坦:末层是首层的 倍,24 层的比值范围是 到 。Pre-LN 反过来,从首层到末层衰减到 (范围 到 )。
- 同一层比较时,Post-LN 在靠输出端更大:第 1 层两者几乎相同(0.87),越靠近输出端比值越大(第 7 层 1.63、第 13 层 2.09、第 19 层 2.75、第 24 层 3.88)。这个方向与论文的定性结论一致(论文说初始化时靠近输出层的参数期望梯度大),但量级远比常见的转述温和。
- 本文第一版量到的「大 15 到 90 倍」是假的,来源是上一小节说的退化损失:那个损失下梯度整体趋近 0,两种布局的差值被 泄漏放大成十倍以上的相对差。这一条留在文章里,是因为它恰好说明「数字能复现」不等于「实验设计对」。
为什么会有这个差别?把两条路径各自的雅可比连乘写出来就清楚了。残差结构让反向传播的链式乘积里有大量的 项,而 LN 的雅可比带着 因子:
两行的差别有两处,都值得点出来:
- 乘法顺序不同。 Pre-LN 里子层吃的是归一化后的输入,链式法则是 (先 LN 再 F),写成 会把「对谁求导」弄反。
- 统计的对象不同。 Post-LN 里 的分母是 的标准差,也就是归一化之前那个量;它的出口标准差恒为 1,但那说的是 LN 的输出,不是它的输入——这两者不是同一个统计量。Pre-LN 里分母是残差流 本身的标准差,而残差流不归一化,随深度增长(下一节的表里,32 层时方差 58.3,标准差约 7.6)。
所以两种布局的梯度衰减机制不是同一个量在起作用:Post-LN 的分母不随深度累积,Pre-LN 的分母会。本文把「比值随深度拉开」归因到这一点,但这是对本文实验的机制解释,不是论文定理的复述。
需要说明的是:这是一个合成设定下的观察,不是论文定理的数值证明。两条流水线本来就是不同的函数,梯度范数不完全可比;能说的是「在同一套初始化尺度下,实测方向与论文的定性结论一致」。
这一节想让你记住的一件事:Post-LN 的问题不是「归一化不好」,而是它的梯度整体偏大且越靠输出越大——大学习率一上来就踩在这个区域。
6. Pre-LN 的账单:梯度平了,残差流的尺度在涨
把归一化挪到子层之前,写法变成:
注意最后那一步:因为残差流一路没被归一化,所以整摞层跑完之后要补一次 LN(这也是 GPT-2 一类实现里能看到的写法)。
梯度确实平了(上一节的表),但代价立刻转移到别处:残差流的方差会随深度累加。用同一个实验装置量一遍,深度 32 层,三种设定:
| 深度 | 完全不归一化 | Pre-LN | Post-LN |
|---|---|---|---|
| 第 0 层(输入) | 0.999 | 0.999 | 0.999 |
| 第 1 层 | 2.696 | 2.709 | 1.000 |
| 第 4 层 | 85.968 | 8.940 | 1.000 |
| 第 8 层 | 7689.563 | 16.482 | 1.000 |
| 第 12 层 | 735848.535 | 24.703 | 1.000 |
| 第 16 层 | 33.478 | 1.000 | |
| 第 24 层 | 44.622 | 1.000 | |
| 第 32 层 | 58.290 | 1.000 |
这张表有三行信息,每一行都对应一个设计决定:
- 完全不归一化:指数式爆炸。 因为每层的子层输出幅度与输入幅度成比例( 按 初始化,输出方差约等于输入方差),残差加法就变成「每层乘一个略大于 1 的因子」,32 层后到 量级。这就是归一化存在的根本理由。
- Post-LN:方差恒为 1,是被构造出来的。 它每一层出口都重新归一化,方差当然永远是 1.000——这一行没有信息量,只是提醒你「稳」是买来的。
- Pre-LN:方差近似线性增长,不是指数增长。 从 0.999 到 58.290,32 层涨了约 倍;逐层增量约 1.79(),是一条接近直线的曲线。
为什么 Pre-LN 是线性而不是指数?因为子层的输入被归一化过,子层输出的方差几乎与残差流的方差无关,近似是个常数 ;于是
「归一化把乘法变成了加法」——这句话是整个 Pre-LN 稳定性的核心,也是它「不需要 warmup」的同一枚硬币的另一面:梯度不再被随深度放大的因子连乘,而是被随深度增长的 温和地压小。
代价在哪?残差流的尺度到 32 层时标准差约 8,比输入大一个数量级;后续如果再叠别的东西(比如输出层直接接分类头、或者层数继续加深),就得额外处理这个尺度。工程上常见的做法是在末尾加 final LN、或者按深度调初始化——这些都不在本文实验范围内。
为什么增量是个常数:给 一个量级估计
本节上面的表格里,逐层增量约 1.79,看起来像个随手出现的数字。它可以估出来——但先要把递推写全:残差加法不会自动让方差相加,中间还有一个协方差项。
残差加法的方差恒等式是
「每层加固定一勺」这句话成立的前提,是右边后两项合起来近似一个常数。子层输入被归一化成方差 1 只能保证 的量级稳定,不能保证协方差为零。本文把这两项都量了出来(Pre-LN,选择性列几层):
| 层 | 两者之和(实际增量) | ||
|---|---|---|---|
| 第 1 层 | 1.735 | -0.024 | 1.711 |
| 第 8 层 | 1.940 | -0.398 | 1.542 |
| 第 16 层 | 2.129 | +0.287 | 2.416 |
| 第 32 层 | 1.815 | -0.414 | 1.401 |
协方差项在 -0.4 到 +0.3 之间摆动,相对 不算小(最坏时把增量削掉约四分之一),所以「线性增长」是这两项碰巧都近常数的结果,不是「只要归一化就必然线性」。子层输出方差的量级可以这样估:
按 初始化时,第一层线性输出的每个分量方差约 2;GELU 把负半轴压掉一部分,输出方差会降到 2 以下;再乘 (按 初始化, 是前馈隐层维度)之后回到同一个量级。所以 是个 的正常数——本文设定下量到约 2.00。
这条估计解释了为什么形状接近直线而不是指数:子层输入被归一化后, 与残差流当前多大多小基本无关;协方差项虽然不为零,但也没有随深度放大的趋势。反之,一旦子层输入不归一化(表里最左那一列),加进去的量与当前水量成正比,就变成复利。
这一节想让你记住的一件事:线性增长不是巧合,是「每层加固定一勺」的直接后果;哪天子层输入不再归一化,这条线性关系立刻失效。
这一节想让你记住的一件事:Pre-LN 不是「免费把 Post-LN 优化掉了」,它把「每层强制归位」换成了「让尺度慢慢长大,但梯度不被放大」。
7. RMSNorm:为什么要「减均值」这件事可以省掉
到这一步,问题变成了:LayerNorm 那四步里,哪一步是必需的?
RMSNorm(Zhang 与 Sennrich,2019 年,arXiv:1910.07467)的回答是:减均值那一步可以省掉,只留缩放。 写法是:
注意两个细节:分母用的是均方根(不做减均值),而且一般没有 。参数量也从 LN 的 降到 。
这张图想说明的一件事是:省掉的不只是计算量,还有一条不变性。
纸面上讲不变性太抽象,直接量。取一个 64 维向量,均值 4.537、均方根 5.176(对应标准差 2.493),然后做两件事:整体加 7,或者整体放大 2.5 倍,看归一化后的输出变了多少:
| 操作 | LayerNorm 输出最大变化 | RMSNorm 输出最大变化 |
|---|---|---|
| 整体加 7 | 0.744 | |
| 整体放大 2.5 倍 | ||
| 未做操作时输出标准差 | 1.000 | 0.482 |
三个数字各说一件事:
- 平移:LayerNorm 的变化是 ,也就是浮点数的机器精度级别——它严格不变;RMSNorm 变了 0.744,非常大。这不是 bug,是定义决定的:RMSNorm 的分母是均方根,平移会改变均方根,所以输出必然变。
- 缩放:两者都不变,但误差量级不同( 对 )。前者恰好是 破坏严格不变性的程度,后者对应 ——这解释了为什么 LN 与 RMSNorm 常取不同的 ,也提醒一件事:「不变性」在实现里永远是近似的。
- 输出尺度:LayerNorm 的输出标准差恒为 1;RMSNorm 的输出标准差是 。也就是说 RMSNorm 只把「均方根」钉到 1,保留了均值偏移,因此输出的方差小于 1。这是 RMSNorm 与 LN 最实质的差异,常被一句「只是省了减均值」带过去。
那么,省掉 re-centering 凭什么不掉点?论文的论证是:LayerNorm 的 re-centering 不变性(对输入和权重矩阵的平移不变)在很多场景下是冗余的,真正起作用的是 re-scaling;去掉它之后模型仍能学到等价的表达,而计算更省——论文在多个模型上报告了 7% 到 64% 的加速。这里要严格区分两件事:论文报的是它自己实验里的加速与效果,本文只验证了「不变性确实少了一条、输出方差确实不再为 1」,没有验证「省掉之后效果不掉」。后者需要真训练,本文没做。
这一节想让你记住的一件事:RMSNorm 省的是一个统计量,换掉的是一条不变性;它的输出方差不再为 1,这是使用它时要记得的默认事实。
8. 四种归一化放在一张表里:它们其实在回答不同的问题
把 BatchNorm、LayerNorm、RMSNorm 和下面要讲的 DyT 摆在一起看,会发现它们的分歧不在实现细节,而在「用什么统计量、在哪个维度上算」:
| 方案 | 用什么统计量 | 在哪个维度上统计 | 依赖 batch? | 平移不变 | 缩放不变 | 额外参数 |
|---|---|---|---|---|---|---|
| BatchNorm | 每个通道在 batch 上的均值与方差 | batch × 空间位置 | 是(推理用滑动平均) | 是 | 是 | |
| LayerNorm | 单样本内、一层神经元的均值与方差 | 特征维 | 否 | 是 | 是 | |
| RMSNorm | 单样本内、一层神经元的均方根 | 特征维 | 否 | 否 | 是 | |
| DyT(替换归一化层时) | 无统计量,逐元素 | 逐元素( 可学) | 否 | 否 | 否 | (保留 加一个标量 ) |
表里最值得记的一列是「依赖 batch 吗」。BatchNorm 的统计量跨样本,所以训练与推理要用两套逻辑(推理时用滑动平均),小 batch 时统计量噪声大;LN 与 RMSNorm 在一个样本内部算完就行,与 batch 大小无关——这是 Transformer 普遍用 LN 而不是 BN 的直接原因之一,而不是因为 LN 在数学上「更高级」。
这件事在工程上有个直接后果:若参与统计的元素近似独立同分布,BatchNorm 的统计量误差大约是
其中 是 batch 大小、 是每个样本的空间位置数。同一张图像的空间位置通常是相关的,此时不能把它们都当独立样本:取有效样本数 ,误差在 (完全独立)与 (完全相关)之间。批量 8、每个样本一个位置时,均值的标准误就是 ——三分之一多个标准差,每个 batch 都不一样。小 batch 下这个噪声会直接注进训练信号里,这也是为什么检测与分割这类受显存限制、只能用很小 batch 的任务,后来大量改用 GroupNorm 一类「不跨样本统计」的方案(本文没有做 BN 实验,这一段只是把上面的公式代进数字)。LayerNorm 与 RMSNorm 完全没有这个问题:它们在一个样本内部算完就走。
另一列值得记的是「额外参数」:(BatchNorm 与 LayerNorm)→ (RMSNorm)→ (DyT 替换归一化层时,论文的实现保留逐通道 ,只额外多一个标量 )。注意这里不能简单说「参数越少越好」:LN 与 RMSNorm 的 通常按 1 和 0 确定性初始化,减少它们并不等于减少「随机初始化带来的偏差」,本文也没有做能支持这一因果的实验。
这一节想让你记住的一件事:四种方案的差别,本质是「统计量怎么算、算在谁身上」,不是「谁更先进」。
9. 常见误解:归一化不等于「把数据变成正态分布」
一个流传很广的说法是「归一化就是把数据变成标准正态分布」。这句话是错的,而且错得有价值——搞清楚它错在哪,能顺手解释好几个工程现象。
LayerNorm 只钉住两件事:一阶矩(均值)与二阶矩(方差)。它完全不管三阶及以上的矩。举一个极端的例子:取一个只含两个值的向量 ,它的均值是 0、方差是 ,归一化之后变成 ——这是一个二点分布,偏度为 0 但峰度远非常态(把四阶中心矩按 标准化得到峰度:二点分布是 1,标准正态是 3——二点分布反而更「平」,这一点和直觉相反)。LN 对这个形状无能为力。
这个事实有三个直接后果,都能在上文的实验里看到影子:
- 第 10 节那个 tanh 拟合之所以「高 却说明不了 S 形」,根子就在这里:LN 只保证一阶二阶,输出长什么样完全取决于输入分布的形状,而随机高斯输入下的 LN 输出自然是「被拉直的高斯」,近似线性;
- RMSNorm 与 LN 的差别也不是「谁更接近正态」,而是「要不要减均值」这一件事;
- 任何指望「过了 LN 就数值安全」的判断都不完整——LN 之后仍可能有离群值(单个元素远离其余元素),这类离群值在低精度量化里才会真正咬人(这也是本站另一篇文章讨论 FP8 分块缩放的动机)。
这一节想让你记住的一件事:归一化管的是「位置和尺子」,不是「形状」;形状由数据和权重决定,归一化层改不了它。
10. 再往前一步:连归一化都不要了
2025 年 3 月的一篇工作(Zhu 等,arXiv:2503.10622)把这个问题推到了极端:Transformer 里可不可以完全没有归一化层?
他们的答案是 Dynamic Tanh(DyT):
一个逐元素的双曲正切, 是一个可学习的标量。论文的出发点是观察:Transformer 里的 LayerNorm 常常产生 **S 形(tanh 形)**的输入输出映射;于是干脆用一个真的 tanh 去替代它。论文报告,用 DyT 替换归一化层后,模型在识别到生成、有监督到自监督、视觉到语言等多个设定下能匹配甚至超过有归一化的对应版本,且大多不需要重新调超参。
这个结论听起来很像「归一化根本没必要」,但作为读者,值得自己动手验一下「LN 的输出真的长 S 形吗」。我做了个很朴素的拟合:取 4096×128 的随机输入(标准差 2、方差 4,记作 ),算 LN 的输出,然后用 去拟合,网格扫 :
- 最好的拟合是 、,决定系数 ;
- 但不带缩放()时 只有 0.221。
这个结果本身说明了一件值得注意的事:拟合优度很高,并不等于「LN 是 S 形」。 因为 配上 8.42 倍的外乘,在 这个范围内几乎是直线——高 只是「近似线性」的结果,而线性当然能被线性很好地拟合。真正的 S 形要等到输入远离原点才显出来,而随机高斯输入很少跑到那里。
还有一个容易忽略的细节:DyT 的 是可学的标量,不是常数。这一点很关键——本文那个拟合是在找「一个固定的 能不能替代 LN」,而论文的设定是「让模型自己挑 」。两者不是同一个问题。
所以这篇论文的正确读法是:它给了一个结构极简的替代物,在它自己的大规模实验中效果相当;但「LN 输出呈 S 形」这个动机性观察,不能靠一次简单的逐元素拟合去验证(论文的观察是在已训练模型上采样 LN 的输入与输出、再按 token 维与通道维分别统计得到的,本文既没有训练模型、也没有复现这类分布观察)。我保留这个数值只是想说明:一个漂亮的拟合数字,可能是「近似线性」伪装成的机制解释。
从阅读角度说,这一节的价值可能不在「DyT 好不好」,而在「怎么读一个替代方案的主张」:
- 先分清作者证明的是「能替代」还是「为什么能替代」;
- 再看动机性观察是在什么数据、什么尺度上得到的;
- 最后看有没有独立复现——本文这一次不算独立复现,只是自己做了一个更朴素的版本。
一句话总结这一节的方法论:看到「我们不需要 X」这类主张,先问「它证明了能替代,还是证明了为什么能替代」——这两个问题的证据强度差得很远,而论文摘要往往把前者写得更响。
这一节想让你记住的一件事:能不能替换归一化是一回事,替代方案的动机解释是否成立是另一回事——后者需要比 更硬的证据。
11. 想自己验一遍:脚本里四个实验分别做什么
本文的数字都可复现。脚本是单文件纯 numpy,固定种子,跑完不到一分钟(本文用的是本机 Python 3.14 + numpy,未做性能优化)。四个实验各回答一个问题:
-
grad_check():我的反向传播写对了吗? 在 、隐层 6、2 层的小模型上,用中心差分逐个核对一个权重元素和输入梯度的一个元素,输出最大相对误差。本文结果是 Post-LN 的 、,Pre-LN 的 、。这一步是后面所有数字的前提——如果梯度算错了,梯度对照表就没有意义。 -
exp_variance():残差流方差怎么长?(并记录协方差项) 固定 、隐层 512、深度 32、batch 32,用同一套初始化分别跑「完全不归一化」「Pre-LN」「Post-LN」三条路,记录每层之后的方差。输出就是第 6 节那张表。 -
exp_grad():初始化时各层梯度多大? 固定 、隐层 256、深度 24、batch 32,损失取「输出与固定随机目标 T 的均方误差」的一半,反向求每层 、 的梯度范数以及输入梯度范数。输出就是第 5 节那张表。 -
exp_invariance()与exp_dyt():不变性与那个 tanh 拟合。 前者取一个均值 4.537、均方根 5.176 的 64 维向量,分别做「加 7」「乘 2.5」,量 LayerNorm 与 RMSNorm 输出的最大变化;后者取 4096×128 的随机输入,用 网格拟合 LN 的输出,报最优 、 与 。
想自己动手的话,改三处就能看到不同的世界:把 Block.__init__ 里的初始化方差从 改成 (初始化变小),第 5 节那张梯度表的比值会变;把 exp_variance 的深度从 32 改成 64,第 6 节的方差表右列会继续往上涨;把 exp_invariance 里的平移量从 7 改成 0.1,RMSNorm 的变化会变小但不为零——它永远不会是零,因为它没有平移不变性。
本文的预期输出(原样摘录首行,用于核对脚本是否跑通):
GRADCHECK post=1.33e-10/7.64e-11 pre=2.11e-10/1.23e-10
VAR none L0=0.999 L1=2.696 L4=85.968 L8=7689.563 L12=735848.535 L16=45814876.597 L24=460518557868.057 L32=5313607763416817.000
VAR pre L0=0.999 L1=2.709 L4=8.940 L8=16.482 L12=24.703 L16=33.478 L24=44.622 L32=58.290
VAR post L0=0.999 L1=1.000 L4=1.000 L8=1.000 L12=1.000 L16=1.000 L24=1.000 L32=1.000
GRAD post dh0=2.466e-02 blk0=2.517e-01 blk6=1.976e-01 blk12=1.833e-01 blk18=1.887e-01 blk23=2.335e-01
GRAD pre dh0=2.801e-02 blk0=2.881e-01 blk6=1.211e-01 blk12=8.789e-02 blk18=6.872e-02 blk23=6.017e-02
如果自己跑出来的数字和本文不一样,按这三处排查:
- 随机数流:本文用
np.random.default_rng(20261117);换成旧接口np.random.seed(...)后,同一个数字给出的不是同一组随机数,梯度表会整体位移。 - GELU 形式:本文用 tanh 近似式,换成 erf 精确式后方差表会在小数点后第二三位上变,这是实现差异、不是结论差异。
- 的取值:LayerNorm 取 、RMSNorm 取 ;把它们都改成 ,不变性误差会跟着变——这恰好是本文想强调的那一点:数值上的「不变」永远是相对的。
脚本里没有用任何深度学习框架:前向、反向、LayerNorm 的梯度都是手写的,所以你能逐行核对每个数字是怎么来的。代价是它只做得到这里做的事——没有优化器、没有注意力、没有混合精度。要更接近真实训练的实验,就得换框架,那是另一篇文章的工作量。
这一节想让你记住的一件事:文中的每个数字都能在一分钟内重跑出来——这是「可核对」和「听起来合理」的区别。
12. 边界:这些结论在什么范围内成立
写到这里必须把边界划清楚,否则上文很容易被读成「训练稳定性的全部答案」。
-
本文的实验脚本改过两版。 第一版用退化损失、且两条布局各自随机初始化,量出来的「15–90 倍」是错的;现文所有数字来自修正后的脚本(共享权重 + 固定随机目标的均方误差)。如果读者复现出不同的数字,先确认跑的是哪一版。
-
没有训练,也没有真机。 全文所有数字来自纯 numpy 的前向 / 反向合成实验,模型是两层线性加 GELU 的代理子层,没有注意力、没有真数据集、没有优化器状态。它能量出「初始化时的梯度形态」与「方差传播」,量不出「训练 10 万步后的收敛差异」。
-
梯度对比不是受控实验。 Post-LN 与 Pre-LN 是两条不同的函数,用同一套初始化尺度去比梯度范数,只能说方向与论文一致,不能当作定理的数值证明。
-
雅可比分析只到一阶。 第 2 节那个矩阵是单层、单次的导数,真实训练里 本身随参数变化,会引入二阶效应;本文没有处理。
-
的作用被低估了。 它不只是防除零:实测里它决定了「不变性」的误差量级( 对 ),在低精度训练(fp16/bf16/fp8)下这个量级可能与数值误差同阶,本文没有在低精度下复现。
-
BatchNorm 那一列只是背景。 本文没有做任何 BN 实验,表里的描述取自其原始论文(arXiv:1502.03167)的定义。
-
「约 2.0/层」不能外推。 本文最深 32 层;第 6 节的线性增长是「每层加固定一勺」,形式可外推,但常数项会随初始化、 初始化与残差缩放改变,本文没有测这些设定。
-
没有测低精度。 与 量级的不变性误差在 bf16 下会被舍入误差淹没,在 fp8 下更甚;本文全部计算在 float64 下完成,结论不能直接搬到低精度训练。
-
没有区分「初始化时」与「训练中」。 第 5 节的表是初始化那一次的测量;训练开始后 会随参数变化,「初始化梯度大」并不等于「训练中一直大」,论文的 warmup 论证也是围绕初始化附近展开的。
补充一条:本文的脚本与文章同一天写、同一天跑,改动任何一处数字都必须重跑脚本再回填——这一点看起来只是纪律,实际是「自算类文章」唯一能自证的方式。
这一节想让你记住的一件事:本文能回答的是「机制上为什么这样设计」,不能回答「换个设定还灵不灵」——后者只能靠真训练。
- 没有扫 与 的取值空间。 本文固定 、\varepsilon\in\{10^{-5},10^{-6\};两者都会改变不变性误差与方差常数的量级,本文没有做参数扫描。
如果把上面八条压成一句操作建议:把本文当「读结构图时的提问清单」用,不要当「选型依据」用。 选型要靠目标任务的真实训练曲线,而那条曲线里还有很多本文没碰的变量(优化器、初始化、精度、数据)。
13. 小结:一句话版本
把整篇压缩成三句话:
- LayerNorm 在反向上是一个按尺度自动调的衰减器,并且系统性丢掉「整体平移」和「整体缩放」两个方向的梯度(严格说 \varepsilon>0 时缩放方向还剩一个被压到 \varepsilon/\sigma^{3} 量级的弱分量)——这是它所有性质的来源。
- Post-LN 要求 warmup,是因为初始化时靠近输出端的梯度相对更大(本文受控合成实验:同一层比较约 0.87–3.88 倍,靠输出端最大;Post-LN 沿深度基本平坦,Pre-LN 从首层到末层衰减到 0.21);Pre-LN 把归一化挪到子层前,梯度被压平,代价是残差流方差随深度累积(32 层 0.999 → 58.290)。
- RMSNorm 省掉的是「减均值」这一个统计量,换掉的是「平移不变」这一条性质:输入整体平移 7,LayerNorm 输出只差 ,RMSNorm 差 0.744,而且它的输出标准差不再是 1(该 64 维向量上实测 0.482,手算的 4 维向量上是 0.9129)。
理解了这三句,再看到「某模型用了 Pre-LN + RMSNorm」这种描述,你就能判断它在为什么买单、又在哪里付账。
补一句读法上的提醒:这三件事都可以在一句话的描述里被说得很含糊——「我们用了 Pre-LN + RMSNorm」这种写法不告诉你 final LN 在哪、也不告诉你 取多大。所以看到这类描述时,回到结构图与配置里找具体位置,比对着名字猜要可靠。本文所有实验都用了固定的设定,换设定后的数字变化属于另一篇的工作。
读一篇用了 Pre-LN 或 RMSNorm 的论文时,有三个问题值得顺手问一句:它把归一化放在残差相加之前还是之后(决定它要不要 warmup)、用的是 LN 还是 RMSNorm(决定残差流是否保留均值偏移)、以及末尾有没有补 final LN(决定输出尺度是否被收口)。三个问题都能在结构图上看到答案,不需要读实验章节。
顺带一句:如果你只是想判断「这个实现有没有把归一化放对」,看结构图上的三处位置就够了——子层之前、残差相加之后、整摞层末尾。这三处就是本文全部讨论的物理落点,剩下的都是它们的推论。
再往下追问一层,就是本站另一条线索:数值精度。归一化的收益最终要通过低精度矩阵乘法兑现,而低精度会重新引入本文回避掉的那些误差( 的量级、离群值的动态范围、累加的顺序)。本文只把「归一化在稳什么」讲清楚,精度那一半在 FP8 分块缩放那篇里。
14. 📋 来源与核验记录
以下来源均为本文写作时实际打开核对的页面(含标题与首次提交日期):
- Layer Normalization,Ba、Kiros、Hinton,arXiv:1607.06450,首次提交 2016-07-21。本文第 2、3 节的 LayerNorm 定义与其对 BatchNorm 的动机说明出自该文。https://arxiv.org/abs/1607.06450
- On Layer Normalization in the Transformer Architecture,Xiong 等,arXiv:2002.04745,首次提交 2020-02-12。第 4 节「Post-LN 初始化时靠近输出层参数期望梯度大、warmup 因此必要;Pre-LN 初始化时梯度良性」的结论出自该文摘要与正文。https://arxiv.org/abs/2002.04745
- Root Mean Square Layer Normalization,Zhang、Sennrich,arXiv:1910.07467,首次提交 2019-10-16。第 7 节 RMSNorm 定义、「re-centering 不变性可省、保留 re-scaling」的假设与 7%–64% 加速数字出自该文。https://arxiv.org/abs/1910.07467
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift,Ioffe、Szegedy,arXiv:1502.03167,首次提交 2015-02-11。第 8 节 BatchNorm 一列的定义与「依赖 batch」的性质出自该文。https://arxiv.org/abs/1502.03167
- Transformers without Normalization,Zhu 等,arXiv:2503.10622,首次提交 2025-03-13。第 10 节 DyT 的定义、动机观察与「匹配或超过有归一化版本」的结论出自该文摘要。https://arxiv.org/abs/2503.10622
本文自行推导与自算的部分(与上述论文数字分列,不要混读):
- 第 2 节的 LN 雅可比矩阵表达式,及其「忽略 \varepsilon 时秩为 d−2、\varepsilon>0 时秩 d−1」的结论,为本文推导;
- 第 5 节的梯度范数对照表(同层比值 0.87 / 1.63 / 2.09 / 2.75 / 3.88,末层/首层 0.93 与 0.21,输入梯度比值 0.88)来自本文实验脚本;
- 第 6 节的方差传播表(0.999 → 58.290,逐层增量约 1.79)与协方差表( 与 )来自本文实验脚本;
- 第 7 节的不变性实测(、、0.744、、输出标准差 1.000 与 0.482)来自本文实验脚本;
- 第 10 节的拟合结果(、、)来自本文实验脚本。
实验脚本:_ops/tech-daily-plan/article-drafts/exp2-2026-11-17-layer-norm.py(纯 numpy,随机种子固定为 20261117;反向传播经中心差分核验,最大相对误差 / )。本文没有训练任何真实模型,也没有真机实测。
内容透明度声明:本文由 AI 辅助生成,基于公开资料整理;机制推导与数值实验为本文自行完成。