预条件的尽头是正交化:在最慢下降框架下,Shampoo 与 Adam 为什么都会向 Muon 靠拢
主题:苏剑林 2026-09-28 与 2026-10-15 两篇《慢即是快》博客提出「正交最慢下降」框架——不从「每步降得最快」出发,而是最小化凸优化的平均收敛上界,再限定只允许对预条件矩阵做正交变换。口径声明:文中「Shampoo 的尽头是 Muon」「Adam 的尽头还是 Muon」是博客原作者在一系列假设(O 随 t 缓变、一阶近似、给定梯度序列)下的启发性结论,不是定理;「Kronecker 积方阵情形奇异值之积恒定」是该框架内可证的部分,「对角近似情形谱趋于均衡」原作者自述仅为无法证明的猜测。核心推导:在此框架下,任何 Kronecker 积或对角形式的预条件矩阵,其特征向量基底都会被消去,更新量退化为「左右奇异基夹一个对角阵」的形式(U、V 是梯度或动量的左右奇异矩阵,D 是对角阵),预条件能改变的至多只剩奇异值谱,且谱有向均匀化靠近的倾向——这正是 Muon 的构造形态。Muon 一侧的工程证据引用 Moonshot 团队论文 arXiv:2502.16982(2025-02-24 提交):加 weight decay 与逐参数更新缩放两项技术后,Muon 在 compute-optimal 训练下相对 AdamW 有约 2 倍的匹配性能效率(口径是达到同等匹配性能所需的训练 FLOPs,不是每步速度或墙钟时间翻倍),这是论文口径、非本文实测。文中二阶矩阵算例为本文自行推导,已单独标注并说明其不可直接横向比较。
预条件的尽头是正交化:在最慢下降框架下,Shampoo 与 Adam 为什么都会向 Muon 靠拢
如果你训过模型,大概率在优化器上做过这样的选择题:Adam 用熟了,听说 Muon 在矩阵参数上更快,又听说 Shampoo 系(SOAP、PSGD 等)在理论上比 Muon 更讲究。
先用一句话给直觉(先把限定说在前面):这三类优化器都在干同一件事——给梯度配一个「矫正器」(预条件矩阵)——而苏剑林的框架要论证的是,在「固定梯度与预条件、额外优化一个正交变换」这组限定假设下,矫正器的「方向信息」会被消掉,起作用的至多只剩「把奇异值谱拉平」,而拉平谱的最直接实现就是 Muon 的正交化。这是一条启发性的框架结论,不是定理——剩下的推导都是在回答:在这些假设内,它凭什么敢这么说。
它们的共同点是都想给梯度乘一个「预条件矩阵」来校正方向,区别只在这个矩阵的结构:Muon 直接对动量做正交化,Shampoo 维护两个统计矩阵做 ,Adam 则退化成逐元素除以二阶矩的平方根。
苏剑林(科学空间博主)在 2026 年 9 月 28 日与 10 月 15 日先后发表的两篇博客《慢即是快:1. Shampoo 的尽头是 Muon?》与《慢即是快:2. Adam 的尽头还是 Muon?》给了一个统一视角:把这批优化器放进「最小化收敛上界」的框架里,再允许在预条件矩阵上做正交变换(矩阵参数上真正可用的是左右两侧的结构化正交变换,详见下文「Kronecker 情形」一节),那么不管预条件矩阵原来长什么样,它的特征向量基底都会被「洗掉」,最终更新量只剩梯度的奇异基夹一个对角阵——这正是 Muon 的形状。他把这个结论戏称为「Shampoo 的尽头是 Muon」「Adam 的尽头还是 Muon」。
这篇文章把这条推导链完整摊开:先讲清评价标准(平均收敛上界)从哪来,再逐步走完「正交最慢下降」的推导,最后落到工程读者关心的三个问题——昂贵的预条件到底买到了什么、Muon 为什么恰好是极限形态、这套论证哪里不严格。
术语与符号表
先把符号与维度约定一次列清,后文不再重复解释:
- :被优化的权重矩阵(深度学习的权重几乎都是矩阵);
- :第 步损失对 的梯度;
- :把 按列展平后的向量——预条件矩阵 作用在这个向量上;
- :度量矩阵(扮演近似 Hessian 的角色,用它定义范数),更新规则 里真正作用在梯度上的是预条件算子 ;
- 、:Kronecker 型预条件的两个半正定因子,;
- :对角型预条件(Adam/RMSProp 的二阶矩倒数),;
- 、、:正交矩阵(),本文框架中唯一允许自由选择的自由度;
- :梯度的奇异值分解,奇异值从大到小排; 表示第 个奇异值;
- :特征值从大到小排的第 个; 表示从小到大重排; 即 的特征值升序对角阵;
- :经过正交最慢下降改造后的实际更新量,是全文的主角;
- :逐元素(Hadamard)乘;:Kronecker 积;:Frobenius 范数;:迹;
- :-加权范数( 是度量矩阵);上界第二项用的是 加权,即 (下标取 ,展开式里就出现 一次,不是两次);
- :预条件随时间变化的「记账量」(定义见下文「上界从哪来」一节),框架里「缓变」的定量落点;
- :矩阵符号函数,Muon 的正交化算子( 为 的秩);
- RMS:root mean square,更新量逐元素平方平均再开方;Moonshot 论文用它对齐 Muon 与 AdamW 的更新尺度;
- 「基(basis)」:矩阵的特征向量/奇异向量集合;「谱(spectrum)」:特征值/奇异值集合——本文反复用到的核心区分。
先把三个主角写清楚
在进入推导前,把文中反复出现的三个更新规则列出来。深度学习里几乎所有权重都是矩阵,所以这个设定并不特殊。
Adam / RMSProp:对角近似。 Adam 的更新可以写成
其中 是由二阶矩估计逐元素取倒数拼出来的正矩阵(Adam 里还叠加了动量,这里先看无动量骨架), 是逐元素乘。它的原始论文(arXiv:1412.6980,2014-12-22 提交)强调它「对梯度的对角重缩放不变」(invariant to diagonal rescaling of the gradients)——这个性质下文会再回来。两个值得记的家族细节:
- RMSProp 与 Adam 的差别就在「滑动平均」:把 AdaGrad 的「累积二阶矩」换成「指数滑动平均」就是 RMSProp,再补上动量项就得到 Adam。这个替换让统计量可以随时间变小——正是它破坏了原始收敛理论的「单调性」前提(见「上界从哪来」一节);
- 两个优化器都先做一阶动量平滑,但这不代表动量可以一笔抹平:Adam 与 Muon 都用一阶动量,可两者的一阶动量定义、Nesterov 变体与偏差修正细节并不相同。本文比较的是「动量之后被谁加工」这一段,不是在断言动量本身等价;严格结论只覆盖无动量骨架,套到实际实现上要打折扣。
Shampoo:Kronecker 积近似。 Shampoo 系(规模化实现工作 arXiv:2002.09018,2020-02-20 提交)用两个半正定矩阵 、 做预条件:
写成向量形式就是 (Kronecker 积)。、 通常取梯度外积统计的某个矩阵幂(如 的 次幂),代价是每步要维护并求逆两个大矩阵——这正是 SOAP(arXiv:2409.11321,2024-09-17 提交)想办法用特征基缓存降低开销的原因。
Muon:直接正交化。 Muon 对动量 做正交化(实践中用 Newton–Schulz 迭代近似 ),更新量形如
也就是说更新量的左右奇异基与动量完全一致,只有奇异值被动了手脚——正交化把所有非零奇异值拉成相等(零奇异方向仍然为零;实践中用 Newton–Schulz 迭代近似,不是精确 SVD)。顺带一个值得注意的事实:把 Muon 推向大规模训练的这篇论文的作者列表里,第二作者正是苏剑林本人(来源清单第 5 条的 arXiv 页面署名可查),所以这两篇博客并非纯旁观者的评论,而是身在其中的实践者的复盘。Moonshot 团队的工程论文(arXiv:2502.16982,2025-02-24 提交)确认了它在大规模训练里可用,并指出两项让 Muon「开箱即用」的关键技术:加 weight decay 与逐参数调整更新尺度;该论文报告在 compute-optimal 训练下 Muon 相对 AdamW 有约 2 倍计算效率,且实践中与 AdamW 搭配使用——AdamW 处理 RMSNorm、embedding 与 LM head 这些另行排除的矩阵与向量参数。
评价标准:平均收敛上界
要比较优化器,得先有一个判据。苏剑林的出发点是他在《让炼丹更科学一些(十):单调性假设的拆与补》(kexue.fm/archives/11885,2026-09-14)里推导的平均收敛结论:在凸性假设下,对更新规则
可以证明(原博客 Eq. 1)
其中 是优化轨迹到最优点的最大距离(各步到最优点的距离取最大), 定义为
( 表示取 ——差分可能为负,负项不能计入上界。)
衡量的是 随时间变化的剧烈程度。左边是「平均起来离最优有多远」,右边有两项:第一项罚的是预条件随时间乱跳(它由 这个差分记账量衡量);第二项罚的是步子抖——范数 是用 加权的梯度平方(按符号表的约定 ,下标取 时展开式里出现的是 一次)。注意别把两项读反: 是度量矩阵,真正作用在梯度上的算子是 ,第二项衡量的是「用这个算子加权之后,梯度还剩多大」。优化器设计的核心就是选 和 让两项的加权和最小。
把上界逐项拆开读一遍,能看清它「悲观」在哪:
- 分子 :全程「还差多远」的时间加权平均——它越小,训练越接近收敛;
- 第一项里的 :它是 加上每一步差分的正部 的逐项累加,所以 激烈跳变会直接抬高上界——上界偏好「随时间稳」的预条件;
- 第二项里的 :学习率放大的是抖动而非下降( 在分母里只出现一次),这就是为什么大学习率必须配「压抖动」的机制;
- 期望 :对随机梯度取期望,第二项里实际还藏着噪声方差——预条件越小、噪声被放得越大。
这个「最小化收敛上界」的思路有先例:苏剑林在《让炼丹更科学一些(九):经典自适应梯度算法》(kexue.fm/archives/11882,2026-09-05)里用 、 为常数的假设把 换成上界 ,最小化后得到 ——这正是 AdaGrad(逐元素累加梯度平方、再按其平方根缩放更新的自适应方法)的二阶矩形式。也就是说,AdaGrad 可以被看作这个框架的一个解。现在的问题是:Muon 和 Shampoo 是不是也是?
上界从哪来:拆掉「单调性」这个脚手架
读到这里你可能会问:这个上界凭什么成立?它其实是一条三步链(《让炼丹更科学一些(十)》,kexue.fm/archives/11885):
第一步,累计不等式(这一步用到了单调性假设 )。 对更新 ,先证一个不涉及任何损失函数的、对 求和之后的向量不等式(对任意向量 成立):
它的证明思路与经典 SGD 的收敛证明同源:把 展开成「距离平方的递推」,交叉项恰好是 ,再对 求和 telescoping。具体递推是(按 -加权范数展开,代数可直接验证):
把中间项解出来(它就是「这一步沿负梯度方向赚到的下降」)、对 求和,左边 telescoping 成「首项 − 末项」,于是「全程赚到的下降总量」被「 乘范数变化」加上「全程抖动总量」控制住——这就是上界的全部骨架。 的角色是「优化轨迹到参照点的最大距离」,实用理解是假设训练始终在一个直径不超过 的超球内(必要时靠投影保证)。
第二步,凸性把它接到损失上。 取 ,凸性给出 ,于是上界从「向量的账」变成「损失的账」。
第三步,取期望与时间平均。 两端取期望、再除以 ,得到加权平均版( 动态时也成立,只要 与已见数据无关)。
关键在「拆与补」的故事:最早版本的上界用的是 ,但它的成立依赖单调性假设 (半正定序下单调不减)。AdaGrad 的累积二阶矩天然满足单调性,但 RMSProp、Adam 用的是滑动平均——统计量可以变小,单调性破了,旧结论对它们不成立。修补有两条路:
路线一,改优化器(「补」)。 构造单调化的新序列 、(把差分矩阵的特征值逐个取 ),并可以证明这个构造在迹度量下是与原序列最接近的单调序列。有趣的是:把它套在 Adam 的对角二阶矩上,得到的恰好是经典的 AMSGrad——理论上收敛性质更好、多一组状态变量、实践中并未成为主流,这条路线由此见顶。
路线二,改结论(「拆」)。 回到证明里找出单调性到底用在哪——答案是距离平方递推中的一次放缩 (依赖半正定性)。把它换成不需要半正定性的更紧放缩:
代价是 不是线性函数、求和不能再 telescoping 成干净的 ,只能逐项记账:
这正是我们在上文那个平均收敛上界里看到的 。它有两个好性质:恒非负(上界不退化);单调性成立时 ,即新结论严格涵盖旧结论。换句话说,「正交最慢下降」框架所依赖的上界,本身就是为了让 Adam 这类非单调预条件能进分析框架而专门修过的版本——框架不是先有 Muon 结论再找理由,而是先修理论漏洞、再把修好的理论用到矩阵优化上。
顺带一个该系列的副产品(同篇):若把 视为常数,上界右端的最小值在权重 为常数时取到,对应学习率线性衰减——这是「线性衰减 LR schedule 对自适应优化器通用」的一个理论解释。
同篇还有一个对实践更有用的「终点收敛」版本:平均收敛回答的是「一路上平均离最优多远」,但做实验的人关心的是「最后那个点」。苏剑林用一组构造性的权重 把终点收敛化归为平均收敛,得到的结论结构相同,只是把 换成 (矩阵版学习率 )。两个版本合起来读, 那个记账量在平均/终点两种口径下都以同一个面目出现——它就是「预条件随时间变化有多野」的通用罚项,也是后文所有「缓变假设」的定量落点。
从上界到「正交最慢下降」
关键一步是苏剑林构造的变换:假设已经有了一个现成的预条件矩阵 ,我们不直接用它,而是对它做正交变换 ( 正交),更新规则变成
这一步的妙处在于它没有引入任何新东西—— 该是多少还是多少(Adam 继续维护它的二阶矩、Shampoo 继续维护它的统计矩阵),新增的自由度只有「用哪一组正交基来看它」。整套推导只回答:这组正交基怎么选最优。往下分三步走:
- 第一步(保第一项):证明正交变换基本不动上界的第一项,于是第一项不再约束 ;
- 第二步(化简第二项):把剩下的第二项化成逐点的最小化问题,得到「最慢下降」目标;
- 第三步(求最优解):解这个目标,看最优更新量长什么样——结论是预条件的特征基被洗掉、只剩谱修正。
怎么选 ?用上界说话。注意两个事实:
第一,正交变换不改变特征值,所以 。
第二,若 随 缓变,则
于是 在这个替换下近似不变,上界的第一项与 无关。要优化 ,只剩第二项:
注意到 正是更新方向,而一阶近似下 ,所以这个目标等价于最小化每一步的一阶损失下降量——字面意义上的「最慢下降」。
这里值得停下来。大多数优化器教程从「最速下降」(steepest descent)出发:每步在某个约束下让一阶下降量最大。苏剑林把它反过来,是在这两个前提下才成立的:优化空间被限定在正交变换上(于是第一项近似不变,只剩第二项可压);判据是收敛上界(悲观、最坏情形导向),而不是每步贪心。他自己在博客里点明:最速下降是乐观的一阶贪心解,最小化上界是悲观的全局解,「最慢下降」是正交空间下的特例,不是普适原理。它的实用动机是:在保证下降的前提下让轨迹更平稳,从而能承受更大的学习率;在随机优化里,这一项还与梯度噪声的方差相关,压它往往也就压住了噪声。
把「噪声」这一点再摊开一点。随机优化里把梯度分解为「真值 + 噪声」,即 (),代入上界第二项会出现一个方差项:
噪声贡献按同一套加权范数算。这一段只在一个简化模型下成立:要求 是固定的,或与噪声条件独立;否则真值项与噪声项会通过加权交叉项纠缠在一起,不能读成两个各自可拧的旋钮。在这个简化模型下可以说:方向管「真值那一项」能降多少,而 决定噪声被加权放大多少。正交最慢下降对第二项的压制,在随机场景里表现为压噪声方差——这也与 Muon 实践中「可以承受更大学习率」的体感对得上。
对照视角:Muon 自己的推导是「最速下降」
有趣的是,Muon 本尊在苏剑林自己更早的《流形上的最速下降:2. Muon + 正交》(kexue.fm/archives/11215,2025-08-06)里,是从完全相反的哲学推出来的——最速下降,也就是每步贪心地让一阶下降量最大。两边摆在一起看,「殊途同归」才有分量。
那条推导的出发点是「最小作用量」式的约束观:不同优化器的区别只在于给更新量施加了什么约束。设更新 ,一阶近似下每步的问题是
- 约束取 Frobenius 范数(把矩阵当向量):解是 ——这就是 SGD;
- 约束取谱范数(矩阵的最大奇异值,衡量「线性层最多放大多少倍」):设 (SVD, 为秩),则
因为谱范数约束 保证 ,于是每一项 ;上界是梯度的核范数(奇异值之和),等号在
时取到——这就是 Muon 的正交化算子( 时解不唯一,上式是最简解)。选谱范数而不是 Frobenius 的理由(同文):谱范数是「揭示线性层变化的最紧凑的范数」,更适合当矩阵更新「稳不稳」的度量。
把两条推导并排看,能得到本文认为最有价值的一个观察:
- 最速下降路线(乐观、每步贪心):约束是谱范数(稳定性),答案是「用 的奇异基 + 把所有非零奇异值拉平到 1」(零奇异方向仍为零,不是「全部变成 1」);
- 正交最慢下降路线(悲观、压收敛上界):在给定的预条件结构上再取一个结构化正交变换,答案的中点「以奇异值均匀化为准」。
两条哲学相反的路线在同一个点上会师——、谱趋均匀。这不是巧合的装饰性结论:它说明 Muon 的形态同时满足「每一步最稳」与「全程上界最省」两种截然不同的判据。也正是这个双重身份,让「Shampoo/Adam 的尽头是 Muon」这类启发性论断比一般的博客直觉更值得认真读一遍:它至少在一个可推导的框架里,把「为什么偏偏是正交化」这个工程实践问题回答成了一道矩阵分析的练习题。
一个绕不开的问题:为什么自由度只给正交变换
上面这套推导有一个容易被跳过的前提,值得单独拿出来问一句:如果允许预条件矩阵做任意变换,结论会变成什么样?
答案是会变成废话。不加任何限制时,你可以直接把预条件取成 ,让更新量一步到位地落在最优方向上——这当然更好,但也就什么都没说。「Shampoo 的尽头是 Muon」这种论断之所以还有内容,恰恰是因为它被限制在一个很窄的可行域里:只能取原预条件矩阵在正交群下的等变像 , 正交。
这个限制的含义是: 的奇异值被完整保留(正交相似变换不改谱),能自由动的只有它的方向。这个「谱是硬约束、基是唯一自由度」的设定,正是整套推导能给出非平凡结论的原因。如果放开到任意变换,最优解是平凡的;限制到正交变换,最优解才是「基被洗掉、谱被重排」这样有内容的结构。
反过来看,框架里那句「第一项基本不随 变」,其实正是这个限制的代价与红利所在:正因为只允许正交变换, 里的差分项才近似不动,优化目标才干净地简化成只压第二项。用「第一项不变」换「第二项可单独优化」,这就是整个框架的设计取舍。
为什么标题叫「慢即是快」
读到这里可以回收系列标题了。「慢即是快」不是修辞:它精确描述了这个框架对「快」的重新定义。
- 常规意义的快 = 每一步一阶下降量最大(最速下降)。它是贪心的:只看眼前一步,隐含假设「每步局部最优 ⇒ 全局更优」——这个假设在陡峭病态的损失面上经常翻车,表现为抖动、震荡、必须配小学习率;
- 框架意义的快 = 收敛上界里的两项之和最小。第一步可以故意「慢」(一阶下降量小),换来的是第二项(抖动)被压小,从而能用更大的 、更少的震荡走完同样的距离——上界不关心你每步赚多少,只关心「时间加权平均离最优多远」。
所以「最慢下降」的目标函数看着自虐,实际买的是稳定性:上界第二项同时编码了「步子方差」与「梯度噪声」,把它压小,通常也就把噪声对轨迹的扰动压小。在随机非凸的真实训练里,「稳」几乎总是「能开大学习率」的前提,而学习率才是深度学习里最值钱的旋钮——这大概也是「慢即是快」这个标题想让人记住的那件事。
工具箱:排序不等式与它的矩阵化身
在进入矩阵推导之前,把贯穿全文的两个不等式工具一次备齐(出处:《排序不等式及其推广》,kexue.fm/archives/11910,2026-09-21)。
标量版:排序不等式。 设两个从大到小排好的数列 与 , 是任意排列,则
一句话:倒序积 ≤ 乱序积 ≤ 同序积。证明是「局部调整法」:对任意 、 有 ——只要有一对「不同序」,交换成「同序」不会让内积变小,所以最大值必然在完全同序时取到;把 换成 重复论证即得最小值端。
矩阵版:冯·诺伊曼迹不等式。 设 是 实对称矩阵,则
取对角阵时退化为标量版,所以它就是排序不等式的矩阵化身。对一般 矩阵,相应形式是 (奇异值同序配对最大)。文中推导 Kronecker 特例时,解 用的正是「最小值 = 倒序积」这一端。
再送一个后文会反复用到的视角:迹不等式本身就是正交优化问题。苏剑林在证明它时先注意到
然后证明两个极值点都发生在「 与 可交换」处。手法是微扰:对最优的 ,用反对称阵 生成正交扰动 (矩阵指数保证正交性),在 处导数必须为零,化简后得到对易子条件
若 是对角阵且对角元两两不同,能与之交换的只有对角阵,于是 必然是 的对角化——问题瞬间退化成两组特征值的配对问题,排序不等式直接收尾。这套「正交微扰 → 对称/对易条件 → 退化成配对问题」的三段式,正是后文「驻点条件」一节的方法论原型:Kronecker 一般情形的推导只是把 换成了 依赖 的复杂版本,套路一模一样。
多序列推广:为什么「均衡」不是巧合。 三个非负降序序列 的最大值侧仍可推广(同序最大),但最小值侧没有干净的「倒序」定义——苏剑林给出的信号来自 AM-GM:
等号当且仅当全体乘积相等——多序列的最小值配对会「尽量让所有乘积均衡」,而这个均衡化配对问题本质上是三维轴向指派问题,已知是 NP-Hard 的。记住这个「均衡化」信号:下文推导谱往哪边走时,它就是「 趋向把奇异值拉平」这一直觉的严格来源。
Kronecker 情形:特征基底被洗掉的第一个证据
回到矩阵参数。Kronecker 形式的预条件写成更新量就是 。施加正交最慢下降,即在 、 约束下选正交阵 ,最小化(原博客 Eq. 8)。这里要先交代「结构化正交变换」这个说法:前面说的 是 维空间里的任意正交阵,理论上可以是任意旋转;但落到矩阵参数上真正可用的只有结构化正交变换——左右两侧各一个正交阵(Kronecker 情形),或它们的 Kronecker 形式 (对角情形)。后文所有结论都是在「结构化正交变换」这个可行域上取得的,不是在任意正交变换的全集上。
先解 的特例。利用迹的轮换性,目标化为 ,这正是冯·诺伊曼迹不等式的标准形式。苏剑林在《排序不等式及其推广》(kexue.fm/archives/11910,2026-09-21)里给出的对称阵版本是:
「同序积最大、倒序积最小」的矩阵版。取最小值端的配置:设 的完全 SVD 为 (奇异值从大到小),则 ,最优解满足
其中 是 的特征值从小到大排成的对角阵。代回去,最优更新量为(原博客 Eq. 11)
这个结果值得盯着看几秒:不管 原来的特征向量是什么,经过正交最慢下降之后它全部消失,只剩下 的特征值与 的奇异值以「大配小」的倒序相乘。而倒序配对的作用是把乘积序列 拉得比原来更均匀(大奇异值被配小特征值)。「调谱不调基」,已经是半个 Muon 了。
为什么「倒序配对 = 更均匀」?拿本文后文那个 的算例反过来读就能看见:设 的特征值为 (升序 ),倒序相乘得 ——乘积序列完全拉平;而同序相乘得 ——原有的悬殊被进一步放大。倒序配对天然做的是「削峰填谷」,这正是正交化(把奇异值全拉成 1)在「只允许微调谱」约束下的最接近替代品。
一般情形:驻点条件与对称性论证
时闭式解没了,但结论不变。记 、,由迹轮换性分别固定 、 求驻点,得到两组条件(原博客 Eq. 13)
其中 、 分别是 、 的特征值分解。关心的更新量记为 。直接计算可得
两个都是对称矩阵。这个对称性为什么强?做一个分解验证。而任何 都可以唯一写成 (,、 是 的左右奇异阵),代入 与 :
「这两个乘积对称」分别等价于 与 对称。写成分量形式:
把两组等式交叉相乘,立即得到
若 的奇异值两两不等,则 时 ,即 是对角阵 。若奇异值有重合,苏剑林的做法是把这种情形理解为满足条件的矩阵序列的极限,结论以极限意义保持。一般情形下,预条件的特征矩阵依然被消去:更新量只剩 这个 Muon 形状。
顺带补上原文把 「夹出来」的后半段(原博客 Eq. 17–18 的转述):既然 ,代回驻点条件并与 、 的表达式对照,原博客由特征值分解的唯一性推出 、 与 、 至多差一个置换矩阵——注意原博客在这一步自己加了限定:特征值分解的唯一性依赖特征值两两不等,否则可以构造出反例,原作者称此步为启发式推导、不抠细节。本文沿用同一限定(另见「这套论证哪里不严格」一节):
把这两个置换代回 ,整串收缩成
括号里全部是对角阵: 的谱是「 的奇异谱 × 两个置换后的特征值谱」的逐元素乘积。于是「怎么排 、 的特征值与 的奇异值的配对,能让乘积和最小」——这正是排序不等式的三序列推广(见工具箱一节),最小值配对趋向「全体乘积相等」,理想点对应 。这一段是 Kronecker 情形「趋于均衡」论证的完整闭环。
值得强调的是这一步的「跨结构稳定性」:从 的特例到一般情形,论证从「迹不等式直接给出闭式解」换成了「驻点条件 + 对称性消元」,但结论一字不变——不管 、 的特征向量多聪明,正交最慢下降都会把它们转回 自己的奇异基上。这也是为什么这个框架能同时覆盖 Shampoo(、 都非平凡)与只动一边的变体。
谱往哪边走:均衡化的排序不等式论证
「洗掉基底」是第一重「尽头是 Muon」;第二重是 的对角元会不会趋于均衡。这里没有闭式解,只有定性论证。用迹轮换性把 拿 AM-GM 不等式压(AM-GM 指算术-几何平均不等式;原博客 Eq. 11,第二篇):
等号成立当且仅当全体乘积 相等,也就是 (逐分量取逆、形状不变)。这里要把两个量分开命名:更新奇异值是 (更新量 的对角元),目标乘积是 (迹里逐项出现的那个乘积)——AM-GM 约束的是目标乘积全体相等,不等于 本身相等,这是最容易读错的一处。在「 的奇异值之积固定」的前提下,理想最小值在 处取到。而最理想端 与最糟糕端 (原样放行)在 空间里逐分量相乘再开方,恰好得到 (全 1 谱)——这是「几何平均」的正确落点:它说的是两个矩阵的几何平均,而不是两个迹数值的几何平均。 意味着更新量就是 ,即 Muon 的精确形态。所以第二重「尽头」是:即使取不到理想配对,几何平均意义下的中点也指向奇异值均匀化。
这一段论证的读法,拆开是三句话:
- 可控的是「配对顺序」而不是「任意谱」:我们只能在正交变换里选 ,所以 的自由度是「怎么把 、 的特征值与 的奇异值配对」,而不是想改多少改多少;
- AM-GM 告诉我们「均衡配对」是下界方向:目标乘积 全体相等时取到下界,而「乘积全体相等」正是均衡化的数学表述——方向有了;
- 「几何平均」补上了中点:理想端 与最坏端 在 空间(逐分量相乘再开方)的几何平均是单位阵,所以几何平均意义下的中点恰好落在 Muon 上。
本文自算的二阶算例(非任何来源转述,算式与数字均为本文推导):取 、,考察三种谱形状下的一阶下降量绝对值 。三行数字全部按 逐项代入:
- 谱原样保留 :;
- 均匀(Muon 形态):;
- 谱逐分量取逆 :。
这三行不可直接横向比较:它们的对角元乘积分别是 、、,互不相同,因此并不满足前文「 的奇异值之积固定」的前提。每一行能配的 AM-GM 下界也是各自那一行的:
| 配对 | 该行自己的 AM-GM 下界 | ||
|---|---|---|---|
| 谱原样保留 | |||
| 均匀(Muon 形态) | |||
| 谱逐分量取逆 | (该行恰好取到下界) |
三个数字 17、5、2 全部由本文代入公式算出,读者可以自行验证。这张表能支持的结论只有一条:在给定 的形状下,迹就是逐项乘积之和;它不能支持「均匀化把某个最坏值压到 5、再压到 2」这种横向排名,因为三行的约束并不相同(整体尺度会被学习率吸收,混进来只会把尺度差异误读成性能差异)。真正可比的结论要在固定对角元乘积的前提下说:那时 AM-GM 告诉理想形态是 ,而 是 与 在 空间的几何平均,落点仍然指向奇异值均匀化。
至于「 的奇异值之积是否真的固定」:方阵 Kronecker 情形下可以证明( 与 无关,原博客 Eq. 12);非方阵和对角近似情形则无法证明,苏剑林直接承认这是「关于行列式与正交矩阵的信仰」。
- 方阵、Kronecker:、,行列式逐因子不变——这一档是可证的;
- 非方阵: 不再良定义,只能「不加证明地认为近似成立」(原博客原话口径);
- 对角近似: 里 Hadamard 积挡在中间,连近似论证都给不出——只剩猜测。
一个可验算的中间例子:把「洗掉基」做成数值实验
前面两节是解析推导。为了让「基底被洗掉」这句话有一个能被读者自己跑出来的版本,这里给一个刻意做小、能手算的例子(非任何来源转述,构造与数字均为本文自行推导)。
取一个不对称的 权重矩阵
它的 SVD 可以直接算出来:,特征值为 ,即 与 ,奇异值为 、。
现在看三个候选更新量在同一个梯度上的行为(这里只做形状对照,不做性能比较):
- 原样更新 :奇异值保持 ,谱是「陡」的;
- 谱拉平后的更新 :把两个奇异值都换成 1,谱变成 ,但左右奇异基 、 一个没变;
- 逐分量缩放 :这是「只动对角」的更新,算出来它的奇异值是 ——谱不但没被拉平,反而被拉得更陡。这正是「对角近似的谱结构难分析」在最小规模上的直观体现:逐元素缩放没有「只改谱、不改基」这种自由度可分性。
这三行对照想说的是一件很具体的事:「基」和「谱」是可以分开动的两种自由度。 保留了基、把谱压平; 动的是谱,但基也跟着被搅了。框架的全部主张就是:在它限定的那个可行域(只允许正交变换)里,能自由动的是谱,基会被自动洗回梯度自己的奇异基。至于这个「只动谱」的自由度值多少训练收益——那不是框架能回答的问题,需要实测。
复现这个例子只需要几步:构造 ,用 numpy.linalg.svd 拿到 ,再算 与 的奇异值对比。这个例子刻意做小,正是为了让人能手算复核,而不是只能相信一句结论。
Adam 也一样:对角近似的目标与统一形式
第二篇博客把同样的手术做到 Adam 家族上。对角预条件写成 、更新 后,施加 Kronecker 结构的正交变换 ,目标变为
这个目标看着别扭,它有一个更友好的等价形式。用「迹在循环下不变」把左边的 挪到最前:
第二行用到两个事实: 把「迹」翻译成「Frobenius 范数平方」; 表示对 逐元素开方(Hadamard 意义下的平方根),开方出来正好与自身相乘还原出 。也就是说,Adam 情形的目标其实是**「在正交变换后的矩阵上做逐元素加权,再看 Frobenius 范数」**——权重 越大的位置, 在那里被压得越狠。
同样的恒等式也把 Kronecker 情形的目标变成 。对比着读:
- Kronecker:权重以矩阵因子 从左右两侧夹住 ——谱结构,可分解、可求逆、可做 SVD 分析;
- 对角:权重以逐元素 直接按在矩阵的每个格子上——没有谱结构可言,任何把 折进左右因子的尝试都会破坏 Hadamard 结构。
这就是为什么后文「谱乘积恒定」在 Kronecker 方阵情形可证、在 Adam 情形彻底推不动的根源——不是技巧不够,而是 Hadamard 积在矩阵分析工具面前天然免疫。顺带一提,这个「开方后的权重按在格子上」的视角也解释了 Adam 的逐元素二阶矩为什么是一种「最细粒度的谱修正」:它退到了比奇异值谱更细的粒度(每个元素一个系数),代价是失去了任何可分析的矩阵结构。
这个形式和 Kronecker 情形的目标不能直接比较,但两篇博客发现它们共享抽象结构 。对这个一般问题引入拉格朗日乘子求驻点,得到的关键条件是(第二篇 Eq. 10)
其中 、。注意这个驻点条件的形式与 的具体长相无关——它只来自「目标只通过 依赖 」这个结构事实,所以它能同时套在 Kronecker 与对角两类目标上。而「两个乘积对称 具有 形式」正是上一篇已经证过的事实。于是殊途同归:Kronecker 积和对角近似,两类预条件的基都被洗掉。
这里有一个值得单独强调的观察:Adam 情形里我们关心的更新量是 ,而 里的 是逐元素的——Hadamard 结构让它无法像 Kronecker 情形那样把 「折」进左右因子,也正因为如此,谱乘积恒定性( 不变)在这里推不动。对角近似那条线的谱均衡论证更弱(Hadamard 积几乎无法做奇异值分析,「乘积恒定」纯属猜测),这是原作者自己标注的缺口。换句话说,「Adam 的尽头是 Muon」比「Shampoo 的尽头是 Muon」又弱了一档:前者连第二步(谱往哪边走)都只有信仰级论证,只有第一步(基被洗掉)是扎实的。
一张对照表:框架里它们各自是什么位置
| 优化器 | 预条件结构 | 每步主要开销 | 在正交最慢下降框架下的形态 | 谱修正能力 |
|---|---|---|---|---|
| SGD(+动量) | 无() | 几乎为零 | 原样,奇异谱保留 | 无 |
| Adam / RMSProp | 对角阵 | 维护一、二阶矩(与参数同形) | 基被洗掉, | 有,均衡化倾向为猜测 |
| Shampoo / SOAP | Kronecker 积 | 维护并求逆两个大矩阵(SOAP 用特征基缓存降开销) | 基被洗掉, | 有;方阵情形乘积恒定可证 |
| Muon | 直接正交化 | Newton–Schulz 迭代若干步 | 就是极限形态本身 | 全 1 谱,构造上直接均衡 |
这张表也解释了为什么 Moonshot 论文里 Muon 还要额外加 weight decay 与逐参数更新尺度:正交化把谱压平之后,更新量的整体大小需要重新标定,不同形状的参数矩阵(embedding、输出层等)也需要不同的缩放——这些工程补丁处理的是「谱之外」的自由度,与本框架并不矛盾。
SOAP 的旁证:特征基可以是「慢变量」
对照表里 SOAP 那一行值得单独展开。SOAP 论文(arXiv:2409.11321,2024-09-17 提交;正式版本收录于 ICLR 2025)摘要给出的事实是:它建立了「1/2 幂实现的 Shampoo」与 Adafactor 之间的形式联系——Shampoo 等价于在 Shampoo 预条件矩阵的特征基里运行 Adafactor。这里的 Adafactor 是一种把二阶矩按行/列分解、从而省显存的 Adam 变体(论文里的原词是 Adafactor 这一族)。由此 SOAP 的构造是:特征基不每步都重算(只在若干步更新一次),基内统计交给 Adam 风格的滑动平均去维护(此段构造细节为本文按摘要口径的解读,非论文原文逐字)。
把这件事放进本文框架里读,它是一个漂亮的旁证:
- 「基可以低频维护、甚至缓存」之所以不致命,恰好因为基不是每步必须精确的东西——与「正交最慢下降会把任意基洗回梯度奇异基」是同一件事的两面;
- 而「基内统计必须每步维护」,说明真正持续起作用的信息在谱上——SOAP 把计算预算从「求逆大矩阵」挪到「维持一套对角/低频统计」,方向与「调谱不调基」的结论一致。
注意这只是方向一致性,不构成「SOAP 就是正交最慢下降的解」的证明——SOAP 的实际更新仍然带着自己的特征基修正,其论文口径也只是「改进并稳定 Shampoo」(见其标题与摘要),框架描述的是「理想极限的形状」,不是「实测成绩的排名」。
工程读者的三个收获
第一,昂贵的预条件买不到「更好的方向」。 在这套框架下,Shampoo 花大代价维护的 、,其信息量经过最优正交变换后只剩特征值——而特征值的作用又只是修正奇异值谱,且修正的极限是「更均匀」。同方向的事实还有一条,来自 SOAP 论文(2024-09-17 提交):Shampoo(1/2 幂实现)等价于「在 Shampoo 预条件矩阵的特征基里跑 Adafactor」——即基可以低频维护甚至缓存,但统计必须在当前基里按 Adam 的方式持续维护(细节见上文 SOAP 一节)。这与「基里的信息会被洗掉、谱修正是留下来的那部分」是同一个故事的不同讲法。
对预算有限的团队,这条推论的现实版本是:如果 Shampoo 系的显存与通信开销(两个大统计矩阵、特征基缓存、逆矩阵维护)只换来「一个可被正交化近似替代的谱修正」,那把这份预算省下来换更长的训练或更大的批,往往更划算。当然,这仍然只是框架内的推断,不是实验结论。
第二,Muon 的「土办法」有位置优势。 如果极限形态就是「用梯度的奇异基 + 尽量均匀的谱」,那直接对动量做 Newton–Schulz 正交化(不用维护任何二阶统计矩阵)就是绕过中间商的做法。Newton–Schulz 迭代只需要几次矩阵乘就能把动量的奇异值压向均匀,不需要对任何统计量求逆,显存开销是与动量同形的一个矩阵。Moonshot 论文的「约 2 倍计算效率」是在这个形态上再加两项工程补丁测出来的。
其中第二项补丁值得展开:论文的「consistent update RMS」做法是把 Muon 的更新幅度(RMS,逐参数更新量的均方根)刻意对齐到 AdamW 的水平,从而让学习率、weight decay 等超参数可以直接复用 AdamW 基线的最优值(论文原文口径:超参数「直接复用对 AdamW 基线最优的那组」)。工程上这是把「换优化器」的成本从「重新调一遍超参」降到「改一行配置」的关键一步——也提醒任何自行实现 Muon 类配方的读者:正交化之后的更新量尺度与原动量不同,先把尺度对齐再谈对比,是这篇论文给出的第一个实践建议。
第三,「对角重缩放不变」是 Adam 的结构性短板。 Adam 的预条件自由度全部花在逐元素缩放上,一旦框架告诉你「特征基会被洗掉、只有谱修正有效」,Adam 的二阶矩统计就只在做「粗粒度谱修正」这一件事,而且是以一种 Hadamard 结构很难分析的方式在做。这不能推出「Adam 不行」——它仍然是向量类参数与另行排除的 embedding/LM head 矩阵上的默认选择——但它解释了为什么在二维权重矩阵上差距会这么显性:按论文口径,compute-optimal 训练下 Muon 的匹配性能效率约为 AdamW 的 2 倍(口径是达到同等匹配性能所需的训练 FLOPs,不是每步速度或墙钟时间翻倍)。
实践记账:换优化器到底换了哪些开销
三个来源各给了一笔可以核对的账(均为论文/博客口径,非本文实测):
- 状态量:Moonshot 论文(2025-02-24 提交)在分布式分析一节明确写着「Muon 只用一个动量缓冲,AdamW 用两个」——所以只算优化器状态时,Muon 的状态显存约为 AdamW 的一半(该文原文口径;这个数字不含参数本身、梯度、激活值及其他缓冲区,不能读成训练总显存或峰值显存减半);
- 每步计算:Adam 的逐元素开销与参数量同阶;Shampoo 要维护两个 、 统计矩阵并做矩阵求逆/幂运算,该规模化实现论文(arXiv:2002.09018,2020-02-20 提交)自述二阶方法「计算、显存与通信成本高昂」;SOAP 的动机(其摘要,2024-09-17 提交)就是消掉这些「额外超参与计算开销」;
- 正交化开销:Muon 每步对每个矩阵参数跑若干轮 Newton–Schulz 迭代,只做矩阵乘、不做统计量求逆(本文按 的定义归纳:迭代近似 SVD 的 部分)。
把这三笔账与本文结论合在一起读:Shampoo 多付的钱主要买了基,而框架说基最不值钱——这不一定意味着 Shampoo 全无优势(谱修正的粒度仍可能起作用),但意味着它必须用实测收益证明自己「值回票价」,而 Muon 的开销结构天然与「极限形态」对齐。
三个容易读错的点,集中对照
前面散落着几处「同一个符号在不同段落里含义漂移」的风险,这里集中列一张对照表,方便第一次读的时候对照使用(表中每一行都是本文正文已交代过的内容,此处只做索引):
| 容易读错的地方 | 正确读法 | 本文位置 |
|---|---|---|
| 把 直接叫「预条件矩阵」 | 是度量矩阵;真正作用在梯度上的算子是 | 符号表、「评价标准」一节 |
| 把 -加权范数展开成含两次逆矩阵的形式 | 下标取 则展开式是 , 只出现一次 | 符号表、「评价标准」一节 |
| 把上界第一项读成「矩阵越大、步子越快」 | 第一项罚的是预条件随时间乱跳,第二项罚的是步子抖 | 「评价标准」一节 |
| 把两者的动量当成完全等价 | 两者都做一阶动量平滑,但定义、Nesterov 变体与偏差修正不同;严格结论只覆盖无动量骨架 | 「三个主角写清楚」一节 |
| 把「 拉平」直接等同于「谱均匀化」 | 要分清更新奇异值 与目标乘积 ;AM-GM 约束的是后者全体相等 | 「谱往哪边走」一节 |
| 把几何平均算成两个迹数值的几何平均 | 几何平均发生在 空间(逐分量相乘再开方),不是两个迹数值之间的那种平均 | 「谱往哪边走」一节 |
| 把算例 17 / 5 / 2 当成横向排名 | 三行的对角元乘积不同,不可直接横向比较 | 「谱往哪边走」一节 |
| 把正交化说成把每个奇异方向都变成 1 | 只说非零奇异值;零奇异方向仍为零 | 「对照视角」一节 |
常见误读 FAQ
- 问:「所以 Adam 被证明了该淘汰?」 答:不是。框架的结论是「在矩阵参数上,预条件的方向信息会被正交最优性消去」,而 Adam 的大量用武之地(向量类参数、另行排除的 embedding/LM head 矩阵)根本不在这个框架的推导对象里。Moonshot 论文自己的做法也是「Muon 与 AdamW 搭配、用 AdamW 处理这些另行排除的参数」。
- 问:「SOAP 报告的更好结果说明框架错了?」 答:不能这么推。框架比较的是「给定预条件结构下的理想极限」,实验比较的是「具体超参与开销下的实测」。两者不在一个层面;框架也从未否认 SOAP 在特定任务上可以赢。
- 问:「正交最慢下降是证明吗?」 答:不是定理。它依赖凸性、 缓变、一阶近似与「给定梯度序列」四层假设(见下一节),作者的定位是「启发性推导」。
- 问:「 谱均衡对 Adam 情形是结论吗?」 答:更弱——方阵 Kronecker 情形可证「奇异值之积恒定」,非方阵近似成立,对角情形连近似证明都没有,只是「信仰」级的猜测。
- 问:「那我该今天就切 Muon?」 答:工程决策请以自己的复现为准;本文给的是「为什么 Muon 这个构造在理论上占了个好位置」的理解,不是选型指令。
- 问:「动量在这套推导里有位置吗?」 答:框架是对「梯度类」更新做的;苏剑林在第一篇明确说 Kronecker 型框架覆盖的是「无动量版本」的各优化器,动量被顺延进来是「对动量做同样的手术」的推广,正式论证并不因为加了动量自动成立——这是又一个容易被略过的限定条件。
- 问:「把奇异值全拉成 1,会不会把重要的方向也抹掉了?」 答:不会抹掉方向——、 保留着梯度的全部奇异基,被拉平的只是每个奇异方向上的步长权重。真正被丢掉的是「不同方向走不同远近」这一自由度;框架的论点是这自由度里真正值钱的部分有限(见「谱往哪边走」一节里 与 的几何平均关系)。
- 问:「学习率策略在框架里怎么说?」 答:上界最小化在「第二项近似常数」的假设下推出常数权重/线性衰减(见「上界从哪来」一节);但 Muon 正交化之后更新 RMS 变了,学习率要么重新调、要么按 Moonshot 论文的 consistent update RMS 对齐——理论推 schedule 与实践对齐尺度是两件事。
- 问:「PSGD 呢?苏剑林第一篇也点名了它。」 答:本文未核读 PSGD 的论文,不对其下任何判断;它被提及仅因为原文把它列为「声称比 Muon 更好的 Shampoo 系变体」之一,而该系列结论(Kronecker 型预条件的基会被洗掉)按框架同样覆盖它的 Kronecker 部分——但这只是框架外推,不是对 PSGD 实测表现的评述。
这套论证哪里不严格:作者自陈与本文补充
苏剑林在第一篇的「延伸说明」里罕见地长篇自陈了论证的软肋,值得逐条转述(下为概述,非逐字引用):其一,用收敛上界指导优化器设计是最坏情形判据,上界更小不保证实际更快;其二, 缓变假设与各处一阶近似都粗糙,无法定量;其三,给定 序列再推导剩余参数的前提本身站不住——改了学习率,后续梯度就变了,「严格较真的话命题无法成立」;其四(第二篇),对角近似情形的谱均衡「无法做出有效估计」,只是猜测。
本文再补四条(以下为本文归纳,非原文):
- 凸性假设与深度学习现实差距巨大: 那一项在非凸、非单调场景里如何主导并不清楚,把凸分析的判据平移到 LLM 训练是整条链最大的跨度;
- 正交变换的可达集论证依赖「特征值两两不等」:真实梯度的奇异值经常重合或极接近,退化情形的稳定性只有「取极限」的口头处理,没有误差估计;
- 「正交最优」是逐点贪心:每步各自选最优 ,但收敛上界是全程求和的量,逐点最优不等于全程最优——这与作者自己批评「最速下降是贪心」是同一类毛病,只是从每步搬到了每个坐标。换句话说,「尽头是 Muon」是一个在限定沙盘内自洽的启发性结论,不是「应该把所有优化器换成 Muon」的证明。但它的价值恰恰在于给「调谱」这件事提供了一个统一的、可推导的分析框架——与 SOAP 论文「Shampoo 等价于在预条件特征基里跑 Adafactor」这类工作所暗示的「基可以简化、谱修正是药」方向一致,只是这一次经验被串成了一条数学线。
- 「与 Shampoo 系实测结果的张力」没有定量处理:原作者在 2026-09-28 的《慢即是快:1. Shampoo 的尽头是 Muon?》里自述测过各种 Shampoo 变体「没有一种能胜过 Muon」,但博客没有给出这些实验的配置与数字,读者无法复核「测试范围有多广、调参是否对等」——这是把博客结论用于实践前应当补的一课(本文同样未做实验,见来源段声明)。
小结
这篇文章完整走了一遍苏剑林《慢即是快》系列的推导链:从平均收敛上界的两项权衡出发,把「只允许正交变换」的优化目标化简成逐点的「最慢下降」,再用冯·诺伊曼迹不等式与对称性论证证明——Kronecker 积(Shampoo 家族)与对角(Adam 家族)两类预条件的特征基底都会被洗掉,更新量退化为 ,且 在几何平均意义下的中点指向「全 1 谱」。Muon 的构造恰好就是这个极限形态。工程上的读法:预条件的钱主要花在谱修正上,而谱修正的最直接实现就是正交化本身。论证的边界同样清楚:这是一套依赖凸性、缓变、一阶近似与「给定梯度序列」的启发式框架,把它当作理解优化器的透镜,比当作选型圣旨更合适。
如果只记住一件事:在这个框架的限定假设下,预条件矩阵里真正起作用的是谱(奇异值怎么缩放),而基(往哪个方向转)携带的信息会被正交变换消掉——这条判断成立与否决定你该为 Shampoo 的统计矩阵付多少钱,而它至少在一个可推导的框架里得到了支持。
最后交代本文的覆盖边界,方便你决定要不要去读原文:本文完整转述了「正交最慢下降」的两篇核心推导(含公式级细节),但没有转述原系列里《让炼丹更科学一些(九)》对 AdaGrad 的完整推导、《流形上的最速下降》系列对 Stiefel 流形( 半正交约束)的处理,也没有对任何优化器做实验对比。若你的兴趣在「拿公式去跑实验」,按「五步复现」清单走;若在「把系列读全」,按「系列阅读地图」的顺序走即可。
五步复现:把这条推导变成可验算的练习
理论文最大的风险是「看懂了每个公式,合上就忘」。这条推导链的好处是每一步都能写成几十行代码、用 SciPy 逐行验一遍。给一个自上而下的复现清单(均为本文归纳的练习设计,不是原文内容):
- 第 1 步,验排序不等式的矩阵版:随机生成两个对称阵 ,用
scipy.linalg.eigh取特征值,验证 ;再随机置换特征向量的配对方式,确认任何「乱序」都落在两端之间。 - 第 2 步,验倒序配对的均衡效果:取 的奇异值谱 与某组正谱 ,分别计算同序、乱序、倒序乘积序列的方差,把三个数都记下来再比较——排序不等式保证的是乘积和的极值,不是方差最小(可以构造出倒序方差并不更小的谱,例如 配 ),所以这一步要记录的是实测值与反例,而不是预设结论。
- 第 3 步,数值解 特例:固定一个 的 与 ,用 SciPy 在正交约束下(参数化成 , 反对称)数值最小化 ,把解与解析解 对照——特征值应该对上,特征向量应该重排。两处边界要交代: 只覆盖指数映射能到达的那部分正交群;而且这只是局部求解,多初值(换几组随机初值各跑一次取最优)才靠谱,请记录每组初值的目标值与残差( 以及目标函数相对解析值的偏差),不要把「求解失败」当成理论反例。
- 第 4 步,验「基被洗掉」的一般情形:同样的数值设置,但 、 都随机,验证最优更新量 在 坐标系下是对角阵(非对角元接近 0)。
- 第 5 步,验谱均衡倾向:在数值解里读出 的对角元,记录它相对于「原谱 」与「逆谱 」的位置(用相对距离或秩来度量,并记下随机种子与样本数);落点由你自己的样本说话,这里不预告结论(注意:这是启发式验证,不是证明)。
这五步跑完,「特征基被洗掉、只剩谱修正」就不再是博客里的一句结论,而是你自己机器上记录下来的一组数值(也可能包含反例)——区别在于后者你会真的记住。
系列阅读地图
这次引用的苏剑林文章来自两条相互咬合的系列,按依赖关系给一张阅读地图(日期均为各篇页面标注的发表日期,本文写作时核读):
- 优化器分析主线:《让炼丹更科学一些(九):经典自适应梯度算法》(2026-09-05,AdaGrad 作为框架的一个解)→ 《(十):单调性假设的拆与补》(2026-09-14,收敛上界与 )→ 《排序不等式及其推广》(2026-09-21,工具箱)→ 《慢即是快:1. Shampoo 的尽头是 Muon?》(2026-09-28)→ 《慢即是快:2. Adam 的尽头还是 Muon?》(2026-10-15)。
- 矩阵优化构造主线:《流形上的最速下降:2. Muon + 正交》(2025-08-06,谱范数约束与 )——它先于「慢即是快」系列一年多,是「约束观」那一侧的原点。
- 两条线的交汇点:更新量的形状 与谱均衡化。读的时候建议先「九/十」再「排序」,最后两线并行对照。
📋 来源与核验记录
以下来源均为本文写作时(2026-11-05)真实打开核读的一手页面;摘要、日期以当次抓取为准。
核验方式说明:kexue.fm 对命令行抓取返回 403,四篇博客与《流形》均通过本机浏览器逐篇打开读取全文;arXiv 五篇摘要页与 Muon 论文 HTML 全文(arXiv:2502.16982v1)通过 curl 抓取解析。文中所有 kexue 公式引用(Eq. 编号)均指对应博客原文的编号。
-
苏剑林.《慢即是快:1. Shampoo 的尽头是 Muon?》. 科学空间,2026-09-28. https://kexue.fm/archives/11917 — 本文核心推导链(收敛上界引用、正交最慢下降、Kronecker 情形特例与一般情形、均衡化论证、作者自陈局限)的一手出处;正文对原文为引述+自写讲解,未整段复述。
-
苏剑林.《慢即是快:2. Adam 的尽头还是Muon?》. 科学空间,2026-10-15. https://kexue.fm/archives/11964 — 对角近似(Adam/RMSProp)推广、统一抽象形式 、驻点条件、谱乘积常数性讨论的一手出处。
-
苏剑林.《排序不等式及其推广》. 科学空间,2026-09-21. https://kexue.fm/archives/11910 — 冯·诺伊曼迹不等式与多序列推广(含最小值侧 NP-Hard 说明)的一手出处。
-
苏剑林.《让炼丹更科学一些(十):单调性假设的拆与补》. 科学空间,2026-09-14. https://kexue.fm/archives/11885 — 平均收敛上界(见上文「评价标准」一节的公式)的推导出处;本文「上界从哪来」一节的单步不等式链、AMSGrad 对应、 的 版本与「单调性成立时 」均核读自该文。
-
Liu, J., Su, J.(苏剑林), Yao, X. et al.(Moonshot AI).《Muon is Scalable for LLM Training》. arXiv:2502.16982,2025-02-24 提交. https://arxiv.org/abs/2502.16982 — Muon 大规模化两项技术(weight decay、逐参数更新尺度)与「compute-optimal 下约 2 倍计算效率」的论文口径;「AdamW 用于 RMSNorm、LM head、embedding 等另行排除的参数」亦为该论文正文原文(HTML 版核读)。已在正文标注为论文数字、非本文实测。
-
Anil, R., Gupta, V., Koren, T. et al.《Scalable Second Order Optimization for Deep Learning》. arXiv:2002.09018,2020-02-20 提交(v2 2021-03-05). https://arxiv.org/abs/2002.09018 — Shampoo 的规模化实现工作(与 Gupta 等人 2018 年那篇更早的工作不同,本文按 2020 年这篇的定位引用)。
-
Vyas, N. et al.《SOAP: Improving and Stabilizing Shampoo using Adam》. arXiv:2409.11321,2024-09-17 提交(v2 2025-01-31). https://arxiv.org/abs/2409.11321 — SOAP 特征基缓存与「Shampoo 等价于在预条件特征基中跑 Adafactor」的论文表述。
-
Kingma, D., Ba, J.《Adam: A Method for Stochastic Optimization》. arXiv:1412.6980,2014-12-22 提交(v9 2017-01-30). https://arxiv.org/abs/1412.6980 — Adam 更新规则与「对角重缩放不变」性质的论文原文。
-
苏剑林.《流形上的最速下降:2. Muon + 正交》. 科学空间,2025-08-06. https://kexue.fm/archives/11215 — Muon 的另一条推导(谱范数最速下降、核范数上界、 算子、「最小作用量」约束观)的一手出处;本文「对照视角」一节据此转述并自写讲解。
-
苏剑林.《让炼丹更科学一些(九):经典自适应梯度算法》. 科学空间,2026-09-05. https://kexue.fm/archives/11882 — AdaGrad 作为该框架一个解的一手出处( 换成 、最优预条件 的推导在此篇)。
实体真实性核验
本文点名的报告与论文额外核了「官方页面可访问 + 存在独立第三方页面」两条,核验日期均为 2026-11-05:
| 实体 | 官方页面 | 独立第三方页面 | 访问结果 |
|---|---|---|---|
| SOAP(arXiv:2409.11321 / ICLR 2025) | https://arxiv.org/abs/2409.11321 | https://proceedings.iclr.cc/paper_files/paper/2025/hash/e988664070e9591f93fdcf605f7dc623-Abstract-Conference.html | 两个页面均正常打开,标题、作者与摘要一致(第三方页为 ICLR 2025 正式 proceedings 收录页) |
| Shampoo 规模化实现工作(arXiv:2002.09018) | https://arxiv.org/abs/2002.09018 | https://huggingface.co/papers/2002.09018 | 两个页面均正常打开,作者与提交日期(2020-02-20)一致;第三方页是独立论文索引页,本文未转引其中任何性能数字 |
| Muon 工程报告(arXiv:2502.16982) | https://arxiv.org/abs/2502.16982 | https://huggingface.co/blog/bird-of-paradise/reproducing-and-validating-distributed-muon | 官方页正常打开;第三方页为社区作者转引,本文只用它确认实体与报告存在,不采信其性能数字 |
| Adam 论文(arXiv:1412.6980) | https://arxiv.org/abs/1412.6980 | https://dare.uva.nl/id/a20791d3-1aff-464a-8544-268383c33a75 | 两个页面均正常打开,题名与作者一致 |
本文自行推导项:二阶算例( 三种谱形状下的迹 17 / 5 / 2、逐行各自的 AM-GM 下界,以及「三行不满足同一固定乘积前提、不可直接横向比较」的说明)与对照表中「在框架下的形态」一列的归纳,均为本文自算/自归纳,已在正文标注,与官方数字分列。本文未做任何训练实验;所有性能表述均注明来源口径。