深度解读 📅 2026-11-18 ✍️ MagicNetWorld 编辑部

测试时算力到底买到了什么:把重复采样、验证器和更长的思维链放进同一条收益曲线

同一笔推理预算有三种花法,收益形状完全不同:重复采样的覆盖率按 1-(1-p)^N 上升(p 是单次整题正确率,p=0.05 时 8 次 0.337、64 次 0.962),但它只在「能把正确样本挑出来」时才变成准确率。在「固定类别强度、分数带独立同分布 Gumbel 噪声」这一类验证器模型下,准确率有硬上限,本文推出的闭式解是 pq/(pq+(1-p)(1-q))(q 是成对判准率):q=0.9、p=0.05 时上限 0.321,准确率从 64 份的 0.302 走到 1024 份的 0.320,只多 0.018。把预算压在更长的思维链上时,若 q=1、独立采样、链长收益按本文幂律衰减(指数 α),连续未触顶内部最优点满足 p(t)=1-e^{-α}(α=0.5 时 0.393、约 2.45 倍长度);只有连续内部驻点不依赖预算,整数解与边界解需另算;q<1 时,假设 q 不随链长变化,枚举整数 N、令 t=B/N 优化本文 Gumbel A(N)。q=0.9 的本组算例向长链偏移——本文算例里 B=32 的最优从 13 次采样、2.46 倍链变成 3 次采样、10.7 倍链。表中 1.000 是显示舍入,选优比较 log 失败概率;生成预算不含验证成本。长度混合或集成后的平均 q 不自动继承上限。文中数字来自本目录 exp-fix.py 的 JSON 与公开论文,没有真机实测。

测试时算力推理模型Best-of-N验证器思维链

先讲一个所有人都做过的场景。一道选择题你不会做,但你有三种花钱请外援的方式。

第一种:让同一个同学做八遍,最后交一份给你。第二种:让八个同学各做一遍,然后看谁的答案出现次数最多。第三种:只请一个同学,但给他两小时而不是十分钟,让他慢慢想。

三种方式的价钱可能差不多,结果却可能差很多。第一种和第二种其实都是「多试几次」,区别只在于有没有一份能判对错的答案;第三种是「让它多想」,只买一次的质量。而在这三种之外还有一只看不见的手:如果你手上有一份判卷答案,八份卷子里挑一份正确的概率,和八份卷子里有多少份是对的、以及你判卷准不准,是三件不同的事。

大模型推理里的「测试时算力」(test-time compute,下文简称 TTC,指模型权重不动、只在推理阶段多花算力的那部分)就是这三种花法。2023 年至 2025 年间,这个方向被反复宣称「能让小模型追上大模型」,也反复被泼冷水。真正缺的是一个统一的账本:同一笔预算,花在哪一格的边际收益有多大、什么时候该停手。

这篇文章想做的就是把这三条路径放进同一张收益曲线,并且给出两个可以被数字检验的结论:

第一,在「固定类别强度,候选按强度排序、每份候选的分数带独立同分布的 Gumbel 噪声(等价于按强度做一次轮盘赌)」这一类验证器模型下,准确率的硬上限不取决于你采样多少次,而取决于验证器的成对判准率(换一种打分模型,这个结论可能不成立;本文不对其它打分模型作同样保证)。本文推出的闭式解是 A∞=pqpq+(1−p)(1−q)A_\infty=\frac{pq}{pq+(1-p)(1-q)},其中 pp 是单次正确率、qq 是验证器在两份候选里判对哪份是真的成对准确率。代入 p=0.05p=0.05、q=0.9q=0.9,上限只有 0.321;把样本从 64 份加到 1024 份,准确率只从 0.302 走到 0.320。

第二,完美验证器下,连续内部驻点有一根与预算无关的停手线。仅在 q=1q=1、独立采样、本文指定幂律、连续未触顶内部解可行时,最优点满足 p(ts)=1−e−αp(t_s)=1-e^{-\alpha};α=0.5\alpha=0.5 时为 0.393,对应约 2.45 倍链长。整数配置与边界解必须另比,不能把这条线当成普适调度规则。q<1q<1 时,假设 q 不随链长变化,须枚举整数 NN、令 t=B/Nt=B/N 优化本文 Gumbel A(N;p(t),q)A(N;p(t),q)。在本文 p0=0.05p_0=0.05、B=32B=32 的算例里,配置从完美验证器的 13 次采样、2.46 倍链变成 q=0.9q=0.9 下的 3 次采样、10.7 倍链,下面的预算表给出对照。

这两条都不是论文结论的复述,是本文自己推的,并用自算脚本做了数值核对(脚本与种子在文末核验记录里)。本文没有跑任何真实模型,也没有真机实测;下文凡是给出具体数字的地方,都会说明它是「论文报告的数」还是「本文模型算出来的数」,两者分列,不要混读。

先给直觉:三条路径差在「怎么从 N 份候选里挑一个」

把一次推理想成抽奖:模型每次独立作答,答对的概率是 pp。多抽几次当然更容易抽到对的,但抽到之后还得选出来。

  • 如果有一个能判对错的验证器(答案可以跑单元测试、可以对数值、可以形式化证明),那就「取验证器打分最高的那份」。这条路的上限由验证器的准头决定。
  • 如果没有验证器,只能拿答案分布做信号。独立二分类、奇数票、严格多数下,正确率是否过半决定收敛方向;多答案 self-consistency 则要按各答案概率判断正确答案是否为唯一最高概率答案。
  • 如果既不加样本也不加验证器,只是让模型「多想一会儿」(更长的思维链、更多的中间步骤),那买的是单次质量。这条路的上限由「想更久这件事在这道题上到底有没有用」决定。

前两条先多采样,第三条先加长单链;共同点只是「花掉一笔 token」。关键差别在于信息从哪里来。图 1 把这三条路并排画出来,每一列的最后一行是这条路在本文模型下的结算结果。

三条测试时算力路径并排对比:验证器挑选、多数表决、加长思维链,每一列从花钱动作走到收益结算
图 1 同一笔预算的三条花法:前两条路径都先多采样,第三条先加长单链;差别只在「怎么从 N 个候选里挑一个」。图内「二分类:过半才收敛到正确」与「独立二分类、奇数票、严格多数下 p<0.5 票越多越差」只指同一投票假设;验证器路径按本文 Gumbel 模型成立(本文自绘)

这张图想说明的一件事是:多采样本身不产生准确率,只产生「候选池里有一份对的」这个事实;把它变成准确率需要第二次信息注入——要么来自验证器,要么来自答案分布的多数结构,要么来自更长的思考把单次质量本身抬上去。

符号与约定

后文所有推导共用这一套符号。约定:pp、qq、α\alpha 都是「整题」层面的量,不是单步或单 token 的量。

符号含义本文中的取值或假设
pp单次采样的整题正确率0.05(难题)/ 0.2(中等)/ 0.5(偏易)
NN采样次数(候选数)1 ~ 1024
qq验证器的成对判准率:给一份正确、一份错误,判对哪份对的概率0.5(等于瞎猜)~ 1.0(完美)
λ\lambda验证器模型里的强度比,λ=q/(1−q)\lambda=q/(1-q)q=0.9⇒λ=9q=0.9\Rightarrow\lambda=9
kk多数投票的票数(通常等于 NN)1 ~ 65
TT单条思维链的长度(token 数)以基准长度 T0T_0 为单位
BB生成预算(不含验证成本),以 T0T_0 为单位:B=N⋅T/T0B=N\cdot T/T_08 / 32 / 128
α\alpha链长收益的衰减指数0.5(默认),另给 0.3 / 0.7 做敏感性
ρ\rho样本正确指示变量的相关系数;不是答案重合率须以带真值的重复实验估计;本文不提供相关联合分布
NeffN_{\mathrm{eff}}均值方差意义的等效样本数,不是 best-of-N 成功率模型N/(1+(N−1)ρ)N/(1+(N-1)\rho)

这套符号里有两个容易被偷换的地方,先点明。第一,pp 是「整题正确」而不是「每一步都对」,所以它天然包含了一部分「过程对了但最后算错」的失败。第二,qq 是成对准确率,不是「给一份单独的打分准确率」——后者没有定义,因为打分不是分类。

路径一:覆盖率为什么必然陡峭、也必然饱和

先看最干净的一格:有完美验证器(q=1q=1),只要候选池里有一份对的就算成功。这叫覆盖率(coverage)。

NN 次独立采样全军覆没的概率是 (1−p)N(1-p)^N,所以

C(N)=1−(1−p)NC(N)=1-(1-p)^N

这个式子的形状是:开头很陡、尾巴极平。把本文模型计算的三组数字列出来(本目录脚本 exp-fix.py,仅用 Python 标准库,确定性求和,无随机抽样;JSON 键 coverage):

采样次数 Np=0.05p=0.2p=0.5
10.0500.2000.500
40.1850.5900.938
80.3370.8320.996
160.5600.9721.000
320.8060.9991.000
640.9621.0001.000
1280.9991.0001.000

表里最值得盯的是 0.05 这一列:从 1 次到 8 次,覆盖率涨了 6.7 倍(采样成本也涨到 8 倍);从 64 次到 128 次只从 0.962 涨到 0.999,成本翻倍而绝对收益只有 0.036。

要买到「漏掉概率小于 ε\varepsilon」,需要的样本数是

N≈ln⁡(1/ε)−ln⁡(1−p)N\approx\frac{\ln(1/\varepsilon)}{-\ln(1-p)}

代入本文算例:p=0.05p=0.05 时,把漏掉概率压到不高于 1% / 0.1% 的连续阈值约为 89.8 / 134.7,实际采样分别取 90 / 135 次;p=0.2p=0.2 时连续阈值约为 20.6 / 31.0,整数分别取 21 / 31 次。真正的采样数须向上取整,预算规模由 pp 的对数倒数决定。

问题在于真实样本可能不独立,同一提示词并不能单独证明相关。若正确指示变量具有相同的成对相关系数 ρ\rho,可用设计效应(design effect)描述样本均值的方差,折算成等效样本数:

Neff=N1+(N−1)ρN_{\mathrm{eff}}=\frac{N}{1+(N-1)\rho}

对正相关,NeffN_{\mathrm{eff}} 有上界 1/ρ1/\rho,但它只是均值方差的摘要。保留一个说明性代入:p=0.05p=0.05、N=16N=16、ρ=0.2\rho=0.2 时 Neff=4.00N_{\mathrm{eff}}=4.00;若再把它机械代入独立覆盖率式,得到 0.185(从 JSON 原始值直接舍入,不经四位数二次舍入)。0.185 不是由该相关系数确定的真实覆盖率;只有 pp 与 ρ\rho 不能识别至少一次成功的概率。

原稿曾把 Gaussian copula 的潜变量相关系数与正确指示相关系数直接对照,口径不合法,旧模拟数字不作为本次证据。应先把潜变量相关校准为相同的正确指示相关 ρ\rho,再指定联合分布比较。不能把未校准的差值归因于设计效应低估覆盖率;需要联合成功概率时,应在明确的联合采样模型下求和或模拟,而不是只把 NN 换成 NeffN_{\mathrm{eff}}。

那为什么论文里的测量曲线常被拟合成「指数化幂律」?相关采样是一个候选解释:可以在指定联合采样模型后拟合 C(N)=1−exp⁡(aNb)C(N)=1-\exp(aN^b),再比较不同相关结构的曲线;仅凭成对相关无法推出拟合参数。本次 JSON 没有重算该相关拟合,不沿用旧稿的精确参数。相关性可能让曲线变钝,但本文没有证明论文曲线的形状由它造成;这仍是待测机制。

平均值会骗人:pp 不是一个数

还有一层更常见的误用。pp 是逐题的:同一个模型在同一批题库上,可能一半题目单次正确率 0.01、另一半 0.5。「把平均 pp 代进覆盖率公式」看起来无害,其实会系统性高估。

原因是 C(p)=1−(1−p)NC(p)=1-(1-p)^N 对 pp 是凹的:

∂2C∂p2=−N(N−1)(1−p)N−2<0\frac{\partial^2 C}{\partial p^2}=-N(N-1)(1-p)^{N-2}<0

凹函数满足 E[C(p)]≤C(E[p])\mathbb{E}[C(p)]\le C(\mathbb{E}[p]),也就是「逐题算完再平均」不会超过「用平均 pp 算一次」。代入本文的算例:题库一半是 p=0.01p=0.01、一半是 p=0.5p=0.5,N=8N=8 时逐题平均覆盖率是 0.537,而用平均 p=0.255p=0.255 代进去得到 0.905——高估了 0.37。

这提示应先按题估收益,再考虑分桶调度。先把 NN 连续化,导数为 ∂C/∂N=−(1−p)Nln⁡(1−p)\partial C/\partial N=-(1-p)^N\ln(1-p);固定 NN 时,它在 p=1−e−1/Np=1-e^{-1/N} 处最大,N=8N=8 与 16 时约为 0.12 与 0.06。这是连续导数的峰值,不是离散多采一份的精确峰值,也不是完整调度最优解;真正分配还须结合整数预算、选择机制与完整成本。

路径二:没有验证器时,投票会把错误也放大

没有可判对错的信号时,最常用的替代是 self-consistency:采 kk 份,取出现次数最多的答案。下面的二项推导只讨论独立二分类、奇数票、严格多数,也可理解为所有错误答案合并成同一类。多答案任务不能把这个过半阈值直接搬过去:应按各答案概率判断正确答案是否为唯一最高概率答案;错误票分流时,即使正确答案未过半,众数仍可能收敛到正确答案。

设每份独立答对的概率是 pp,则多数正确的概率是

Pmaj(k)=∑i=⌊k/2⌋+1k(ki)pi(1−p)k−iP_{\mathrm{maj}}(k)=\sum_{i=\lfloor k/2\rfloor+1}^{k}\binom{k}{i}p^{i}(1-p)^{k-i}

本文算出的数字(行是 pp,列是票数 kk):

pk=1k=5k=9k=17k=33k=65
0.20.2000.0580.01960.00260.00005约 0
0.40.4000.3170.2670.1990.1210.051
0.50.5000.5000.5000.5000.5000.500
0.60.6000.6830.7330.8010.8790.949
0.80.8000.9420.9800.9970.99991.000

在这张独立二分类、奇数票、严格多数表里,p=0.5p=0.5 时正确率始终是 0.5;低于一半时票越多越差,p=0.4p=0.4 投 65 票只剩 0.051;高于一半时才向正确收敛。该判断不等于多答案众数选择的判据。

收敛速度由「过半的余量」的平方决定。用 Hoeffding 不等式给一个上界:

1−Pmaj(k)≤exp⁡ ⁣(−2k(p−12)2)1-P_{\mathrm{maj}}(k)\le\exp\!\left(-2k\left(p-\tfrac12\right)^2\right)

p=0.6p=0.6、k=33k=33 时投错概率上界为 0.517,正确率下界为 0.483(严格多数精确值 0.879,界很松)。这里仍限独立二分类、奇数票、严格多数:p>0.5p>0.5 时该式约束犯错概率;p<0.5p<0.5 时须把左侧换成多数判对概率。余量的平方控制界的收敛速度,不是准确率增量本身;不能把一个松界读成精确收益曲线。

Brown 等(2024-07)的实测正好落在这个形状上:他们把「重复采样」推到几百个样本,在可自动判分的领域(编码、形式证明)看到覆盖率随样本数在四个数量级上持续上升(如 SWE-bench Lite 从单样本 15.9% 升到 250 样本的 56%),但在没有自动验证器的领域,多数投票与奖励模型在几百个样本之后就开始平台化、不再随预算增长。

工程上先明确投票任务:独立二分类、奇数票、严格多数时,先估 pp 是否过半;多答案 self-consistency 要按各答案概率判断正确答案是否为唯一最高概率答案,不能只看是否过半。用目标分布上可判分的题估这些概率,并把估计不确定性带进决策。

路径三:验证器不完美时,准确率的硬上限(本文推导)

这一节是全文的技术核心。假设有验证器但不完美,它把候选按分数排序,我们取第一名。

先给模型。设候选相互独立,每个类别有固定「强度」:正确的候选强度为 λ\lambda,错误的候选强度为 1。验证器打出的分数是「强度的对数 + 独立同分布的 Gumbel 噪声」:

si=ln⁡wi+gi,gi∼Gumbel(0,1)s_i=\ln w_i+g_i,\qquad g_i\sim\mathrm{Gumbel}(0,1)

这个设定等价于 Plackett–Luce 排序模型,也等价于 Bradley–Terry 的两两比较模型:一份正确、一份错误两两相比,正确的那份赢的概率恰好是

q=Pr⁡(正确胜出)=λλ+1⟹λ=q1−qq=\Pr(\text{正确胜出})=\frac{\lambda}{\lambda+1}\quad\Longrightarrow\quad\lambda=\frac{q}{1-q}

于是 qq 就是本文约定的成对判准率。q=0.9q=0.9 时 λ=9\lambda=9,q=1q=1 对应 λ→∞\lambda\to\infty。

在 Gumbel 噪声下,某个候选排第一的概率正比于它的强度——这就是分类抽样里的 Gumbel-Max 技巧:给对数强度加独立 Gumbel 噪声再取最大值,等价于按强度权重做一次轮盘赌:

Pr⁡(i 排第一)=wi∑jwj\Pr(i\text{ 排第一})=\frac{w_i}{\sum_j w_j}

设 NN 份候选里恰好有 mm 份正确,那么「第一名是正确的」这个事件等价于「第一名属于那 mm 份之一」,于是

Pr⁡(首选正确∣m)=mλmλ+(N−m)\Pr(\text{首选正确}\mid m)=\frac{m\lambda}{m\lambda+(N-m)}

再对 mm 服从二项分布求期望,得到整题准确率:

A(N)=∑m=1N(Nm)pm(1−p)N−m⋅mλmλ+(N−m)A(N)=\sum_{m=1}^{N}\binom{N}{m}p^{m}(1-p)^{N-m}\cdot\frac{m\lambda}{m\lambda+(N-m)}

把 N→∞N\to\infty 时的行为取出来。此时 m≈Npm\approx Np,代进去:

A∞=pλpλ+(1−p)=pqpq+(1−p)(1−q)A_\infty=\frac{p\lambda}{p\lambda+(1-p)}=\frac{pq}{pq+(1-p)(1-q)}

这就是本文开头那个上限公式。 这里有一处反直觉的地方值得点破:为什么采样无穷多次也不会到 1?因为正确候选的个数约 NpNp 在涨,错误候选的个数约 N(1−p)N(1-p) 也在同比例涨,数量更大的错误池更容易凭极端噪声刷出最高分——两边的增长恰好抵消,剩下的就是那个与 NN 无关的常数。 它的读法非常干净:分子是「正确的候选被验证器挑中」的相对权重 pqpq,分母再加「错误的候选被判对」的相对权重 (1−p)(1−q)(1-p)(1-q)——也就是说,无限采样下的 best-of-N 准确率,收敛到「验证器选了第一名,这份真的正确」的后验概率。多采样只是让你有更多机会进入这个后验,改不了后验本身。

本文把 A(N)A(N) 逐点算出来了(闭式求和,无抽样):

qpN=1N=8N=64N=1024上限 A∞A_\infty
1.000.050.0500.3370.9621.0001.000
1.000.200.2000.8321.0001.0001.000
0.990.050.0500.3170.7800.8370.839
0.990.200.2000.7980.9580.9610.961
0.900.050.0500.2010.3020.3200.321
0.900.200.2000.5840.6820.6920.692
0.700.050.0500.0960.1070.1090.109
0.600.200.2000.2620.2710.2730.273
0.500.050.0500.0500.0500.0500.050

这张表信息量很大,值得逐行读。

第一,q=0.5q=0.5 那一行是根本不动的:验证器等于抛硬币时,采 1024 次的准确率和采 1 次一模一样。这不是巧合,是上面的公式给的结果——λ=1\lambda=1 时 Pr⁡(首选正确∣m)=m/N\Pr(\text{首选正确}\mid m)=m/N,期望就是 pp。

第二,本算例中,从 q=0.9q=0.9 到 0.99 的上限增量,大于从 64 次采样到 1024 次的有限准确率增量。在同一固定类别强度、独立同分布 Gumbel 噪声模型下,p=0.05p=0.05 时两个上限为 0.321 与 0.839,增量约 0.518;保持 q=0.9q=0.9 把样本从 64 加到 1024,只增约 0.018。这只是不同设定的准确率增量,不是成本归一化收益。

第三,同一 Gumbel 模型下,固定 qq 时,较低 pp 给出较低上限。正确候选稀少时,排序信号更难把它们从错误池里挑出来;这是本文模型中的条件机制,不是对真实难题瓶颈的普遍归因。应分别测量生成覆盖率与验证选择准确率,再判断该先改哪一环。

本次改用确定性数值链核对闭式解:本目录 exp-fix.py 输出 exp-fix-out.json,在 p=0.05p=0.05、q=0.9q=0.9、N=64N=64 时有限求和得到 0.3022。该值来自 JSON 的 A_p005_q09_N64,不是随机模拟;本次不沿用旧稿的 Gumbel argmax 抽样结果,也不声称本脚本做过那次交叉核对。

还有一个工程上必须承认的边界:qq 不是常数。验证器一旦进入训练回路(用奖励模型做搜索、再把搜索结果拿去微调),模型会学会「让验证器打高分」而不是「答对」——Weng 在 2025 年 5 月的技术博客长文《Why We Think》里把这条列为把过程模型用于搜索时的主要风险之一,Lightman 等(2023-05)的过程监督工作也正是为了把信号下沉到步骤级、减少只奖励终局的投机空间。本文的 qq 是「当前这个验证器在你这个分布上的成对准确率」,它会在优化压力下漂移。

验证器的长度偏差:q 会在部署分布上掉下去

上面的表把 qq 当成一个常数。真实验证器几乎都不满足这一点,最常见的一种偏移是长度偏差:奖励模型倾向给更长、更有条理的答案更高分。下面的算例是本文设定的情景(长度偏差的普遍程度依验证器而定,本文没有实测);它的近亲——「优化压力下模型学会讨好验证器」——是 Weng 在 2025 年 5 月的技术博客长文《Why We Think》里明确列出的风险。

把这件事翻译成本文的语言:若验证器在「长度相当」的候选对上成对准确率是 0.9,而在一份更长但错误的候选对里只有 0.5(差不多等于被长度唬住),且这类对占 30%,那么部署分布上的有效成对准确率是

qeff=0.7×0.9+0.3×0.5=0.78q_{\mathrm{eff}}=0.7\times0.9+0.3\times0.5=0.78

若另假设部署验证器仍可用同一固定强度 Gumbel 模型表示,把混合后的成对准确率 0.78 代入,p=0.05p=0.05 时得到条件算例上限 0.157,而原 q=0.9q=0.9 的条件上限为 0.321。长度分桶混合出的平均 qq 不能自动继承该上限;没有额外排序假设,就不能把这段算术写成部署准确率预测。

这条对工程的含义很具体:验证器必须在部署分布上量 qq,而不是在实验室的「长度匹配」子集上量。量法:把候选按长度分桶,逐桶算成对准确率;桶间的差异就是长度偏差的代价。

想提高 qq,最直接的办法是集成验证器

本文算例里,提高 qq 带来的准确率增量大于继续加样本,但是否更划算还须比较改进验证器的成本。除了提高单个验证器的准头,还有一条需要额外评分计算与实现成本的路径:集成。本文的生成预算 N⋅tN\cdot t 不含验证成本,不能据此给完整方案下性价比定论。

假设有三个相互独立的验证器,各自成对准确率都是 0.9,按多数投票合并(三取二),合并后的成对准确率是

q3=q3+3q2(1−q)q_3=q^3+3q^2(1-q)

代入 q=0.9q=0.9 得 q3=0.972q_3=0.972。仅当成对判决错误相互独立,且另假设集成后的多候选排序仍满足固定类别强度、独立同分布 Gumbel 噪声模型,p=0.05p=0.05 时才可得到上限从 0.321 到 0.646、64 份候选的准确率从 0.302 到 0.593。三取二只定义成对判决,标量 q3q_3 不自动决定多候选排序;这些是条件算例,不是集成的必然结果。

独立成对错误是难点,不能把「不相关」当成独立。共享基座和训练数据可能造成错误相关;不同信号源(奖励模型、单测、类型检查、符号验证器)可作为待测组合,但信号源不同也不保证独立。本文公式只给出假设成立时的收益形状,能否兑现须测联合错误结构,与样本侧只知道 ρ\rho 仍不足以确定联合成功概率的问题类似。

顺带一个待测方向:如果多个信号源不会同时被同一表面特征误导,集成可能减轻长度偏差;若共享同类偏差则未必有效。「奖励模型 + 规则 + 执行」可以作为候选方案,但收益与成本都须在部署分布比较,本文不将它写成普遍经验。

第三条花法:预算在「加长链」与「加样本」之间怎么切

把第三条路也写成公式。设不加长时单条链长是 T0T_0、单次正确率是 p0p_0;把链长拉到 TT(以 T0T_0 为单位,记 t=T/T0t=T/T_0)后单次正确率按幂律收敛到一个上限:

p(t)=min⁡(pmax⁡,  1−(1−p0)t−α)p(t)=\min\left(p_{\max},\;1-(1-p_0)t^{-\alpha}\right)

α>0\alpha>0 是衰减指数,它与「一开始有多猛」的关系可以直接看出来:p′(1)=α(1−p0)p'(1)=\alpha(1-p_0),α\alpha 越大,链刚加长时涨得越快;反过来,相同 p0p_0 下较小 α\alpha 的初始斜率更小。

总生成预算为 BB 个 T0T_0 单位,可行配置满足 N⋅t≤BN\cdot t\le B,实际 NN 为整数。先做连续松弛:令 N=B/tN=B/t 为实数,在 q=1q=1、独立采样时最大化覆盖率,再回到整数配置比较;这一步暂不计候选验证成本。

max⁡1≤t≤B  1−(1−p(t))B/t\max_{1\le t\le B}\;1-\left(1-p(t)\right)^{B/t}

连续松弛中,成功率最大等价于失败概率最小,也等价于最小化其对数 Btln⁡(1−p(t))\frac{B}{t}\ln(1-p(t))。仅对可行、未触顶且内部可微的最优点,导数为零是必要条件,不是全局最优的充要条件:

min⁡t  Btln⁡(1−p(t))⇒内部可微最优点的必要条件ddt[Btln⁡(1−p(t))]=0\min_{t}\;\frac{B}{t}\ln\left(1-p(t)\right)\quad\xRightarrow{\text{内部可微最优点的必要条件}}\quad \frac{d}{dt}\left[\frac{B}{t}\ln\left(1-p(t)\right)\right]=0

⟹t⋅p′(t)=(1−p(t))ln⁡11−p(t)\Longrightarrow\quad t\cdot p'(t)=\left(1-p(t)\right)\ln\frac{1}{1-p(t)}

在未触顶的区间里 1−p(t)=(1−p0)t−α1-p(t)=(1-p_0)t^{-\alpha},所以 t p′(t)=α(1−p(t))t\,p'(t)=\alpha\left(1-p(t)\right),两边约掉 1−p(t)1-p(t):

α=ln⁡11−p(ts)⟹p(ts)=1−e−α\alpha=\ln\frac{1}{1-p(t_s)}\quad\Longrightarrow\quad p(t_s)=1-e^{-\alpha}

代回去解出内部驻点的位置:

ts=e (1−p0)1/αt_s=e\,(1-p_0)^{1/\alpha}

在 q=1q=1、独立采样、本文幂律且连续未触顶内部解可行的条件下,α=0.5\alpha=0.5、p0=0.05p_0=0.05 时 ts=2.453t_s=2.453、p(ts)=0.393p(t_s)=0.393;α=0.3\alpha=0.3 与 0.7 时,tst_s 分别为 2.291 与 2.526。相同 p0p_0 下,较小 α\alpha 的初始斜率更小,连续内部驻点也更早出现;整数配置仍须另算。

这里有一个必须补上的限定,否则会把驻点当最优:驻点只是「内部解」,真正的最优还要和可行域边界比较——

topt,cont=min⁡(B,  tcap,  max⁡(1, ts)),tcap=(1−p01−pmax⁡)1/αt_{\mathrm{opt,cont}}=\min\left(B,\;t_{\mathrm{cap}},\;\max\left(1,\,t_s\right)\right),\qquad t_{\mathrm{cap}}=\left(\frac{1-p_0}{1-p_{\max}}\right)^{1/\alpha}

其中 tcapt_{\mathrm{cap}} 是达到 pmax⁡p_{\max} 所需长度;该式仍只描述 q=1q=1、独立采样、本文幂律下的连续松弛。只有未触顶连续内部解那一支与预算 BB 无关;边界分支要按预算重算,实际整数 NN 还须另行比较。

整数预算表来自本目录的新脚本 exp-fix.py,不是原稿的链长网格脚本。它枚举 N=1,…,BN=1,\ldots,B,令 t=B/Nt=B/N 严格用满生成预算;完美验证器以 Nlog⁡(1−p(t))N\log(1-p(t)) 的最小值选优(实现用 log1p),不以成功率显示成 1.000 认定最优。所有小数只在展示时从 JSON 原始值一次舍入;原脚本与原输出保持只读。

p0预算 B最优 N最优 t完美验证器准确率只采样(t=1)只加长(N=1)
0.05832.670.8030.3370.664
0.0532132.460.9990.8060.832
0.05128522.461.0000.9990.916
0.20851.600.8990.8320.717
0.2032181.781.0000.9990.859
0.20128741.731.0001.0000.929
0.50881.000.9960.9960.823
0.5032321.001.0001.0000.912
0.501281281.001.0001.0000.950

读法:本表 p0=0.05p_0=0.05 时最优链长约 2.46~2.67 倍;只有连续内部驻点不依赖预算,整数解和边界解需另算。停手线限 q=1q=1、独立采样、本文指定幂律、连续未触顶内部解。表中 1.000 是显示舍入,不是满分或上限;选优比较 log 失败概率并保留非零失败概率,例如 p0=0.20,B=128,N=74p_0=0.20,B=128,N=74 的失败概率约为 1.0555e-16。

验证器不完美时,目标换成有限 NN 的 A(N;p(t),q)A(N;p(t),q)。仍假设独立采样、固定类别强度、独立同分布 Gumbel 噪声,并显式假设 q 不随链长变化;整数 NN 配 t=B/Nt=B/N,比较 log1p(-A),不能沿用完美验证器的目标。以下 q=0.9q=0.9 表完整列出同组预算,准确率保留四位以避免半值附近的舍入歧义。这里只说给定模型与生成预算下的最优,不含验证、改进或集成成本:

p0预算 Bq=0.9 时的最优 N最优 t准确率只采样(t=1)只加长(N=1)
0.05824.000.72450.20060.6641
0.0532310.670.91960.28380.8321
0.05128342.670.97030.31170.9160
0.20832.670.79550.58390.7172
0.2032310.670.93850.67000.8586
0.20128342.670.97610.68710.9293
0.50832.670.91250.87550.8232
0.5032310.670.96820.89520.9116
0.50128342.670.98630.89890.9500

在本文 p0=0.05p_0=0.05、B=32B=32 的假设格子里,完美验证器用「13 次采样 × 2.46 倍链」,q=0.9q=0.9 时则用「3 次采样 × 10.7 倍链」;预算到 128 后,该组整数最优仍采样 3 次、链长约 42.7 倍。这是这组幂律与固定 qq 的结果,不是任意验证器下预算越大都应只加长的定理;换参数、让 qq 随链长变化或计入验证成本,都要重新优化。

四个格子对比两种验证器质量下的最优切法:完美验证器下链长稳定在二点五倍左右、预算越大越加样本;验证器成对准确率零点九时链长随预算从四倍涨到四十二点七倍、采样只有两三次
图 2 本文参数下的最优预算切法;验证器按本文 Gumbel 模型排序,并假设 q 不随链长变化,样本独立、采用本文幂律,仅计生成预算(本文自绘)

这张图说明:「该加长还是该加样本」要随目标和假设重算。在本文参数与固定 qq 的 Gumbel 模型里,改变验证器质量会改变最优切法;这不是所有部署都会翻转的定理,也不能单凭本图解释团队之间的效果差异。

两条提醒。第一,两表是模型算例:独立样本、本文幂律、固定类别强度与独立同分布 Gumbel 噪声,且假设 q 不随链长变化,不是真实模型测量。第二,在 p0=0.05p_0=0.05、α=0.5\alpha=0.5、pmax⁡=0.95p_{\max}=0.95 这一组里,B=128B=128 的只加长正确率约 0.916,尚未触顶,触顶长度约 361 倍;不能把这个具体数值套到其它 p0p_0 行。

和「换更大的模型」比:等成本线画在哪里

「小模型多想一会儿能追上大模型」只有在成本口径明确时才有意义。先做一个仅生成成本的粗模型:成本近似参数量乘 token 数,于是 kk 倍模型单次调用与 kk 次小模型基准采样生成量相当。这里暂不含验证器评分、改进与集成成本,也不等同于墙钟等成本。

于是,若小模型有完美验证器且独立采样,大模型在这条生成成本线上至少打平的阈值为(等号是打平,严格大于才是超过):

pbig  ≥  1−(1−psmall)kp_{\mathrm{big}}\;\ge\;1-(1-p_{\mathrm{small}})^{k}

代入本文的算例:

小模型 pk=4(4 倍大)k=8k=14
0.050.1850.3370.512
0.200.5900.8320.956
0.500.9380.9960.9999

读法:psmall=0.05p_{\mathrm{small}}=0.05 时,14 倍模型须单次达到约 0.512 才打平;psmall=0.5p_{\mathrm{small}}=0.5 时阈值约为 0.9999。表格只给阈值,是否能替代必须另比目标分布上的 pbigp_{\mathrm{big}},不能从 psmallp_{\mathrm{small}} 直接断言谁赢。生成成本线随难度变化,不支持「TTC 普遍替代规模」或「大模型实际上赢不了」的定论。

这条算术与 Snell 等(2024-08)的实测方向一致:他们在 FLOPs 匹配的评估下报告,在小模型已经能取得「非平凡成功率」的题目上,测试时算力可以超过一个 14 倍大的模型;同时他们指出,把算力按题目难度自适应分配(compute-optimal)比朴素 best-of-N 效率高 4 倍以上。注意这两个数不是同一件事:前者是「能不能追上」,后者是「同样效果能省多少」。本文的等成本表只支持前一半的算术形状,不支持把 14 这个倍数当成普适常数。

一个完整算例:p=0.05、q=0.9、B=32 该配多少样本

把前面串成一次假想调度:假设目标分布单次正确率为 0.05,成对判准率为 0.9,生成预算 B=32B=32。仅在独立候选、本文幂律、固定类别强度与独立同分布 Gumbel 噪声下,并假设 q 不随链长变化,按下面顺序算;不声称这是真实系统测量:

  1. 先看理想连续解:仅在 q=1q=1、独立采样、本文幂律、连续未触顶内部解可行时,p(ts)=1−e−0.5≈0.393p(t_s)=1-e^{-0.5}\approx0.393,ts≈2.45t_s\approx2.45;它不是整数预算配置本身。
  2. 换成本文真正的目标:验证器只有 0.9,目标不是覆盖率而是 A(N;p(t),0.9)A(N;p(t),0.9)。枚举整数 NN(t=32/Nt=32/N)后,最优解是 N=3N=3、t=10.67t=10.67、p(t)=0.709p(t)=0.709、准确率 0.920。
  3. 对照:照理想解切:若按第 1 步的配置(N=13N=13、t=2.46t=2.46)执行,同一笔预算只能到 0.832。
  4. 对照:完全不加长:t=1t=1、把 32 次采样做完,准确率只有 0.284。
  5. 再多一层现实:若候选不独立,NeffN_{\mathrm{eff}} 只描述均值方差,不能据此确定相关候选的 best-of-N 准确率。须用带真值的重复实验估计正确指示相关,并给出联合采样模型后另算;不能据此说少采样配置的准确率不变。

把这五步读一遍:同一笔预算,按理想规则切 0.832,按验证器质量重新切 0.920,完全不加长 0.284。 差额不是哪一步算错了——第 3 步的配置在完美验证器下确实是最优(0.999),错的只是「把完美验证器的规则照搬到 0.9 的验证器上」这个动作。

这个算例说明:规则要跟着目标与假设走。停手线仅属 q=1q=1、独立采样、本文幂律、连续未触顶内部解;q<1q<1 时须在假设 q 不随链长变化的条件下枚举整数 NN,以 t=B/Nt=B/N 优化 Gumbel A(N)A(N)。本文这组 B=128B=128 得到 3 次采样、约 42.7 倍链,不把该方向外推为普遍定律。

搜索不是采样:四种机制的对照

本文的 A(N)A(N) 只适用于「独立采样 + 终局验证器」这一种形态。下表同时列出自洽投票、树搜索、加长链等其它机制,它们的成本结构与上限判据都不一样,混在一起谈「TTC 有没有用」是这类讨论最常见的错误。

机制需要什么信号成本怎么长上限由谁决定典型失效
独立采样 + 验证器终局可判(单测、数值、形式证明)生成 N×TN\times T,另加验证成本仅固定类别强度 + iid Gumbel 模型下为 pqpq+(1−p)(1−q)\frac{pq}{pq+(1-p)(1-q)};混合或集成标量 qq 不自动继承验证器被刷分、qq 漂移
自洽投票答案分布本身N×TN\times T,另计聚合成本独立二分类、奇数票、严格多数下看 pp 是否过半;多答案看正确答案是否为唯一最高概率答案仅上述二分类条件下 p<0.5p<0.5 会随增票趋向错误
树搜索(beam / MCTS + 步骤模型)步骤级可判每步 × 宽度 × 深度,共享前缀步骤级 qq 与搜索宽度步骤分错则整棵树偏掉
加长链(含预算强制)不需要外部信号生成随 TT 增长该题的 α\alpha 与 pmax⁡p_{\max};停手线仅限完美验证器等条件将特例停手线误当普适阈值、长度外推失效

树搜索不能直接套本文公式:本文 A(N)A(N) 要求独立候选、固定类别强度与 iid Gumbel 终局排序;树搜索共享前缀并在中间介入,名义宽度不能自动视作独立候选数。它依赖步骤级信号,错误可能沿分支传播。若可靠的局部检查能够及早剪除错误路径,且共享计算节省超过额外检查成本,树搜索可能比整题重采更省;实际收益与相关结构仍须另测,本文不提供定量保证。

把 p 拆开:思路错与执行错是两种失败

本文一直把 pp 当成一个黑箱数字。拆开一层会有额外收获:一次作答失败可以分成两类——思路就错了(选了错误的解法路线),或者思路对但执行错了(算错、抄错、格式错)。用一个极简乘法模型表示:

p=pidea⋅pexecp=p_{\mathrm{idea}}\cdot p_{\mathrm{exec}}

其中 pideap_{\mathrm{idea}} 是「想到正确路线」的概率,pexecp_{\mathrm{exec}} 是「路线正确时把每一步执行对」的概率。举例:pidea=0.4p_{\mathrm{idea}}=0.4、pexec=0.125p_{\mathrm{exec}}=0.125 时 p=0.05p=0.05,正好是本文一直用的难题设定。

这个拆分解释了为什么「步骤级验证」与「终局验证」的效果差那么多:终局验证器只能看见最后答案,它对「执行错」和「思路错」一视同仁;步骤级验证器(PRM)能在步骤层面打分,从而更早区分「路线对但执行错」的候选。要注意口径:Lightman 等(2023-05)做的是「固定生成器 + 奖励模型做 best-of-N 选择」的实验(他们为此标注了 80 万条步骤级标签),不是在线纠错,也不是用步骤分训练生成器;本文把「步骤级信号相当于抬高有效 pp」当成一个额外假设,不归作那篇论文的结论。

只有额外假设执行错误可被识别且可纠正,步骤级信号才可能把有效正确率从 pideapexecp_{\mathrm{idea}}p_{\mathrm{exec}} 抬向 pideap_{\mathrm{idea}}。沿用这个情景,若执行错误被完美识别并纠正,有效 pp 可从 0.05 到 0.4,为八倍。数值上它超过 α=0.5\alpha=0.5 时连续停手点的 0.393,但停手线还要求 q=1q=1、独立采样、指定幂律与连续未触顶内部解,纠错后的分布未必满足。它提示「执行错占比较大时,纠错可能更有价值」这一待测机制,不是 PRM 论文对在线纠错或过程监督普遍收益的证明。

反过来,如果失败主要来自思路错(pideap_{\mathrm{idea}} 很低、pexecp_{\mathrm{exec}} 接近 1),验证器能起的作用就很小:绝大多数候选都在错路线上,它只能挑一份「看起来最像对」的。这里说的是收益小,不是绝对为零——只要 pidea>0p_{\mathrm{idea}}>0,采样仍然能把「至少出现一次正确路线」的概率抬上去。此时更该做的是提高 pideap_{\mathrm{idea}}:换模型、给更强的提示、加检索。

怎么在现场估 α\alpha、qq 和 pp

估 α\alpha(链长收益的衰减指数)。 幂律在双对数坐标下是直线:

ln⁡(1−p(t))=ln⁡(1−p0)−αln⁡t\ln\left(1-p(t)\right)=\ln(1-p_0)-\alpha\ln t

所以最省事的做法是取两个点:把链长从基准拉到两倍,量单次正确率从 p0p_0 变到 p1p_1,则

α=log⁡21−p01−p1\alpha=\log_2\frac{1-p_0}{1-p_1}

本文情景中,p0=0.05p_0=0.05,两倍长度后 p1=0.20p_1=0.20,得 α≈0.248\alpha\approx0.248。用原始估计值而非舍入值继续计算,连续停手点正确率约为 0.220。相同 p0p_0 下,这个较小 α\alpha 对应更小的初始斜率,连续内部驻点也更早出现;不是「一开始涨得猛」。这仍仅适用于 q=1q=1、独立采样、指定幂律、连续未触顶内部解;测量时可用多个未触顶长度点拟合并报告不确定性,两点法对单点噪声敏感。

估 qq(成对判准率)。 从有真值的题目构造 KK 对候选,每对含一份正确、一份错误,让验证器选择,统计命中比例。样本量应由目标精度、置信水平及分层方式确定,并报告不确定性,而不是给一个通用的候选对数量。候选必须来自自己的目标分布;生成器、错误类型或长度结构不同,量出的 qq 未必可迁移。即使测准成对 qq,仍须核查本文所需的排序模型。

估 pp。 在同一批可判分题目上做单次采样,数命中率。注意必须是目标分布上的题,训练分布或「网上找的题」会给出过于乐观的 pp,而 pp 在覆盖率公式里是指数位置的参数,误差会被放大。

五种常见误读

  1. 「采样 N 次能到 1−(1−p)N1-(1-p)^N」——这只在有完美验证器时才是准确率;没有验证器时它是覆盖率,是「池子里有一份对的」的概率,不是你能交出去的结果。
  2. 「验证器 90% 很准」——在 p=0.05p=0.05、64 个候选的设定下,成对 0.9 只值 0.30 的整题准确率(这个数字来自本文的 Gumbel 排序模型;换一种打分模型会变)。qq 与最终准确率之间隔着一个后验。
  3. 「投票总能改善」——独立二分类、奇数票、严格多数下才用过半判据;p=0.4p=0.4 投 65 票降到 0.051。多答案 self-consistency 应按各答案概率判断正确答案是否为唯一最高概率答案。
  4. 「越长越好」——停手线 1−e−α1-e^{-\alpha} 仅限 q=1q=1、独立采样、本文幂律、连续未触顶内部解;整数解与边界解另比。q<1q<1 时,假设 q 不随链长变化,枚举整数 NN、令 t=B/Nt=B/N 优化本文 Gumbel A(N)A(N),不能照搬停手线,也不表示加长链的单次正确率在此已饱和。
  5. 「TTC 能替代更大模型」——仅生成成本打平阈值依难度而变:小模型 p=0.05p=0.05、规模比 14 时阈值为 0.512;小模型 p=0.5p=0.5 时约 0.9999。是否打平还须比较 pbigp_{\mathrm{big}} 并计入完整成本,不能只由阈值断言可替代。

为什么「想更久」一定有饱和点

上面的模型里有两个独立参数,容易被合成一个:α\alpha 说「多想一点有多快见效」,pmax⁡p_{\max} 说「最多能到哪」。前者可以现场量,后者只能靠方法本身的机制去解释。

机制有两层。第一层是训练分布:模型在预训练与后训练里见过的推理长度是有限的,长度外推到远超训练范围时,多出来的部分往往不是更深的推理,而是重复、回退、自我怀疑这类低信息量的token。s1(Muennighoff 等,2025-01)的做法是把这种外推变成可控的——用「预算强制」在模型想结束时强行续上等待词、或在超出预算时强行截断,等于把链长当成一个可以显式设定的旋钮;他们报告把长度继续拉长能把 AIME24 从 50% 提到 57%,这是一个真实的、但有限的收益。

第二层是验证本身:链条越长,中间任何一步出错都会污染后续。设单步错误率 η\eta,并假设各步错误近似独立,则整条链全对的概率按 (1−η)L(1-\eta)^{L} 衰减——这只是数量级直觉,不是精确模型(错误会累积,自我纠错也会发生)。它与「更长的链有机会纠正早期错误」方向相反;要判断最优长度,必须对整个目标函数求导(成功率是收益与生存概率的乘积),而不是简单取两条曲线的交点。

这个视角解释了本文表里的收益递减:在 p0=0.05p_0=0.05 的只加长配置里,BB 从 32 到 128 时正确率从 0.832 升到 0.916,增量递减但尚未触顶。此处尚未触及 pmax⁡=0.95p_{\max}=0.95,差距来自幂律收敛项,不能归因于已经撞到硬上限。

温度与多样性:多采不等于独立采

工程上还有一个会改变候选分布的旋钮:采样温度。调高温度可能改变单次正确率 pp、正确指示相关 ρ\rho 与答案类别集中度,但三者方向都须测量,不能预设。覆盖率对独立单次正确率单调增;设计效应对正相关会降低 NeffN_{\mathrm{eff}},但这不是联合覆盖率对 ρ\rho 单调的证明。

因此「调高温度多采几次」可看成改变 pp 与整个联合采样结构的候选策略,而不是免费的多样性。若 pp 降低、但联合失败事件也显著减少,总体覆盖率可能上升;也可能反向。旧稿只把设计效应代入独立式得到的温度交换数字不作为本次证据。本次未给出联合模型,不能据此量化某个相关性降幅值多少钱;应在目标分布上直接比较联合成功率与完整成本,结果待测。

反过来,若只调温度却使正确率下降而未改善联合失败结构,方案可能更差;这同样是待测假设。答案重合率衡量类别集中度和去重成本,不能估计正确指示变量的相关系数 ρ\rho;后者需要有真值的重复实验估计联合正确率,并控制题目难度异质性。相关情形下须先指定联合模型再计算覆盖率,不能只按 NeffN_{\mathrm{eff}} 代入。

这套模型能给出哪些可检验的预测

一个模型的价值不在于自洽,而在于它能被证伪。把上面所有推导拧成五条可观测的预测,每条都写清「若观察到反面,说明模型哪一块错了」:

  1. 固定 q=0.9q=0.9、p=0.05p=0.05 与本文固定类别强度、iid Gumbel 噪声模型,把样本从 64 加到 1024,准确率只增约 0.018。容差须来自测量与参数估计不确定性。若偏差明显,候选分布、qq 漂移、非 Gumbel 排序或采样非独立都可能是解释,不能只由偏差认定某一种原因。
  2. 在 p=0.05p=0.05、N=64N=64 及同一 Gumbel 排序模型下,qq 从 0.9 到 0.99,准确率由 0.302 升至 0.780。0.780 与 R1 JSON 的 0.7799399590979159 直接三位舍入一致。若同条件下偏离超出不确定性,应检查成对准确率摘要、排序结构与样本独立性,而不是把该增幅推广到任意 NN。
  3. 在独立二分类、奇数票、严格多数下,p<0.5p<0.5 时增票趋向错误(p=0.4p=0.4 投 65 票为 0.051)。多答案应按各答案概率判断正确答案是否为唯一最高概率答案。若观测不符,应检查任务分类、样本独立性、判决规则与估计误差;不能只由曲线变平判定样本相关。
  4. 若未触顶段服从本文幂律,等倍加长带来的正确率增量随基准长度递减。可用较短长度点估 α\alpha、预测保留长度点;容差应由测量与参数估计的不确定性设定。超出容差说明当前幂律拟合或测量假设不适用,不能只据一次偏差认定函数族错误;停手线仍只限完美验证器等指定条件。
  5. 等成本对照应按 pp 分层;是否翻转还取决于各层大模型的测量正确率。本文仅生成成本表里,psmall=0.05p_{\mathrm{small}}=0.05、规模比 14 的打平阈值为 0.512;不是「一定能替代」的预测。比较时还须把验证成本与 FLOPs / 墙钟口径对齐。

把这套数学落到调度器上:一份决策清单

把上面所有推导压成可执行顺序,给写调度策略的人用:

  1. 先测 pp:在目标分布的可判分题目上做单次采样,得到命中率;不要用训练分布或「网上找的题」。
  2. 再测 qq:从带真值的目标分布构造一真一假的候选对,统计选择正确的比例,覆盖实际长度与错误类型,并报告置信区间;样本量按目标精度和置信水平设定,不用通用的「几百对」替代精度分析。
  3. 若 q=0.6q=0.6、p=0.2p=0.2,本文 Gumbel 模型下 1024 次采样准确率约 0.273。这提示先比较「提高验证器质量」与「增加采样」的准确率及完整成本;不是给所有 q≤0.6q\le0.6 场景下禁采样的普适阈值。
  4. 若没有验证器:独立二分类、奇数票、严格多数时先估 pp 是否过半;多答案众数选择应按各答案概率判断正确答案是否为唯一最高概率答案,不能只看过半。估计不足时先补目标分布证据,不预设加长链必然更好。
  5. 仅在 q=1q=1、独立采样、本文指定幂律、连续未触顶内部解可行时,按 p(ts)=1−e−αp(t_s)=1-e^{-\alpha} 得到连续停手线(α=0.5\alpha=0.5 时约 0.393),再比整数配置与边界。q<1q<1 时,假设 q 不随链长变化,枚举整数 NN、令 t=B/Nt=B/N 优化本文 Gumbel A(N)A(N),不能把 q≥0.9q\ge0.9 当作使用完美停手线的许可。
  6. 按 pp 分桶,使用各桶的 p(t)p(t)、验证器排序结构与完整成本重新优化。本文参数给出难题偏长链的算例,但不能把「难题长链、易题多样本」写成不依赖参数的固定策略。
  7. 上线前用带真值的重复实验估计正确指示相关 ρ\rho,控制题目难度异质性;答案重合率只用于类别集中度与去重成本。NeffN_{\mathrm{eff}} 只作均值方差摘要,相关 best-of-N 准确率还须给定联合模型后另算。
  8. 先声明生成、候选评分、验证器改进与集成的完整成本,区分 FLOPs、显存、吞吐、墙钟和尾延迟;并行利用率会改变权衡,但不能不看实现就断言某种口径一定偏向某条路径。

论文里的三个锚点(这些是别人实测的,不是本文算的)

上面的推导都是模型推演。为了让读者知道模型落在什么现实里,把三篇一手材料的报告值列出来,并标明它们各自支撑哪一段:

  • 过程监督的收益(Lightman 等):步骤级人类反馈训练的奖励模型在作者的实验选择设置中优于结果监督;论文报告代表性 MATH 子集 78% 与 80 万条步骤级人类标签(PRM800K)。这支持该设置中的过程监督收益;论文没有测量本文定义的整题成对 qq,也不证明本文 Gumbel 模型的上限,更不是在线识别并纠正执行错误的实验。
  • 覆盖率随样本数持续增长,实验关系常呈对数线性;可验证领域才能直接转成准确率(Brown 等):他们观察到覆盖率在四个数量级上随样本数增长、常呈对数线性并可用指数化幂律拟合;在 SWE-bench Lite 上把 DeepSeek-Coder-V2-Instruct 从单样本 15.9% 提到 250 样本的 56%,超过当时单样本的 43%;同时明确报告:在没有自动验证器的领域,多数投票与奖励模型在几百个样本后平台化。这支撑本文「路径二 vs 路径一」的分野。
  • 长度可以被强制、也可以被训练(s1 / DeepSeek-R1):s1(Muennighoff 等,2025-01)用 1000 条精选样本加预算强制,在 MATH 与 AIME24 上比 o1-preview 高出最多 27%,并把 AIME24 从 50% 拉到 57%;无前置 SFT 的纯强化学习示范来自 DeepSeek-R1-Zero(2025-01),正式 R1 还包含冷启动数据与多阶段训练;训练让模型更愿意长推理,不代表这些长推理不消耗推理算力。这两条分别对应本文的「推理期加长」与「把能力训练进权重」,不要混读成同一个机制。

Weng 的博客长文《Why We Think》把这些线索串在一个框架里:把思考过程当成潜变量,采样是「从后验里取多个样本」,验证器是「给样本打分」,加长链是「在同一个样本上多走几步」;她同时提醒,模型说出来的推理过程未必忠实于它实际的计算,而优化压力会进一步拉大这个差距。本文的模型默认「验证器打分与真实正确性之间的关系是稳定的」,这个默认在她的框架里正是最脆的一环。

什么时候不该做测试时扩展

本文公式给出的是条件收益形状,不直接证明方案是否划算。以下场景应先评估 TTC 的准确率增量、完整成本与可执行性,再决定是否扩展:

第一,pp 极低而 qq 中等。 在同一 Gumbel 模型下,p=0.02p=0.02、q=0.6q=0.6 的上限约为 0.030。这提示可同时比较改提示词、加检索、换模型与加采样,但哪个动作有效取决于它对 pp、排序结构和完整成本的影响,不能把某个 pp 数字当作通用开工门槛。

第二,延迟与吞吐要分开看。 候选可以并行生成,所以延迟不一定乘 NN——但吞吐、显存与账单会;反过来,加长单链增加的是串行解码路径,延迟直接涨。哪种更紧取决于你的 SLO 与并行度,不存在「只有一条路可用」的普适结论。

第三,显存/带宽受限。 NN 份候选的 KV 缓存要同时驻留(除非串行重算),批量越大显存越紧;本文的预算口径只算 FLOPs,没算显存。工程上常见的情形是「预算够、显存不够」,这时把 NN 从 8 加到 32 不是多花算力,而是根本跑不起来。

延迟、批处理与「预算」的真实含义

还有一个口径问题值得单独说,因为它会让同一套推导给出相反的结论。本文的 B=N⋅T/T0B=N\cdot T/T_0 是「算力」口径:采样 13 次就是 13 倍的 token 数。但墙钟时间里,13 次采样共享同一段提示词前缀(prefill 只做一次),在批量足够大时 GPU 的利用率反而更高,墙钟成本可能远低于 13 倍(具体倍数依实现而定,本文未测)。

于是同一笔「钱」在两种口径下买到的东西不同:

  • 按 FLOPs 排预算:生成量随候选数线性增加;只有在实测验证器改进、评分与集成的额外成本低于所比较方案、且收益足够时,才可能偏向「先修验证器」。本文 N⋅tN\cdot t 不含这些成本,不能据它下性价比结论。
  • 按 墙钟 排预算:若仍有并行余量,加样本可能少增延迟;是否应先堆批量再加长链,还须测吞吐、显存、尾延迟与验证耗时,不能把并行当作免费。

两套口径没有对错,但需对应实际目标:容量、能耗与服务延迟需要的指标不同。若论文按 FLOPs 比较,而产品受尾延迟约束,不能直接沿用成本结论;应在同一目标分布与服务约束下测量,本文不提供生产延迟倍数。

一个常被忽略的前提:采样次数不是去重答案数

本文所有公式里的 NN 都是「采样次数」,不是「去重后剩几个答案」。独立同分布采样允许重复答案,重复不会改变「候选池里至少有一份对的」这个事件,所以覆盖率公式里的 NN 不能换成去重个数。

重复答案要分两处看。第一是投票:独立重复答案是合法票;答案空间小时,应分析各答案概率及错误票分流,重复本身不是失效原因,众数选择仍由票数分布决定。第二是验证成本:去重可能减少需要打分的候选数,但这省的是评分成本,不是提高覆盖率;若去重改变排序或噪声机制,还须另审验证器模型。

判据与处置都很简单:

  1. 统计一轮「同一提示词采 NN 份、去重后剩几个」的重合率——它描述类别集中度和可能的去重成本;重复答案仍是合法票,不能据此估计正确指示相关。
  2. 只用重合率做预算判断:如果一轮 NN 份里去重后只剩 MM 份真正不同的答案,说明其中 N−MN-M 份是在为重复付钱;但覆盖率仍按采样次数 NN 读,不能把 NN 换成 MM(换了会系统性低估覆盖率)。
  3. 若重合率高,可把温度、top-p、系统提示和链起点作为待测方案,与继续加 NN 比较;先确认正确率、联合失败结构与完整成本是否改善,不能把重合本身当作采样非独立或必应改策略的证据。

答案空间小的任务要区分两条路径:有完美验证器时,覆盖率取决于正确答案是否出现;无验证器的众数选择仍取决于票数分布,应按各答案概率判断正确答案是否为唯一最高概率答案。独立采样的覆盖率公式仍按采样次数 NN 读,不能用去重数替代;投票重复答案是合法票。

五条判断背后的理由

把上面的推导收成人能执行的判断,按「先做什么」排序:

  1. 先量 pp 和 qq,再谈加预算。两个数都能用小批量实测:pp 用可判分题目上的一次采样命中率,qq 用「同一题两份候选,验证器选的与你判的一致」的比例。没有这两个数,「要不要上 best-of-N」是无法回答的问题。
  2. 有验证器时,比较修验证器与加样本的完整成本,不只比准确率增量。本文 Gumbel 条件算例里,p=0.05p=0.05 时 qq 从 0.9 到 0.99 的上限增约 0.518,而固定 q=0.9q=0.9 从 64 加到 1024 的有限准确率增约 0.018。两者是不同设定的准确率增量,不是每单位成本边际回报;是否先修验证器须计入改进、候选评分与集成成本。
  3. 无验证器时,先明确投票假设。独立二分类、奇数票、严格多数下,p<0.5p<0.5 时增票趋向错误(p=0.4p=0.4、65 票为 0.051);多答案 self-consistency 应按各答案概率判断正确答案是否为唯一最高概率答案,用可判分目标题目估计,不以直觉代替。
  4. 链长规则只在自己的条件内使用。停手线 p(ts)=1−e−αp(t_s)=1-e^{-\alpha} 仅对 q=1q=1、独立采样、本文幂律、连续未触顶内部解可行成立;整数解和边界解另比。q<1q<1 时,假设 q 不随链长变化,枚举整数 NN、令 t=B/Nt=B/N 优化本文 Gumbel A(N)A(N);现场估出的 α\alpha 还须附测量不确定性。
  5. 等成本对照按难度分层,再比较 pbigp_{\mathrm{big}}。本文生成成本表只给打平阈值:小模型 p=0.05p=0.05、规模比 14 时为 0.512,小模型 p=0.5p=0.5 时约 0.9999。能否替代须另看各层大模型正确率与完整成本,不能只由 psmallp_{\mathrm{small}} 断言。

边界与未解

一,独立性是这套表格的前提,不是对部署样本的事实声明。 同提示词或同类错误不能单独证明非独立;相关程度须用有真值的重复实验、控制题目难度后估计。设计效应只描述均值方差,不能由 ρ\rho 给出覆盖率或 best-of-N 准确率。真实系统相关性多大、联合失败结构如何,本文都未测,不能无来源地宣称超过某个阈值。

二,qq 会漂移,而且是被优化压力推着漂。 用验证器做搜索、再把搜索结果拿去训练,模型会学会讨好验证器。本文的公式把 qq 当外生参数,这个假设在「一次性推理」里还行,在闭环训练里不成立。

三,思考过程的忠实性没有被本文处理。 本文把「更长的链」当成「更高的单次正确率」的黑箱映射,完全不追究链里的推理是否真的被执行。Weng 的博客长文《Why We Think》里有专门一节讨论这一点:模型报告的推理与它实际的计算可以不一致,而对 CoT 施加优化压力会让这种不一致更严重。

四,本文没有真实模型或硬件测量,模型表格来自确定性脚本。 表中 1.000 只是显示舍入;log 失败概率与非零失败概率仍在 JSON,不表示数学满分。论文报告值(78%、56%、57%、14 倍)来自各自实验设置,与本文模型不是同一口径,不能直接相减或相除。

五,成本口径会改变权衡,但不能预设结论方向。 本文 B=N⋅tB=N\cdot t 只计生成量,未计候选评分、验证器改进与集成。实际墙钟还受前缀共享、批处理、并行余量、显存和串行解码约束;FLOPs 与尾延迟不是同一目标。应先声明完整成本与服务约束,再优化,不能直接说按某种口径必然偏向修验证器或扩采样。

六,qq 会漂移,要定期重测。 模型版本、题目分布和候选长度结构都可能改变成对准确率。若另假设部署验证器仍可用同一固定强度 Gumbel 模型表示,p=0.05p=0.05、qq 从 0.9 到 0.78 的条件上限才从 0.321 到 0.157;长度分桶混合或集成后的标量 qq 不能自动继承这一上限。固定面板用于观察验证器变化,还须从当前部署分布抽新候选对;既测 qq 也核查排序假设,不能只更新一个平均数。

小结

同一笔测试时预算,买到什么取决于路径与假设。独立重复采样提高覆盖率,但把候选里的正确答案交出去还需选择信号;仅在固定类别强度、独立同分布 Gumbel 噪声下,验证器上限为 pqpq+(1−p)(1−q)\frac{pq}{pq+(1-p)(1-q)},混合或集成的平均 qq 不自动继承它。独立二分类、奇数票、严格多数下,p<0.5p<0.5 时增票趋向错误;多答案 self-consistency 则按各答案概率判断正确答案是否为唯一最高概率答案。链长停手线 p(ts)=1−e−αp(t_s)=1-e^{-\alpha} 仅限 q=1q=1、独立采样、本文幂律、连续未触顶内部解;只有这个内部驻点不依赖预算,整数解和边界解另算。q<1q<1 时,假设 q 不随链长变化,枚举整数 NN、令 t=B/Nt=B/N 优化本文 Gumbel A(N)A(N)。所有调度还须计入生成预算之外的验证与实现成本。

如果只能记住一句话:先区分生成覆盖率与选择准确率,再在已声明的排序、采样和成本假设内分配预算。本文 Gumbel 算例揭示了验证选择的瓶颈,但当覆盖率本身很低时,生成也可能是瓶颈;不能断言瓶颈几乎从不在采样。


📋 来源与核验记录

以下来源均为本文写作时实际打开核对的页面(含标题与首次提交日期):

  1. Why We Think,Lilian Weng(Lil’Log),发布日 2025-05-01。本文「验证器不完美时」一节的验证器风险(奖励模型被优化)、「论文里的三个锚点」一节的框架梳理与「边界与未解」一节的思考忠实性讨论出自该文。https://lilianweng.github.io/posts/2025-05-01-thinking/
  2. Large Language Monkeys: Scaling Inference Compute with Repeated Sampling,Brown 等,arXiv:2407.21787,首次提交 2024-07-31。「覆盖率为什么必然陡峭」一节引用的「覆盖率在四个数量级上随样本数增长、常呈对数线性并可用指数化幂律拟合」、SWE-bench Lite 15.9%→56%(250 样本)、单样本 SOTA 43%、以及「无自动验证器时多数投票与奖励模型在数百样本后平台化」的结论出自该文摘要。https://arxiv.org/abs/2407.21787
  3. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters,Snell 等,arXiv:2408.03314,首次提交 2024-08-06。「等成本线画在哪里」一节引用的「compute-optimal 比 best-of-N 效率高 4 倍以上」「FLOPs 匹配下可在小模型已有非平凡成功率的题上超过 14 倍大的模型」出自该文摘要。https://arxiv.org/abs/2408.03314
  4. Let’s Verify Step by Step,Lightman 等,arXiv:2305.20050,首次提交 2023-05-31。「论文里的三个锚点」一节转述的「过程监督解出代表性 MATH 子集的 78%」「PRM800K 80 万条步骤级标注」「过程监督显著优于结果监督」出自该文摘要。https://arxiv.org/abs/2305.20050
  5. s1: Simple test-time scaling,Muennighoff 等,arXiv:2501.19393,首次提交 2025-01-31。关于预算强制的机制描述、比 o1-preview 高出最多 27%、AIME24 从 50% 到 57% 出自该文摘要。https://arxiv.org/abs/2501.19393
  6. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning,DeepSeek-AI,arXiv:2501.12948,首次提交 2025-01-22。「论文里的三个锚点」一节转述的「纯强化学习即可诱发自反思、验证等推理模式、不需要人工标注的推理轨迹」出自该文摘要。https://arxiv.org/abs/2501.12948

如果还想多记一句:条件公式与有限求和可以用 Python 复现,真正难点是在目标分布量准 pp、qq、α\alpha,以及正确指示相关 ρ\rho 和更完整的联合结构。即使这些标量估得准,仍要检查排序假设、联合采样模型与完整成本;不是测准几个数后,一切结果都能直接代入。

本文自行推导与自算的部分(与上述论文数字分列,不要混读):

  • 「验证器不完美时」的 Gumbel/Plackett–Luce 固定类别强度推导与有限 NN 求和对应 JSON 的 verifier、A_p005_q09_N64、A_p005_q099_N64、ceiling_p005_q09;90%(q=0.9q=0.9)为情景参数,表格为确定性求和,不是抽样。
  • 「第三条花法」的一阶必要条件、连续内部驻点与停手线是条件推导;整数预算配置来自 JSON 的 alloc_perfect 和 alloc_q09,逐个整数 NN 枚举而非链长网格搜索,选优比较 log 失败概率。
  • 覆盖率表来自 coverage,漏掉概率的连续阈值与向上取整采样数来自 miss_targets。设计效应说明项来自 design_effect_rounding_only,只描述均值方差;本次未重算相关联合采样模拟或幂律拟合,不把旧拟合结果算作本次证据。
  • 二分类严格多数表来自 majority_vote,Hoeffding 界来自 hoeffding;都限独立二分类、奇数票、严格多数,不是多答案 self-consistency 的模拟结果。
  • 生成成本打平阈值表来自 equal_cost_generation_only,不是完整方案成本结论;是否可替代还须比较目标分布大模型正确率。
  • 漏掉概率 1% / 0.1% 阈值来自 miss_targets;停手点与初始斜率来自 stationary_sensitivity、two_point_alpha;逐题与平均值的覆盖率对照来自 jensen;完整调度算例来自 alloc_perfect、alloc_q09、A_q09_B32_N3、A_q09_B32_N13、p_q09_B32_N3。这些数字均可逐键核对,不沿用旧脚本未输出的结果。
  • 本次不提供旧稿的 Gumbel argmax Monte Carlo 交叉核对;只报告本目录脚本的确定性有限求和与 JSON 数值,旧随机模拟数字不再归属于现行证据。
  • 温度影响 pp 与联合失败结构的讨论仅是待测条件机制;本次 JSON 没有温度交换预测,不能把 NeffN_{\mathrm{eff}} 的代入数当作联合成功概率。
  • 长度偏差的混合成对准确率及额外 Gumbel 假设下的上限来自 length_bias_conditional;稀有正确答案示例的条件上限来自 rare_p002_q06_ceiling。仅有混合 q 不足以推出多候选排序上限。
  • 长度偏差权重 30% 是情景假设,不是测量比例;独立成对错误下的三取二 q 及另加 Gumbel 排序假设后的有限准确率、上限来自 ensemble_conditional。思路与执行拆分情景来自 idea_exec_scenario,完美识别并纠错是额外假设,不归作过程监督论文结论。

复现脚本:本目录 exp-fix.py,命令 py -3.11 exp-fix.py,仅使用 Python 标准库,输出同目录 exp-fix-out.json。JSON 的 meta 记录解释器与固定批次时间;脚本为确定性有限求和,不运行真实模型,也不做硬件测量。当前数值以这份 JSON 为准;旧稿脚本和旧输出不是本次复现链。

内容透明度声明:本文由 AI 辅助生成,基于公开资料整理;机制推导与数值实验为本文自行完成。