先校验,再编译

比特精确规约带来了什么:对照它检查内核,以及在一块芯片上重放另一块芯片的算术

一份描述值得写,前提是你能拿它做点什么。上一章写下了两个矩阵单元。这一章问的是,这换来了什么:首先是对照规约检查内核的能力,然后是在一块芯片上运行另一块芯片的算术的能力。

一个函数,所以可以检查

一份类型正确的规约,对每一种形状,都表示一个从输入比特到输出比特的函数。这一个事实,就把含糊的问题变成了机械的问题。一个实现,无论是内核二进制还是整块芯片,如果对每一种形状、每一个输入、每一种启动选择,它的输出比特都等于规约的输出比特,就说它精化(refine)了这份规约。

看看启动选择出现在这句话的哪一边。它在实现那一边,不在规约那一边。这就是第一章的分阶段规则,换成了一个证明义务的说法。保证由此一行可得:精化同一份规约的两个内核,在每一个输入上都逐比特一致,不论运行多少次,批大小如何,启动配置如何,芯片是哪块。

规约之间也可以相互比较。一份规约是一个 DAG,所以每个节点都可以按它的算子、属性和子节点做哈希。根哈希相同的两份规约就是同一个计算。哈希不同时,沿着第一个不匹配的子节点往下走,就能走到它们第一次分歧的地方。这样,”为什么这两个内核给出不同的比特?”得到的回答是一个位置,而不是一个耸肩。

证明一个内核精化了它的规约的证据,目前大多还是测试,而测试的好坏取决于它的输入。假设一个内核在规约要求舍入到最近偶数的地方,把平局舍入成远离零。在普通数据上,平局大约每 130,000 个输入出现一次,所以一套小测试通常会漏掉这个 bug,而一个特意构造、包含平局的对抗性输入集,第一次就能抓住它。一项检查,只有在你见过它拒绝点什么之后,才有说服力。更强的证据,在可行的地方,是针对固定形状直接拿编译后的内核去对照规约的 DAG,这是一个内核等价性检查问题。

唯一合法的重排

第二个用途是编译。一个为某块芯片编译规约的后端,可以自由选择分块、线程映射、内存放置和流水。它永远不能改动一棵归约树或一个舍入点。只有一个例外:一棵完全由精确运算组成的子树,比如一个不会溢出的整数和,可以按任何顺序、任何分组来求值,因为每种顺序都给出相同的比特。

这个例外和我以前写过的东西有关。在《无窗之箱中的正确》里,我把正确的输出定义为某个合法运行能够产生的输出,并用”重排浮点求和,没问题”作为一个不该要紧的差异的例子。对这项研究来说,它并非没问题,因为浮点求和的顺序恰恰就是被研究的那个变量。不过存在性的自由并没有消失。它只活在一个构造里,那就是精确的和:那里有许多合法的运行,而它们全都产生相同的比特。比特精确规约仍然允许许多种运行;它只允许一个答案。

在 Trainium 上重放 H100

现在是难的部分。要在 Trainium 上运行 H100 的算术,每一组十六个乘积都必须截到由组内最大项决定的 25 位窗口里,再向零舍入。Trainium 没有能做这件事的指令。在向量引擎上逐项模拟可行,但很慢。

合法的重排提供了一条出路。如果在某一组里,窗口恰好没有丢掉任何一项的任何一个比特,那么 H100 的这一步就只是对一个精确和做向零舍入。精确和可以重排,于是可以交给 Trainium 的矩阵单元,而它在小整数上本身就是精确的:把操作数切成窄的整数片,全速相乘这些片,精确地合并部分和,再通过屏蔽比特来向零舍入。一组是否符合条件,可以从每行每列的最大指数廉价地检查出来。不符合的组退回慢路径。

所以,忠实重放的速度归结为一个数字:通过检查的组所占的比例。而这里有一点我要直说。在点积的早期,累加器还没长大时,各组常常能通过。一旦累加器占了主导,它就为每一组设定窗口,小乘积开始丢比特。正是同一种截断,产生了 H100 向零的偏差。快速路径失败的地方,恰恰是 H100 的算术最有特点的地方。我猜这是普遍的:模拟一台机器,在它和别人一样的地方便宜,在它最像它自己的地方昂贵。真实的命中率取决于模型实际的权重和激活值,目前还没有测量。

最后落在哪里

整件事的检验是端到端的:用贪心解码运行 Qwen3-8B,一边在 H100 上,一边在重放 H100 算术的 Trainium 上,对至少一千个、每个 256 词元的提示词,得到完全相同的 logit 比特。这个实验还没有跑。如果它成立,这个系列开头的问题,即 NVIDIA 训练的模型在 Trainium 上会不会因为数值行为而损失质量,就不再是一场争论,而成了一次测量。

在《重放归来》里,我引用过厂商自己的条款:cuBLAS 只在架构相同、SM 数相同时才承诺逐比特可复现。比特精确规约从构造上去掉了这两个条件。SM 数碰不到它,架构只是一个后端。

让我把”比特精确”要求的东西说准确。它听起来像是在说每个比特都要紧。对模型质量而言,大多数比特大概并不要紧。但你只有把它们全部固定住,才能找出哪些要紧,而把它们固定住要付出吞吐量的代价,有时代价很大。这就是那笔交易。这门语言不掩盖它;它让每种构造在每块芯片上的价格,在编译任何东西之前就已知。

参考文献