差之毫厘
两块加速器,同一个运算,以及一个没人写下来的函数
拿出大语言模型运行得最多的那个运算:bf16 矩阵乘法,fp32 累加。把它分别放在 NVIDIA H100 和 AWS Trainium 2 上跑,输入相同,点积长 4,096 项。两块芯片给出完全相同比特的情形,只占 0.4%。
两块芯片都没有坏。两者都是确定性的,两者都合情合理,两家厂商描述自己算的是什么时,用的也是同样几个词。麻烦出在这几个词没说的地方。
词语藏起了一个选择
翻开任何一本指令集手册,你会看到这样的句子:”fadd 把两个 fp32 值相加。”这句话里藏着两个运算。一个是数学上的和,在每块芯片上都一样。另一个是选择用哪个 fp32 值来代表这个和,芯片恰恰可以在这里各行其是。
一次加法只做一次这样的选择,IEEE 754 把它钉死了。一个矩阵单元要做成千上万次。它要决定怎样给乘积分组,要不要把它们对齐到最大的那一项,保留多少位,什么时候舍入,往哪个方向舍入。标准对一次加十六个乘积的单元只字未提,厂商文档则写着”fp32 累加”。把两块芯片区分开的一切,都落在这两句话之间的空隙里。
那么,哪块芯片是对的?这个问题没有答案,因为没有可以比较的对象。我以前写过《无窗之箱中的正确》,那里缺的参照是模型的输出。在算术里发现同样的问题,就更奇怪了——算术本是所有人都以为参照理所当然存在的地方。
为什么需要一个答案
这个系列背后的实际问题说起来很简单:一个在 NVIDIA 硬件上训练的模型拿到 Trainium 上跑,会不会因为硬件的数值行为而损失质量?
要回答它,需要一个只改变数值行为的实验。这意味着要在 Trainium 上逐比特地运行 NVIDIA 的算术。而这又需要一份对 NVIDIA 算术的描述,精确到可以执行。文字描述不够精确。内核的源代码也不够,因为算术不在源代码里。它在源代码之下,在那些行为没有文档的指令里。
论点
一个内核的输出比特,是它输入比特的一个全定义的、确定性的函数。以前没人把这个函数写下来,于是这个系列背后的项目造了一门小语言来做这件事。我把它产出的东西叫作比特精确规约(bit-exact spec)。
这门语言建立在几条承诺之上。值是精确的,浮点数只出现在明写出来的舍入处,并注明格式、方向和处理各种别扭情形的规则。每个归约的顺序由张量的形状决定,绝不由运行它的硬件决定。每条厂商指令,包括张量核心在内,都是建在这个核心语言之上的一个小宏,每个宏都记录着支撑它的证据有多强。这个项目有一本野外指南,一章一个想法地教这门语言,书里的图会在你的浏览器里运行两块芯片的模型。
这个系列包括什么
- 树要定死,调度随意介绍这门语言:精确的值,唯一一个有损的算子,以及作为有类型的值、启动配置碰不到的归约顺序。
- 白纸黑字的两块芯片用它来写 H100 的张量核心和 Trainium 2 的矩阵单元,并发现其中一个偏向零。
- 先校验,再编译追问规约带来了什么可能:对照规约检查内核,以及在一块芯片上重放另一块芯片的算术。
最后落在哪里
这些都不是在说 Trainium 比 H100 好,或者差。在长点积上,Trainium 的矩阵单元其实是两者中更准确的那个,准确一个数量级以上。但准确性不是问题所在。一个在某块芯片的算术下训练出来的模型,已经适应了那种算术;换一块芯片的算术会不会让它付出代价,是要测量的事,不是要争论的事。这门语言的存在,就是为了让这个测量成为可能。
让我把标题说准确。”同一个矩阵乘”是误导人的那一半。两块芯片从来没有运行同一个运算;它们运行的是两个同名的运算。规约,就是把它们区分开的办法。