树要定死,调度随意
一门描述算术的规约语言:舍入必须明写,硬件不能重排求和
要把一个内核算的东西逐比特地写下来,需要的东西少得出奇:精确的数,一个会丢失信息的算子,以及一种说明各项按什么顺序相加的方式。有意思的部分,是这门语言拒绝说什么。
不说舍入,就一直精确
每个有限浮点数都是一个分母为二的幂的分数:一个整数乘以 2 的某次幂。这类数对加、减、乘封闭,所以计算机可以用大整数精确地对它们做加法和乘法,从不近似。离 0.1 最近的 fp32 值不是 0.1;它恰好是 0.100000001490116119384765625。不精确不在这个数本身,而在挑选这个数来代表 0.1 的那一步。
所以这门语言把两者分开。它的核心算术是精确的,浮点数只通过一个算子出现:round[format, mode, policy]。format 指明往哪个网格上靠,mode 指明挑哪个邻居,policy 管零的符号、NaN 和极小的结果怎么处理。内核丢掉的每一个比特,都丢在某个 round 上。
没有默认值。一个不写 mode 的 round 无法通过类型检查。这是这门语言里最重要的一条规则,因为默认值恰恰是芯片之间不同的地方:H100 的张量核心向零舍入,Trainium 2 的矩阵单元舍入到最近偶数,而两家厂商都管这叫 fp32 累加。
格式也不是关键字。一个格式就是一条小记录:指数位数、尾数位数,再加几个标志。这很快就有了回报。探测发现,Trainium 的矩阵单元在一种没有任何手册提到的格式里做加法:精度和 fp32 一样,指数却更宽,所以巨大的项会相消而不是溢出。在这门语言里,这个发现只是表格里新的一行,而不是一个新的构造。
为了张量核心,还需要再加一个原语,因为它们并不是每次加法都舍入。它们把一组项对齐到其中最大的那一项,再把每一项截到它下方固定宽度的比特窗口里。一个小乘积挨着一个大乘积时,会丢掉它独处时本可以保留的比特。舍入描述不了这件事,所以核心语言在 round 之外又多了一个 trunc。下一章会说明为什么这一个原语如此要紧。
顺序是答案的一部分
把三个 fp32 数相加:10⁸、1 和 −10⁸。从左往右加得 0,因为 10⁸ + 1 会舍入回 10⁸。先加外面两个,得 1。每一次加法都是正确舍入的,答案却不一样。浮点加法不满足结合律,所以一旦加法要舍入,”这些数的和”就不再是一个规约。
一个对一行 4,096 个值求和的 GPU 内核,是从天文数字般多的顺序里挑了一个。这个顺序通常哪里都没写。它取决于有多少线程,循环怎么跨步,warp shuffle 怎么合并各个通道。
这门语言把顺序变成一个值。一个归约要写明它的树,树由少数几个组合子搭成:顺序折叠,逐层两两相邻相加,跨 warp 的蝶形,连续分块再由另一棵树合并。它们可以嵌套。探测发现,Trainium 的矩阵单元分成四个 32 项的块来加,块内顺序相加,再把四个块和两两合并。在这门语言里,这句话就是 blocked(32, seq, pairwise)。描述硬件的词汇和报告硬件的词汇,原来是同一套。
人人都提过的那个 bug
任何部署过大语言模型的人,都见过这份报告的某个版本:同一个提示词,logits 却随批次里还有什么别的请求而不同。这里没有任何随机的东西。矩阵库看了一眼批大小和 SM 数,决定把求和切成不同的份数,于是按一棵不同的树相加。或者某个归约用了浮点原子操作,线程块完成的先后决定了加法的先后。
两种故障形状相同:一个本应只影响速度的量,碰到了归约树,改变了值。
这门语言用一条类型规则而不是一道禁令来解决它。每个表达式属于两个阶段之一。形状阶段包含读到任何张量值之前就已知的一切:形状、常量、循环边界,以及树。数据阶段包含一切依赖于值的东西。树必须属于形状阶段。而启动配置,也就是网格、SM 数、warp 宽度,根本不在这门语言里。规约无法提及 SM 数,正如纯函数无法读取时钟。
批次不变性于是成了一个类型性质。第 3 行的输出不可能依赖于第 7 行是否存在,因为第 3 行的表达式里根本没有提到第 7 行或批大小。只禁止原子操作是不够的:一个 split-K 启发式里没有任何原子操作,批次一变照样改变答案。真正的要求是树只能是形状的函数,而分阶段把这一点一次说清。用《每个决策都有它的绑定时间》里的话说,这就是绑定时间用在了算术上:求和的顺序在形状已知时绑定,而不是在内核启动时。
数据仍然可以做选择。softmax 要取一个滑动的最大值。但数据选择的是哪个值,通过一个声明了全序的 select,这个全序要覆盖 ±0 和 NaN;数据永远选择不了哪棵树。
这门语言放弃了什么
合在一起,这些规则把内核分成两部分。算法固定到比特:树、舍入点、常量。调度是自由的:分块、线程、内存放置、流水。编译器可以对第二部分为所欲为,对第一部分却什么都不能动。
这是有代价的:不同的归约树就是不同的程序。每个数值库都视为理所当然的自由,即为了更快而重新结合一个求和,没有了。只有一个例外:一个所有项都精确的和,无论什么顺序都给出相同的比特。这个系列的最后一章,会把这个例外变成跨芯片重放的地基。
树要定死,调度随意。前一半是昂贵的那一半,而这门语言是有意付这个代价的。没有它,规约就说不出硬件算的是什么,只能说出硬件在顺利的日子里算的是什么。