信息差

12 位定长无损压缩:30B MoE 显存省 24.4%,吞吐反而快 17.8%

一、省下来的不是精度,是重复的位

BF16 用 1 位符号、8 位指数、7 位尾数。训练好的模型里,权重幅值分布很集中;对每个矩阵做一次 2 的幂归一化之后,指数域高 4 位在 99.7% 以上的权重上是同一个值。既然恒定,存它就是浪费。

斯坦福与 Together AI 的 NyoomFloat12(简称 NF12)就删掉这 4 位:8 个 BF16 权重从 128 位压到 96 位,也就是 16 字节变 12 字节,存储降 25%,而且没有任何近似。落到 30B 级 MoE 上,实测显存从 56.87 GiB 降到 43.00 GiB,减 24.4%,约省 14 GiB。

二、定长才配得上 GPU

同类方案 DFloat11 用霍夫曼编码压指数位,平均 10.79 位每权重,比 NF12 的 12.02 更省。问题是变长码在 SIMT 架构上会发散:一个 warp 里线程解码长度不同,快的等慢的,解码核直接串行化。DFloat11 的解码核要 1771 微秒,NF12 的定长解码只要 548 微秒,快 3.2 倍。

NF12 的解码路径按 warp 同步执行设计:13 条寄存器操作加一次三指令的逃逸检查,常路径比一次普通 BF16 访存还便宜。少数超出预期指数范围的权重走逃逸机制,用一个零元字节标记整组 8 个权重原样走 BF16 缓冲,因此格式仍然是严格无损的。

无损不等于结果可复现:不同执行内核不保证生成完全相同的答案。这一点必须在自己的评测流程里验证,尤其是依赖确定性输出的回归测试。

三、两条成本线,两种收益

带宽受限时(小批量、短上下文),瓶颈是把权重从显存搬进计算单元,融合 GEMV 核在 H100 上跑到自研 BF16 GEMV 的 1.26 倍、cuBLAS 的 1.35 倍。容量受限时(大批量、长上下文),瓶颈是总显存,权重让出的空间直接给 KV Cache:Qwen3-32B 上 KV 容量是 BF16 的 4.5 倍,高并发下 rollout 吞吐 2.54 倍。

实测那组数字更接地气:RTX PRO 6000 Blackwell 上,输入 8192 token,Qwen3-30B-A3B 从 127.1 tps 涨到 149.7 tps,提升 17.8%。但要清楚边界:节省幅度取决于权重分布本身,数据来自开发者自测,vLLM 的支持目前只是提案尚未合并,NVIDIA 的独立实现在 Apache-2.0 下提供。迁移到自己集群之前,按自己的权重重测一遍比抄数字有用。