改了什么,改了多少
今年 GTC 2026 首发时,英伟达给 Rubin 标的数字是:单卡 288GB HBM4、带宽 22TB/s、NVLink 6 为 3.6TB/s。9 月,官网与数据手册被静默更新,没有公告。10 月 29 日面对媒体提问,官方才正式回应:研发阶段公布的是初步架构目标,现在量产了,手册必须写可交付的真实性能。
新数字:HBM4 带宽 22 降到 19.2TB/s,降幅 12.7%;NVLink 6 从 3.6 降到 3.0TB/s,降幅 16.7%;Vera Rubin Superchip 层面 HBM4 从 44 降到 38.5TB/s,NVLink 从 7.2 降到 6TB/s;NVL72 整柜 HBM4 总带宽 1580 降到 1400TB/s,NVLink 总带宽 260 降到 216TB/s。降得最狠的是 HGX NVL8:HBM4 容量 2.3 降到 2.0TB,总带宽 176 降到 130TB/s,跌 26.1%,NVFP4 训练算力 280 降到 270 PFLOPS。
唯一上调的是机架对外网络带宽,28.8 升到 32.4TB/s,涨 12.5%。这个方向本身就说明问题:节点间互联的战略权重在上升,单卡纸面参数在让位。
官方口径不变:对比 GB300 NVL72,每瓦性能与每美元 token 都提升 30 倍,已发布的第三方测试本来就是按量产规格跑的。这话没错,但它回避了一个问题——为什么纸面参数要等到量产阶段才敢写实数。
9 到 21 倍的钱,赚在哪一层
11 月 1 日 SemiAnalysis 放出 InferenceX 预览,测的是 GLM-5.3 这个 744B 智能体模型在 Vera Rubin NVL72 上的每美元 token 数:200 tok/s/user 时是 GB300 NVL72 的 9.11 倍,325 tok/s 时到 20.9 倍。按 Rubin 每卡时 3.61 美元、GB300 2.31 美元折算(贵 56%),单卡吞吐相当于 14 到 33 倍。
关键在这批增益不全来自芯片。Rubin 的提交用了 Mooncake Store 的扩展显存方案:把 KV cache 放到 Vera CPU 的 LPDDR5X 上,通过 NVLink 在 18 个计算托盘之间池化,替掉原来的 RDMA 路径,带宽提升超过 10 倍。省下来的是重复预填充和 KV 搬运的时间。
推理侧的瓶颈已经明确落在内存子系统加 KV cache 管理上。多买卡的边际收益,远不如改调度和缓存层。
现在能做的三件事
第一,把 KV cache 命中率当成一级指标监控。前缀缓存、会话亲和、多轮复用,这些配置项省下来的是真金白银,比换硬件快得多。第二,重算一遍预填充与解码分离的账。Rubin 把 KV 池化到 CPU 内存这件事说明,解码阶段对显存带宽的依赖可以被重新分配,你现在按最坏情况配的显存大概率有冗余。第三,别拿 GTC 的单卡数字做容量规划,等量产手册。
还有一层信息差值得记住:规格下调没有发布会,只有一次被追问后的回应。看硬件厂商的数字,要区分架构目标与量产可交付——前者写在 PPT 里,后者写在手册里,中间差着 12% 到 26%。