两年，从网页服务器到 1GW 训练集群
Meta 10 月 19 日发布工程博客，第一次详细公开 Prometheus。地点是俄亥俄州 New Albany，两年前这里还是一个跑网页流量的常规数据中心，现在一期已建成，训练出了 Meta 本月的 Muse 系列模型，包括 Muse Wonder。满配目标是约 100 万个 GPU，全部锁步运行。
现在的形态是混合的：传统机房、为 AI 专门改造的大厅、以及帐篷式的快速部署结构，中间用数英里的光纤连起来。Meta 另外还租用合作伙伴的算力，用来更快把 GPU 上线。
三代机柜平台
所有平台都用英伟达 NVL72 架构，72 张 GPU 共享一套 NVLink，作为一个加速器工作。第一代 Catalina 用 GB200 NVL72 的两柜方案，36 张一柜，通过 NVLink 拼成 72 卡的域，每张 GPU 配一颗 Grace CPU 和两张 400G 网卡，做到每 GPU 800G 的对外带宽。Meta 的解释是 GB200 把算力、HBM 带宽、scale-up 带宽都放大了，唯独 scale-out 带宽还停在 400G，这个失衡会吃掉性能，所以提前一代给了 800G。整机 72 张 Blackwell、13.4TB HBM3e、720 PFLOPS FP8、双柜约 120 千瓦。
第二代 Clemente 换到 GB300 NVL72，72 张塞进一个柜子，单 GPU 显存从 192GB 升到 288GB，FP4 密集算力提升约 1.5 倍，注意力加速约翻倍，单柜约 135 千瓦，Meta 给的实测收益是比 GB200 高 5% 到 10%。第三代 San Miguel 将上 Vera Rubin NVL72，Meta 预计每瓦性能再提升 10% 到 20%，并直接接入现有网络架构。
真正的难题不是规模，是可靠性
博客里最有价值的是故障数据。2025 年年中一期建设期间，每 8000 张 GPU 每天的中断次数峰值接近 1000 次。一年的工程投入把这个数字砍掉了 99%。最早的大问题是 60 多万条 NVLink 连接上的信号质量；随着 GB300 机柜铺开，显存故障变成更大的麻烦。
训练 Muse Wonder 期间，预训练阶段超过 85% 的时间在产出有效进展，强化学习阶段超过 90%。平均无中断时长约 4.7 万 GPU 小时，固件修复后提升到 5.4 万以上，目标是 10 万。
可靠性是要花硬件的。72 张一柜的域里只跑 64 张，8 张做柜内备件；整柜层面另留约 2% 的储备。于是一个需要 32768 张活跃 GPU 的训练任务，实际要占 523 个机柜、37656 张卡，开销约 13%。
电力是另一条线。几万张 GPU 同步计算与通信时，整集群功耗会摆动 30% 到 40%，启动或暂停一个大任务能在几秒内挪动几十兆瓦。Meta 的做法是一套叫 Dynamo Dimmer 的软件，在接近电气上限时逐步压 GPU 功率而不是直接杀任务，背后靠机柜级电池、电容托盘与园区储能兜底。
把 8 卡域扩到 72 卡域，单点故障的影响面扩大了九倍。规模带来的不是更快，而是必须先解决更多失败模式。
网络侧，每个建筑内部的以太网 fabric 最多接 20736 张 GPU，建筑之间由多层 hub-and-spoke 的后端聚合网连接，跨度从 2 公里到 100 公里以上。存储从文件接口迁到分层缓存的对象存储：主机内存与本地闪存做 L1 与 L2，区域闪存做 L3，硬盘支撑的权威副本做 L4，目标是压低长尾延迟，不让训练步被存储卡住。
下一站是路易斯安那州 Richland Parish 的 Hyperion，设计上直接吸收 Prometheus 的经验，改用闭式液冷，由 Entergy 供电，Meta 承诺承担全部电费。对跑几百张卡的小团队来说，这些经验并非无关：每个故障域里留冗余、对互联做激进健康监控、用限功率而不是杀任务的方式管理电力，这三条在任何规模都成立。
粤公网安备44130202001736号