一、三个数字先摆出来:121GB、51GB、32GB
Hugging Face 的 Tarek Ziadé 发了一篇很硬的工程记录:用 Transformers 在 32GB 内存的 M5 MacBook 上跑起 Qwen3.8-Flash-Next,一个约 180B 参数的 MoE 模型。
这个模型有 48 层、每层 512 个专家,同一时刻只激活 10 个。专家权重 FP8 加起来 121GB,另有一张 51GB 的 n-gram 嵌入表。两个数相加远超内存,所以问题不是怎么装下,而是怎么只装此刻要用的那部分。
做法是把专家全部放到磁盘,设备上只留一个所有层共享的预分配槽位池,配一张每层的专家 ID 到槽位的索引表。这样 Transformers 现成的分组矩阵乘内核不用改,就能跑在部分驻留的专家上。八个 I/O 线程并行取缺失的专家,同时提前跑下两层的路由器,把可能命中的专家预取进来。
具体配置:专家量化到 3bit,占盘 49GB,设备上缓 12GiB;稠密层 8bit 约 5.4GB,困惑度比 BF16 差 0.2%;n-gram 表留在磁盘按需读行。转换花了大约 5 小时。加载后占 18GiB 左右,6000 token 的提示词峰值 25.4GiB,到这儿就得把浏览器关掉,不然 macOS 开始换页。
二、怎么跑起来
功能在一个还没合并的 PR 里,编号 50717,装法是从分支直接装:pip install git+https://github.com/huggingface/transformers.git@refs/pull/50717/head。专家落盘靠 device_map,把键写成 experts.* 指向 disk,其余指向 mps;再给 from_pretrained 传 experts_offload,里面设 cache_bytes,还可以指定预先量化好的专家路径。模型相关的部分,也就是 n-gram 表和 Metal 内核,放在一个小包 moe-expert-streaming 里,转换好的权重和示例都在 Hub 上。
注意这是实验性 API。作者自己说接口还在和维护者讨论,量化专家最后大概率走另一套逐层量化方案,别指望下周就在正式版里见到它。
三、性能是抠出来的,也抠到头了
第一版只有约 10 tok/s。改了三件事之后追上来:每算完一个 block 就强制提交 GPU 工作(PyTorch 在 MPS 上会把小内核攒着,Python 干活时 GPU 在空转,这一项加 10%);给 macOS 上没有快路径的 Gated DeltaNet 和超连接写 Metal 内核;换成 Strata 的 GGUF 权重,稠密权重每 token 的搬运从 5.4GB 降到 3.9GB。预填充靠加大分块和边算边读下一层专家,从 68 提到 228 tok/s。
最终在同一台 M5、同样提示词、贪心解码下:短解码 13.9 tok/s,Strata 是 14.8;4K 预填充 228 对 220;读完 6K 文档后解码 12.4 对 13.7。差 6% 左右,剩下的瓶颈是每 token 约 10 毫秒的主机往返,Python 在排队下一层,GPU 干等着。
作者自己的结论很清醒:14 tok/s 对他跑编码智能体还是太慢。这不是笔记本变数据中心,而是一条工程配方,只流式读模型真正选中的专家,缓存设上限,别让主机和 GPU 互相等。
想在本地试大模型的人,可以先跑一遍官方的 Space 看数字,再决定值不值得花 5 小时转换。要是专家能塞进内存,老实说,llama.cpp 的 mmap 仍然更难被打败。
来源:Hugging Face 博客 2026-11-18 https://huggingface.co/blog/moe-expert-streaming