软件教程

华为开源 MACaQ,单卡 32.5GB 显存 64 分钟压完 122B 模型

一、为什么能只用一张卡

华为计算系统实验室在 GitHub 开源了 MACaQ,全称模型无关校准量化,Apache 2.0 协议,论文挂在 arXiv 2611.10649。README 给出的头号数字是:量化一个 122B 参数模型需 64 分钟,占 32.5GB 显存。

这个数字来自一处结构性改动。传统 GPTQ 类方法要把校准误差沿层往前传,层间形成依赖,于是模型越大越要拼多卡、越要过夜跑。MACaQ 砍掉了跨层传播,每层独立处理,误差只在本层收敛。层间无依赖带来一个工程红利:量化可以流式进行,任意时刻只需把一层放进显存。32.5GB 意味着单张 32G 级别工作站卡就够,不必上多卡集群,迭代周期从过夜压到一小时。

方法上还加了一步 Flip-Refinement:基于 Hessian 做坐标下降,贪心地把单个 FP4 编码挪到相邻可表示值上,只要这步能降低层输出误差就接受。理由很直白:FP4 格点太稀疏,四舍五入得到的未必是整体误差最小的解,沿着 Hessian 指的方向挪一格往往更优。

二、四条后端,各自要独立环境

llama.cpp 后端产出 2、3、4 比特 GGUF,已在 Qwen3-4B、Qwen3.8-27B、Qwen3-30B-A3B、Qwen3.6-35B-A3B、Qwen3-Next-80B-A3B-Instruct 与 OLMoE-1B-7B 上验过,CPU 也能跑;vLLM 后端走 W4A4,Qwen3.8-27B 相对 BF16 预填充加速 2.33 倍、解码 2.58 倍,困惑度从 2.8463 升到 2.8994;Diffusers 后端做图像、视频、音频生成模型的 W4A4,示例 FLUX.2-klein-4B、Wan2.2-TI2V-5B、stable-audio-1.0;PyTorch 后端面向语音,示例 Qwen3-TTS 与 Chatterbox Turbo。昇腾侧 W4A4 dense 与 grouped matmul 内核已提交到 CANN 的 ops-nn 与 ops-tilelang 两个仓。

操作路径按三种人分。想沿用 GGUF 生态的,直接拿产物喂标准 llama.cpp,不需要装私有运行时。想自己跑量化的,拉仓库、装对应后端的 Python 3.12 环境,指一个模型路径加一份校准数据即可;注意每个后端要独立虚拟环境,混装会在依赖上打架。手里已有别人量化好的 GGUF 的,用附带的 MACaQ-R:它在保留原格式与 block scale 的前提下重优化权重码,大小不变,产物照样跑在标准 llama.cpp 上。官方对照是 Qwen3.6-35B-A3B:MACaQ-R 的 Q4_K_XL 与 Unsloth 的 UD-Q4_K_XL 同为 22.36GB,对 FP16 的 KL 散度分别是 0.013367 与 0.015731。

量化工具真正稀缺的不是压缩率,是让一个人在一小时内重跑一遍的速度。参数可以调,一晚上的等待没法调。

三、四个别忽略的前提

第一,W4A4 加速依赖硬件对 FP4 的原生支持,README 的倍数来自特定环境,换到你的卡上不一定复现,先拿小模型实测。第二,在线激活变换不是免费的:Qwen3-32B 上用 vLLM 测得端到端开销约 2.3%,小 batch、低延迟场景占比会变。第三,论文是 arXiv 预印本、尚未经同行评审,个别媒体称已评审并不准确;困惑度也不等于下游任务质量,代码、长上下文、工具调用得拿自己的评测集过一遍。第四,它不是模型、不提升能力,只改变同一个模型在有限显存里的运行成本。

来源:https://github.com/huawei-csl/MACaQ ;arXiv 2611.10649;华为云社区解析 https://bbs.huaweicloud.cn/blogs/529524