40 步压到 4 步,LoRA 只有 67MB
10 月 13 日,LightX2V 团队为 Qwen-Image 2.1 发布了 4 步蒸馏 LoRA,覆盖文生图与多参考图编辑两条链路。适配器只有一个文件 pytorch_lora_weights.safetensors,体积 67MB。训练用的是 LightX2V 内的 DMD(分布匹配蒸馏),跑在 16 张华为昇腾 910B NPU 上。
需要改变的地方很少。Qwen-Image 2.1 默认 40 步出图,装上这个 LoRA 后把采样器换成 4 步、关掉 CFG 即可:调度器切到 FlowMatchEulerDiscreteScheduler,schedule 直接用固定的四档 sigma(1.0、0.75、0.5、0.25),num_inference_steps 设为 4,true_cfg_scale 保持 1.0。也就是说,从正常的 Qwen-Image 2.1 工作流过去,只需要多做两件事:加载 LoRA、切换采样配置。
在 ComfyUI 里的四步操作
第一步,准备权重。LoRA 在 Hugging Face 的 lightx2v/Qwen-Image-2.1-Lightning 仓库,主模型用 Qwen/Qwen-Image-2.1;如果走 ComfyUI,建议直接拉 Comfy-Org/Qwen-Image-2.1 的单文件打包版,它把 bf16 与 int8 的扩散模型、VAE、Qwen3-VL 8B 文本编码器以及 Turbo LoRA 都分好了。
第二步,把 LoRA 文件放进 models/loras/,在 Qwen-Image 2.1 的工作流里接入标准的 LoRA Loader 节点,权重先用默认值跑通链路。
第三步,把采样步数改成 4、CFG 改成 1。这一档是蒸馏训练时的固定配置,调高步数不会更清晰,反而可能偏离蒸馏分布。
第四步,对照验收。模型卡里给了 5 组文生图对照,提示词、随机种子、输出尺寸完全相同,基准图是早前的 40 步结果,可以直接用同一组参数各跑一次看差异。
蒸馏 LoRA 的调试逻辑和普通 LoRA 相反:它不追求权重强度,追求的是采样配置与训练配置对齐。步数、CFG、sigma 这三样必须照抄。
编辑链路与多参考图
同一个适配器也训练了编辑管线,支持多参考图输入。模型卡里的样例包括把红色夹克改成深蓝并加一枚银色小星星胸针,要求保持人物身份、表情、发型、姿态、夹克材质与褶皱,背景和光照不变;另外还有夜景换装、人与猫、产品广告、沙发与吊灯、地板材质迁移、镜面反射、背包试穿等七组编辑对照,每组都附了参考图与 40 步、4 步的结果对比。
兼容性方面,LightX2V 官方脚本覆盖非 NVIDIA 硬件,包括训练所用的昇腾 NPU,社区也已有针对 AMD 与国产芯片平台的路由说明。需要注意三点:一是 LoRA 只能加载在 Qwen-Image 2.1 这个基础模型上,换模型会直接失效;二是 4 步下的细节上限低于 40 步,追求极致画质时仍建议回到多步;三是多参考图编辑对参考图质量敏感,输入分辨率太低时编辑指令容易失真。