74B 模型塞进 24GB 显存：Nemotron 3.5 Bolt 本地部署实操五步

先把大模型压小，而不是从头训一个小模型

端侧部署长期有个两难：训一个小模型，塞得进显存但不够聪明；跑一个大模型，够聪明但装不下。NVIDIA 在 Nemotron 3.5 Bolt 上选的是第三条路——先压缩再量化。具体做法是用 Star Elastic 这套路由引导的架构搜索框架，把 120B 总参数、12B 激活的 Super VL 骨架压缩成 74B 总参数、9B 激活的 Bolt，专家 top-k 从 22 降到 9。

然后是量化。模型权重里占大头的前馈层被压到 IQ2_XXS，也就是每个元素 2.0625 比特。NVIDIA 给出的结论是：在同一个 24GB 内存预算下，把大模型压到 2 比特，效果优于直接训一个小模型再量化到 4 比特。压缩带来的能力损失，再用量化感知蒸馏与多阶段后训练逐步补回来。

落地参数：显存、速度与硬件门槛

按官方技术报告，Bolt 74B-A9B 的目标是塞进 24GB 内存，同时解码速度不低于 80 TPS。实测数据是配合 LiLiCorr 投机解码草稿模型，在 RTX Spark 的 SPEED-Bench 上跑到 84 TPS。在同内存占用的开放模型中，它在 PinchBench 排名第一，BrowseComp 与 WebArena 排名第二，对比对象是 Qwen3.6 35B-A3B、Gemma 4 26B-A4B 这类同量级模型。

硬件方面，它面向 RTX Spark 笔记本、GeForce RTX、DGX Spark、DGX Station 与 RTX PRO 工作站。设计目标是能与其他应用并行运行，也就是不独占整机显存。

在固定内存预算下，压缩大模型再量化，普遍优于训练小模型——这个结论正在被越来越多厂商用产品验证。

五步部署：从取权重到跑通本地 Agent

第一步，确认硬件。先看显存是否达到 24GB 量级，并预留出与其他应用共存的余量。如果要在笔记本上跑，需要确认是 RTX Spark 或同级别平台。

第二步，取权重。模型权重已在 Hugging Face 发布，配套的还有开放数据集与训练配方，可一并下载留档。

第三步，选运行时。官方支持 llama.cpp、Ollama、LM Studio、Unsloth 与 vLLM。想省事就用 Ollama 或 LM Studio 的图形界面；需要接自有调度或做批量推理，用 vLLM；要在 CPU 与 GPU 混合场景下跑，用 llama.cpp。注意 2 比特量化对运行时版本有要求，先用最新版。

第四步，接本地 Agent Harness。Bolt 的定位是把网页研究、内容写作、代码调试这类任务留在本地完成，因此需要把它挂到常用的本地 Agent 框架上，而不是只当聊天窗口用。

第五步，做一次基准复测。跑一组自己的真实任务，记录首 Token 延迟与解码速度。官方数字是实验室条件下的上限，实际速度受显存带宽、并发数和上下文长度影响很大，用自己场景的数据做决策才可靠。