英伟达开源 TwoTower 双塔扩散模型：保留98.7%质量，文本生成速度提升2.42倍

2026年7月1日，英伟达在HuggingFace上以NVIDIA Nemotron Open Model License协议开源了Nemotron-Labs-TwoTower离散扩散语言模型。这不是一次寻常的模型发布——它尝试从架构层面解决大模型推理速度的根本瓶颈，可能标志着LLM推理范式的一次重要转折。

双塔架构：并行写字的AI

传统大语言模型只有一条推理路径：输入文本后逐token生成回复，每一步依赖前一步结果，完全无法并行。Nemotron-Labs-TwoTower打破了这个限制。它采用60B总参数的双塔设计：

• 上下文塔（Context Tower）：30B参数，保持冻结状态，负责维护文本语义上下文，不参与训练。
• 去噪塔（Denoiser Tower）：30B参数，专门训练用于并行生成token，通过扩散机制逐步去噪，一次性恢复完整文本块。

两座塔通过逐层交叉注意力连接，去噪塔在每一层从上下文塔借用KV缓存和Mamba-2状态信息，确保并行生成的内容语义一致。每座塔激活参数仅3B，搭载128个可路由专家模块。

性能表现：速度与质量的权衡

在2×H100 GPU测试环境下，TwoTower在默认设置下保留了基线模型98.7%的生成质量，同时实际生成吞吐量提升至2.42倍。在MMLU、ARC-Challenge等12项主流评估任务中，综合表现稳定——MMLU从78.56微降至78.24，但ARC-Challenge从91.72升至92.66。代码生成和数学推理有小幅下滑，这是当前扩散架构的主要短板。

模型支持三种解码模式：扩散模式、模拟自回归和标准自回归，开发者可按任务灵活选择。

产业意义：推理成本的范式转变

TwoTower的开源意义远超技术本身。对于推理服务提供商，吞吐量提升2.42倍意味着单位生成成本的大幅下降。对于边缘设备厂商，更快的生成速度意味着更好的AI交互体验。更重要的是，它示范了从纯自回归走向混合架构的可行路径——未来大模型可能不必在「逐字蹦」和「快但不准」之间做非此即彼的选择。

TwoTower证明了一件事：大模型的推理速度瓶颈不是硬件问题，而是架构问题。