NVIDIA 把扩散模型塞进了 LLM：一个 30B 模型拆成两座塔，生成速度 2.42 倍，质量几乎不丢

7 月 1 日，NVIDIA AI 在 X 平台官宣了一项名为 Nemotron-Labs-TwoTower 的研究成果：将 Nemotron-3-Nano-30B-A3B 拆成两座"塔"——一座负责理解上下文，一座负责并行生成 token——在保留原模型 98.7% 质量的同时，实现了 2.42 倍的 wall-clock 生成吞吐。模型以 NVIDIA Nemotron Open Model License 开源，权重已上线 HuggingFace，论文发布于 arXiv（2606.26493）。

官宣推文当天即获得超过 800 次点赞、86 次转发、37 次引用，并被拥有 50 万粉丝的 AI 论文账号 @_akhaliq 转发扩散。HuggingFace 模型页面上线不到 24 小时，社区已围绕其"双塔"架构展开了热烈讨论：有人将其比作"推理界的隔行扫描（interlacing）"，也有人追问"能不能拆成 10 份？"

这并非 NVIDIA 在扩散语言模型领域的首次尝试。今年 5 月，NVIDIA 已推出 Nemotron-Labs-Diffusion 系列（3B / 8B / 14B），实现了自回归、扩散、自推测（self-speculation）三种解码模式的统一。但 TwoTower 的不同之处在于：它没有从头训练一个扩散模型，而是在冻结的预训练自回归 backbone 之上，仅训练一个 denoiser tower，用约 2.1T token 的增量训练换来了近无损的推理加速。

---

核心发现一览

在默认运行点（置信度阈值 γ=0.8，块大小 S=16，BF16，2×H100）下，Nemotron-Labs-TwoTower 的基准测试结果如下：

几个值得注意的规律：

• 通识和语言理解几乎无损：MMLU（-0.32）、RACE（0）、WinoGrande（0）表明阅读理解与常识推理不受扩散生成影响。
• 代码和数学有可感知的退化：HumanEval 从 79.27 降至 75.58（-3.69），MATH-500 从 84.40 降至 80.60（-3.80）。这是扩散模型中较为典型的"精准性"损失。
• 置信度阈值 γ 是可调的旋钮：降低 γ 会提交更多 token、进一步提升吞吐，但也伴随更大的质量折损。

---

双塔怎么运转：把"读"和"写"分开

TwoTower 的核心直觉异常简洁。当前所有主流大模型都是自回归（AR）的：一次生成一个 token，每个新 token 都依赖于前面的全部 token。这保证了文本质量，却造成了吞吐瓶颈——GPU 的大部分时间花在等待内存而非执行计算。

扩散语言模型（DLM）给出了另一条路：一次生成多个 token，然后迭代"去噪"、逐轮精炼。但此前的扩散 LM 普遍面临一个矛盾：同一组参数既要"理解"干净的上下文，又要"去噪"被破坏的 token，两个目标相互打架。

TwoTower 的解耦方案是：

1. AR Context Tower（上下文塔）——从预训练 backbone 复制一份，保持冻结。它用因果注意力处理 prompt 和已提交 token，逐层产出 KV cache 和 Mamba-2 状态。它不做任何修改，纯粹负责"理解"。

2. Diffusion Denoiser Tower（去噪塔）——同样从 backbone 复制第二份，但它是可训练的。它接收一个被 [MASK] 填充的 token 块，以双向注意力处理块内 token，并通过逐层对齐的交叉注意力（cross-attention）和上下文播种的 Mamba-2 状态与上下文塔连接。

关键设计细节：

• 逐层交叉注意力：denoiser 的第 i 层 cross-attend 到 context 的第 i 层，而非仅使用最后一层的隐藏状态。这让 denoiser 在多个抽象尺度上获取上下文信息。
• 上下文播种的 Mamba：denoiser 的 Mamba-2 层从 context tower 对应层的 conv/SSM 边界状态初始化，而非从零开始。
• adaLN-single 时间条件：扩散步数 t 通过一个小型 MLP 映射为 per-layer 的 scale/shift/gate 参数，总计仅增加约 1.5M 参数。

生成过程是"逐块自回归"的：context tower 先编码 prompt；随后每轮用 S=16 个 [MASK] 初始化一个新块，denoiser 经过 T 步去噪逐步"揭示"其中 token，置信度超过阈值 γ 的 token 被提交，其余继续精炼；全部提交后，context tower 更新缓存，进入下一块。

这种设计解释了为什么多步去噪仍然比单 token 解码更快：AR 解码每步只提交 1 个 token，而 TwoTower 在去噪早期每步可提交多个 token。结合 GPU 并行计算的优势，即使每个块要经历 T 步去噪，wall-clock 吞吐仍然提升了 2.42 倍。

---

更大的图景：扩散 LLM 正在从实验室走向实用

TwoTower 不是孤立事件。把它放进时间线，才能看清 NVIDIA 的布局：

• 2026 年 5 月：NVIDIA 发布 Nemotron-Labs-Diffusion 系列（3B/8B/14B），首次将扩散解码与 AR 解码统一在同一模型中。该系列的自推测（self-speculation）模式在 B200 上跑出了约 865 tok/s，是纯 AR 基线的约 4 倍。
• 2026 年 5 月底：NVIDIA 通过 YouTube 直播"From the Lab"活动，系统性地向开发者介绍文本扩散和弹性推理的前景。
• 2026 年 7 月 1 日：TwoTower 发布。与 Nemotron-Labs-Diffusion 系列不同，TwoTower 选择了"冻结 AR backbone + 增量训练 denoiser"的路线，大幅降低了从现有模型迁移的门槛。

这种路线选择传递了一个清晰的信号：扩散不是要取代自回归，而是要成为自回归的加速外挂。TwoTower 单一 checkpoint 支持三种生成模式（mask diffusion、mock-AR、纯 AR），就是最好的证明——用户可以在同一个模型里自由选择"快但略有损"或"慢但无损"。

社区的反应也印证了这一趋势的成熟度。AI 从业者 @inflectivAI（Inflectiv AI，45K 关注者）评价道："这种解耦策略巧妙解决了扩散模型惯有的性能权衡——冻结 AR backbone 同时训练独立 denoiser，阻止了两个任务争夺同一组权重。"本地推理社区用户 Tom Turney（@no_stp_on_snek，7K 关注者）表示将在 ASUS GX10 上实际部署对比测试："看看它在我的场景下与 Qwen 3.6 模型相比如何。"

在更广的层面，TwoTower 的方法论——将预训练模型作为"上下文编码器"来条件化扩散生成——为整个行业提供了一个低成本的迁移范式。任何已有的 AR 模型，理论上都可以通过复制冻结 + 增量训练 denoiser tower 来获得扩散加速能力。这对开源社区而言，意味着未来可能出现大量基于 Llama、Qwen、DeepSeek 等流行 backbone 的"双塔"衍生模型。

---

三个可能的方向

TwoTower 的技术路线打开了几个值得持续跟踪的方向：

短期（未来 3-6 个月）：TwoTower 目前是 base model，尚未经过指令微调或对齐。一旦有团队完成 SFT/RLHF，扩散加速对实际聊天和 Agent 场景的影响将得到验证。另一个即时关注点是：置信度阈值 γ 在不同任务类型下的最优值是否相同？是否可能存在"自适应 γ"策略——做数学题时提高 γ 保质量，闲聊时降低 γ 拼速度？

中期（6-12 个月）：TwoTower 目前拆成了两座塔。社区已经有人在问"能不能拆成 10 份？"。如果 N-tower 架构成立，生成速度可能远超 2.42 倍。但论文中已经提示，当吞吐超过 3 倍时质量损失显著扩大——是否存在一个"塔数"的最优解，是值得研究的 open question。

长期：如果扩散 LLM 成为主流，硬件设计可能随之改变。当前 GPU 对单 token AR 解码的内存带宽利用率极低。并行去噪的工作负载形态（多 token 同步计算 + 迭代精炼）更接近训练时的计算特征，有望更好地利用现有硬件的算力密度。NVIDIA 作为同时掌握模型和硬件的公司，在这个方向上拥有独特的信息优势。

---

参考链接：

• NVIDIA AI 官宣推文
• HuggingFace 模型页
• 论文：Diffusion Language Modeling with Pretrained Autoregressive Context
• MarkTechPost 报道
• Nemotron-Labs-Diffusion 官方博客

本文由 AREX Agent 基于一手社交平台信息和相关公开资料撰写，仅供行业信息参考。_