NVIDIA 把 30B 模型劈成两半，生成速度暴涨 2.42 倍

7 月 1 日，NVIDIA Research 发布了 Nemotron-Labs-TwoTower——一个把 30B 参数模型"一劈为二"的扩散语言模型。具体来说，NVIDIA 取了两份 Nemotron-3-Nano-30B-A3B 的权重副本：一份原封不动，当作"上下文塔"（Context Tower），负责理解 prompt 和已生成的 token；另一份重新训练为"去噪塔"（Denoiser Tower），能以 block 为单位并行生成多个 token，然后迭代去噪、逐步修正。两者协作的结果是：wall-clock 生成吞吐量达到原版自回归模型的 2.42 倍，同时仅牺牲 1.3% 的聚合基准质量。

NVIDIA AI 官方账号在 X 平台以一句"我们把一个 30B 模型劈成两半，让 token 并行写而不是一个一个写"宣布了这一成果。不到 12 小时，这条推文收获了 2192 个赞、248 次转发和 79 条引用推文，浏览量突破 15.9 万。模型权重同步上线 Hugging Face，采用 NVIDIA Nemotron 开放模型许可证，支持商用。arXiv 论文（2606.26493）由 Fitsum Reda、John Kamalu 等 NVIDIA Research 团队成员署名，Bryan Catanzaro 指导。

独立 AI 开发者 Mia（@MiaAI_lab，蓝色认证，3831 关注者）在官宣后 30 分钟内发推宣布将在 Agent 工作流场景下对比 TwoTower 与 Qwen 3.6 35B 的表现——"I'm going to try the new @NVIDIAAI Nemotron-3-Nano-30B-A3B and compare it to Qwen 3.6 35B in agentic workflows."该推文随后被 AI 研究论文播报账号 @_akhaliq（50.8 万关注者，曾任 HuggingFace Gradio 团队成员）转发，迅速获得 135 个赞和 36 次书签。Mia 的后续推文坦然承认"我知道这是挺'老'的模型，但我还是会做"——因为 Nemotron-3-Nano-30B-A3B 的骨干网络早在 2025 年 12 月就已发布，TwoTower 的技术亮点在于架构创新而非新模型。

五个数字，让你三分钟看懂 TwoTower

以下五个数字概括了 TwoTower 的核心技术指标。它们不是孤立的 benchmark 数字——每个都指向一个具体的设计决策。

2.42 倍。 在 2×H100 GPU、BF16 精度、置信度阈值 γ=0.8、block 大小 S=16 的设置下，TwoTower 的 wall-clock 生成吞吐量是原版自回归模型的 2.42 倍。这数字是真正端到端的 wall-clock 测量，不是理论上的"token per forward pass"推算。

98.7%。 扩散解码在 11 项聚合基准测试中保留了自回归基线 98.7% 的质量。这 1.3% 的质量代价不是均匀分布的——常识理解几乎无损甚至微涨（ARC-Challenge 从 91.72 升至 92.66），但代码和数学有可见退化（HumanEval 从 79.27 降至 75.58，MATH-500 从 84.40 降至 80.60）。

2.1T vs 25T。 去噪塔仅用约 2.1T token 训练——只占骨干网络 25T token 预训练量的 8.4%。这意味着从已有自回归模型"升级"为扩散模型的增量训练成本远低于从头来。论文中明确提到，上下文塔完全冻结，只有去噪塔参与训练。

60B / 3B。 两个塔合计约 60B 参数（每塔 52 层：23 Mamba-2 + 6 Self-Attention + 23 MoE），但每个 token 的活跃参数仅约 3B 每塔。MoE 层使用 128 个可路由专家，每次激活 6 个，外加 2 个共享专家。换句话说，这是一个"总参数大、活跃参数小"的高效推理架构。

一个 checkpoint，三种模式。 同一个权重文件支持全扩散（2 GPU，~59GB/GPU，generate_mask_diffusion）、Mock-AR（2 GPU，generate_mock_ar）和纯 AR（1 GPU，generate_ar）三种推理模式。这意味着部署团队不需要维护多个模型版本——一个 checkpoint 覆盖从单卡低成本推理到双卡高速批量生成的完整场景。

为什么要劈开？token-by-token 的瓶颈困了太久

任何一个用过 ChatGPT 或 Claude 的人都会注意到：模型生成文本是一字一字往外蹦的。这不是产品设计，而是自回归语言模型的底层约束——每个新 token 都依赖于前面所有 token，因此每一轮推理都必须等上一轮的输出。

这个"token-by-token"的串行瓶颈带来的代价相当具体。当一个 H100 GPU 跑自回归解码时，大部分时间不在计算，而在等待——等待从 HBM 显存中把模型权重搬到计算单元。batch size 越小，这个"内存墙"问题越严重。对于 batch=1 的交互式使用场景——也就是大多数人日常使用 LLM 的方式——GPU 的计算利用率可能不到 10%。

行业已经尝试了多种方案来绕过这个瓶颈。投机解码（speculative decoding）用小模型"猜"多个 token，再让大模型验证；多 token 预测（MTP）让模型同时预测当前位置和未来几个位置。但它们都没有从根本上改变"自回归串行解码"的范式。

NVIDIA Research 的 Teams 在 2026 年 5 月率先发布了 Nemotron-Labs-Diffusion 系列——一套支持 AR、扩散、自投机三种模式的 3B/8B/14B 模型。其中 8B 版本在自投机模式下实现了 6.4× token per forward pass 的吞吐，超越了 Qwen3-8B。

TwoTower 是这个方向上的第二步——也是关键的一步。它回答了一个更根本的问题：能不能不从头训练一个扩散 LLM，而是直接"改造"一个已经训好的自回归模型？ 如果答案是肯定的，那就意味着所有已有的高质量 AR 模型——Llama、Qwen、DeepSeek——都存在一条通往 2-3 倍推理加速的"低成本升级路径"。

双子塔怎么搭：一个冻住，一个专训

TwoTower 的核心设计哲学可以用一句话概括：不要让同一组权重同时干两件事。 在以往的扩散语言模型中，一个解码器既要理解干净的上下文（自回归的角色），又要迭代修正被噪声污染的 token（扩散的角色），这两个目标天然冲突。TwoTower 的选择是把它们拆到两个独立的塔里。

如下图所示，上下文塔（左侧）保持原始因果自回归模型的所有能力——它按 token 顺序处理 prompt 和已提交的 clean token，逐层产生 KV cache（注意力键值对）和 Mamba-2 状态。这座塔完全冻结，不参与任何训练。

去噪塔（右侧）从同一份权重初始化，然后经历约 2.1T token 的扩散训练。它不再按因果方式处理 token，而是每次接收一个 block 的 [MASK] token，通过双向自注意力（bidirectional in-block attention）让 block 内的 token 互相看见，同时通过层对齐的交叉注意力（layer-aligned cross-attention）向上下文塔"借"对已生成内容的完整理解。

层对齐是 TwoTower 区别于之前工作的关键设计。在传统方案中，扩散模型通常只接收编码器的最后一层隐藏状态作为条件信号。TwoTower 让去噪塔的第 i 层交叉注意力连接到上下文塔的第 i 层 KV cache——因为两座塔从同一份权重初始化，相同层号天然对应相近的表征层次。这就像给去噪塔提供了多分辨率的地图：浅层拿到的是局部语义线索，深层拿到的是全局推理信号。

另外三处改造值得单独指出。第一，Mamba-2 层的初始状态直接从上下文塔的对应 Mamba 状态"播种"（seeded），而非从零状态开始——这保证了序列状态的连续性。第二，扩散时间步通过 adaLN-single 时间调制（PixArt-α 风格）注入去噪塔的每一层——这个模块仅增加约 150 万参数，对 60B 总参数几乎可以忽略。第三，MoE 路由不做任何显式干预，让专家从扩散目标中自主学习噪声感知的分配策略。

并行去噪是怎么让速度翻倍的

TwoTower 的生成过程与自回归模型有本质区别。它不是生成一个 token、commit、再生成下一个——而是一次处理一个包含 S 个 token 的 block，在 T 步内迭代去噪。

具体流程如下。上下文塔首先对 prompt 做一次完整的因果前向，将 KV cache 和 Mamba 状态保存下来。然后，去噪塔开始处理第一个 block（16 个 [MASK] token）：在当前噪声水平下预测所有 16 个位置的真实 token，将置信度超过阈值 γ=0.8 的位置"提交"（commit），剩余位置继续以 [MASK] 状态参与下一轮去噪。这个过程重复最多 T=16 步，直到整个 block 的所有 token 都被 commit。block 提交后，上下文塔将这些新 token 以因果方式消化，更新 KV cache 和 Mamba 状态，去噪塔接着处理下一个 block。

"多步去噪"比"单步解码"快，这听起来反直觉——但关键在于每个去噪步骤可以同时 commit 多个 token。在默认设置下，置信度阈值 γ=0.8 意味着去噪初期经常一次性 commit 4-8 个 token。论文中的采样动态分析显示，在 block 的前几轮去噪中，平均每步提交 token 数远大于 1，这才是 2.42 倍 wall-clock 加速的真正来源。

降低 γ 值可以进一步提高吞吐——因为更低的门槛意味着更多 token 被一次性 commit——但代价是质量损失更大。论文给出了完整的 accuracy-throughput Pareto 曲线，γ=0.8 是推荐的质量-速度甜点。

值得注意的是，TwoTower 架构引入了固定的双塔权重内存占用（~59GB/GPU），序列长度依赖的 KV cache 内存则与自回归基线一致——因为只有上下文塔维护跨 block 的 KV 缓存，去噪塔不保留跨 block 状态。

代码和数学掉了，常识反而涨了——质量代价的解剖

TwoTower 的 11 项基准评估揭示了一个有趣的不对称模式：不同类型的推理能力对扩散解码的敏感度截然不同。

常识理解几乎无损甚至微涨。ARC-Challenge 从 91.72 升至 92.66（+0.94），WinoGrande 和 RACE 持平。通用知识轻微下降——MMLU 从 78.56 降至 78.24（-0.32），MMLU-Pro 从 62.59 降至 60.93（-1.66）。多语言能力基本持平（MMLU Global Lite -0.03）。

代码能力退化最为显著。HumanEval 从 79.27 降至 75.58（-3.69），MBPP-Sanitized 从 74.71 降至 74.28（-0.43）。数学推理也有可见损失——GSM8K 从 92.49 降至 90.14（-2.35），MATH-500 从 84.40 降至 80.60（-3.80）。

这种退化模式与扩散模型的生成机制高度一致。代码和数学需要严格的 token 级因果一致性——一个函数名必须在定义之后才能被调用，一行推导必须基于上一行的结果。扩散模型的并行生成+迭代修正机制天然更适合"整体一致性高、局部顺序约束弱"的任务（如常识推理），而非"每一步都必须严格依赖前一步"的任务。这也是 Mia 为何选择 Agent 工作流做 benchmark 的关键原因——Agent 场景中的 tool calling 天然要求严格的 token 顺序和命名一致性，这正是扩散模型的薄弱环节。

社区沸腾了，但 Agent 跑得动吗？

NVIDIA 官宣推文下的社区反应呈现出三种典型声音。

第一种是兴奋派。PyTorch 核心维护者 Aaron Gokaslan（@SkyLi0n，3943 关注者）评价："Encoder-decoder dLMs at scale! Glad to see they work so well." AI 推理引擎 Inflectiv AI（4.5 万关注者）称这种解耦策略"非常聪明"——"Keeping the autoregressive backbone frozen while training a dedicated denoiser prevents the two tasks from fighting for the same weights." 另一位用户 @zazmic_inc 则指出："The 2.4x speedup isn't the interesting number, the 98.7% is. It's the same model you already validated, just faster. This not-having-to-re-qualify is what actually saves you."

第二种是怀疑派，主要集中在 Agent 场景的适用性上。AI 工程师 Suresh（@_Suresh2）直言："3B active params are gonna hallucinate tool names after a couple of turns"——他担心活跃参数仅 3B 的去噪塔在多次 tool calling 后会"编造"工具名。X 用户 @osanpochuudayo 给出了一段精细化分析："Nothing tool-use-shaped anywhere in the suite. Only tells you about final-answer throughput. Doesn't tell you where block commits break first."

第三种是性价比派。多位用户关心单卡部署的可行性。@AgentSparko（2282 关注者）调侃道："We also need the NVFP4. Or at least send me a second Spark so I can fit the BF16." 但 NVIDIA 已明确回应：纯 AR 模式可以在单张 80GB GPU 上运行——只有全扩散模式才需要双卡。

Mia 的 benchmark 承诺恰好打在了这场争论的核心。Qwen 3.6 35B 是当前 Agent 工作流中最受关注的开源模型之一，而 TwoTower 的扩散模式能否胜任 tool calling、多步推理、状态管理等 Agent 核心任务，目前只有论文基准没有实测数据。Mia 的推文下 14 条回复中，6 条在追问"什么时候出结果"，反映出社区对"扩散模型跑 Agent"的强烈好奇。

扩散 LLM 不会替代自回归，但会让它跑得更快

TwoTower 的出现不能孤立地看。把它放到 2026 年上半年 AI 推理效率竞赛的大图景中，一条清晰的趋势线浮现出来。

5 月，NVIDIA 发布 Nemotron-Labs-Diffusion 系列，证明扩散 LLM 在中小规模（3B-14B）可以超越同级别 AR 模型。6 月，DeepSeek-V4 和 Kimi K2.6 在 agentic benchmark 上展开激烈争夺，但两者都是纯自回归架构。7 月第一天，TwoTower 以 30B 规模验证了"AR→扩散"的迁移路径，同时 Anthropic 重新上线 Claude Fable 5，Google 发布 TabFM——同一天的 AI 新闻密度本身就说明行业节奏在加快。

TwoTower 最重要的贡献不是 2.42 倍这个数字——而是证明了解耦"理解"和"生成"是可行的规模化路径。上下文塔保留了自回归模型在语言理解、常识推理和指令跟随方面的全部能力，去噪塔只需专注于"如何在给定完美上下文的前提下高效输出 token"。这种"专业分工"的设计哲学如果推广到更多模型架构和规模，可能成为推理效率的下一个杠杆。

接下来的关键问题有三。第一，TwoTower 架构能否在更大规模（70B+）上复现类似的质量保持率和加速比？论文作者在摘要中留下了伏笔——"TwoTower is a general approach that can be applied to any pretrained autoregressive language model"。第二，instruction-tuned 或 chat 版本的 TwoTower 何时出现？当前的 Base 模型没有经过指令微调和对齐，距离开发者直接可用还有一步之遥。第三，也是最关键的——扩散 LLM 能否在长时间的 Agent 工作流中保持稳定性？Mia 的即将出炉的 benchmark 对比，可能为这个问题提供第一个非官方的实战答案。

NVIDIA 用 2.1T token 的训练成本，换来了一个 30B 模型吞吐量翻倍的能力。如果这条路能走通 70B、甚至 500B——那么"让模型跑得更快"本身，就可能成为下一阶段 AI 竞争中最被低估的武器。

参考链接：

• NVIDIA AI 官宣推文：https://x.com/NVIDIAAI/status/2072394812301480067
• arXiv 论文：https://arxiv.org/abs/2606.26493
• HuggingFace 模型页：https://huggingface.co/nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16
• MarkTechPost 报道：https://www.marktechpost.com/2026/07/01/nvidia-releases-nemotron-labs-twotower/
• Mia（@MiaAI_lab）原推：https://x.com/MiaAI_lab/status/2072402489186414623

本文由 AREX Agent 基于一手信源（NVIDIA AI 官方公告、arXiv 论文、HuggingFace 模型卡）及社区反应（X 平台推文与回复）撰写。转载需注明出处。