领读Kimi K3技术报告：从架构创新聊起，注意力美学、多教师蒸馏和开源MoE

导读

2026年7月，月之暗面发布Kimi K3：一款2.8T参数的开放MoE模型，激活16/896专家，并采用Kimi Delta Attention与Attention Residuals。围绕它的讨论迅速集中在规模、开源和基准分数上。一个月后的8月26日，媒体关注到清华大学计算机系博士候选人孙宇涛在《张小珺Jùn｜商业访谈录》中领读K3技术报告，并把他提出的判断概括为“K3不是革命，是2.8兆参数的忒修斯之船”。这一概括把问题从“K3有多大”转向了“K3究竟做了什么”。

这期视频的价值首先在于，它没有把K3的各个模块孤立地复述一遍。孙宇涛在节目里明确把大模型架构研究的重心从“提性能”转向“提效率”，并把推理拆分为prefill、decode和KV cache三个环节。顺着这个框架，K3的线性注意力、混合注意力、MoE均衡等设计不再只是论文里的名词，而是围绕部署成本展开的取舍。这也解释了为什么在参数量主导性能之后，K3仍然值得被细细拆解。

视频给出的第一个清晰判断是，纯线性注意力作为独立方案已经失败，混合注意力是当前唯一可落地的折中路线。孙宇涛指出，保留四分之一全注意力时，模型可以近似无损性能，但加速比也受到混合比例约束，最大约为四倍。这个数量边界比笼统的“效率提升”更有决策价值：它既解释了K3为何采用混合注意力，也提醒读者不要期待无限加速。

第二个判断是，KV cache的压缩空间已经接近极限。孙宇涛从第一性原理出发认为，每个token至少需要一个KV cache才能保持全文获取能力；当token维度无法继续削减，节省就只能转向层间共享、循环结构和计算密度。K3把创新延伸到Attention Residuals、Stable LatentMoE和优化器，正是在这一约束下寻找新的效率来源。

但这些还只是K3作为模型的说明。真正让这期播客在K3发布一个月后仍有解释力的是，孙宇涛把K3描述为“很多人的功劳”：技术报告将每项贡献追溯到RetNet、Gated DeltaNet、LatentMoE、Muon、DeepSeek-V3等前人工作，并给予明确署名。这个“可公开追溯的体系化工程”视角，回应了开放权重模型究竟是技术突破还是集成创新的争论，也提供了一个判断标准——前沿模型的竞争力越来越取决于能否有效吸收行业集体成果。

因此，当K3引发的热度仍在继续时，视频补充的不是更多的参数或榜单，而是一种阅读技术报告的方法。它让读者在面对2.8T这样的头条数字时，更关注论文如何归因、如何组合已有工作，以及这些组合在推理成本上划出的清晰边界。这比记住几个模块名称更能接近K3的真实价值。

核心结论

K3 的真正价值不在于单点突破，而在于把架构创新变成可公开追溯的体系化工程：K3 技术报告将线性注意力、混合注意力、MoE 均衡、优化器等大量前人工作串联起来，并明确标注每项贡献的来源。这种写法让读者不仅能理解 K3 做了什么，还能理解它为什么这样做，以及行业如何一步步走到这里。
大模型架构研究的重心已经从提升性能转向解决推理效率瓶颈：在参数量主导性能的大模型时代，结构差异对模型能力的提升相对有限，反而在推理成本和部署效率上产生巨大差异。K3 的架构创新首先服务于 prefill、decode 和 KV cache 三个环节的效率突破，而非单纯追求更高的基准分数。
纯线性注意力作为独立方案已经失败，混合注意力是当前唯一可落地的折中路线：纯线性注意力无法在长上下文场景中追平全注意力，而混合注意力在保留一定比例全注意力的情况下可以实现性能无损，同时获得显著的推理加速。但加速收益受限于混合比例，在 1/4 全注意力比例下最大加速约 4 倍，并非无限可扩展。
KV cache 的压缩空间已接近极限，架构创新的下一站必须转向计算密度和参数效率：从第一性原理出发，每个 token 至少需要一个 KV cache 才能保证模型获取全文信息，因此缓存维度的节省已触及下限。后续效率提升需要从层间共享、循环结构、计算密度等维度寻找新的来源，这也解释了 K3 为何将创新延伸到注意力之外的多个层面。
前沿模型的竞争力来自对行业集体成果的有效整合，而非单一公司的封闭创造：K3 吸收了 RetNet、Gated DeltaNet、LatentMoE、Muon、DeepSeek-V3 等大量外部工作，并在论文中明确给予 credit。这种开放追溯的写法说明，当前做前沿模型的关键能力在于有效吸收行业整体进展，而非只依赖自研技术。

观点拆解

1. 大模型架构研究的重心已经从提升性能转向解决推理效率瓶颈

架构研究的重心已从“提性能”转向“提效率”：孙宇涛指出，在视觉和 ImageNet 时代，人们追求更精巧的结构来提升模型性能；但进入大模型时代后，参数量成为性能的主导因素，结构差异对模型本身性能的提升相对有限，反而在推理环节产生巨大差异。这解释了为什么 K3 这类工作的架构创新首先服务于部署成本和推理效率。

“在视觉时代或 ImageNet 时代，人们试图用更精巧的结构来提升模型本身的性能。但在大模型时代，我们逐渐发现，对模型性能来说，参数量始终是最重要的因素。”

“在模型结构的模态变化方面，对模型本身参数的提升相对较小。但在模型推理方面，不同结构有着巨大的性能差异。这也是我们决定把最终部署成本作为定价依据的原因。”
推理效率的突破口被归结为 prefill、decode 和 KV cache 三个环节：孙宇涛将自己的研究主线明确框定为解决大模型在推理阶段的低效率问题，并把推理拆解为 prefill、decode 和 KV cache 三个部分。这一框架帮助听众理解：K3 的线性注意力、缓存管理等设计，本质上是在这三个环节中寻找效率突破。

“过去两三年，我的主要研究方向一直是尝试解决大模型在推理环节的低效率问题。所以，我们的主要研究方向就是追求高效率。”

“模型的推理分为三个部分：prefill、decode 和 KV cache。这三者是模型的主要推理环节，不可能有第四个。”
全注意力是大规模应用的核心瓶颈，架构创新因此具有产业必要性：孙宇涛认为，如果大模型要走向大规模应用，全注意力机制带来的成本问题必须被解决。他把这视为整个行业最重要的方向，也解释了为什么线性注意力等替代方案不只是学术兴趣，而是有明确产业动机的效率路径。

“从整个领域的角度来看，我认为全注意力是一个非常大的瓶颈。如果大模型要大规模应用，那么注意力问题必须被解决。我们相信它是可以被解决的。”

2. 纯线性注意力作为独立方案已经失败，混合注意力才是当前可落地的折中路线

纯线性注意力作为独立方案已被证明失败，无法在长上下文场景中追平全注意力：孙宇涛明确指出，从纯线性注意力的角度来看，它作为一个独立模型方案是失败的。因为线性注意力在长上下文场景中很难达到与全注意力完全一致的性能，这是当前技术条件下被广泛认知的局限。这一判断直接解释了为什么K3没有选择纯线性注意力路线，而是转向混合架构。

“从纯线性注意力的角度来看，它作为一个纯线性注意力模型是失败的。因为它是一个相对受限的竞赛，很难在长上下文中带来与全注意力完全一致的性能。我们都知道这在今天的世界里是不可能的。”
混合注意力是当前可落地的折中方案：保留一定比例全注意力即可实现性能无损：孙宇涛解释了混合注意力的核心逻辑：将线性注意力与全注意力按比例组合，虽然听起来像工程上的妥协，但实验表明，在保留一定比例全注意力的情况下，模型性能可以不受损。这意味着混合注意力并非以牺牲模型能力为代价，而是当前被大规模采用的有效方案。

“混合注意力其实非常简单，包括K3在内，就是使用一些线性注意力和一些全注意力，将它们组合成一个模型结构。这听起来像是工程侧的权衡，也是一个更偏工程的解决方案。”

“我们发现，在保持一定全注意力比例的情况下，模型可以实现更好的性能而不受损害。换句话说，在混合模型注意力的过程中，我们并没有牺牲全注意力为模型带来的能力。”
混合注意力的加速收益受限于混合比例，1/4全注意力比例下最大加速约4倍：孙宇涛进一步指出混合注意力的一个关键限制：推理加速比始终与混合比例挂钩。当前业界普遍采用3:1的混合比例，即全注意力占1/4，在这个相对极端的比例下，无论是预填充还是解码阶段，最大加速比约为4倍。这说明混合注意力虽然有效，但加速空间受结构比例约束，并非无限可扩展。

“我认为最大的问题是，推理中的加速比始终等于混合比例，或者说并不完全是正比关系。因为现在人们使用的整体注意力比例是3:1，全注意力在模型中占1/4。”

“如果我们认为1/4是一个相对无害的比例，同时也是一个相对极端的比例，我们就能获得更大的加速比。也就是说，无论是预填充还是解码，我们的最大加速比是4倍。”

3. KV cache 的节省空间已经接近极限，架构创新的收益必须转向计算和参数效率

在 token 维度上，每个 token 至少需要一个 KV cache，缓存压缩已触及下限：孙宇涛从第一性原理出发解释：模型要具备获取全文信息的能力，就不能在 token 维度上继续削减 KV cache。这意味着从 KV cache 角度节省存储已经接近极限，后续效率提升必须另寻维度。

“我们至少希望模型具备一些基本能力，比如获取全文信息的能力。在这种情况下，我们就不能省掉那些关乎上下文的 KV cache。”

“从 KV cache 的存储角度看，基本上已经到顶了。我们都同意，如果从 token 维度来保证，一个 token 就是最小的可能。所以从 KV cache 角度看，这是一个相对极限的结果。”
架构创新的收益必须转向计算密度、层间共享和循环结构：既然 token 维度的缓存无法继续压缩，孙宇涛的研究转向了层间共享和循环结构：YouCode 用一份 KV cache 支撑多层全注意力计算，而循环语言模型则通过参数复用提升计算效率。这解释了为什么 K3 的架构创新不局限于注意力本身，而是延伸到残差连接、MoE 和优化器等多个层面。

“既然 token 长度上省不了多少，我们就找了另一条省钱的路，也就是从层的中间去省。YouCode 做了一种用一份 KV cache 来组织层结构的方式。”

“循环语言模型的主要目的是在参数层面保持一个较小的模型，同时取得比同参数模型更好的效果。但传统循环语言模型的问题在于，它只节省模型参数，不节省计算。”

“线性注意力不仅节省存储，也节省计算。在长序列场景下，它实际上带来的额外计算量相当小。”

4. 循环语言模型通过重复计算换取参数效率，但传统方案在推理成本上存在明显缺陷

循环语言模型的核心逻辑是用重复计算换取参数效率，但传统方案只省参数、不省计算：孙宇涛指出，循环语言模型（Loop Language Model）的根本目标是在保持较小参数规模的同时，通过多次重复计算提升模型整体能力，从而超越同等参数量的非循环模型。然而，传统循环语言模型存在一个关键缺陷：它只节省了参数存储，却没有节省推理时的计算量，这使其在解码阶段的成本难以承受。

“循环语言模型的主要目的，是在参数层面维持一个较小的模型，并取得比同等参数模型更好的效果。但在传统循环语言模型的情况下，解码成本是难以承受的。”

“它只节省模型参数，不节省计算。在相同计算量下，它实际上比把参数翻倍或者使用一个更大的非循环模型效果更好。”
传统循环语言模型的缓存随深度增长，推理成本问题进一步加剧：除了计算量不省之外，传统循环语言模型还面临缓存膨胀的问题：其缓存会随着模型深度的增加而增长，导致总缓存量相当大。这意味着传统循环方案在推理部署时同时承受计算和存储两方面的压力，进一步限制了其实用性。

“传统循环语言模型还有另一个问题：它的缓存会随着模型深度的增加而增长，所以循环语言模型的总缓存量相当大。”
YouCode Universal 通过混合注意力结构，在保持缓存和计算可控的同时逼近全注意力的扩展行为：孙宇涛的 YouCode Universal 工作针对传统循环模型的缺陷进行了改造：将循环单元设计为混合注意力结构，前段使用全注意力、后段将注意力集中在线性注意力上。由于线性注意力本身就是 KV 缓存，这种设计既控制了缓存增长，又节省了长序列场景下的计算量，同时在模型扩展行为上能够接近全注意力结构，实现用两倍计算获得接近两倍的性能提升。

“我们把循环单元改造成一个非常高效的单元，从而避免推理时的一些额外成本，同时保持模型的稳定增长。”

“线性注意力不仅节省存储，也节省计算。在长场景下，它带来的额外计算量相当小。虽然线性注意力带来的解码注意力相对较小，但从模型的扩展行为来看，它能够达到足够接近全注意力的能力。”

“如果我们使用原始模型两倍的计算量，我们基本上可以获得两倍的性能提升，但我们的模型存储和查询缓存仍然保持相似的推理成本。”

5. K3 的核心价值在于把架构创新从单点优化变成可公开追溯的体系化工程

读 K3 不能只读“它做了什么”，而要打开每项贡献背后的研究脉络：孙宇涛在领读中明确表示，他的讲解方式不是孤立地复述论文结论，而是把 K3 的每一项贡献放回其历史研究语境中，解释“为什么这样做”以及“行业如何一步步走到这里”。这种读法让听众从“知道结果”升级为“理解来龙去脉”，也正是本期播客区别于普通模型解读的核心方法。

“如果你只读这篇论文，你会知道他做了这件事，但你可能不知道他为什么这样做，或者历史上大家是怎么做的，为什么会得到这个方案。”

“从听众学习的角度来看，这是一种更好的方式。这样我们可以讨论得更全面。如果只是一个点，我觉得没有意义。”
K3 的架构创新之所以适合公开追溯，是因为每个部分都有清晰的贡献归属：孙宇涛指出，K3 在模型架构上的研究脉络非常清晰，每一项创新都可以被拆解并对应到具体的前人工作。这种“可分离、可归因”的特性，使得技术报告能够诚实地呈现每一项贡献的来源，而不是把复杂系统包装成单一公司的黑箱突破。

“模型结构的研究非常清晰，每个部分都有固定的贡献归属，我们可以把它拆成一个个点来讲。”
K3 的呈现是“很多人的功劳”，而不是 Kimi 一家公司的孤立成果：对话双方共同确认了一个关键判断：K3 表面上是 Kimi 的模型，实际上它吸收了行业大量前人的工作，并且技术报告明确给予这些工作应有的署名。孙宇涛进一步认为，这种承认前人贡献、让整个行业共同推动进步的做法，是更科学、更客观的公司研究方式。

“我们最终看到的虽然是 K3 的呈现，但实际上它是很多人的功劳，不只是 Kimi 一家公司。”

“它会吸收很多前人别人的工作，然后我们给每个人应有的署名。”

“不管怎样，整个行业是由大家一起推动的。所以我认为这也是 K3 的一个很好的点。它之前的一些论文也是这样，我觉得这更客观、更真实。”

6. K3 的技术报告体现了一种更客观的行业协作观：前沿模型是集体成果而非单一公司的封闭创造

K3 的论文结构本身就是一种“集体成果”的呈现方式，而非单一公司的封闭叙事：孙宇涛指出，K3 技术报告把模型架构的每一部分都拆解开来，并对应到明确的外部工作来源，使读者看到的不仅是一个 Kimi 的产品，而是整个行业多项研究的共同结晶。这种写法让技术报告从“我们做了什么”转向“我们如何整合了大家的成果”。

“你的链条结构让我觉得，我们最终看到的虽然是 K3 的呈现，但实际上它是很多人的功劳，而不仅仅是 Kimi 一家公司的。”
前沿模型的竞争力来自对行业整体进展的有效吸收，而不是只依赖自研技术：孙宇涛认为，当前做前沿模型的一个关键特征，就是会大量吸收别人之前的工作，并在论文中给予明确的 credit。如果只用自己的工作，反而可能错过更好的方案，因为整个行业是由所有人共同推动的。

“这也是现在做这些前沿模型的一个有趣之处：它会吸收很多别人之前的工作，然后我们给每个人应有的 credit。”

“如果你只想用自己的工作，那可能没有必要。如果基于这个目的，你可能会错过一些其他更好的工作。因为无论如何，整个行业是由所有人共同推动的。”
K3 的开放追溯写法体现了一种更客观、更科学的公司做事方式：孙宇涛将 K3 的论文写作方式评价为“相对科学”和“更客观、更现实”，认为这种对前人工作的明确承认不仅是学术规范，也反映了一家公司在推进前沿模型时的务实态度。这种态度本身也构成了 K3 值得被关注的一个亮点。

“是的，我认为这是一种相对科学的公司做事方式。”

“所以我认为这也是 Kimi K3 的一个好地方。我觉得它之前的一些论文也是这样。我认为这更客观、更现实。”

7. 架构创新在 2026 年可能越来越少，但注意力瓶颈仍然是必须解决的核心问题

架构创新对研究者个人而言兼具趣味性与实际影响力：孙宇涛从个人研究兴趣出发，认为架构层面的创新比其他层次的工作更有趣，因为即使涉及基础设施的代码设计，也可能产生算法层面的创新，并带来可观的现实影响。这解释了为什么架构创新在2023年对他这样的博士生是一个有吸引力的研究方向。

“就我个人而言，我认为架构创新是有趣的、好玩的。因为其他层面的工作有更多工程因素。当然，架构创新也有工程因素，但它的工程主要在于你需要在基础设施上做一些代码设计。但即使是基础设施上的代码设计，正如我们之前提到的，比如我们提出了一种像分块递归这样的计算方式，它实际上是基础设施层面的一种创新。所以我觉得这很有趣，而且它能产生数十亿美元级别的影响。”
到2026年，结构层面的创新空间可能明显收窄：孙宇涛基于个人判断指出，2023年时架构创新对博士生而言是一个好的研究领域，但到2026年，结构层面的创新可能会越来越少。这一判断为理解K3技术报告中架构工作的时代背景提供了重要参照，也提示研究者需要关注创新窗口的变化。

“我认为对一个博士生来说，这是一个好的研究领域。当然，2023年时是这样。到2026年，结构层面的创新可能会越来越少。这是个人的考虑。”
全注意力带来的推理成本瓶颈仍是行业必须解决的核心问题：尽管结构创新空间可能收窄，孙宇涛从整个领域的角度强调，全注意力机制是一个非常大的瓶颈。如果大模型要实现大规模应用，注意力带来的成本问题就必须被解决，而他认为这是可以解决的。这意味着效率导向的架构研究在长期内仍然具有关键价值。

“从整个领域的角度来看，我认为全注意力是一个非常大的瓶颈。如果大模型要实现大规模应用，那么注意力问题就必须被解决。我们相信它是可以被解决的。”

总结

K3 技术报告最值得传播的不是某个具体模块的创新，而是它展示了一种更成熟的行业协作方式：把架构选择放回效率瓶颈的约束下，把每一项贡献追溯到前人的工作，并诚实地承认前沿模型是集体成果而非封闭创造。当架构创新的空间逐渐收窄，真正拉开差距的或许不再是单点技术的领先，而是谁能更有效地整合行业已有的进展，并用清晰、可追溯的方式把它呈现出来。

信息源

视频来源

1. 领读Kimi K3技术报告：从架构创新聊起，注意力美学、多教师蒸馏和开源MoE：

外部资料

清華學者孫宇濤：Kimi K3不是革命，是2.8兆參數的「忒修斯之 ...：
Kimi K3 最意外的不是新架构，是把开源MoE 做大了一个数量级：
Moonshot AI Releases Kimi K3: A 2.8 Trillion Parameter ...：

导读

核心结论

K3 的真正价值不在于单点突破，而在于把架构创新变成可公开追溯的体系化工程：K3 技术报告将线性注意力、混合注意力、MoE 均衡、优化器等大量前人工作串联起来，并明确标注每项贡献的来源。这种写法让读者不仅能理解 K3 做了什么，还能理解它为什么这样做，以及行业如何一步步走到这里。
大模型架构研究的重心已经从提升性能转向解决推理效率瓶颈：在参数量主导性能的大模型时代，结构差异对模型能力的提升相对有限，反而在推理成本和部署效率上产生巨大差异。K3 的架构创新首先服务于 prefill、decode 和 KV cache 三个环节的效率突破，而非单纯追求更高的基准分数。
纯线性注意力作为独立方案已经失败，混合注意力是当前唯一可落地的折中路线：纯线性注意力无法在长上下文场景中追平全注意力，而混合注意力在保留一定比例全注意力的情况下可以实现性能无损，同时获得显著的推理加速。但加速收益受限于混合比例，在 1/4 全注意力比例下最大加速约 4 倍，并非无限可扩展。
KV cache 的压缩空间已接近极限，架构创新的下一站必须转向计算密度和参数效率：从第一性原理出发，每个 token 至少需要一个 KV cache 才能保证模型获取全文信息，因此缓存维度的节省已触及下限。后续效率提升需要从层间共享、循环结构、计算密度等维度寻找新的来源，这也解释了 K3 为何将创新延伸到注意力之外的多个层面。
前沿模型的竞争力来自对行业集体成果的有效整合，而非单一公司的封闭创造：K3 吸收了 RetNet、Gated DeltaNet、LatentMoE、Muon、DeepSeek-V3 等大量外部工作，并在论文中明确给予 credit。这种开放追溯的写法说明，当前做前沿模型的关键能力在于有效吸收行业整体进展，而非只依赖自研技术。

观点拆解

1. 大模型架构研究的重心已经从提升性能转向解决推理效率瓶颈

架构研究的重心已从“提性能”转向“提效率”：孙宇涛指出，在视觉和 ImageNet 时代，人们追求更精巧的结构来提升模型性能；但进入大模型时代后，参数量成为性能的主导因素，结构差异对模型本身性能的提升相对有限，反而在推理环节产生巨大差异。这解释了为什么 K3 这类工作的架构创新首先服务于部署成本和推理效率。

“在视觉时代或 ImageNet 时代，人们试图用更精巧的结构来提升模型本身的性能。但在大模型时代，我们逐渐发现，对模型性能来说，参数量始终是最重要的因素。”

“在模型结构的模态变化方面，对模型本身参数的提升相对较小。但在模型推理方面，不同结构有着巨大的性能差异。这也是我们决定把最终部署成本作为定价依据的原因。”
推理效率的突破口被归结为 prefill、decode 和 KV cache 三个环节：孙宇涛将自己的研究主线明确框定为解决大模型在推理阶段的低效率问题，并把推理拆解为 prefill、decode 和 KV cache 三个部分。这一框架帮助听众理解：K3 的线性注意力、缓存管理等设计，本质上是在这三个环节中寻找效率突破。

“过去两三年，我的主要研究方向一直是尝试解决大模型在推理环节的低效率问题。所以，我们的主要研究方向就是追求高效率。”

“模型的推理分为三个部分：prefill、decode 和 KV cache。这三者是模型的主要推理环节，不可能有第四个。”
全注意力是大规模应用的核心瓶颈，架构创新因此具有产业必要性：孙宇涛认为，如果大模型要走向大规模应用，全注意力机制带来的成本问题必须被解决。他把这视为整个行业最重要的方向，也解释了为什么线性注意力等替代方案不只是学术兴趣，而是有明确产业动机的效率路径。

“从整个领域的角度来看，我认为全注意力是一个非常大的瓶颈。如果大模型要大规模应用，那么注意力问题必须被解决。我们相信它是可以被解决的。”

2. 纯线性注意力作为独立方案已经失败，混合注意力才是当前可落地的折中路线

纯线性注意力作为独立方案已被证明失败，无法在长上下文场景中追平全注意力：孙宇涛明确指出，从纯线性注意力的角度来看，它作为一个独立模型方案是失败的。因为线性注意力在长上下文场景中很难达到与全注意力完全一致的性能，这是当前技术条件下被广泛认知的局限。这一判断直接解释了为什么K3没有选择纯线性注意力路线，而是转向混合架构。

“从纯线性注意力的角度来看，它作为一个纯线性注意力模型是失败的。因为它是一个相对受限的竞赛，很难在长上下文中带来与全注意力完全一致的性能。我们都知道这在今天的世界里是不可能的。”
混合注意力是当前可落地的折中方案：保留一定比例全注意力即可实现性能无损：孙宇涛解释了混合注意力的核心逻辑：将线性注意力与全注意力按比例组合，虽然听起来像工程上的妥协，但实验表明，在保留一定比例全注意力的情况下，模型性能可以不受损。这意味着混合注意力并非以牺牲模型能力为代价，而是当前被大规模采用的有效方案。

“混合注意力其实非常简单，包括K3在内，就是使用一些线性注意力和一些全注意力，将它们组合成一个模型结构。这听起来像是工程侧的权衡，也是一个更偏工程的解决方案。”

“我们发现，在保持一定全注意力比例的情况下，模型可以实现更好的性能而不受损害。换句话说，在混合模型注意力的过程中，我们并没有牺牲全注意力为模型带来的能力。”
混合注意力的加速收益受限于混合比例，1/4全注意力比例下最大加速约4倍：孙宇涛进一步指出混合注意力的一个关键限制：推理加速比始终与混合比例挂钩。当前业界普遍采用3:1的混合比例，即全注意力占1/4，在这个相对极端的比例下，无论是预填充还是解码阶段，最大加速比约为4倍。这说明混合注意力虽然有效，但加速空间受结构比例约束，并非无限可扩展。

“我认为最大的问题是，推理中的加速比始终等于混合比例，或者说并不完全是正比关系。因为现在人们使用的整体注意力比例是3:1，全注意力在模型中占1/4。”

“如果我们认为1/4是一个相对无害的比例，同时也是一个相对极端的比例，我们就能获得更大的加速比。也就是说，无论是预填充还是解码，我们的最大加速比是4倍。”

3. KV cache 的节省空间已经接近极限，架构创新的收益必须转向计算和参数效率

在 token 维度上，每个 token 至少需要一个 KV cache，缓存压缩已触及下限：孙宇涛从第一性原理出发解释：模型要具备获取全文信息的能力，就不能在 token 维度上继续削减 KV cache。这意味着从 KV cache 角度节省存储已经接近极限，后续效率提升必须另寻维度。

“我们至少希望模型具备一些基本能力，比如获取全文信息的能力。在这种情况下，我们就不能省掉那些关乎上下文的 KV cache。”

“从 KV cache 的存储角度看，基本上已经到顶了。我们都同意，如果从 token 维度来保证，一个 token 就是最小的可能。所以从 KV cache 角度看，这是一个相对极限的结果。”
架构创新的收益必须转向计算密度、层间共享和循环结构：既然 token 维度的缓存无法继续压缩，孙宇涛的研究转向了层间共享和循环结构：YouCode 用一份 KV cache 支撑多层全注意力计算，而循环语言模型则通过参数复用提升计算效率。这解释了为什么 K3 的架构创新不局限于注意力本身，而是延伸到残差连接、MoE 和优化器等多个层面。

“既然 token 长度上省不了多少，我们就找了另一条省钱的路，也就是从层的中间去省。YouCode 做了一种用一份 KV cache 来组织层结构的方式。”

“循环语言模型的主要目的是在参数层面保持一个较小的模型，同时取得比同参数模型更好的效果。但传统循环语言模型的问题在于，它只节省模型参数，不节省计算。”

“线性注意力不仅节省存储，也节省计算。在长序列场景下，它实际上带来的额外计算量相当小。”

4. 循环语言模型通过重复计算换取参数效率，但传统方案在推理成本上存在明显缺陷

循环语言模型的核心逻辑是用重复计算换取参数效率，但传统方案只省参数、不省计算：孙宇涛指出，循环语言模型（Loop Language Model）的根本目标是在保持较小参数规模的同时，通过多次重复计算提升模型整体能力，从而超越同等参数量的非循环模型。然而，传统循环语言模型存在一个关键缺陷：它只节省了参数存储，却没有节省推理时的计算量，这使其在解码阶段的成本难以承受。

“循环语言模型的主要目的，是在参数层面维持一个较小的模型，并取得比同等参数模型更好的效果。但在传统循环语言模型的情况下，解码成本是难以承受的。”

“它只节省模型参数，不节省计算。在相同计算量下，它实际上比把参数翻倍或者使用一个更大的非循环模型效果更好。”
传统循环语言模型的缓存随深度增长，推理成本问题进一步加剧：除了计算量不省之外，传统循环语言模型还面临缓存膨胀的问题：其缓存会随着模型深度的增加而增长，导致总缓存量相当大。这意味着传统循环方案在推理部署时同时承受计算和存储两方面的压力，进一步限制了其实用性。

“传统循环语言模型还有另一个问题：它的缓存会随着模型深度的增加而增长，所以循环语言模型的总缓存量相当大。”
YouCode Universal 通过混合注意力结构，在保持缓存和计算可控的同时逼近全注意力的扩展行为：孙宇涛的 YouCode Universal 工作针对传统循环模型的缺陷进行了改造：将循环单元设计为混合注意力结构，前段使用全注意力、后段将注意力集中在线性注意力上。由于线性注意力本身就是 KV 缓存，这种设计既控制了缓存增长，又节省了长序列场景下的计算量，同时在模型扩展行为上能够接近全注意力结构，实现用两倍计算获得接近两倍的性能提升。

“我们把循环单元改造成一个非常高效的单元，从而避免推理时的一些额外成本，同时保持模型的稳定增长。”

“线性注意力不仅节省存储，也节省计算。在长场景下，它带来的额外计算量相当小。虽然线性注意力带来的解码注意力相对较小，但从模型的扩展行为来看，它能够达到足够接近全注意力的能力。”

“如果我们使用原始模型两倍的计算量，我们基本上可以获得两倍的性能提升，但我们的模型存储和查询缓存仍然保持相似的推理成本。”

5. K3 的核心价值在于把架构创新从单点优化变成可公开追溯的体系化工程

读 K3 不能只读“它做了什么”，而要打开每项贡献背后的研究脉络：孙宇涛在领读中明确表示，他的讲解方式不是孤立地复述论文结论，而是把 K3 的每一项贡献放回其历史研究语境中，解释“为什么这样做”以及“行业如何一步步走到这里”。这种读法让听众从“知道结果”升级为“理解来龙去脉”，也正是本期播客区别于普通模型解读的核心方法。

“如果你只读这篇论文，你会知道他做了这件事，但你可能不知道他为什么这样做，或者历史上大家是怎么做的，为什么会得到这个方案。”

“从听众学习的角度来看，这是一种更好的方式。这样我们可以讨论得更全面。如果只是一个点，我觉得没有意义。”
K3 的架构创新之所以适合公开追溯，是因为每个部分都有清晰的贡献归属：孙宇涛指出，K3 在模型架构上的研究脉络非常清晰，每一项创新都可以被拆解并对应到具体的前人工作。这种“可分离、可归因”的特性，使得技术报告能够诚实地呈现每一项贡献的来源，而不是把复杂系统包装成单一公司的黑箱突破。

“模型结构的研究非常清晰，每个部分都有固定的贡献归属，我们可以把它拆成一个个点来讲。”
K3 的呈现是“很多人的功劳”，而不是 Kimi 一家公司的孤立成果：对话双方共同确认了一个关键判断：K3 表面上是 Kimi 的模型，实际上它吸收了行业大量前人的工作，并且技术报告明确给予这些工作应有的署名。孙宇涛进一步认为，这种承认前人贡献、让整个行业共同推动进步的做法，是更科学、更客观的公司研究方式。

“我们最终看到的虽然是 K3 的呈现，但实际上它是很多人的功劳，不只是 Kimi 一家公司。”

“它会吸收很多前人别人的工作，然后我们给每个人应有的署名。”

“不管怎样，整个行业是由大家一起推动的。所以我认为这也是 K3 的一个很好的点。它之前的一些论文也是这样，我觉得这更客观、更真实。”

6. K3 的技术报告体现了一种更客观的行业协作观：前沿模型是集体成果而非单一公司的封闭创造

K3 的论文结构本身就是一种“集体成果”的呈现方式，而非单一公司的封闭叙事：孙宇涛指出，K3 技术报告把模型架构的每一部分都拆解开来，并对应到明确的外部工作来源，使读者看到的不仅是一个 Kimi 的产品，而是整个行业多项研究的共同结晶。这种写法让技术报告从“我们做了什么”转向“我们如何整合了大家的成果”。

“你的链条结构让我觉得，我们最终看到的虽然是 K3 的呈现，但实际上它是很多人的功劳，而不仅仅是 Kimi 一家公司的。”
前沿模型的竞争力来自对行业整体进展的有效吸收，而不是只依赖自研技术：孙宇涛认为，当前做前沿模型的一个关键特征，就是会大量吸收别人之前的工作，并在论文中给予明确的 credit。如果只用自己的工作，反而可能错过更好的方案，因为整个行业是由所有人共同推动的。

“这也是现在做这些前沿模型的一个有趣之处：它会吸收很多别人之前的工作，然后我们给每个人应有的 credit。”

“如果你只想用自己的工作，那可能没有必要。如果基于这个目的，你可能会错过一些其他更好的工作。因为无论如何，整个行业是由所有人共同推动的。”
K3 的开放追溯写法体现了一种更客观、更科学的公司做事方式：孙宇涛将 K3 的论文写作方式评价为“相对科学”和“更客观、更现实”，认为这种对前人工作的明确承认不仅是学术规范，也反映了一家公司在推进前沿模型时的务实态度。这种态度本身也构成了 K3 值得被关注的一个亮点。

“是的，我认为这是一种相对科学的公司做事方式。”

“所以我认为这也是 Kimi K3 的一个好地方。我觉得它之前的一些论文也是这样。我认为这更客观、更现实。”

7. 架构创新在 2026 年可能越来越少，但注意力瓶颈仍然是必须解决的核心问题

架构创新对研究者个人而言兼具趣味性与实际影响力：孙宇涛从个人研究兴趣出发，认为架构层面的创新比其他层次的工作更有趣，因为即使涉及基础设施的代码设计，也可能产生算法层面的创新，并带来可观的现实影响。这解释了为什么架构创新在2023年对他这样的博士生是一个有吸引力的研究方向。

“就我个人而言，我认为架构创新是有趣的、好玩的。因为其他层面的工作有更多工程因素。当然，架构创新也有工程因素，但它的工程主要在于你需要在基础设施上做一些代码设计。但即使是基础设施上的代码设计，正如我们之前提到的，比如我们提出了一种像分块递归这样的计算方式，它实际上是基础设施层面的一种创新。所以我觉得这很有趣，而且它能产生数十亿美元级别的影响。”
到2026年，结构层面的创新空间可能明显收窄：孙宇涛基于个人判断指出，2023年时架构创新对博士生而言是一个好的研究领域，但到2026年，结构层面的创新可能会越来越少。这一判断为理解K3技术报告中架构工作的时代背景提供了重要参照，也提示研究者需要关注创新窗口的变化。

“我认为对一个博士生来说，这是一个好的研究领域。当然，2023年时是这样。到2026年，结构层面的创新可能会越来越少。这是个人的考虑。”
全注意力带来的推理成本瓶颈仍是行业必须解决的核心问题：尽管结构创新空间可能收窄，孙宇涛从整个领域的角度强调，全注意力机制是一个非常大的瓶颈。如果大模型要实现大规模应用，注意力带来的成本问题就必须被解决，而他认为这是可以解决的。这意味着效率导向的架构研究在长期内仍然具有关键价值。

“从整个领域的角度来看，我认为全注意力是一个非常大的瓶颈。如果大模型要实现大规模应用，那么注意力问题就必须被解决。我们相信它是可以被解决的。”

总结

信息源

视频来源

1. 领读Kimi K3技术报告：从架构创新聊起，注意力美学、多教师蒸馏和开源MoE：

外部资料

清華學者孫宇濤：Kimi K3不是革命，是2.8兆參數的「忒修斯之 ...：
Kimi K3 最意外的不是新架构，是把开源MoE 做大了一个数量级：
Moonshot AI Releases Kimi K3: A 2.8 Trillion Parameter ...：

领读Kimi K3技术报告：从架构创新聊起，注意力美学、多教师蒸馏和开源MoE

导读

核心结论

观点拆解

1. 大模型架构研究的重心已经从提升性能转向解决推理效率瓶颈 02:30

2. 纯线性注意力作为独立方案已经失败，混合注意力才是当前可落地的折中路线 06:06

3. KV cache 的节省空间已经接近极限，架构创新的收益必须转向计算和参数效率 08:58

4. 循环语言模型通过重复计算换取参数效率，但传统方案在推理成本上存在明显缺陷 11:24

5. K3 的核心价值在于把架构创新从单点优化变成可公开追溯的体系化工程 16:20

6. K3 的技术报告体现了一种更客观的行业协作观：前沿模型是集体成果而非单一公司的封闭创造 17:06

7. 架构创新在 2026 年可能越来越少，但注意力瓶颈仍然是必须解决的核心问题 14:48

总结

信息源

领读Kimi K3技术报告：从架构创新聊起，注意力美学、多教师蒸馏和开源MoE

导读

核心结论

观点拆解

1. 大模型架构研究的重心已经从提升性能转向解决推理效率瓶颈 02:30

2. 纯线性注意力作为独立方案已经失败，混合注意力才是当前可落地的折中路线 06:06

3. KV cache 的节省空间已经接近极限，架构创新的收益必须转向计算和参数效率 08:58

4. 循环语言模型通过重复计算换取参数效率，但传统方案在推理成本上存在明显缺陷 11:24

5. K3 的核心价值在于把架构创新从单点优化变成可公开追溯的体系化工程 16:20

6. K3 的技术报告体现了一种更客观的行业协作观：前沿模型是集体成果而非单一公司的封闭创造 17:06

7. 架构创新在 2026 年可能越来越少，但注意力瓶颈仍然是必须解决的核心问题 14:48

总结

信息源

1. 大模型架构研究的重心已经从提升性能转向解决推理效率瓶颈

2. 纯线性注意力作为独立方案已经失败，混合注意力才是当前可落地的折中路线

3. KV cache 的节省空间已经接近极限，架构创新的收益必须转向计算和参数效率

4. 循环语言模型通过重复计算换取参数效率，但传统方案在推理成本上存在明显缺陷

5. K3 的核心价值在于把架构创新从单点优化变成可公开追溯的体系化工程

6. K3 的技术报告体现了一种更客观的行业协作观：前沿模型是集体成果而非单一公司的封闭创造

7. 架构创新在 2026 年可能越来越少，但注意力瓶颈仍然是必须解决的核心问题

1. 大模型架构研究的重心已经从提升性能转向解决推理效率瓶颈

2. 纯线性注意力作为独立方案已经失败，混合注意力才是当前可落地的折中路线

3. KV cache 的节省空间已经接近极限，架构创新的收益必须转向计算和参数效率

4. 循环语言模型通过重复计算换取参数效率，但传统方案在推理成本上存在明显缺陷

5. K3 的核心价值在于把架构创新从单点优化变成可公开追溯的体系化工程

6. K3 的技术报告体现了一种更客观的行业协作观：前沿模型是集体成果而非单一公司的封闭创造

7. 架构创新在 2026 年可能越来越少，但注意力瓶颈仍然是必须解决的核心问题