AREX Feed Article
晚点LatePost 长文披露：杨植麟拍板推迟 2.8 万亿参数 Kimi K3 开训，为验证 Attention Residuals 留出时间
10 月 20 日， 通过官方账号发布长篇报道《中国 AI 的年轻掌权者们》，当日全文转载，作者魏冰，编辑宋玮、赵磊。文章的第一个故事属于月之暗面：2026 年 3 月，几名 Kimi 年轻研究员希望把一项叫 Attention Residuals 的新架构放进正在研发的下一代旗舰大模型 K3。报道写道，CEO 杨植麟最终拍板，同意推迟 K3 的开训时间，为团队留出验证窗口。
这条故事链的其余环节同样具体：想法最初来自研究员苏剑林；把它从“完整版开销无法承担”变成可行方案的，是张宇和当时只有 17 岁的高中生陈广宇——两人提出的 Block AttnRes（分块注意力残差）把额外开销控制在 5% 以内，换来约 20% 的训练效率提升。这项研究；据晚点报道，Attention Residuals 随后用在了 K3 上。
开训倒计时只剩四个月，一个新架构要进主线
按报道的叙述，当时距离 K3 预期发布只剩四个月，临时更换架构可能推迟训练，甚至影响发布时间；在几千张卡开始运转之前，这几名研究员需要说服杨植麟。报道交代了这家公司的处境：一位接近 Kimi 招聘的人士说，公司只做一件事——大模型，“做不好，公司就会死”。至于拍板的人，报道介绍杨植麟 33 岁，是 XLNet、Transformer-XL 的共同第一作者，创业前曾在 Meta AI 和 Google Brain 实习。
想法来自苏剑林，可行方案出自一个通宵
Attention（注意力机制）是大模型沿用多年的技术：处理一段文字时，模型判断哪些词与当前词更相关，再按不同权重读取它们的信息。报道写道，这个新想法来自 Kimi 研究员苏剑林——业内人称“苏神”，独自住在广州，与北京团队远程合作，长期在个人博客“科学空间”上写数学推导和模型研究，许多研究员在成为他的同事之前就已经是他的读者。2026 年春节前后，他读到 DeepSeek 的 mHC 论文（该项研究保留多条并行信息流，让每一层按不同权重混合、读取和更新），冒出一个念头：“既然是在做加权求和，何不用 Attention？”
传统残差连接（residual connection）把每层产生的信息不断相加、向后传递；苏剑林想让当前层按需选择从前面哪些层读取多少信息。报道引用一位研究者的形容：这相当于把 Attention 转了 90 度竖起来用，原本在 token（词元）与 token 之间选择信息，现在在层与层之间选择。的表述与此对应：用 softmax 注意力替换固定权重的累加，让每一层以学到的、依赖输入内容的权重聚合此前各层的输出。
简化版很快写出来，效果很好；完整版却需要保存各层信息并在设备间传递，训练团队算过后发现以当时的资源根本无法承担——报道引述苏剑林后来写下的话：“说白了还是穷。”Kimi 的 AI Infra（基础设施）工程师 Yaoyu Wang 在知乎上给出了另一个约束：公司流量疯狂上涨，延迟优化和成本优化的压力都很大，最终定版要做到“几乎无性能开销”。
Infra 团队提出，希望换一种具备良好局部性的思路化解通信瓶颈。沟通之后，张宇和陈广宇几乎只用了一个晚上，提出 Block AttnRes：把模型的多个层分成 8 个组（Block），先汇总组内信息，再在组间做 Attention。报道介绍，张宇在苏州大学读博期间就研究高效模型架构，2025 年 3 月加入 Kimi，后来成为 Kimi Linear 论文的第一作者；陈广宇当时还是一名高中生，同样长期研究高效模型架构。几个人此前试过更复杂的设计，效果大多不如最初的简单版本。
3 月 16 日公开研究，四个月后 K3 发布
报道写道，训练、推理和 Infra 团队确认方案可行后，“所有同学全力推动它进主线”。剩最后一个问题：K3 即将开训，日程已按交付日期倒排，新架构还需要进一步验证，临时加入可能打乱整个训练计划。报道称，杨植麟最终同意推迟 K3 的开训时间。
3 月 16 日，Kimi 公开这项研究，陈广宇、张宇和苏剑林同为共同第一作者——的引用条目里，Kimi Team 之后的头三个署名正是 Chen Guangyu、Zhang Yu、Su Jianlin，作者列表末尾还有 Yang, Zhilin；arXiv 页面显示的发布日期也正好是 2026 年 3 月 16 日。据晚点报道，四个月后，拥有 2.8 万亿参数的 K3 发布，Attention Residuals 成为其重要架构之一，新模型在多项第三方评测中表现出色。
公开证据核对得上什么，核对不上什么
先说明这篇报道的证据边界：内部决策细节——杨植麟的决定、一个通宵的方案、智谱与小米的会议室讨论、林俊旸的群聊感言——均来自晚点记者对匿名及具名信源的单一采访线，未经独立核实，本文相关表述均以“报道写道”为准。但 Kimi 这条线的一部分，能与公开工件互相印证。
官方仓库把 AttnRes 描述为标准残差连接的“即插即用”替代品，其 Block AttnRes 分块设计与报道中“分成 8 个组”的方案一致；说明文件（README）写明，此举把内存占用从 O(Ld) 降到 O(Nd)，约 8 个分块即可拿回完整版的大部分收益。arXiv 摘要补充了工程侧细节：Block AttnRes 配合基于缓存的流水线通信与两阶段计算，推理延迟开销低于 2%。仓库的 scaling law（缩放定律）图表显示，Block AttnRes 达到了用 1.25 倍算力训练的基线的 loss（训练损失）水平——按同等损失折算，相当于少用 20% 的算力，与报道“约 20% 训练效率提升”的说法可以互相换算。论文还在 Kimi Linear 架构（48B 总参数 / 3B 激活参数、1.4T tokens 预训练）上做了公开验证，仓库表格显示 GPQA-Diamond 提升 7.5 分、HumanEval 提升 3.1 分。至于杨植麟如何权衡训练日程、那个通宵里发生了什么，公开材料无法回答，只能归为报道口径。
报道里的其他决策现场：智谱、小米与腾讯
文章写道，这些决定的代价可能是按分钟计算的：2026 年 9 月，罗福莉直播公开了小米两款模型的强化学习训练看板，按页面展示的费用速率，两轮训练合计每小时要花掉 3.08 万美元。
智谱的 Coding 转向在报道里是一群人的判断。2025 年初 DeepSeek-R1 发布后，智谱模型效果不及预期、行业陷入价格战，唐杰把十几位核心技术人员叫到一起。00 后、尚未博士毕业的曾奥涵提出做 Coding，但方向未成共识——侯振宇等人主张继续沿 Reasoning（推理）路线探索。唐杰没有当场拍板，而是让团队分头验证。转折出现在 2025 年 4 月：智谱发布的一批 320 亿参数模型中，一个版本加强了工程代码和函数调用能力，内部测评与使用反馈让 Coding 获得更多认可；2025 年 7 月 GLM-4.5 发布，编程成为市场反馈最好的能力之一；到 2025 年 12 月，CEO 张鹏称这项业务的年度经常性收入已超过一亿元人民币。报道称，2026 年智谱上市当天，唐杰在内部信里把 4 月的发布称作试探，把 7 月底的 GLM-4.5 称作“一场决战”。报道还引述 MiniMax 创始人闫俊杰 2026 年 6 月的回忆：大约两年前，他曾问梁文锋做不做 AI Coding，得到否定的回答——在当时，Coding 还不是许多国内大模型公司的优先项。
小米 MiMo 的路径被报道形容为“更激进一些”。2025 年 4 月，小米发布第一款只有 7B 参数的 MiMo 模型；罗福莉加入后，和团队决定同时训练一个数千亿参数模型和一个万亿参数模型，后来分别成为 MiMo-V2-Flash 和 MiMo-V2-Pro。当时团队 2025 年 1 月不到 20 人，五六月份也只有五六十人，大部分研究员没有训练过大模型。报道引用一位同行的话：“换我在那个位置，我肯定不敢说直接训 1T 的。”罗福莉在访谈中说，自己“不会再想训一个同样的模型”，而 1T 已接近当时算力能尝试的极限。报道称，雷军大约每两周听一次汇报，通常不干预具体技术决策；罗福莉 2019 年在北大读研二时，就在自然语言处理顶会 ACL 上有 8 篇署名论文，加入小米前参与过 DeepSeek-V2、V3 的研发。训练开始后，loss（训练损失）升高、激活值异常、专家模块负载失衡接连出现，罗福莉决定停下来排查，还开玩笑说排查到最后“会怀疑是不是太阳黑子的报复”。报道写道，两款模型最终完成，小米由此进入能够训练万亿参数基座模型的公司行列。
腾讯混元的部分围绕姚顺雨展开。他 28 岁进入腾讯总裁办、接手混元，加入前是 OpenAI 研究员，参与 Deep Research 和 Operator 两个核心项目。一位混元团队成员说，姚顺雨曾提出“成为第一之前不发技术报告”“不仅要做中国第一，还要做世界第一”；Hy 4 Preview 发布后，他给研究员集体放了一周假。报道称，他加入后一年，混元人员扩张到近 2,000 人，腾讯招聘团队人士说混元在校招上的吸引力明显提升。报道还写道，2025 年底，刚加入腾讯一个月的姚顺雨主动提出把模型应用中心、搜索算法中心划归元宝所在的事业群；混元自己的预训练模型还没准备好时，他先派后训练骨干去帮元宝优化接入的 DeepSeek。这种“向外让渡支持”换来了回报——一位同行感叹，混元新模型发布时，腾讯内部多个核心产品和部门主动站台。
林俊旸的离场，与这套权力逻辑的另一面
报道的最后一部分落在权力的边界上。2026 年 3 月 3 日，林俊旸得知自己带领的阿里 Qwen 团队可能被拆分，原本整合的预训练、后训练等团队将被重新划分，管理范围随之缩小——这与他“预训练、后训练和 Infra 必须更紧密咬合”的技术主张相悖。报道写道，当天他在 Qwen 钉钉群留下“无颜再带领大家”的感言，提出离职。
与之并置的是姚顺雨：他在腾讯用“向外让渡支持”换来了内部声援。报道由此写下它的判断：在大公司，“技术成绩可以带来权力，却未必足以守住权力”。这些年轻负责人有自己的管理观——杨植麟借用模型训练的术语解释，多用“RL”（强化学习）、少用“SFT”（监督微调），负责人只给出目标和结果反馈，不规定每一步的动作；唐杰给 AI 时代的能力排过“认知＞格局＞技术＞管理”的次序；一位大模型公司的 tech lead（技术负责人）说，“人招进来，给他卡就够了”，前提是“要招比自己还优秀的人”；1995 年出生的 LibLib 创始人陈冕说，AI 时代管理“变得前所未有的不重要”，“唯一目的是让符合你业务特点和业务要求的人，得以留存”。报道在结尾处写道：“给他卡就够了”，是他们对理想研究环境最朴素、也最浪漫的描述；但如何争取这些卡、决定把卡给谁、为最后的结果负责，是“一场极其现实、艰苦的工作”；人们期待更少层级、更自由探索的公司，“但这些，其实就是管理本身”。至于提出离职的林俊旸此后去向如何，这篇报道没有再写。