AREX Feed Article
字节跳动被曝讨论训练超5万亿参数模型，张一鸣要求"不蒸馏、不抄近路"
8 月 6 日，《晚点 LatePost》称，字节跳动正在讨论训练一个参数规模超过 5 万亿的大模型，由 Seed Foundation 负责人项亮主导，与大语言模型预训练数据负责人沈科合作。该计划目前仍处于早期阶段，最终未必发布。
若实现，它将超过阿里 Qwen 3.8-Max（2.4 万亿参数）和月之暗面 Kimi K3（2.8 万亿参数），成为国内已知参数规模最大的模型。次日，英国《金融时报》援引知情人士进一步称，字节实际可能在训练最高达 10 万亿参数的模型，规模接近 Anthropic Mythos 5 的业内估算；转述该报道称，模型预训练周期预计 3 到 6 个月。
截至发稿，字节跳动未对此发表回应。
字节的语言模型，偏科了
这条消息出现的背景，是 Seed 团队的语言模型在过去半年表现不及内部预期。
2 月中旬，吴永辉执掌 Seed 后发布的关键模型 Seed 2.0 市场反响有限。几乎同一时间，智谱开源的 GLM-5 被市场视为国内第一个能与 Anthropic Opus 系列比肩的模型。7 月，月之暗面的 Kimi K3 发布，多项第三方评测认为已接近海外闭源旗舰。
差距最明显的地方在 Coding。今年春节期间，Anthropic 凭借 Opus 系列的编程能力迅速打开程序员和 B 端市场，ARR 很快逼近并反超 OpenAI。智谱和月之暗面凭借持续提升的 Coding 能力，ARR 分别突破 10 亿美元和 3 亿美元。一位接近 Seed 人士告诉《晚点》："像一场赌博。"
收入端同样承受压力。火山引擎目前约占国内模型 API 市场一半份额，2025 年收入约 150 亿元，今年内部目标超过 400 亿元。但豆包大模型的 token 消耗中，超过一半来自 Seedance 和 Seedream 两个多模态生成模型，语言模型占比不高。二季度以来，随着短剧行业增长见顶，Seedance 的 token 消耗和收入增速放缓——豆包大模型 token 消耗 3 月为 120 万亿，6 月为 180 万亿，低于原计划 250 万亿至 300 万亿的目标。
指出，多模态生成赚的是内容消费的钱，需求跟着短剧、电商素材这些行业周期走；语言模型尤其是 Coding，赚的是生产力的钱，客户粘性和客单价都高得多。400 亿的收入目标，靠视频生成撑不起来，必须补语言模型这块短板。
项亮与沈科：从"搜广推"体系走出来的训练班底
新模型将由 Seed Foundation 负责人项亮主导，与预训练数据负责人沈科合作。两人均出身字节最核心的搜索、广告和推荐（"搜广推"）技术体系。
项亮本科毕业于中国科学技术大学，博士就读于中科院自动化所，2016 年加入字节，曾负责机器学习中台 AML 团队，后调任豆包大模型 Foundation 团队任负责人。沈科 2018 年从清华毕业后加入字节跳动，现主要负责 LLM 预训练数据。《晚点》称，为推进该项目，Seed 正在重新梳理组织、划分职责、分配资源。
字节同时在补齐关键岗位。张一鸣亲自邀请 DeepSeek 核心研究员郭达雅加入 Seed，负责模型 Coding 能力的专项训练，相关研发资源被统一划归给他。同期，阿里千问基模团队也投入更多资源专攻 Coding 训练。
组织层面，字节高层正推动 Seed 取消同一方向上的内部赛马机制，收拢研发资源，打破部门墙。一家擅长快速试错的产品公司，正在适应周期更长、反馈更慢的基础研究。
张一鸣的底线：不蒸馏，哪怕短期落后
两周前，张一鸣与 Seed 负责人吴永辉共同召开 Seed 全员会。《晚点》披露了张一鸣在会上表达的几项关键态度。
他明确反对模型蒸馏——即用 Claude 等闭源模型或 Kimi K3 等开放权重模型作为"教师"批量获取输出，再用这些数据补齐自身能力。张一鸣认为，蒸馏能在短期内改善模型表现，但本质上仍是在复制已有的能力，"沿着这条路走，最多只能不断逼近对方，很难真正实现超越"。他表态：即使不蒸馏意味着字节在技术上会短暂落后国内竞争对手，也不会采用这一捷径。
据 报道，字节早在 2023 年 4 月便要求不得将 GPT 生成的数据加入自家模型训练集，并通过 API 调用检查和输出相似度抽样排查违规使用。此后 Seed 内部多次讨论是否借助外部模型蒸馏，最终均被否决。
张一鸣同时安抚了 Seed 成员。他认为训练大模型本就困难，团队不必过度焦虑，明确"一段时间内可接受模型落后于行业"，希望大家以追求智能上限为目标，期待 Seed 能力跻身世界第一梯队。他认可 Coding 是当前关键方向，要把火山引擎、飞书和豆包的资源整合到一起，但提醒团队不应完全被编程牵着走，"编程之外还有更多更大的机会"。
他表扬了 Seedance，认为这个视频生成模型在市场上有领先优势，更鼓励 Seed "做出有自己特色的模型"。
8 月 6 日，字节 CEO 梁汝波在公司全员会上承认 Seed 大语言模型与海外领先模型之间的差距正在扩大，要求团队接受一段时间的落后，坚持自研和长期优化。豆包负责人赵祺在同场会议上表示，大模型的市场潜力很大，因此不担心经济回报，"但收入还是重要的"。
Seedance 跑通了一次，语言模型能复现吗？
字节的打法有一个成功先例：Seedance。
2025 年，视频生成领域的主流判断是沿 DiT 架构继续扩大预训练的空间已经不大，多数团队转向后训练。快手可灵也曾尝试训练更大模型，但中途退了回去。Seedance 反着来，把预训练做到极致，做出第一个完整采用 MoE 架构的视频生成模型，2000 亿参数，2026 年 2 月上线后被公认为全球性能最强的视频模型，随后成为火山引擎 MaaS 业务的营收基本盘。
但这一案例不能直接证明 5 万亿语言模型也会成功。Seedance 押注的是一个共识退潮的方向，核心算法团队只有十余人，对推理芯片的要求也较低。更大参数的语言模型则完全不同——除了算法创新，团队还要处理完全不同量级的系统工程、更大量且更多样的数据、以及多个部门之间的深度配合。
一位曾在 Seed 的人士告诉《晚点》："字节的文化可能不适合创新，但非常擅于解题。Seedance 解开了第一道题，字节现在想用同样的方法解下一道。"
这道题却不在真空里。做大模型尺寸已是行业共识：月之暗面 7 月发布 2.8 万亿参数的 Kimi K3，马斯克 xAI 将 Grok 底座从 5000 亿扩到 1.5 万亿并称下一代要做到 6 万亿，OpenAI 与 Anthropic 也传出训练更大尺寸模型。字节没有信息差，只能赌资源差——国内最充足的算力储备、业内领先的基础设施能力和高密度人才——能否转化为训练效率和模型能力。
张一鸣说，字节"应该愿意为长期目标牺牲一部分短期收益"。 评论称，这句话的真正考验不在模型榜单上，而在收入表上。400 亿的年度目标、低于预期的 token 增速、占比过半的多模态收入——接受技术落后容易，接受落后带来的收入缺口是另一回事。