NaiveAI 开源 Naive-N0.5-Flash：309B MoE 无全注意力层，原生支持 1M 上下文

北京时间 9 月 27 日晚，NaiveAI 在 Hugging Face 上线 Naive-N0.5-Flash。按的规格，这是一个 309B 总参数、15.5B 激活参数的混合专家（MoE）模型，面向编程与 AI 研发，原生支持 1M（100 万）token 上下文；权重与推理代码按 MIT 许可发布，在 9 月 28 日凌晨发出。

整张网络没有一层全注意力：48 层 Transformer 中，39 层是窗口只有 128 token 的滑动窗口注意力（Sliding-Window Attention，SWA），9 层是 DeepSeek 稀疏注意力（DeepSeek Sparse Attention，DSA）。Hugging Face 的显示，该仓库创建于北京时间 9 月 27 日 22:14（14:14 UTC），现有 49 个权重分片，存储占用约 617.8 GB；模型基于小米开源的 MiMo-V2.5 底座，继续训练了 3.25T token。

五层 SWA 接一层 DSA 的模块排布

整网由 8 个六层模块组成：常规模块是 5 层 SWA 后接 1 层 DSA，第一个模块的第一层也被换成 DSA，两种注意力都带 sink bias（汇点偏置）。SWA 只看左侧 128 个 token；DSA 用一个轻量索引器扫描完整历史，为主干挑出 top 2,048 个 token 参与注意力计算。

模型卡解释了这套结构的来由：MiMo-V2.5 底座大部分层已是 SWA，单 token 解码成本不随上下文长度增长，少数全局注意力层负责长程信息；但在百万 token 上下文下，解码开销主要来自这些全局层。Naive-N0.5-Flash 把它们整体换成 DSA：索引器仍要扫全史、完整 KV cache（键值缓存）仍保留，模型卡称主干的注意力计算与显存访问由此大幅减少。

与 DeepSeek 原版基于 MLA（多头潜在注意力）的 DSA 实现不同，它改用 4 个 KV 分组的分组查询注意力（Grouped-Query Attention，GQA）。模型卡称索引器有 16 个查询头；给出的数字是，索引选择耗时比原版 DSA 减少 44%。

三段续训：从索引器预热到学习率衰减

续训分三段：先用 50B token 做索引器预热，只训新引入的索引器、其余参数冻结，用 KL 散度损失把它对齐到全注意力参考；随后切换稀疏注意力，用 3T token 做固定学习率的持续预训练，全程保持 1M 上下文；最后 200B token 进入学习率衰减。模型卡把“适应新的注意力结构”列为这次继续预训练的目标之一。

致谢名单里还有 DeepSeek（DSA 相关工作）与 SGLang 社区（开源推理基础设施）。公告把路线写成“Building Frontier AI with AI”（用 AI 构建前沿 AI）：按技术博客的说法，AI 参与了注意力架构的探索与设计，并承担写代码、跑实验、分析与迭代，人类研究者负责设定方向、约束和验收标准。

2,000 tok/s 的标称与 2,122 的测试条件

模型卡称，自研推理系统 NaiveRT 组合了 mega-kernel（超大内核）融合、Programmatic Dependent Launch（程序化依赖启动，PDL）与推测解码（speculative decoding），标准模式下为每用户 50 token/s，Ultrafast 模式最高 2,000 token/s；公告帖也把“最高 2,000 tok/s”列为三条要点之一。

NaiveAI 在技术博客里写得比模型卡细：2,122 token/s 的峰值是在 8 张 GPU 上、关闭思考模式、不计预填充（prefill）、取 41 个 HTML/SVG 生成请求中表现最好的一秒测出的（temperature 0.4、top-p 0.95）；同一系统上，一轮完整的推测解码（draft、verify、采样、提交）耗时 3.4 毫秒，相比 SGLang 的 12.3 毫秒，博客给出的降幅是 72.4%。博客还称，这套运行时是 6 天内跑完 151 轮优化实验、采纳其中 63 轮的结果，面向强化学习（RL）工作负载的单流解码。

发布条款和部署条件同样写在模型卡里：API 访问“也将提供”，定价为每百万 token 输入 $0.10、输出 $0.40、缓存读取 $0.01；本地跑推理需要支持 FP8（8 位浮点）的 NVIDIA GPU，FP8 权重约 315 GB。Pandaily 在 9 月 28 日的里提醒，50 与 2,000 两档速度都应按厂商自述对待，直至独立复现。

自评榜单：AI R&D 两项居首，编程排名有高有低

评测方法上，模型卡注明所有分数在 Claude Code 2.1.207、1M 上下文窗口、temperature 1.0、top-p 0.95 下取得，只开放基本文件读写与 Bash 工具；对手模型的分数取自各自发布方与公开榜单，来源在模型卡里逐项标出。

七项编程与智能体任务里，NL2Repo-Bench 以 71.9 排在所列模型第一；SWE-bench Pro 73.6 列第三，落后 Opus-5.5 的 89.9 与 Opus-5 的 79.2；FrontierSWE v1 78.2 也列第三，落后 Fable-5 的 88.2 与 Kimi-K3 的 81.2。DeepSWE v1.1 为 67.8（第一是 Muse-Spark-1.3 的 75.4），Terminal-Bench 2.1 为 86.7（第一是 DeepSeek-V4.1-Flash 的 90.6），ALE-CLI 为 32.4；ProgramBench 17.5，与 Hy4-preview 并列为图内最低。

AI R&D 一侧的排名更靠前：MLE-bench-30 以 73.7% 居所列模型首位，高于 Sonnet-5 的 66.9%；PaperBench 63.2 也居首，高于 Opus-4.7 的 58.5%；PostTrainBench 37.5 排在 GPT-5.6-Sol 的 41.8 与 GLM-5.3 的 39.8 之后。三项训练与内核优化任务只与一个对象对比：Recursive Superintelligence Inc. 的未披露模型。SOL-ExecBench 平均分 72.81 对 67.56，NanoChat AutoResearch 校验集 BPB 0.9051 对 0.9109（每字节比特数，越低越好），NanoGPT SpeedRun 训练耗时 73.8 秒对 77.5 秒（越低越好）。

以上分数均为 NaiveAI 自己组织的评测。

待独立复现的数字与一则批评

X 用户 @Xinyu2ML（Xinyu Yang）在 9 月 28 日的中称，这次发布的宣传“利用公众的陌生感”，让模型显得比实际更好。他认为 DSA 需要足够大的分组规模才能充分利用 GPU，原版 DSA 与 MLA 的搭配才是自然且高效的选择；改用 DSA + GQA 意味着明显更低的 GPU 利用率，更像工程妥协而非创新。他同时把自评基准形容为“漂亮的刷榜”（good benchmaxxing）。

Pandaily 另外提示，有二手报道将该实验室描述为通过创始人关系与清华大学关联，这类说法需要谨慎引用。截至 9 月 28 日核对时，官方公告帖获得约 1,000 次点赞、24.3 万次浏览。

仓库没有访问门槛，权重与推理代码都可以下载检查；而速度数字与全部基准分数目前仍只有 NaiveAI 自己给出的口径。