AREX Feed Article
Aleph Alpha 发布开放权重模型 Kolibri：78B 总参数、3B 激活、最高 1M 上下文，按 Apache 2.0 开放下载
10 月 3 日德国统一日当天，德国公司 Aleph Alpha 发布新模型 Kolibri。按其博客文章《Kolibri Has Landed: A Sovereign Open-Weight Model》的说法，Kolibri 是一个英德双语 Mixture-of-Experts（MoE，混合专家）Transformer，总参数 78B、每个 token 激活约 3B，支持最高 1M tokens 的上下文；完整权重已在 Hugging Face 开放下载，仓库为 ，按 Apache 2.0 许可使用。
Aleph Alpha 把 Kolibri 定位为面向「主权」（sovereign）关键任务的模型，目标场景包括公共行政、工业与航空航天等受监管领域，并称其针对德语、推理、数学与 agentic（智能体式）行为做了专门优化。它是此前 Kolibri Origin 的后续——Origin 是一个 30B 总参数、3B 激活、65k 上下文的内部验证型号，未做公开发布。上述参数、基准与定位描述均为 Aleph Alpha 单方公告口径。
从 30.6B 到 78.1B：两代 Kolibri 只隔三个月
博客给出的进度表相当具体：训练流水线的工作始于 1 月，Kolibri Origin 于 2026 年 6 月 11 日完成预训练，Kolibri 于 9 月 11 日完成，10 月 3 日发布——距完成预训练只有 22 天，距上一代完成预训练恰好三个月。
三个月里的增量写在一张对照表里：总参数从 30.6B 增至 78.1B（约 2.5 倍），每 token 激活参数从 3.27B 到 3.46B，预训练 tokens 从 7.51T 增至 20T，最长训练上下文从 64k 提到 256k，词表从 96,000 扩到 128,000，知识截止日期从英语 2024 年 9 月 1 日、德语 2025 年 8 月 1 日，统一移到 2026 年 6 月 18 日。
架构也随之改动：50 层全部换成 MoE 层（Origin 是 2 层稠密加 48 层 MoE），各配 1 个共享专家；专家总数从 128 个增至 384 个，每 token 激活从 8 个减到 6 个；注意力改为 512-token 滑窗、每 5 层做一次全注意力，即 50 层中只有 10 层处理全上下文。尺寸停在 78B 而非更大，博客给出的解释是部署成本：在两块 H100 上，123B 版本只能承载 3 个 256k 长上下文并发请求，78B 能承载 18 个，解码还快 28%——这是公司自己的实验口径。
工程细节上，每一项拟议的代码改动都会触发一次小型端到端模型运行，几分钟内判断是否破坏训练；检查点约每小时落盘一次，并自动跑英语与德语知识、数学、代码、指令跟随、工具使用、长上下文、安全和拒答等评测。21 天预训练期间出现 38 次意外中断——硬件故障或连接超时，约每 10,000 GPU 小时一次——全部由流水线自动换节点重启，最多回退 250 步。博客同样写了翻车经历：Origin 曾因一个逃过测试的数据洗牌 bug，在训练数万亿 tokens 后被叫停、从头重训。
768 块 B200、近 24T tokens：一次三段式训练
按博客披露，Kolibri 在 768 块 NVIDIA B200 GPU 上分三个阶段训练：16k 序列长度下的 20T（20 万亿）tokens 预训练，历时 21 天；64k 中训练消耗 3.44T tokens；256k 长上下文适配消耗 200B tokens。合计近 24T tokens，约为 Origin 的三倍。原始语料超过 200T tokens，经过滤、去重与精选压到最终训练量。
数据配比是：德语约 4.3T tokens（占 21.3%）、英语约 62%、代码 14%。长上下文阶段没有只喂长文档——博客称那样会侵蚀先前学到的能力——而是把长文档与上一阶段的高质量数据交错，并剔除了合成长文档，避免 RULER 这类长上下文基准被人为抬高。优化器沿用 Muon，两次训练都没有出现 loss spike（训练损失突跳）。专家路由引入 exact quantile balancing：quantile balancing 由 Kimi K3 引入，原实现用直方图估计全局分位数，Aleph Alpha 称其证明该量可在与批量大小无关的固定成本下精确算出，负载均衡与模型质量都因此改善。
后训练分两段：监督微调用 174B tokens 自制合成数据，混入过滤后的宽松许可开源数据集，凑成 268B tokens 的训练组合；强化学习环境含超过 120 万个精选任务，覆盖数学与代码推理、agentic 任务、指令跟随、问答和工具调用。两个阶段教会模型 none、low、medium、high 四档推理力度，用户可以在成本、延迟和答案质量之间做取舍。完整技术细节公司另行提供了一份。
德语语料不靠翻译：21.3% 占比是怎么凑出来的
德语语料的来源，博客写得格外具体。小规模代理模型实验显示德语占比约 20% 时效果最优，按 20T 训练量折算需要约 4T 德语 tokens；而公开德语数据集去重过滤后只剩 390B，缺口巨大。博客给出了三条补充来源。
第一条是自己筛：为德语单独调参的 Common Crawl 管线。博客举例，常见过滤规则会删掉长词过多的文档，而德语行政文本的平均词长经常超出英语阈值，默认参数会整片删掉公共行政的语域——这正是他们的目标客户写作的方式。重调之后，这条管线给出 1.3T 独立 tokens。第二条是改写而非翻译：用 LLM 把已有德语文档重写成百科条目、问答或段落，内容保持德语——用他们的话说，是「总理」，不是「总统」。改写贡献约 1T 独立 tokens，是最大的单一来源。第三条机器翻译只用在了 Origin 上，Kolibri 弃用：理由是翻译腔（Drive safe! 被直译成 Fahre sicher! 而非 Komm gut an!），以及文化语境不随语言迁移——译自英语的语料说着德语，描述的世界却分布着英语互联网的地理与制度。
最终，德语以 2.4T 独立 token 池进入训练，其中 80% 由公司自采或自生成、20% 来自开放数据集；经上采样占预训练的 21.3%（约 4.3T），每个 token 平均被读 1.8 次，低于重复收益归零的 4 epoch（训练轮次）上限。模型读到的德语约 85% 是网页文本，其余为议会记录、法律文本等公共领域文档和那少量翻译。
配套的分词器也是专门做的：英德双语、128,000 词表，采用自研的 UniBPE 训练方法——保留 BPE 自底向上的合并方式，改用 Unigram 训练目标挑选合并项，以更好照顾德语复合词的形态。按博客的对比，它在德语网页文本上平均每个 token 承载 4.90 字节，高于对比表中 GPT-5 的 4.35，是该对比中的最佳压缩率；示例里，Bundessozialgerichtes（联邦社会法院第二格）被切成 Bundes-sozial-gericht-es 四个有意义的语素，而多数对比模型的切分横跨语素边界。
自家评测框架的成绩单：数学抢眼，agentic 有短板
博客的基准表全部由 Aleph Alpha 用自家 harness（自建评测框架）运行，各对比模型均使用各自最高的推理力度，下文数字均属这一口径。表格里，Kolibri 英语综合分 75.5（Origin 为 54.1），德语综合分 70.8（Origin 为 46.4）；AIME 2025 英语 96.9、德语 87.5，AIME 2026 英语 96.0、德语 90.0。公司据此宣称，在数学、代码、grounding（答案是否有文档依据）与长上下文任务上，Kolibri 能对标活跃参数四倍于己的模型，例如 Nemotron 3 Super（120B-A12B）。
对比表里也留着对它不利的数字：综合分仍落后于稠密架构的 Qwen3.8 27B（英语 80.2、德语 79.9）；agentic 能力差距更明显，TerminalBench 2.1 得 27.7，远低于 Qwen3.8 的 76.8，BFCL v4 总分 61.4，也低于后者的 73.2。
拒答能力被公司当作受监管客户的关键差异点。博客的论证是：常规训练奖励猜测——猜对有机会得分，拒答得零分——所以模型会硬答；对受监管客户，「知道说不知道」决定的是试点与部署的差别。训练手段包括把正确答案为「我不知道」的样本混入数据，以及自研的 Merlin-Arthur 协议：Arthur 是要发布的模型；Merlin 改写文档让 Arthur 更容易答对；Morgana 删掉关键证据、诱使 Arthur 幻觉。Arthur 不知道面对的是谁，稳妥策略只剩细读上下文，并对缺失证据的问题拒答。按官方数字，Kolibri 在 AA-Omniscience 上的非幻觉率为 44.0%（Origin 为 14.8%），在 RGB 上该拒就拒 85.6%、不编造 87.3%；自有的 M/A grounding score 得 0.23，同一对比中 Origin、Qwen3-Next 80B-A3B 和 Nemotron 3 Super 均为 0。
面向具体行业的内部评测套件则全部上升：从 Origin 到 Kolibri，汽车供应商 0.72→0.99，半导体 0.35→0.80，德国公共部门 0.54→0.75，工业传动技术 0.31→0.60，航空航天 0.14→0.59。博客称这些套件编码自客户的失败案例，训练环境全部用合成数据构造，没有使用客户数据。
「主权」的落点：德国与芬兰的基建，加一套 vLLM 插件
「主权」在博客里被拆成两层：模型怎么造，以及怎么交付给客户。按公司声明，Kolibri 由德国团队建造，训练基础设施位于德国和芬兰，受欧洲与德国法律管辖、无外国控制；从数据精选、预训练、后训练到 Model Factory 优化的整条管线自有。设计时考虑了 EU AI Act、通用人工智能行为准则（General-Purpose AI Code of Practice）与 GDPR。这些合规描述均为公司口径。
3B 激活的实际意义在部署端：模型足够小，可以在本地（on-premise）高效运行，不必把内部数据交给第三方推理服务。具体门槛也写在博客里：运行 Kolibri 需要 aleph-alpha-inference 包——它提供 Kolibri 的 vLLM 插件，可以从 GitHub 的 安装，或直接使用 ghcr.io 上的容器镜像；启动命令启用 fp8 KV cache 和 kolibri1 的推理与工具调用解析器。要服务超过 262,144 tokens 的上下文，必须显式加上 --max-model-len 1048576 参数——公告所称的 1M 上限属于推理服务配置，训练对照表中的「最长训练长度」为 256k。推荐的采样参数为 temperature=1.0、top_p=0.97、top_k=128。
赶在 Cohere 合并交割前 17 天发布
Kolibri 发布的时间点，落在 Aleph Alpha 与加拿大 Cohere 合并交易的间隙。按 Aleph Alpha 新闻稿，双方 4 月宣布计划合并，9 月 16 日签署最终业务合并协议：合并后公司全球以 Cohere 名义运作，双总部设在柏林与多伦多，海德堡办公室保留为研究中心；Aleph Alpha 联合 CEO Ilhan Scheer 拟任 Cohere 首席运营官，联合创始人 Samuel Weinbach 拟任首席研究官，两项任命均以交易完成为前提。交易尚待监管批准，预计年内交割。
从 9 月 16 日签署到 10 月 3 日发布，中间隔了 17 天，交割尚未发生。协议公告写明「进一步的整合与产品细节将陆续公布」——Kolibri 在合并后公司产品线中的位置，正属于这批待公布的细节。