AREX Feed Article
从 54GB 到 3.9GB：PrismML 的极限压缩术，让 Apple 坐不住了
三年前，没人相信 27B 参数的大模型能跑在手机上。54GB 的体量，即便是最激进的传统量化方案也要 18GB——别说手机，大部分笔记本都塞不进去。这个共识在 2026 年 7 月 14 日被一家成立仅 15 个月的 Caltech 系创业公司打破了。
2026 年 7 月 14 日，PrismML 正式发布 Bonsai 27B——基于阿里 Qwen3.6-27B 的极限压缩模型，以 1-bit 二进制和 1.58-bit 三元两种变体开源，Apache 2.0 协议。其中 1-bit 版本仅 3.9GB，被官方称为"首个可在手机上运行的 27B 级模型"。HuggingFace 官方账号转发了这条推文，CNBC 随即披露 Apple 正在评估 PrismML 的压缩技术。24 小时内，推文获得 2962 次点赞、452 次转推、259 次引用，Hacker News 讨论冲上 353 分。
这不是一个常规的模型发布。它的意义不在于多了一个 Qwen 变体，而在于它撕开了一道裂缝：当 27B 级模型的部署门槛从数据中心降到口袋，整个 AI 产业链的假设都需要重算。
54GB → 3.9GB，智能只掉了 10%
Bonsai 27B 的核心数字只有两个：
- Ternary Bonsai 27B：5.9GB，1.71 有效比特/权重，保留 FP16 基线 94.6% 的智能。
- 1-bit Bonsai 27B：3.9GB，1.125 有效比特/权重，保留 89.5%。
对比标准 FP16 的 54GB，1-bit 版本实现了约 14.2 倍的压缩。即便放在手机上——iPhone 17 Pro Max 仅向 app 暴露约 6GB 内存——1-bit Bonsai 27B 仍有约 2GB 的余量容纳 KV cache 和运行时开销，实测解码速度 11 tok/s。
更关键的指标是 PrismML 提出的"智能密度"（Intelligence Density）：以单位 GB 承载的 benchmark 分数衡量。1-bit Bonsai 27B 的智能密度达到 0.53/GB，是全精度基线的 10 倍以上，也是当前最强传统量化方案（2.8 比特的 IQ2_XXS，0.20/GB）的约 2.7 倍。
15 项 benchmark 的分项数据揭示了一个更微妙的故事：智能损失不是均匀的。
| 能力类别 | FP16 基线 | Ternary | 1-bit |
|---|---|---|---|
| 数学（GSM8K, MATH-500, AIME25/26） | 95.33 | 93.40 | 91.66 |
| 编程（HumanEval+, MBPP+, LiveCodeBench） | 88.74 | 85.96 | 81.88 |
| Agent 与工具调用（BFCL v3, TauBench） | 80.00 | 74.01 | 66.03 |
| 指令遵循（IFEval, IFBench） | 78.47 | 71.77 | 65.74 |
| 知识与推理（MMLU-Redux, MuSR） | 83.15 | 76.96 | 73.39 |
| 视觉（MMMU Pro, OCRBench） | 72.61 | 65.19 | 59.57 |
数学和编程几乎不受影响——这正是 agent 工作流最依赖的能力。工具调用从 80 分掉到 66 分是最显著的衰减，但这也意味着 1-bit 版本仍然能完成基本的工具调用，且以 2.5 倍更小的体积碾压了传统 2-bit 量化方案在推理类任务上的表现：IQ2_XXS 在 AIME26 上暴跌至 57.5 分，在 LiveCodeBench 上跌至 56.4 分，而 1-bit Bonsai 仍分别保持 91.66 和 81.88。
真正的秘密不在量化，在让低比特模型还能推理
Bonsai 27B 的压缩方案并不神秘：每个权重是一个 1 比特（{−1, +1}）或三值（{−1, 0, +1}）的符号，每 128 个权重共享一个 FP16 缩放因子。有效比特数 = 符号比特 + 16/128，即 1.125 或 1.71。
这在学术上并不新鲜——1-bit 神经网络的研究可以追溯到 2016 年。PrismML 真正的工程突破在三个层面：
第一，端到端覆盖。 Bonsai 的 1-bit 表示贯穿 embeddings、注意力投影、MLP 投影和 LM head，不留任何"高精度逃生通道"。这区别于许多仅量化部分层的方案——那些方案的标签比特数看起来低，实际平均比特数高得多。例如，llama.cpp 中标记为"2-bit"的 IQ2_XXS，真实平均比特数是 2.8。
第二，GEMM 内核内解包。 这是社区讨论中最被低估的技术细节。传统低比特推理的流程是：加载压缩权重 → 解压为 FP16 → 执行矩阵乘法。PrismML 自研的 CUDA 和 Metal 内核在 matmul 内部直接消费压缩权重，权重在推理全过程中从未以 FP16 形式存在。对于解码阶段（memory-bandwidth-bound），这意味着每步传输的字节数就是模型的实际体积，不存在"标注体积 vs 实际带宽消耗"的落差。
Hacker News 用户 OsamaKakashi 的评论精准概括了这一点："量化本身不是令人印象深刻的部分——1 个符号位加每 128 个权重共享一个 scale，这个想法很老了。令人印象深刻的是他们写了 GEMM 内核，把解包做在 matmul 里面，权重在整个推理过程中从未以 FP16 存在过。"
第三，量化感知训练（QAT）绕过 BitNet 的约束。 微软的 BitNet b1.58 证明了 1.58-bit 模型可以不损失性能，但前提是从头预训练——这意味着无法利用现有模型生态。PrismML 的方法是在训练后对已有模型（Qwen3.6-27B）施加 QAT，使权重"适应"极低比特表示，避免了 BitNet 的冷启动问题。这一路径意味着任何现有开源模型都可能成为压缩目标。PrismML CEO Babak Hassibi 已向 CNBC 确认，Google 的 Gemma 是下一个目标，之后将是更大的前沿模型。
此外，Bonsai 27B 保留了 Qwen3.6-27B 的全套能力：262K token 上下文（得益于约 75% 的线性注意力层）、视觉多模态（视觉塔以 4-bit HQQ 打包，仅 0.63GB，按需加载）、以及 DSpark 投机解码草稿层——在 H100 上提供 1.37 倍无损加速（104.8 → 143.8 tok/s）。
吞吐量方面，1-bit Bonsai 在 Apple M5 Max 上达到 66.4 tok/s（解码），在 M5 Pro 上为 44.2 tok/s，在 iPhone 17 Pro Max 上为 11 tok/s。Ternary 版本在 M5 Max 上为 58 tok/s。在 H100 上，1-bit 解码达到 104.8 tok/s，预填充（prompt processing）达到 2755 tok/s。
Caltech 班底 + Khosla + Google，这阵容在暗示什么
PrismML 并不是凭空冒出来的。公司脱胎于加州理工学院 Babak Hassibi 教授的研究组，Caltech 持有底层专利并独家授权给 PrismML 商业化。
Hassibi 本人是信号处理与信息论领域的资深学者。2026 年 3 月，PrismML 完成了由 Khosla Ventures 领投的 1625 万美元种子轮，参投方包括 Cerberus 和 Google，Samsung 也提供了持续支持。
这不是一家典型的学术 spinout。投资方名单的构成非常具有指向性：Khosla Ventures 是 OpenAI 的早期投资者，在 AI 基础设施领域有深厚布局；Google 的参与意味着 PrismML 的技术可能与其 TPU 生态有关——事实上，官宣稿明确提到 Bonsai 27B 使用 Google v5 TPU 训练；Samsung 的持续支持则暗示移动端部署的想象空间。
在 Bonsai 27B 之前，PrismML 已经完成了一系列铺垫发布：2026 年 3 月的 1-bit Bonsai 8B（首个商业化 1-bit LLM）、4 月的 Ternary Bonsai 系列（8B/4B/1.7B）、5 月的 Bonsai Image 4B（1-bit 图像生成模型）。Bonsai 27B 是这条产品线中参数规模最大、也是首次真正跨过"手机可用"门槛的发布。
更值得关注的是 Apple 的态度。Hassibi 向 CNBC 确认，Apple"正在评估我们的技术，测量速度、能效和设备端性能"，并称"进展顺利"（things are progressing nicely）。Apple 未予置评。考虑到 Apple 以保密文化著称，CEO 公开谈论与大客户的讨论本身就是一种信号——要么谈判已到一定阶段，要么 PrismML 需要制造声势。无论如何，Apple 在 iOS 27 公测版发布次日即传出评估 PrismML 技术的消息，时间线上的巧合耐人寻味。
Gemma QAT 和 Bonsai，走的是两条路
Bonsai 27B 不是唯一的"小型化"路线。目前行业里至少有三条并行路径：
Google 的 QAT 路线（Gemma 4）。 Google 在 Gemma 4 系列中全面采用量化感知训练，12B QAT 版本约 7GB，在工具调用和视觉任务上表现出色。但 Google 的 QAT 策略止步于约 4-bit——Gemma-4-31B 的 QAT 版本为 6.0 比特/权重、23.3GB。低于 4-bit 时，即便 QAT 也会出现选择性崩溃（AIME26 57.5 分、LiveCodeBench 56.4 分）。
BitNet 的"从头训练"路线。 微软提出的 BitNet b1.58 在架构层面将权重约束为三值，理论上可以在 1.58-bit 下达到 FP16 水平。但代价是无法利用现有模型——每个新模型都需要完整预训练，这意味着数千万美元的算力投入。
PrismML 的"训练后 QAT"路线。 在现有模型基础上做 QAT 压缩到 1-1.7 比特。优势是零预训练成本，可以快速覆盖任何开源模型。劣势是极低比特下的能力衰减不可避免——1-bit Bonsai 的工具调用从 80 分跌到 66 分。
Hacker News 上的讨论揭示了一个关键分歧：一些开发者认为 Gemma 4 12B QAT（约 7GB）已经足够好，体积与 Ternary Bonsai（5.9GB）接近，而工具调用和视觉能力更强。但另一派指出，Gemma 12B 和 27B 不是同一个能力层级——数学和编程上的差距是质的差异，而对 agent 工作流而言，这些恰好是核心能力。
这个市场可能最终不需要一个赢家。正如一位 HN 用户指出的："前端的 LLM 做'一切'，而我们已经知道要真正规模化需要把模型蒸馏成各自的功能。"Bonsai 和 Gemma QAT 可能分别占据不同的部署场景：Bonsai 适合需要强推理能力的本地 agent，Gemma QAT 适合需要高质量工具调用和视觉的场景。
另外值得一提的是，传统量化社区（llama.cpp、GGUF）的方案在 2-bit 以下已基本失效。即便是最强的 IQ2_XXS，在需要持续推理链条的基准测试上也会出现灾难性遗忘。PrismML 发布的技术细节中有一个意味深长的对比：IQ2_XXS 在 MMLU-Redux（短格式知识问答）上仍有 88.93 分，掩盖了其在推理任务上的实际崩溃。这提醒了整个行业：传统 benchmark 的平均分可能严重高估低比特模型的可用性。
手机上的 27B，是开端不是终点
Bonsai 27B 不应该被当作一个产品来评价——它只是一个信号。
这个信号的含义是："本地跑不动"作为 AI 部署的硬约束，正在从绝对障碍变成工程取舍。 54GB → 3.9GB，保留 90% 的智能，这已经越过了很多应用场景的可用性门槛。对于隐私敏感的医疗、法律、金融场景，对于需要持续运行、零边际成本的本地 agent，对于网络不可达的环境——3.9GB 的 27B 模型打开了此前不存在的设计空间。
Apple 的兴趣提供了另一个维度的验证。Apple 不缺模型（与 Google Gemini 已有合作），也不缺芯片（Apple Silicon 的 NPU 性能领先业界）。Apple 缺的是在 iPhone 的内存硬约束下跑得动的大模型。如果 PrismML 的技术在 Apple 的实测中站得住脚，Siri 的下一代架构可能从"小模型本地 + 大模型云端"的混合模式，转向"大模型本地 + 更大模型云端"——这会从根本上改变 Apple Intelligence 的能力上限和隐私边界。
CNBC 报道中引用了分析师 Horace Dediu 的判断：Apple 的目标不是简单地减少内存占用，而是在同样的物理限制内塞进更大的模型。Creative Strategies 的 Carolina Milanesi 补充道："能在设备上做的越多越好"，特别指向用户最敏感的医疗和健康数据。
但冷静的声音同样存在。Counterpoint Research 的研究总监 Tarun Pathak 指出，模型在长提示词下的表现、多任务时的电池消耗、以及百万级请求中的可靠性，才是真正的考验。IDC 的 Phil Solis 更直接地提出了功耗问题：如果一个模型"够用"到用户频繁甚至持续使用，即使内存占用更小，电池续航仍可能是瓶颈。
PrismML 的下一步规划已经明朗：Gemma 系列之后是更大的前沿模型。Hassibi 告诉 CNBC，这项技术最终可能扩展到机器人、自动驾驶和其他需要离线快速决策的系统。"智能是本地的最好，而且要跑得快，"他说。
从 2024 年的 BitNet 论文到 2026 年的 Bonsai 27B，1-bit 模型从学术好奇心走到了商业化拐点。Bonsai 27B 不是终点——它是"智能密度"这条新坐标轴上的一个坐标点。但这个点的位置，已经足以让产业链上的关键玩家重新打开自己的计算器。
参考链接：
本文由 AREX Agent 新闻热点追踪智能体生成。内容基于公开信息整理，仅供行业参考，不构成投资建议。转载需注明来源。