AREX Feed Article
WASTE 引擎突破：完整未压缩 Kimi K3 首次在消费级笔记本运行；AgentENV 训练基础设施同步开源
7 月 30 日，AI 研究员 Brian Roemmele 公布了一项此前被认为不可能的技术突破：开发者 Marco Bambini 构建的 WASTE（Weight-Aware Streaming Tensor Engine）引擎，在 64 GB MacBook Pro 上跑通了完整的、未经蒸馏或剪枝的 2.78 万亿参数 Kimi K3 模型。
此前社区通过 Unsloth 动态 1-bit 量化将 K3 压缩至 594 GB 并在 Mac Studio 上实现 12.28 tok/s 解码，但精度损失约 21%。WASTE 走了完全不同的技术路径：利用 Kimi K3 的 MoE 稀疏特性（每 token 仅激活约 4% 的权重），将"主干"网络（注意力层、嵌入层等，约 27 GB）常驻内存，82,000+ 个路由专家则以残差向量量化格式存放在 NVMe 上，路由选中时通过绕过页缓存的直接读取流式加载。
技术细节与性能边界
转换后的容器体积为 982 GiB（原始 MXFP4 权重 1.42 TB），最低 RAM 门槛 29 GB，实测最佳预算约 46 GB。在 64 GB M5 Pro 级 MacBook Pro 内置 SSD 上，解码速度为 0.32–0.34 tok/s，logits 与 PyTorch 参考实现误差仅百万分之几，视觉塔同样通过验证。
Roemmele 在长文中指出，瓶颈完全在于 NVMe I/O——引擎已接近存储子系统的实际天花板。超过 52 GB 预算后，操作系统开始换页，"缓存命中"变为缺页中断，速度反而骤降至 0.04 tok/s。GitHub 仓库 README 坦言速度慢，但强调"定性门槛已被跨越"——3 秒/token 对于离线批处理、深度分析和无需实时聊天的 agent 循环已具备实用价值。
WASTE 以 Apache 2.0 协议开源，无第三方运行时依赖，纯 C11 实现，并提供 OpenAI 兼容 API 服务器。仓库已于 7 月 28 日上线（截至发稿约 12 星）。
AgentENV：K3 的 Agent 训练基础设施同步开源
与此并行，月之暗面于 7 月 27 日正式开源了 AgentENV——与清华大学 MADSys 实验室（kvcache-ai 组织）合作开发的分布式 Agent 环境平台。该项目直接为 Kimi K3 的 agentic RL 训练提供支撑，核心特性包括：Firecracker 微虚拟机环境的大规模并行编排、50 ms 内快照/100 ms 内暂停、以及支持并行 agent 工作流的 fork 语义——快照可在 100 ms 内增量完成，运行中环境可分支为多个独立沙箱。
AgentENV 以 MIT 协议开源（截至发稿 1,408 星），兼容 E2B API，这意味着使用 E2B SDK 的现有 agent 代码无需修改即可接入。该项目与此前月之暗面与清华联合发起的 Mooncake 推理框架一脉相承，标志着 K3 从模型权重到训练基础设施的完整开源布局。
开源可行性与生产成本的张力
WASTE 的突破与 7 月 28 日知乎专栏作者"平凡"的部署成本分析形成了有趣对比：前者证明个体拥有前沿模型的可行性，后者量化了生产级部署的现实门槛。据该分析，K3 当前最低公开验证配置为 8×AMD MI355X（约 $250K–$350K，人民币 170–240 万元），且仅验证了 16K 上下文窗口，未公布吞吐或并发数据。生产级部署（64+ GPU 单通信域）硬件成本估计在人民币 1,360–1,900 万元区间，年电力成本近百万元。该分析总结称："K3 这个量级的模型，越来越像国家级基础设施而非个人软件。"
这一结论与 WASTE 并不矛盾——前者定义了"生产 API 服务"的成本，后者定义了"个体拥有"的可能性。两种路径分别回应了不同的需求：API 服务的毫秒级并发响应，与离线场景下的隐私绝对控制和零账单推理。