一块 RTX 4070 跑 12B 模型：Unsloth 用 NVFP4 量化让 Gemma 4 全系提速 1.5 倍

本地 AI 生态正在经历一场静默的硬件代际切换。 NVIDIA Blackwell 架构的 FP4 张量核心在 RTX 50 系显卡上躺了半年，大多数用户手里的算力并没有真正被用满——直到 Unsloth 开始系统性地把主流开源模型全部搬上 NVFP4。7 月 14 日，这家来自旧金山的团队放出了 Gemma 4 全系五款模型的 NVFP4 量化版本，从最小的 E2B 到最大的 31B Dense，覆盖了从 7GB 到 32GB 显存的完整梯度，其中 12B Unified 版本仅需 11GB 显存就能跑——这个数字意味着一块 RTX 4070 级别的消费卡就能加载一个半年前还被认为需要 A100 的模型。

消费级显卡的模型门槛，被 11GB 这个数字改写了

Gemma-4-12B NVFP4 在 11GB 显存上运行，是这个发布中最值得被记住的数字。正如社区成员 Khaled Bakeer 所说："NVFP4 on 12B fitting in 11GB is the part that matters — that's a 5070 Ti / 3080 Ti class card running a model that used to want an A100."一个 12B 参数的多模态模型被装进消费级显卡的内存预算里，无需 CPU 卸载，无需模型分片——这让本地 AI 的用户群体从高端工作站直接下探到主流游戏 PC。

五款模型的显存需求与速度提升如下：E2B 仅需 7GB（比 BF16 快 1.12 倍），E4B 需 9GB（快 1.22 倍），12B Unified 需 11GB（快 1.26 倍），26B A4B MoE 需 26GB（快 1.41 倍），31B Dense 需 32GB（快 1.45 倍）。在 B200 上以 128 并发压测时，26B A4B 达到了 13,000 tokens/s 的吞吐量。换算下来，每位用户约 100 tokens/s——这个速度比大多数人阅读还快。

FP4 张量核心为什么之前没被用上？

答案藏在 NVIDIA 和 Unsloth 对 W4A4 和 W4A16 的不同选择里。NVIDIA 官方的 NVFP4 量化采用 W4A16 方案——权重是 4-bit，但矩阵乘法的激活值仍保持 16-bit，这意味着 Blackwell 的 FP4 张量核心并没有真正参与计算。Unsloth 的做法是 W4A4：权重和激活值都是 4-bit，矩阵乘法直接跑在 FP4 张量核心上。结果是 2.5 倍的吞吐量差异——在一组并行测试中，同款 Qwen3.6-27B 模型，Unsloth 的 W4A4 方案用 Cute-DSL 后端跑到 6,863 tok/s，而 Marlin 后端上的 W4A16 只能跑到 2,403 tok/s。

更关键的是，Unsloth 没有把每一层都粗暴地塞进 FP4。Dynamic NVFP4 的策略是让关键层（注意力层和部分 MLP）保持在 FP8 或 BF16 精度，其余层走 W4A4。这种选择性量化的逻辑类似混合精度训练的"哪些层需要全精度"的逆向思维——保留精度的不是计算最密集的层，而是对误差最敏感的层。同时还提供了 FP8 KV Cache 校准，让上下文长度翻倍，这对需要长窗口的推理任务尤其重要。

NVFP4 相比于另一 FP4 格式 MXFP4 也有精度优势：块大小 16（MXFP4 为 32），缩小了异常值的影响范围；每个块用 E4M3（FP8）尺度而非 E8M0（2 的幂次缩放），对 LLM 的权值分布更友好。从数学上看，FP4 的矩阵乘法单元仅需 FP32 约 1/179 的晶体管面积——理论上有接近两个数量级的计算密度优势。

Unsloth 的 NVFP4 闪电战：从 Qwen 到 Gemma，一周一个模型家族

Unsloth 并非一夜之间转向 NVFP4。这家由 Daniel Han 和 Michael Han 兄弟创立的公司，最初以 QLoRA 微调优化闻名——他们让 Llama 系列模型的微调显存需求降低了 80%。2024 年推出的 Unsloth Studio 将这套工具链打包成了更易用的界面，目前 HuggingFace 上的模型下载量已超过数亿次。

NVFP4 的发力始于大约一周前。7 月上旬，Unsloth 首先为 Qwen 3.6 系列发布了 NVFP4 量化版本，其中 27B 模型比 NVIDIA 官方 NVFP4 快 2.5 倍，35B-A3B 快 1.56 到 1.79 倍。社区反响热烈——r/LocalLLaMA 上的讨论帖迅速成为热帖，多位用户实测后在评论区要求"请对 Google Gemma 4 做同样的事"。Unsloth 团队在 Reddit 回复中确认 Gemma 4 已经在队列中。不到一周，承诺兑现。

此番 Gemma 4 NVFP4 发布后，Google 开发者关系生态负责人 Tim Messerschmidt 在 X 上转推并写道："The team at Unsloth has worked their magic. @googlegemma fans should give these quants a try!"拥有近 4 万粉丝的科技投资人 Ivan Fioravanti 则直呼："UnslothAI is playing in its own league!"而拥有 15 万粉丝的 AI 社区 KOL A.W.E.S.O.M.-O 4000 评论道："Better speed without sacrificing accuracy is exactly what local AI needed."

两条路：NVFP4 还是 GGUF？

Blackwell 用户面临一个此前不存在的选择：是用传统的 GGUF 量化（成熟但走 CUDA 通用计算路径），还是用 NVFP4 量化（锁死 Blackwell 但用上了专用硬件）。Unsloth 自己给出了明确的态度——NVFP4 是为 Blackwell 用户准备的"快车道"，而 GGUF 仍然是老显卡（RTX 30/40 系）和跨平台场景的最佳选择。

这个分野的意义不只关乎性能。NVFP4 生态的形成意味着本地 AI 正在进入一个硬件分段化的阶段：新架构用户可以获得接近 2 倍的速度增益，而旧架构用户在兼容性上拥有更广泛的模型覆盖。社区中已有用户开始衡量这个取舍——"Is this better than Qwen3.6 27B-NVFP4 for a RTX 5070 Ti 16GB?"这样的问题正在变成 Blackwell 用户的标准决策框架。

CloudRiftAI 在 X 上给出了一个更宏观的观察：同一天内出现了两条相反方向的本地推理优化路线——Unsloth 把 4-bit 数学跑在 NVIDIA 最新硅片上，而 PrismML 的 Bonsai 27B 则用三进制权重跑在几乎任何硬件上。一个是向下兼容，一个是向上挖掘专用硬件潜力。两条路没有对错，但 Blackwell 用户现在有了一个明确的答案。

硬件代际切换的窗口正在打开

Unsloth 对 NVFP4 的押注本质上是一个关于硬件周期的判断：Blackwell 架构的安装基数正在从数据中心向消费端渗透，而 FP4 张量核心的利用率迄今为止低得惊人。当一个量化方案能让 12B 模型在 11GB 显存上流畅运行时，它改变的不仅是速度数字——它重新定义了"可本地运行"的模型上限。

这个窗口不会永远敞开。当更多模型家族（Llama 4、Mistral 等）和推理框架（vLLM、SGLang）完成对 NVFP4 的适配，先发优势会迅速转化为生态惯性。Unsloth 在 Qwen 和 Gemma 上连续抢跑的动作，正在把他们从一个"微调优化工具"推到一个更核心的位置——本地 AI 推理的基础设施层。

参考链接：

本文由 AREX Agent 新闻热点追踪智能体自动生成，仅供参考，不构成投资建议。