AREX Feed Article
比 ChatGPT 语音模式还快：Hugging Face 用 Gemma 4 + Cerebras 造了个开源实时语音平替，已经跑在 10,000 台机器人上
实时语音 AI，闭源才是唯一解？
过去两年，AI 行业默认了一个共识：实时语音助手这门生意，只能由拥有全栈能力的大厂来做。OpenAI 的 Realtime API 把语音识别、大模型推理、语音合成捆成一个黑盒，开发者接入时不需要关心底层——但代价是每一秒对话都在向 OpenAI 付钱，且无法替换其中任何一个环节。
这不是技术必然，而是商业选择。Hugging Face 的多模态研究负责人 Andi Marafioti 不这么认为。
2026 年 7 月 1 日，Marafioti 在 X 上发布了一段 Demo 视频：一个完全开源的实时语音助手，底层跑的是 Google DeepMind 的 Gemma 4 31B 模型，推理由 Cerebras 的晶圆级芯片驱动，整条管线端到端延迟不到 500 毫秒。Hugging Face 产品负责人 Victor Mustar 在引用转发中写了一句评价："genuinely better than chatgpt voice mode 😂"（确实比 ChatGPT 语音模式更好）。
同一天，拥有 50 万关注者的 AI 论文推手 @_akhaliq 转发了这条推文，将其推入更广泛的开发者视野。这不是一次常规的技术 Demo——这是一个信号：开源社区已经可以组装出一套在速度上反超闭源方案的实时语音系统，而且它是 OpenAI Realtime API 的直接平替。
500 毫秒端到端延迟，"快到需要故意加延迟"
成果的核心可以用一个数字概括：总延迟约 500 毫秒，快到团队不得不人为减速。
Marafioti 在推文线程中透露了一个耐人寻味的细节——"We had to add delays to avoid the model from replying too quickly"（我们不得不添加延迟，以防模型回复太快）。这不是营销话术，而是整条管线各环节延迟的算术结果。
Parakeet + Gemma 4 + Cerebras + Qwen3TTS：一套全开源堆栈解剖
这条语音管线不是端到端模型，而是经典的级联架构（cascade），由四个独立模块串联而成。这正是 Hugging Face 旗下开源项目 speech-to-speech（GitHub 4,896 star）的核心设计哲学：每个模块都可以独立替换，开发者按需组装。
语音识别（STT）：Nvidia Parakeet-TDT，80 毫秒
第一环是 Nvidia 的 Parakeet-TDT 1.1B 模型。Parakeet 是当前开源 STT 领域最快的方案之一，专为流式识别设计，在 Apple Silicon 上可以跑出低于 100 毫秒的延迟。Marafioti 给出的实际数字是 80 毫秒——几乎可以忽略不计。对比 OpenAI Realtime API 的语音识别环节（官方未公布独立延迟，但端到端通常需要数秒），这是一个显著的工程优势。
大模型推理（LLM）：Gemma 4 31B on Cerebras，300 毫秒首 token + 1,800 token/秒
这是整条管线最惊艳的一环。
Gemma 4 31B 是 Google DeepMind 于 2026 年 4 月发布的开源多模态模型，在 Artificial Analysis 智能指数上得分 29，与 Claude Haiku 4.5（30 分）基本持平，且支持图像输入。但真正让它"飞起来"的是 Cerebras 的推理基础设施。
Cerebras 在 2026 年 6 月 29 日发布的博文中披露：Gemma 4 31B 在其晶圆级芯片上跑出了 1,851 token/秒的输出速度——是典型 GPU 端点的 35 倍。首 token 延迟（含推理时间）仅 1.5 秒，使得实时对话成为可能。而在 Marafioti 的语音管线中，由于对话上下文较短，实测首 token 延迟仅 300 毫秒，生成速度 1,800 token/秒。
Google DeepMind 的 Gemma 产品负责人 Olivier Lacombe 对此评价："Gemma 4 是为开发者友好尺寸打造的高级推理和多模态能力。将这些能力与 Cerebras 的晶圆级技术配对，为开发者提供了一个运行极速视觉和智能体工作流的激动人心的平台。"
语音合成（TTS）：Qwen3-TTS + GGML 优化，120 毫秒首音频
最后一环是阿里通义千问团队的 Qwen3-TTS 1.7B 模型，经 GGML 量化优化后跑在 CPU 上，首音频延迟（TTFA）仅 120 毫秒。Qwen3-TTS 本身支持多语言和自定义音色，在级联管线中扮演着"最后一道工序"的角色。
三环相加——80 + 300 + 120 = 500 毫秒，这就是整个端到端延迟。作为对比，OpenAI 的 GPT-4o 语音模式在理想网络条件下通常需要 1-3 秒，而 Anthropic 至今没有发布原生语音产品。Hugging Face 的产品负责人 Victor Mustar 那句"genuinely better than chatgpt voice mode"并非夸张——至少在延迟这个维度上，数字说了算。
更重要的是，这套管线完全兼容 OpenAI Realtime API 的 WebSocket 协议。开发者只需要把 base_url 从 api.openai.com 指向本地服务，现有代码不需要改动。speech-to-speech 项目甚至支持 session.update、response.create、response.cancel 等完整的 Realtime API 事件集。
10,000 台 Reachy Mini 已经在用
这条管线不是实验室里的玩具。它正在服务 Hugging Face 孵化的开源桌面机器人 Reachy Mini（售价 300-450 美元）的全量机群。
Reachy Mini 由 Pollen Robotics 制造，Hugging Face 提供软件支持，目前已出货超过 7,500 台。Marafioti 在推文中确认，上述语音管线正在驱动 10,000 台 Reachy Mini 的对话功能。
Andi Marafioti 是 Hugging Face 的多模态研究负责人，此前任职于 Unity。本次语音 App 的工程主导者是 Amir Mahla（Hugging Face 的 speech-to-speech 项目核心贡献者），Marafioti 在推文中特别致谢了他。
值得一提的是，speech-to-speech 项目从 2024 年 8 月启动至今已有 30 位贡献者，支持 7 种 STT 后端（Whisper、Parakeet、Paraformer 等）、5 种 TTS 后端（ChatTTS、Kokoro、Qwen3-TTS、Pocket TTS 等），并兼容任何 Hugging Face Hub 上的对话模型及所有 OpenAI Responses API 兼容的推理提供商。在这次 Demo 之前，该项目已经积累了近 5,000 个 GitHub star。
OpenAI 的护城河，正在被开源组件一块块拆掉
此次 Demo 不只是技术展示，它触及了一个更深层的行业趋势：实时语音 AI 正在从垂直整合走向水平分工。
OpenAI 的 Realtime API 是一个封闭系统——模型、推理、语音管线全部绑定在一起。开发者无法单独替换 STT 或 TTS，也无法选择更便宜的推理后端。这种垂直整合在早期阶段有性能优势，但随着开源社区在各个组件上的进步，劣势开始显现。
在 STT 环节，Nvidia Parakeet 的延迟和质量已经超过了大多数商业方案。在大模型推理环节，Cerebras 的 1,800+ token/秒让任何 GPU 端点都相形见绌——作为对比，Anthropic 的 Claude Haiku 4.5 在 GPU 上的推理速度约为 100 token/秒。在 TTS 环节，Qwen3-TTS 和 Kokoro-82M 等开源方案在多语言和音色自然度上快速追赶。
Hugging Face 做的事，就是用一套统一的 WebSocket 协议（兼容 OpenAI Realtime API）把这些组件串起来，让开发者可以按需拼装。这与 Linux 替代专有 Unix 的历史逻辑如出一辙——当每个独立组件都做到足够好，组装起来的系统就不会输给垂直整合的专有方案。
目前同赛道的竞争者包括：Gemini Flash Live（Google 自家的实时语音方案）、Hume EVI 3（侧重情感识别）、Inworld（游戏 NPC 场景），以及 LiveKit Agents 和 Pipecat 等开源框架。但 speech-to-speech 是唯一一个同时满足"全开源 + 兼容 OpenAI Realtime API 协议 + 已大规模部署验证"的选项。
Google DeepMind 的开发者关系负责人 Logan Kilpatrick 说过一句意味深长的话："If every model was doing 2,000 tokens per second, you would probably build different products."（如果每个模型都能跑 2,000 token/秒，你可能会造出完全不同的产品。）这句话的背景就是 Cerebras 在速度上建立的代差优势。
开源实时语音的"DeepSeek 时刻"
回到开头那个共识：实时语音 AI 是闭源大厂的专属领地。这次 Demo 用一组硬数字证明，这个共识正在过期。
值得注意的不只是速度——而是整个事件的各方角色。Google DeepMind 提供模型，Nvidia 提供语音识别，阿里 Qwen 提供语音合成，Cerebras 提供推理芯片，Hugging Face 提供管线框架。没有一家公司独立完成了这个系统，但合在一起，它比 OpenAI 的方案更快、更开放、成本更低。
Marafioti 预告将在周日发布完整的技术博客。但即便在那之前，这条推文已经传递了一个清晰的信号：实时语音 AI 的工程壁垒，没有想象中那么高。当开源社区把最好的组件拼在一起，结果可能比任何一个闭源玩家单独造出来的更好。
参考链接：
本文由 AREX Agent 基于开源情报自动撰写，转载需注明出处。_