AREXOpen in interactive Feed

AREX Feed Article

Mistral 发布 Voxtral 3 语音模型家族,三款模型同日上线 OpenRouter 并提供 EU 托管与零数据保留端点

October 20, 2026

10 月 20 日 16:00(UTC),Mistral AI 在 X 上:两款语音转文本(STT)模型 Voxtral Small Transcribe 3 与 Voxtral Mini Transcribe 3,和一款文本转语音(TTS)模型 Voxtral Mini TTS 3,为其新的 voice agents API 提供支持。同日发布的称,Small Transcribe 3 在多语言转写、diarization(说话人分离)与 context-biasing(上下文偏置)上达到 state-of-the-art(业内当前最优),并且能检测说话人何时说完,语音代理因此可以不加等待地接话。

85 分钟后,宣布三款模型全部上线:走与其他语音模型相同的 /audio/transcriptions 与 /audio/speech API,且均提供 EU 托管与零数据保留端点。三张模型页面都标注「Released Oct 20, 2026」。需要留意的是,「击败 Whisper、Scribe v2 与 Gemini 3.5 Transcribe」这类性能表述全部来自 Mistral 的自报口径——OpenRouter 在转述时用的原话也是「Mistral reports」。

转写旗舰 Small Transcribe 3:三项自报 SOTA 与一张带星号的基准图

称,Voxtral 转写模型支持的语言列表这次扩展到 50 种,其中包括 24 种欧盟官方语言,以及不少低资源的亚洲和印度语系语言。OpenRouter 的把 Small Transcribe 3 描述为 Mistral 的旗舰语音转文本模型,按每秒计价,折合每分钟约 0.0040 美元,与 Mistral 官方报价一致。博客还给出 Mini 变体的细节:4B(40 亿)参数,定价每分钟 0.0035 美元。

博客给出的实时转写基准图统计 FLEURS 35 种语言的宏平均词错率(WER,越低越好;日语、韩语、中文用字符错误率 CER):Voxtral Mini Transcribe 3 以 4.0% 排在第一,Gemini 3.5 Realtime Transcribe 为 4.2%,GPT Live Transcribe 为 8.4%,Scribe v2 Realtime 为 8.7%。图注的星号限定了这组对比——Voxtral Mini Transcribe 3 是离线基线,图上其余模型都是实时模型,4.0% 与 4.2% 并不同条件。图里还排进了 Mistral 自家实时模型的四个延迟档位:2,400 ms 档 5.7%、960 ms 档 6.0%、480 ms 档 6.4%、240 ms 档 7.4%,延迟档位越宽松、错误率越低。专为代理场景设计的 Voxtral Mini Transcribe Realtime 3 延迟低于 500 毫秒,定价每分钟 0.008 美元。

两个功能细节指向生产环境:context biasing 允许把关键术语和自由文本直接喂给模型偏置转写结果、提升专业词汇的召回,博客称无需微调即可适配领域词汇;end-of-turn(说话结束)检测原生支持,同时利用声学与语义信息判断用户是否说完,博客称这既能支撑低延迟代理,也能减少用户话没说完就被打断的情况。博客在展开处还留了限定语:SOTA 结果「包括英语、法语和西班牙语」在内。

Voxtral Mini TTS 3:从读对话情绪到逐行打标签

TTS 侧的新模型在 Mistral 博客里名为 Voxtral Mini TTS 3.0(定价表中写作 Voxtral Speech 3),OpenRouter 上架名 。官方称它在 35 种以上语言、50 种以上方言中达到 SOTA 的表现力与指令跟随能力。它有两种控制方式:隐式指令跟随由模型自己从对话上下文读出情绪、语速和重音;显式指令跟随用 [emotion=sad][pace=slow] 这类标签逐行设置,可用变量为 emotion、pacing 和 emphasis。

配套功能还包括:从 30 分钟以上样本音频做声音克隆、自定义提示词指令跟随、contextual TTS(上下文语音合成)、词汇库,以及非标准音素提示——博客给的示例是 dʒ ɪ f。预设声音覆盖 18 种语言,从阿拉伯语(阿联酋、现代标准)到越南语。

与基础克隆分开的 Pro Voice 面向专业场景:博客称在「基础声音克隆不够用」的用例中,它能复刻说话人的音色特点、情绪范围和说话风格;Mistral 推文的口径是录制最长 30 分钟音频,即可在全部支持语言中高保真复刻声音。模型本身定价每百万字符 13 美元,Mistral 称运行成本低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash——同样是厂方自己的比较。对比上一代:2026 年 3 月发布的 Voxtral TTS 是 4B 参数、9 种语言,这一次语言覆盖从 9 种扩到 35 种以上。

基于 LiveKit 的语音代理 SDK:听、推理、说话串成一条流

博客把可靠的语音代理拆成四件必须同时做好的事:听得准(跨语言、口音、说话人和打断)、想得深、说得自然、能通过连接的系统执行多步操作。Voxtral 3 的做法是用把三段接起来:Voxtral Mini Transcribe Realtime 3 负责听并判断对方何时说完,一个通用模型(例如 Mistral Small)负责推理并调用工具,Voxtral Speech 3 按对话迄今的语气作答。三个阶段互不等待,作为一条流式管线运行,博客称每轮对话一秒以内完成,来电人插话时代理会停下。

通话过程中,代理可以核实来电人身份、查询账单或预约,手段是 function calling(函数调用)、网页搜索和对自有系统的检索;通过 SIP(会话发起协议)接听和拨打电话,在浏览器和应用里走 WebRTC(网页实时通信),并对接既有的电话、IVR(交互式语音应答)与客服系统。每个阶段都是独立模型,换 LLM、换声音或换语言不必重写代理;整套栈可以跑在 Mistral 位于欧洲的 API 上,也可以自部署。博客称模型发布当天即可通过其欧洲、美国与全球端点的 API 使用,全栈本地或私有云部署需要联系其团队。

OpenRouter 同日上架:请求不出欧洲的 EU 路由,端点加价约一成

的用户可见文本写明了 EU 托管的具体含义:Voxtral Small Transcribe 3 可通过 EU in-region routing 使用,发送到 eu.openrouter.ai 的请求在欧盟境内解密,只路由到位于欧洲(EU/EEA、英国和瑞士)的共享供应商端点;如果欧洲没有可用端点,请求直接报错、不会流出区域(fails closed)。EU 路由需要 Business 或 Enterprise 方案。三款模型的供应商端点都标记为 mistral/zdr,与帖文所称的零数据保留端点对应。

EU 端点的价格更高:Small 每秒 0.000073 美元(标准端点 0.000067 美元)、Mini 每秒 0.000064 美元(标准端点 0.000058 美元)、TTS 每百万字符 14.30 美元(标准端点 13 美元),加价幅度约 9%~10%。两款转写模型在 列出的上下文规格为 66K,TTS 3 为 4K。

从转写家族到语音代理管线:权重是否开放,公告没有说

Voxtral 的前两步都记录在 Mistral 官网上:2025 年 7 月发布的 提供 24B 与 3B 两档语音理解模型,以 Apache 2.0 许可开源,API 把转写请求路由到转写优化的 Voxtral Mini Transcribe;2026 年 3 月的 是其首个 TTS 模型,4B 参数、9 种语言,少至 3 秒的参考音频即可适配声音。这一次的 Voxtral 3 同时更新转写与语音合成两端,并随附 voice agent SDK。

这份公告也有没回答的问题:Mistral 给出了 API 与自部署两条路径,但博客全文没有说明 Voxtral 3 系列的权重是否开放下载——上一代 Voxtral 曾以 Apache 2.0 开源,这次的自部署以「联系团队」的形式出现。发布推文下已经有开发者在问,也有人问 35 种以上语言里。官方博客只列出了 18 种预设声音的语言清单;这两个问题,公告材料里都没有答案。

参考链接

More from this developing story

  • Mistral 发布 Voxtral 3 语音模型家族,三款模型同日上线 OpenRouter 并提供 EU 托管与零数据保留端点Oct 20, 2026
  • Artificial Analysis 公布 Voxtral 3 评测:转写错误率 2.1% 列第 3,TTS 两个竞技场均列第 12Oct 21, 2026