AREX Viewpoint Article
语音AI实战：2026年什么才真正奏效
导读
2026年5月12日，Vapi宣布完成5000万美元B轮融资，估值达到5亿美元；TechCrunch报道Amazon Ring在40多个竞争对手中选择了Vapi，且Vapi企业业务自2025年初以来已增长十倍。这一消息把语音智能体从演示阶段推入规模化生产，也让“什么能真正上线”成为采购者必须回答的问题。
但规模化并不意味着容易。Vapi的增长反而把工程难题放大了：延迟要低到不打断对话、CRM工具调用不能中途丢客户、主模型宕机时必须有备用链路。8月25日，Latent Space发布的《Forward Deployed: Voice AI on what works in 2026》恰好请来Vapi前向部署工程经理Steven Diaz，以及Decagon、Daily、Retell AI、Smallest AI的一线工程负责人，对这些生产难题展开对谈。
视频给出的核心判断是：当前企业部署的主流架构仍是级联流水线，而非听起来更先进的端到端语音模型。级联架构允许在每个环节插入监督模型、意图识别和上下文优化，以防范幻觉与提示注入；语音到语音模型在可解释性和护栏控制上仍不够可靠，不宜承担关键业务。这提醒企业不要用模型演示替代生产评估。
视频的增量价值在于具体工程权衡。智能、延迟与可靠性不可兼得，更聪明的模型往往更慢，而语音通话要求实时；模型供应商基础设施故障时，需要瀑布式降级方案兜底。Daily的Varun Singh指出，大语言模型对长上下文存在“首尾偏好”，中间的关键政策容易被幻觉化，因此必须动态压缩和组装提示。Vapi的Steven Diaz则举例，英语市场领先的TTS模型在日本市场完全失效，级联架构的好处是可以只替换失效组件。
这些判断对刚完成大额融资和赢得大客户的企业尤其重要。Amazon Ring的选择并不意味着所有语音智能体已经可靠，而是说明企业开始按生产标准筛选平台。视频中反复出现的可靠性验证方法——开放基准测试、基于客户对话的冒烟测试、用大语言模型作为评判者——为技术团队提供了可操作的标准，而不只是看估值和演示。
因此，这条视频之所以在当下重要，是因为Vapi的估值和客户突破显示语音AI正在进入企业采购与部署周期，但生产可靠性仍滞后于市场预期。视频把“什么真正能上线”的判断标准从营销叙事拉回工程现实，为后续级联与端到端架构选择、多语言适配和可靠性验证提供具体依据。
核心结论
- 级联流水线仍是企业级语音智能体的主流架构，端到端语音模型尚未成熟到可承担关键业务：级联架构允许在每个环节插入监督模型、意图识别和上下文优化，从而更好地防止幻觉和提示注入，而端到端语音模型在可靠性、可解释性和护栏控制上仍不成熟。
- 语音智能体的核心工程矛盾是在智能、延迟与可靠性之间做权衡，而非单纯追求模型能力：更聪明的模型往往更慢，而语音场景对实时性要求极高；同时主模型故障时需要瀑布式降级方案来保证服务不中断，这要求工程师把可靠性作为系统设计的一等公民。
- 大语言模型的长上下文遗忘问题迫使语音智能体采用上下文压缩和条件化提示策略：模型倾向于只记住提示词的开头和结尾，中间关键政策容易被幻觉化，因此系统必须在对话推进中主动压缩上下文，并根据客户类型和流程阶段动态组装系统提示。
- 端到端语音模型代表未来方向，但中期更可能出现混合架构而非全面替代：语音到语音模型能更自然地保留情绪信息并支持异步思考，但目前在准确性和可解释性上仍有不足，因此高频简单问题由语音到语音模型处理、复杂查询委派给级联流水线的混合方案更现实。
- 外呼场景比入站场景更容易控制，入站场景需要更智能的上下文管理与多模型协作：外呼机器人可以主动挂断电话来规避超出预设范围的输入，而入站场景必须应对复杂业务环境中的未知问题，无法将所有政策塞进单一提示词，因此对架构设计的要求更高。
观点拆解
1. 级联流水线仍是企业级语音智能体的主流架构，而非端到端语音模型
-
级联流水线是当前语音智能体的主流架构，端到端语音模型仍不够可靠：Basil Chatha 在开场总结中明确指出，当前构建语音智能体的最先进方式是级联流水线，即语音转文字、大语言模型、文字转语音的三步流程，而不是直接使用语音到语音模型，因为后者目前还不够可靠。这一判断为整期节目奠定了核心架构立场。
“我们谈到，目前构建语音智能体的最先进方式是一个级联流水线。我们谈到它是一个三步流程：你先做语音转文字，然后是大语言模型，然后是文字转语音。我们谈到为什么是这样，而不是为什么我们不直接用语音到语音模型——现实是那些模型现在还不够可靠。”
-
级联架构允许在每个环节插入监督模型、意图识别和上下文优化，从而强化护栏：嘉宾指出，级联模型的核心优势在于可以对输入进行更严格的控制：输入会经过监督模型检测提示注入或社会工程攻击，再进入意图选择，并根据客户类型提前优化上下文，最终生成更精准的系统提示。这种逐环节的护栏能力是端到端语音模型难以实现的。
“我们目前的立场是，级联模型能让你施加更多严格的护栏，并对输入进行更紧密的控制：这个输入会经过同样的监督模型来检测提示注入或社会工程攻击，然后它会沿着传送带进入意图选择。”
“我们会提前检查条件，在这个复杂流程中，也许这个提示适用于这类客户，而那个提示适用于另一类客户。所以我们要提前把所有这些事情弄清楚，压缩并编译出一个好的系统提示给我们的消息生成模型，然后得到回复。”
-
企业部署仍以级联为主，语音到语音模型是未来方向而非当前主流：Smallest AI 的 Sudarshan Kamath 观察到，企业中级联部署的数量仍远多于语音到语音模型，但他也认为语音到语音最终会成为未来方向。Varun Singh 进一步补充，中期答案可能是混合架构：简单问题由语音到语音模型直接处理，复杂查询则委托给级联流水线。
“我们目前看到的是，至少在企业中，级联部署仍然比语音到语音模型多得多，但我认为语音到语音最终会成为未来。”
“我认为中期的答案会是某种混合形式，因为语音到语音模型正在改进。在对话循环中，有些部分你会说，我的工作流很复杂，我反正要用多个大语言模型。所以对于主动循环，就像我作为人类在和你说话，你打给我，我在回答你的问题。但每当我需要做某种查询时，我就委托给另一个大语言模型，它会去做级联的事情。”
2. 语音智能体的核心工程矛盾是在智能、延迟与可靠性之间做权衡
-
语音智能体的核心权衡是响应智能与延迟之间的取舍：在构建语音智能体时，工程师无法同时获得最高智能和最低延迟：更聪明的模型往往响应更慢，而语音场景对实时性要求极高。这意味着不同用例需要根据自身特点选择不同的平衡点，智能与速度的取舍是语音智能体工程化的根本张力。
“你还必须在构建语音智能体时做出权衡，你必须在响应的智能程度和延迟之间做取舍，你可以得到非常智能的响应，但代价是响应会更慢，所以对于不同的用例来说，这可能是好事也可能是坏事。”
-
当前语音到语音模型还不够可靠，级联流水线仍是工程上的主流选择：尽管语音到语音模型在概念上更直接，但现实中它们还不够可靠，因此当前最先进的语音智能体构建方式仍然是级联流水线，即语音转文字、大语言模型处理、再文字转语音的三步流程。这一架构选择本身就是对可靠性优先于前沿性的务实判断。
“目前构建语音智能体的最先进方式是一个级联流水线，它是一个三步过程：语音转文字、大语言模型、然后文字转语音。我们讨论了为什么这样做，而不是直接用语音到语音模型，现实是那些模型现在还不够可靠。”
-
主模型故障时需要瀑布式降级方案来保证服务不中断：语音智能体依赖的大语言模型供应商在基础设施层面并不总是完全可靠，当主模型如 Claude Opus 出现故障时，必须有备用的模型瀑布来接管，否则语音智能体会直接停止工作。这要求工程师在架构层面预先设计好降级路径，把可靠性作为系统设计的一等公民。
“有些大语言模型公司在基础设施方面可能不是特别可靠。那么当 Opus 宕机时你该怎么办？你需要有一个模型瀑布来接管，这样你的语音智能体才不会停止工作。”
“如果你想要多个模型，第一个模型的文本输出会分叉进入多个大语言模型，你可以把它想象成一个瀑布，它从上面流下来。”
3. 大语言模型的长上下文遗忘问题迫使语音智能体采用上下文压缩和条件化提示策略
-
大语言模型对长上下文的“首尾偏好”使中间关键政策极易被幻觉化：Varun Singh 指出，大语言模型倾向于只记住提示词开头和结尾各约4%的内容，中间部分容易被遗忘。这意味着如果退货政策等关键业务规则被放在长上下文的中间位置，模型很可能在通话中凭空编造，直接威胁语音智能体的可靠性。
“大语言模型在这方面有点古怪，它们总是记住最前面的4%和最后面的4%，中间的所有内容它们基本都会忘掉。所以如果你的退货政策正好在上下文的中间，它很可能会产生幻觉。”
-
语音智能体必须在对话推进中主动进行上下文压缩以追踪状态并防止失控：Varun Singh 将语音智能体与编码智能体对比，强调语音领域从第一天起就在做上下文压缩。由于语音通话轮次短且模型容易在长上下文中“脱轨”，系统需要持续追踪人类说了什么、对话进行到哪一步，并在上下文占用达到阈值前主动压缩保存关键信息。
“如果你用的是100万上下文的模型，到25%的时候你就应该开始紧张了。还没到70%的标记，但在25%的时候你就会想：我是不是该开始压缩、保存我的工作，免得它跑偏了？”
“我们很多工作就是确保机器人不产生幻觉，并在轮次推进过程中持续追踪对话。轮次相当短，因为无论如何机器人都比人类说得更多。所以你必须追踪人类说了什么、我们在对话的哪个位置。”
-
级联架构通过预先条件判断和动态组装系统提示来优化上下文：在级联架构中，系统会在生成回复前先根据客户类型和流程阶段判断哪些提示内容适用，再压缩并编译出针对当前消息生成模型的系统提示。这种方式避免了一次性塞入所有规则导致的长上下文遗忘问题，同时还能在流水线中并行执行提示注入检测、意图选择等监督步骤。
“然后我们要通过提前检查条件来优化上下文：在这个复杂的流程中，如果用户是这种类型的客户，这个提示可能适用；如果用户是那种类型的客户，那个提示才适用。所以让我们提前把这一切搞清楚，压缩并编译出一个好的系统提示给消息生成模型，然后得到回复。”
4. 外呼场景比入站场景更容易控制，因为机器人可以主动挂断电话
-
外呼机器人拥有“主动挂断”这一关键护栏，使护栏设计远比入站场景简单：在外呼场景中，机器人有明确的输入范围和可接受的选项，当人类偏离轨道时可以直接挂断电话，无需应对任何超出预设范围的内容。这种“可以主动结束对话”的能力，使得外呼机器人的护栏设计相对容易，因为它不需要对所有可能的输入做出响应。
“如果人类开始说一些随机的东西，机器人可以直接挂断电话。它没有任何义务继续留在通话中。所以护栏很容易。”
-
入站场景的复杂性来自未知问题与多政策环境，无法用单一提示词覆盖：入站场景中，机器人必须应对来自复杂业务环境的各种未知问题。以亚马逊为例，平台上有海量产品和不同的退换货政策，机器人需要先判断商品类型、价格、是否电子产品等，才能给出正确回应。这种复杂性意味着无法将所有政策塞进一个提示词中。
“如果你更复杂，比如说你是亚马逊，你的平台上有十亿种产品，而且你对不同的东西有不同的政策——它是实体商品吗？是便宜的实体商品吗？是昂贵的商品吗？是电子产品吗？所有这些它都需要弄清楚。”
“你不能把所有这些都放进一个单一的提示词里，因为LLM在这方面很笨，它们总是只记得前4%和后4%，中间的所有内容它们基本上都会忘记。”
-
入站场景需要更智能的上下文管理与多模型协作来防止幻觉：由于LLM对提示词中间部分的遗忘特性，如果将退换货政策放在上下文中间，模型很可能会产生幻觉。因此，入站场景需要更智能的架构设计，包括引入多个模型协作和上下文压缩机制，以确保机器人在复杂对话中保持准确。
“所以如果你的退货政策正好在那个上下文的中间，它很可能会产生幻觉。所以你必须做更聪明的事情，这就是需要更多模型介入的地方。”
“我们很多工作都是关于确保机器人不会产生幻觉，并试图在对话轮次推进时跟踪对话的进展。”
5. 端到端语音模型代表未来方向，但中期更可能出现混合架构
-
语音到语音模型的核心优势是保留情绪并实现异步思考，更接近人脑工作方式：Sudarshan Kamath 指出，级联架构先把语音转成文本，会丢失说话时的情绪信息；而语音到语音模型可以原生接收和输出语音，并在听的过程中同时思考、调用工具，这种异步性更接近人类大脑的运作方式。这一判断解释了为什么语音到语音被视为更自然、更有潜力通过图灵测试的技术路线。
“如果你把语音转成文本，就会丢失情绪信息……语音到语音是人类大脑运作的一种更自然的方式。”
“如果你想要通过人类大脑运作方式的图灵测试，你需要一个异步工作的系统，它不仅能理解情绪，还能原生地接收语音并异步地输出语音。”
-
语音到语音模型在准确性和可解释性上仍有短板，需要专门研究来补齐：新架构往往在一个维度上进步，却在其他维度上倒退。语音到语音模型虽然更自然、更像人，但其语音转文本的准确率可能不如专门的语音转文本模型，而且模型容易变成黑箱。因此，提升可解释性、搞清楚模型在哪里不足，是让语音到语音模型达到生产级准确率的关键。
“每当有新架构出现，它往往在一个参数上表现很好，然后在其他参数上有所倒退……专门的语音转文本模型的准确率可能比语音到语音模型里的编码器好得多。”
“挑战在于，当你在让它更自然、更像人这些方面取得进展时，如何保持同样的准确率标准。我认为很多问题归结于这类模型的可解释性，因为你不想让它成为一个黑箱。”
-
中期答案更可能是混合架构：高频简单问题由语音到语音模型处理，复杂查询委派给级联流水线：Sudarshan Kamath 认为，语音到语音是最终方向，但企业目前仍以级联部署为主。中期更现实的方案是混合架构：语音到语音模型在对话主循环中保持运行，遇到复杂查询时中断并委派给其他大语言模型做级联处理。这样既能保留语音到语音的自然交互体验，又能借助多个模型处理复杂工作流。
“我们仍然看到，至少在企业中，级联部署比语音到语音模型多得多，但我认为语音到语音会是最终的未来。”
“我认为中期的答案会是某种形式的混合架构，因为语音到语音模型正在改进……每当我要做某种查询时，我就委派给另一个大语言模型，它会去做级联的事情。”
“有很多用例中，有些问题我可以不假思索地回答……你可以训练专门的模型，让它非常理解那50%的用例。”
6. 多语言和口音支持是级联架构的显著优势，可通过替换组件灵活适配
-
级联架构让多语言部署可以按组件替换，而不是整套重做：Steven Diaz 以日本市场部署为例说明，语音识别部分用 OpenAI 或 Deepgram 通常没问题，但原本在美国市场表现领先的语音合成模型在日语场景完全失效。级联架构的价值在于可以只替换出问题的语音组件，而不必推翻整条链路。
“结果我们发现，那些我们认为在英语、西班牙语、葡萄牙语这些美国常见语言上属于最先进水平的方案，在日语上完全行不通。”
“这样做的好处之一就是，你可以把那些对你不适用的部分替换掉。”
-
允许客户接入定制语音合成服务，是解决本地化发音难题的实用路径：面对日语语音合成失效的问题，Vapi 的解决方案是让客户接入自己的定制文字转语音服务。Steven Diaz 指出，每个市场通常都有本地的创业公司或实验室在做这件事，平台不需要也不可能为每一个细分场景都建立发音专长。
“至少在 Vapi 上，我们的解决方式是让客户接入他们自己的定制文字转语音服务。”
“阿拉伯语在品牌名和地址的发音上也很难做对，而我们确实无法为每一个使用场景都建立专长并做优化。”
-
语音到语音模型当前优先做深英语能力，多语言需求更多由级联方案承接：Sudarshan Kamath 表示，语音到语音模型目前阶段专注于把英语做到足够好，避免引入其他变量。与此同时，级联架构已经在印度、拉丁美洲等市场承接了大量多语言需求，美国本土也面临西班牙语和多种口音的挑战。
“至少就语音到语音而言，我们现在完全专注于让它在英语上变得更智能，把它在英语上做得足够好，因为我们不想引入任何其他变量。”
“但就级联方案而言，我们看到了大量需求——我们在印度有很强的存在，所以看到很多来自印度的需求，也看到很多来自拉丁美洲的需求。”
7. 语音智能体的可靠性验证依赖基准测试和持续评估，而非一次性调优
-
非确定性系统决定了语音智能体可靠性只能靠反复测试来验证：大语言模型是非确定性系统，同一个提示词可能产生不同结果，因此无法通过一次性调优来保证语音智能体的可靠性。Varun Singh 指出，实际做法只能是针对每个客户的具体用例构建系统，然后反复测试，并用大语言模型作为评判者来判断是否可靠，再决定是否需要增加预处理或上下文优化。
“但归根结底，对于非确定性系统，最终只能逐客户处理。我们必须真正理解他们的用例，最终就是构建它，然后测试很多次，再用大语言模型作为评判者来告诉我们：它成功了吗？它可靠吗？还是我们需要提前增加更多预处理和上下文优化来让它变得可靠。”
“所以真正的答案很可能永远是：测试、找出问题，然后再测试、再找出问题，你知道，这会一直持续下去。”
-
开放基准测试让客户用自己的对话流程验证语音智能体：发布开放的语音识别、大语言模型和文字转语音基准测试，可以让客户下载基准数据、替换成自己的对话轮次，并在本地或自托管环境中运行，从而评估新模型在自己实际业务流程中的表现。这种开放工具降低了验证门槛，使客户不必依赖供应商的主观判断。
“我们发布基于轮次的语音识别基准、大语言模型基准和文字转语音基准。这样做的核心意义在于，我们所有的工具都是开源的。有了这些语音识别基准、文字转语音基准和大语言模型基准，所有的对话轮次实际上都是开放的。所以你可以拿任何新发布的模型来跑这些基准。”
“你可以在本地运行它，可以查看我们图表中的输出，并与你在自托管或其他环境中的基础设施上得到的结果进行比较。所以这是一个重要的方面：如果你知道自己的对话轮次会是什么样子，你可以直接下载我们的基准测试，更新对话轮次，然后看看它在你自己的流程中表现如何。”
-
客户对话信息可以直接转化为上线前的评估与冒烟测试：在与客户沟通阶段，即使尚未正式上线，也可以根据客户描述的对话类型和工作流，直接构建评估用例并运行冒烟测试。前向部署工程师可以利用已有的评估套件和云端基础设施，在客户表达明确意向之前就开始验证系统表现，从而加速交付并降低上线风险。
“评估真的非常重要。如果你在和客户交流时，能够评估他们会有什么类型的对话或什么类型的工作流，这些就是你可以直接开始测试的真实输入，即使你还没有和他们正式上线，甚至他们还没有表现出任何意向。”
“我们都有云在后台运行，对吧？所以你可以直接说：这是我们讨论的内容，你能基于我们的评估套件构建一个评估吗？你能用我们已有的对话信息跑一个冒烟测试吗？我觉得这帮助很大。”
总结
语音智能体的竞争焦点正在从模型能力转向工程可靠性。级联架构之所以仍是企业首选，不是因为它更前沿，而是因为它允许在每个环节插入护栏、压缩上下文、替换组件，从而在智能与延迟之间找到可验证的平衡点。端到端语音模型值得持续投入，但在它达到生产级准确率和可解释性之前，务实的企业应该把资源投向级联架构的优化，并为混合架构的过渡做好准备。
信息源
视频来源
- ⏭️ Forward Deployed: Voice AI on what works in 2026：
外部资料
- AI voice startup Vapi hits $500M valuation after winning ...：
- Vapi raises $50M Series B as it reaches 1 billion calls, ...：