AREX Feed Article
NVIDIA 官推详解 NeMo Switchyard，Kari Briski 将做客 MTSlive
NVIDIA 官方 X 账号 @nvidia（约 265 万粉丝）于 UTC 时间 8 月 20 日 21:15（北京时间 8 月 21 日 5:15）发布推文并附带一段视频，介绍模型路由工具 NeMo Switchyard：开发者可以按自己设定的质量、延迟与成本标准，为智能体（agent）工作流的每一步在所选模型池中挑选模型（）。
推文同时称，NVIDIA 企业生成式 AI 软件副总裁 Kari Briski 将做客 @MTSlive，解释为什么智能体工作流需要模型路由（）。NeMo Switchyard 不是第一次出现在 NVIDIA 的官方口径中：8 月 11 日，它已作为开源库随 Nemotron 3.5 Lightning 一同发布（）。这次主账号推文把"按步路由"单独拎出来讲。
推文、演示视频与 9 秒后的 Learn more
推文以一句判断开场："The right model depends on the task."（正确的模型取决于任务。）随后给出产品定义：NVIDIA NeMo Switchyard 帮助开发者按自己设定的质量、延迟与成本标准，为智能体工作流的每一步在所选模型池中路由。附带的视频以横向画幅呈现。
9 秒后，@nvidia 在自回复中补上 "Learn more" 链接，指向 NVIDIA 官方博客 8 月 11 日的发布文《NVIDIA Nemotron 3.5 Lightning and NeMo Switchyard Deliver Faster, Smarter, More Efficient Agentic AI》（）。截至 8 月 21 日凌晨抓取时，这条推文已获得 159 个赞、28 次转发和约 3.9 万次观看。
被点名的 @MTSlive 是 X 上的 "MTS" 账号，简介写着 "Chronicling the singularity"（记录奇点），有约 43.5 万粉丝，日常发布 AI 从业者的访谈切片（）。其联合创始人 Brent Liang 在推文发布 10 分钟后回复："so awesome to have kari on the show!"（Kari 上节目了，太棒了！）（）。
为什么智能体工作流需要"按步换模型"
NVIDIA 的论证从"没有万能模型"开始。技术博客指出，一个智能体任务可能这一步要分类、下一步要推理、再下一步只是例行收尾；请求全发给最大的模型，成本与延迟上升，全发给小模型，复杂任务的质量又会下降（）。
NVIDIA 技术博客接着用 Terminal-Bench Hard 基准的例子说明"整体最强"不等于"每步最强"：在 Terminus 智能体执行的这项计算机操作任务中，DeepSeek V4 的整体准确率最高，但 ML 与 RL 任务组更适合 Kimi K2.6，数学与科学任务组更适合 Qwen3.5 397B A17B，其余六个任务组才交给 DeepSeek V4。路由决策依赖三类信号：模型能力、模型的成本画像（延迟与价格）、系统层面信号（负载、错误等）。
这正是 8 月 11 日发布时的定位。当天 @NVIDIAAI 的推文写道："不是智能体工作流的每一步都需要同一个模型"，frontier 模型留给复杂推理与规划，Nemotron 3.5 Lightning（一个 300 亿参数的 MoE 开放模型）承担高吞吐的专门执行（）。
四种路由算法，和一条"勿用于生产"的警告
Switchyard 的 GitHub 仓库自称 "a Rust proxy and library for LLM traffic"：一个跨提供商路由请求、在 OpenAI 与 Anthropic API 之间互译、并记录运行指标的 Rust 代理与库，采用 Apache 2.0 许可，仓库创建于 5 月 19 日，目前约 1780 个 star（）。
路由算法分两类。免训练（tuning-free）的有三种：LLM classifier 用一个大模型当裁判挑选候选模型，并保持会话亲和；stage router 观察编码智能体最近的工具活动，反复报错或长时间探索就把这一轮推给更强的模型，进入稳定写码阶段则用高效模型；escalation router 让每一轮先走便宜模型，由 LLM 裁判检测到持续困难时把会话升级。
可训练（tunable）的 prefill router 则从模型的残差流（residual stream）中提取查询复杂度信号，预测池中每个模型答对的概率，再按成本与延迟约束打分（）。兼容层是另一块设计：Switchyard 服务器接受 OpenAI Chat、Anthropic Messages 与 OpenAI Responses 三类 API 请求，并记录所选模型、决策理由、token 用量与延迟，供开发者事后检查一次路由为何做出那个决定。
与宣传口径形成对照的是仓库的自我标注：README 写明 Switchyard 是 "pre-alpha" 软件，"API 与算法在 v1.0 之前预计会有重大变化"，并警告"实验性软件，不适合生产使用"。
成本账：官方口径的"三分之一"与伙伴们的数字
NVIDIA 博客给出的内部基准是：NeMo Switchyard 在保持 frontier 级准确率的同时，把任务完成成本降到仅用 Opus 4.8 一个模型时的大约三分之一（）。
博客还转述了一组合作方结果，均为厂商自报、未经独立验证：LangChain 在 145 个多轮 Deep Agents 任务中只把 7% 的调用交给 frontier 模型，成本下降 74%，换来 6% 的准确率代价；Ramp 在 SWE-Bench 上以成本降 58%、运行时间降 33% 匹配了 frontier 模型的性能。
Boomi 实现 100% 的域路由准确率，把 59% 的流量导向一个快 5 倍的微调模型，后期轮次延迟下降 21%；Classmethod 内部测试成本下降 27%；Cognition 把 stage router 集成进 Devin Desktop 后平均成本下降 28%。这些数字的二次传播同样直接：柏林科技媒体 Dataconomy 在 8 月 20 日的报道中，把"74% 成本节约、6% 准确率权衡"当作 Switchyard 的核心卖点转发（）。
分析师看位置，开发者问信号
按 X 简介为 Constellation Research 首席分析师的 Holger Müller 在 8 月 19 日评论称，Lightning 与 Switchyard 的组合是"为本地计算再添一个开放模型"的动作，美国开放模型势头正起（）。
更具体的追问来自评论区。自称 SpaceX AI 员工的开发者 James 连发两条回复，认为"按步路由成本与延迟说得通，难的是把质量衡量到足以信任路由器"，并追问官方用的是哪些信号（）。对这个问题，NVIDIA 技术博客给出的答案是代理信号：prefill router 用残差流预测每个模型的答对概率，stage 与 escalation router 用 LLM 裁判兜底。
热市场里的实验品：从 1780 个 star 到生产网关
模型路由本身已不是蓝海。InfoWorld 8 月 14 日的报道标题直接用了 "hot market"：Cloudflare 已推出自己的模型路由器，据《华尔街日报》报道，Stripe 正在洽谈收购 OpenRouter（）。
在这个市场里，NVIDIA 的入场方式是把自己塞进现有工具链：Kong AI Gateway 已原生支持 Switchyard，LiteLLM 正把它做成插件，Nous Research 的 Hermes 与 Cognition 的 Devin Desktop 也在集成名单上。
但产品的成熟度与宣传热度并不匹配。Switchyard 的 GitHub 仓库 5 月 19 日创建、8 月 11 日随 Lightning 开源、8 月 20 日登上官方主账号，README 至今标注 "pre-alpha"，并写着"实验性软件，不适合生产使用"（）。
官推评论区里 James 把这段宣传最关键的缺口问了出来：路由器怎么让开发者相信，它对质量的判断值得托付。这些代理信号能否撑起"按步换模型"的成本账，是 Switchyard 从实验仓库走向生产网关时首先要过的检验。