AREX Feed Article
普林斯顿发布Skill²-Bench：大模型「不会跨技能切换」终于有了量化标尺
34.4% → 68.4%。不是换了更大的模型，换了一种训练信号。
8月5日，普林斯顿大学计算机系博士生何颖慧（Yinghui He）、博士后杨凌（Ling Yang），联合卡内基梅隆大学、多伦多大学、伊利诺伊大学香槟分校、斯坦福大学和牛津大学的研究者，在arXiv上发布了一篇题为《Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning》的论文（arXiv: 2608.05139）。论文提出一个名为Skill Entropy（技能熵）的新概念，以及配套的Skill²-Bench基准和Skill-Entropy RL训练方法。
核心发现一句话说完：现有大模型在单独执行某项技能时表现优秀，但一旦需要在一个推理链条中切换不同技能，准确率就会持续下降。最难的技能切换方向是"从规划切换到信息抽取"。
论文发布后在X上迅速传播。第一作者何颖慧（Princeton CS PhD，NVIDIA研究实习生）的推文获得102次点赞和19次转发，累计阅读超过2万次；通讯作者杨凌（即将上任的助理教授，此前在北大获得博士学位）的详细Thread获得30次转发和55次点赞，阅读量超过4.4万次。AI Weekly和AI Crunch均在当日对论文做了专题报道。
4到13个百分点——大模型集体背负「技能切换税」
论文最核心的诊断是：长程推理的瓶颈不在单项技能，而在技能之间的切换能力。
研究团队定义了"跨技能长程任务"（Cross-Skill Long-Horizon Task）：一个由多个步骤组成的推理链，每个步骤调用不同的推理技能，后续步骤依赖前面步骤的输出。例如先做数学推导，再用推导结果制定行程计划，最后根据计划提取关键信息。
Skill Entropy是一个有方向的成对度量，量化从技能A切换到技能B的难度。方向很重要：从数学切换到创意写作的难度，可能不同于从创意写作切换回数学的难度。度量方法是将参考模型在单独执行某技能时的表现，与它在技能链中执行同一技能时的表现做对比。表现下降越大，该技能转换的Skill Entropy越高。论文使用Claude-opus-4.7作为参考模型做校准。
Skill²-Bench基于这个度量构建，覆盖9个领域、558项细粒度技能——数学（186项）、科学（137项）、信息抽取（92项）、编程（46项）、规划（34项）、指令遵循（25项）、逻辑（14项）、创意写作（12项）、上下文检索（12项）。每个任务都按任务级技能熵被分为低、中、高三个难度等级。
12个模型上的评测结果一致：8个前沿模型和4个开源模型准确率随技能熵升高而近乎单调下降。同一项技能在跨技能任务中执行时，比单独执行时准确率低4到13个百分点。这个"技能切换税"（skill-switching gap）存在于所有被测模型之中，单技能基准成绩再好的模型也不例外。
12个模型，翻在了同一个坑里
研究团队深入分析了失败模式：在推理链的后期步骤中，模型倾向于复用前一步的技能和答案形式，而不是切换到当前步骤所要求的技能。模型一旦进入某种推理模式，就难以主动挣脱。
一个典型例子：如果前一步在做数学计算，后一步要求做日程规划，模型很可能继续输出数值或公式，而不是生成结构化的时间和地点安排。这不是模型不会规划，而是它没有意识到"当前的游戏规则已经变了"。
论文中披露的技能切换难度图显示，最难的切换方向是从规划（Planning）切换到信息抽取（Information Extraction）。这个发现对agent类应用有直接意义——现实中的AI助手经常需要先在脑中规划，再从大量文档中抽取相关信息。如果这个切换本身就是一个巨大的性能黑洞，那么单靠提升单项技能是解决不了问题的。
值得注意的是，该基准有三个限制条件：9个领域中3个（创意写作、上下文检索、指令遵循）依赖LLM评判而非确定性的规则验证；难度标尺以单一参考模型（Claude-opus-4.7）校准；最大的RL提升出现在1.7B和4B的Qwen3上，可提升空间较大。
答案正确 ≠ 推理模式正确
论文更有实用价值的部分在于，它把Skill Entropy从一个评测标尺变成了训练信号。
Skill-Entropy RL的核心设计是：在每一步回答之前，让模型先显式输出它打算使用的领域和技能标签。一个完整的推理轨迹因此不仅包含答案序列，还包含模型自己预测的技能序列。
奖励函数由两部分组成：步骤级答案正确性奖励，以及技能熵奖励——后者衡量模型预测的技能序列与目标技能序列的对齐程度。为了避免强制模型背诵标签，系统会将模型预测的技能名称映射到技能库中语义相近的条目。
这个设计的价值在于，它提供了一层介于token级别优化和最终答案正确性之间的监督信号。纯答案奖励告诉模型"你答对了"，但不告诉它"你有没有用对推理模式"。Skill Entropy填补了这个信息缺口。
在Qwen3-4B-Instruct上，Skill²-Bench得分从34.4%提升到68.4%；在Qwen3-1.7B上，从14.6%提升到40.1%。与使用相同提示和训练数据的普通GRPO相比，Skill-Entropy RL在4B模型上多出9.6个百分点，在1.7B模型上多出7.5个百分点。
更有意思的是训练动态：普通GRPO在早期提升后开始趋于平台期，而加入了技能熵奖励的训练曲线在答案奖励饱和后继续上升。这暗示技能转换监督训练的不是特定基准的标签记忆，而是一种可迁移的能力——识别问题结构已经改变，并据此重新组织推理模式。
训练效果还展现了跨领域迁移：仅在6个可验证领域上训练，就能提升3个开放领域的表现。研究团队还证明，同样的流水线可以直接应用于现成的训练数据（如OpenR1-Math），只需将已有的推理轨迹按步骤切分并标注技能序列即可。
代码和基准已开源在GitHub（Gen-Verse/Skill-Entropy-RL）。
不止Skill Entropy一家：长程推理评测正在集体转向
这篇论文不是孤立事件。把"技能切换"作为一个独立维度来评估和训练，是当前AI研究的一个汇聚方向。
过去一年，长程推理的评测体系经历了一轮激烈迭代。GAIA、AgentBench、OdysseyBench、HeroBench等基准不断把任务链拉长，但多数仍停留在"把多个问题拼在一起"的思路里，没有提供衡量步骤之间切换难度的标尺。Skill Entropy的出现恰好补上了这个缺失的维度。
另一方面，在工业界，agent框架如OpenAI的Deep Research、Anthropic的Computer Use、各家AI编程助手，面临的实际困境高度吻合这篇论文的诊断：模型在单步任务中表现稳定，在多步、跨工具的任务中却频繁翻车。如果"技能切换"本身是一个可优化的维度，那么它的优化空间可能比继续扩大模型参数更经济。
Alex Moore（18.2万关注者）在X上对论文提了一个精准的问题：558项技能是一种分类学选择，如果把技能合并到100个，Skill Entropy的排序还能保持稳定吗？如果转换成本的排序在粗化后仍能保持，这比任何单项数字的改进都更有说服力。这个问题暂时没有在论文中得到直接回答，但它指出了Skill Entropy作为一个概念框架还需要验证的边界条件。
让模型在每一步都说清楚：我在用什么推理方式？
这篇论文最值得带走的判断是：长程推理的下一次突破，可能不来自更深的网络或更多的数据，而来自对推理过程本身更精细的结构化理解。
Skill Entropy提供的视角可以这样总结：技能获取给模型的是能力（capability），技能编排把这些能力转化为可靠的长程智能。当前所有大模型都在前半段做得不错，在后半段——也就是知道什么时候该换一个思路——还有很大的提升空间。
研究团队将代码和基准以开源形式发布，使得任何团队都可以在自己的模型上复现这套评测和训练流程。论文中1.7B和4B规模上的提升幅度显示，这个方向对于训练资源有限的团队尤其有价值。
对于正在部署agent或长程推理产品的团队，一个直接的工程启发是：与其等待更大的模型，不如在现有模型的后训练阶段，为推理链中的每一步引入明确的技能标签监督。不需要完美的技能分类法，只需要迫使模型在每个步骤切换时，有意识地问自己："我现在应该用哪种推理方式？"
参考链接：
- 论文：
- 代码与基准：
- AI Weekly报道：
- AI Crunch分析：