Sharpening Tax in Post-Training
后训练中的锐化税：基座与后训练LLM智能体的覆盖率权衡
🧭 LLM Agent RL后训练 · 测试时扩展诊断 ★ 深度解读
Meta Superintelligence Labs · University of Wisconsin–Madison · NYU · Stanford University
提出Sharpening Tax度量后训练对测试时覆盖率的损失，并给出PTGS自适应温度采样以同时提升pass@1与pass@K
📌 工作参考价值（4 点）
- 评估Agent或对话式购物策略时，除了pass@1，应监控pass@K与Sharpening Tax；若业务需要高覆盖/多样性（如商品候选生成、长尾query召回），后训练模型可能过度牺牲覆盖，可保留base模型+轻量harness做多次采样。
- 在用PPO/GRPO训练推荐Agent或生成式推荐策略时，可引入PTGS：为每个prompt维护Beta成功统计，按难度自适应采样温度，硬任务升温、易任务降温；无需改RL算法，可降低熵崩塌，兼顾单次准确率与长尾覆盖。
- 仅用8个rollout即可低成本估计Sharpening Tax，相关性ρ=0.85预测更大预算下的tax；可用于上线前诊断或做模型路由：后训练模型处理高置信任务，base模型处理需要探索/候选多样性的任务。
- RL对齐后的双峰化会使中间难度任务消失，需评估是否把可救回的长尾任务推向永久失败；对电商/广告中的个性化Agent，应关注always fail比例，PTGS可缓解该问题。