ActionOPD: Distilling Decisions, Not Tokens
ActionOPD：蒸馏决策，而非令牌
🧭 Agent 动作级在线蒸馏 ★ 深度解读
Tsinghua University
提出动作级在线蒸馏，用语义一致奖励替代 token 概率，实现跨模型家族黑盒 teacher 蒸馏
📌 工作参考价值（4 点）
- 做对话/工具型业务 Agent（如导购、售后、广告投放助手）时，可用强模型作为黑盒 teacher，只采样其动作，不需要 logits 或同 tokenizer；学生模型用语义匹配奖励做 PPO 更新，teacher 选择只看决策质量，便于跨模型家族蒸馏。
- 语义匹配奖励可复用：工具调用先程序化比较工具名和规范化参数（忽略 dict key 顺序、归一化整数浮点），剩余差异交给冻结 LLM；消息比较意图和事实内容，不比较 reasoning token。适合电商 Agent 的动作一致性评估。
- state-group rollout + group-relative advantage：每步采 4 个候选，选最高奖励动作执行，但所有候选都参与训练，用组内均值做 baseline。可缓解 on-policy 漂移并提高样本效率，适合多轮对话策略优化。
- 奖励设计上，invalid 动作给 -1，valid 无匹配给 0，首个匹配给 1，额外匹配给频率 bonus；可降低稀疏语义匹配的方差。但 teacher 动作错误会传播，业务中需对 teacher 动作做有效性过滤或人工审核。