Frontier-OPD: Discovering the Edge of Agent Capability and Teaching Agents to Go Beyond
Frontier-OPD：发现智能体能力边界并教会其超越
🧭 Agent 在线蒸馏 · 学习前沿 ★ 深度解读
Tsinghua University
通过学习前沿动态选择教师干预点，并用学生后续行为验证指导质量，提升多智能体在线蒸馏效果
📌 工作参考价值（4 点）
- 在电商/Agent 微调里，不要随机采样教师补充数据：用 on-policy 学生 rollout 计算 teacher-student token logprob gap，按共享状态聚合，挑『难但可救』的决策点做教师干预，比均匀采样明显提升。
- 状态抽象可复用：把归一化 observation + available actions 哈希成 state key，合并重复访问；同时做 trajectory-balanced 加权，避免死循环轨迹拉高节点分、占用干预预算。
- 教师指导必须验证『学生能否接住』：只加 teacher bridge，不检查后续学生 continuation，会浪费算力；建议用 matched-window agreement gain（bridge+continuation vs 原轨迹等长窗口）做过滤。
- 线上持续学习时，每轮更新后重新采样重建 frontier，让数据分布跟随当前策略；若目标是尽快达到可上线成功率，接受额外单步成本可能反而缩短总训练时间。