Self-Evaluating Recursive Agents
自评估递归智能体（SERA）
🧭 递归多智能体训练 · 可学习 rubric 评估 ★ 深度解读
Tongji University · Shanghai Artificial Intelligence Laboratory · Shanghai Jiaotong University · Peking University · Nanjing University
训练递归智能体生成与学习对齐的 rubric，以自我评估子任务，降低外部监督并提升执行与分解能力
📌 工作参考价值（4 点）
- 把中间步骤/子任务的 reward 从外部 judge 迁移到策略自产 rubric：训练阶段用少量外部 verified outcome 做 ranking loss 锚定，执行时用模型自己的 rubric 打分。对推荐链路中的多步策划/生成类 Agent，可显著降低线上 LLM judge 调用成本（文中 TextWorld judge calls 和 tokens 下降 4-5 倍）。
- 当评判器和执行器共享同一个模型权重时，不要用最终任务 reward 直接训练 rubric，否则两者会共适应、分数虚高；应使用 verified outcome 的 pairwise ranking loss（带 margin）训练。这点可迁移到“同一模型既做推荐生成又做事后评估”的场景。
- 分解质量需要单独 reward：用 leaf-coverage（成功任务的 delegation 子树覆盖叶子比例）训练分解动作，在依赖链、共享状态、资源冲突等 interdependent 任务上增益明显；对应到电商场景，适合训练复杂活动策划拆解给多个子 agent 时使用。
- 训练得到的 rubric 可以在推理时作为 tree search 的节点选择器，自产候选分支并按 rubric 分数保留最优，无需额外训练即可提升效果；对搜索/推荐中的多路召回或规划路径选择有借鉴意义。