CAFE：自我改进搜索智能体需要协同进化的反馈
🧭 搜索 Agent · 反馈协同进化 ★ 深度解读
Fudan University · Tencent LLM Department
提出 CAFE 框架，共享参数模型交替扮演搜索 agent 与 critic，通过在线反馈奖励整形与离线偏好优化让反馈随策略协同进化
📌 工作参考价值（4 点）
- 在搜索/推荐 Agent 中引入显式 <request_feedback> 动作，用共享 backbone 做 role-conditioned agent/critic，避免单独部署 critic 的额外开销；适合多轮商品搜索或深度信息检索 Agent，让模型在轨迹中途主动请求诊断。
- 奖励整形技巧可直接借鉴：CFE 用同一 prompt 下 call feedback 与 skip feedback 的成功率差作为请求反馈的 utility 信号，再配合 repeat penalty；feedback-aware advantage shaping 对反馈前/后 token 分开加权，避免强化错误的失败前缀，改善 RL 中的信用分配。
- 离线反馈优化用 RDPO：从 on-policy rollout 中挖掘 prefix-matched 成功/失败反馈对，用 DPO 训练反馈生成，比只用成功轨迹的 SFT 更干净，能缓解只有最终成交/转化标签导致的 outcome confound，适合业务中无逐步人工标注的场景。
- 交替更新策略值得工程化：不要固定 critic 或 agent 单侧优化，否则会 plateau；每轮 agent RL 后用最新 rollout 更新 critic，保持反馈与当前策略的错误分布对齐，可参考 100 步 RL × 5 轮的节奏。
SkillEvo：多轮交互反馈驱动的自更新智能体技能进化
🧭 Agent Skill 自进化 · 多轮反馈 ★ 深度解读
Tencent Cloud Andon · Zhejiang University
把多轮用户模拟从评估终点改为反馈生成器，并用独立治理层主动修复知识退化，使技能进化梯度可持续
📌 工作参考价值（4 点）
- 多轮用户模拟不要只当测试集，要做成持续产出“可修复知识缺口”的反馈器：电商客服/导购 Agent 可从真实工单抽取 intent agenda + behavior facts + emotion trajectory，让模拟用户按状态机逐层追问，暴露单轮 QA 看不到的深层缺陷；每轮修复后对话自然进入下一层，梯度可再生。
- 反馈可信度三条件值得照搬：coverage/accuracy/attributability。用 intent state machine 保覆盖，用 dual-sided orthogonal evaluation 区分 simulator 和 agent 责任，用 collective attribution 把失败分成 Knowledge Gap / Capability Limit / Evaluation Noise，只把 Knowledge Gap 送入修订。业务里先归因再改知识库，能避免把权限、工具或评测噪声误写成知识。
- 治理层不要只做标量门禁，要做“结构诊断+主动修复”：对 Skill/知识库做 fact consistency 硬约束（dual anchors 分别抓跨轮知识丢失和本轮新增事实错误）和 structural consistency 软约束（bloat、断链、过度泛化）。RAG 知识库、policy 文档、推荐策略知识库的多轮更新都适用，能明显抑制膨胀和事实漂移。
- 版本选择用 dev 集而不是最终标量分数；自动修订不直接上线，保留 human checkpoint。线上 Agent 知识库或策略库的 closed-loop 更新可以采用同样的工程护栏。