回顾式 Harness 优化：基于轨迹重放的自偏好提升 LLM Agent
🧭 Agent 自进化 · Harness 优化 ★ 深度解读
City University of Hong Kong · Microsoft Research Asia
提出无需标注的回顾式 Harness 优化方法 RHO，通过自偏好对比轨迹选择最佳技能/工具更新，在软件工程、技术等多个领域显著提升 Agent 表现。
📌 工作参考价值（4 点）
- 无标注的 Agent 自优化管道：RHO 仅利用过去运行轨迹，通过自比较和自偏好选出最优 harness 更新，完全省去人工构造验证集。电商对话 Agent、多智体协作流水线可直接借鉴，从历史对话或操作痕迹中自动提炼更好的提示/工具/技能。
- DPP 挑选困难且多样样本：用 Determinantal Point Process 结合难度评分和语义多样性选取核心集，避免只挑困难而忽视类型覆盖。在推荐场景可类比地用于从海量离线日志中选出最具代表性且难例的样本进行复盘优化。
- Group Rollout + 双重诊断信号：对同一任务并行执行多次，通过“自验证”（单条轨迹中的错误步骤）和“自一致性”（多条轨迹间的冲突）提取结构化改进指令。这一技巧可用于推荐 Agent 的多路召回或结果比较，诊断模型飘移或策略分歧。
- Best-of-N Harness 提案与自偏好过滤：并行生成多个 harness 候选，并用自偏好评分选最优，避免单次编辑的不稳定。工程上相当于多个候选流水线并行评估，可用来做线上策略变更的安全上线。
RLHF的另一面：在线反馈驱动奖励模型自监督改进
🧭 LLM 对齐中的奖励模型自监督训练
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China · University of Science and Technology of China · Institute of Artificial Intelligence, Hefei Comprehensive National Science Center · State Key Laboratory of General Artificial Intelligence, BIGAI
提出SAVE框架，利用在线反馈和价值锚定对奖励模型进行自监督改进，缓解策略分布偏移
📌 工作参考价值（4 点）
- 在推荐 RL 策略优化中，利用实时生成的 on-policy 数据与价值函数估计的期望回报计算优势值，作为自监督信号更新奖励模型，无需额外标注，同时缓解静态 RM 与策略不匹配问题。
- 借鉴 prompt-specific value head 设计，为每个用户或上下文动态构建价值头，自适应确定反馈阈值，过滤低质量样本，提升训练信号信噪比。
- 采用对比目标区分正负样本时，可直接利用策略采样结果的排序（如按 RM 打分划分）构造正负对，减少对绝对偏好标注的依赖。
- 方法轻量易集成，计算优势 → 过滤 → 对比更新，可嵌入现有推荐系统 RL 框架，适用于生成式推荐、对话式推荐等策略频繁漂移的场景。