PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents
PAST-Bench:个人代理递归自我改进的基准与诊断
🧭 个人代理递归自我改进评估与诊断
构建受控实验揭示代理改进并非必然源于正确的经验路径,并设计 Hermes+ 强化 save-retrieve-update 机制
📌 工作参考价值(4 点)
- 评估个性化推荐 Agent 的长期效果时,可借鉴 PAST-Bench 的控制变量设计:对比开启与关闭记忆时的任务增益,并诊断增益是否来自预期的 save-retrieve-update 路径,避免被模型原生能力或统计偏倚误导。
- 推荐系统的用户状态管理可借鉴 Hermes+ 的五项干预:如遗忘机制处理过期偏好、时序感知检索捕捉兴趣漂移、优先级队列管理记忆容量,防止陈旧信息干扰。
- 在构建持续学习的 Agent 时,应重点应对“条件变化”场景(如用户偏好转换),主动替换而非累积过时状态;PAST-Bench 的更新维度测试可移植用于验证此类机制。
- 如需分析 Agent 框架对经验复用的贡献,可分离基座模型与框架的影响,PAST-Bench 提供跨模型和框架的衡量方式,帮助定位架构瓶颈。