Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents
持续学习基准：评估 LLM 智能体的长周期经验学习能力
🧭 LLM Agent 持续学习能力评估
University College London
构建 600 级递进任务基准，量化诊断反馈与修订对 LLM 智能体经验学习的作用
📌 工作参考价值（4 点）
- 在电商智能体（如客服、选品、广告优化）的设计中，可以采用「多级递进任务」框架：让 Agent 先完成简单任务，成功后再解锁更复杂任务，从而在任务流中自然积累经验，而不是一次性给出完整任务。
- 引入「失败后诊断反馈 + 一次修订」的机制，能带来中位数 5.3 个百分点的完成率提升；实际系统中可设置轻量级反馈循环，让 Agent 在失败时获得针对性的错误分析并重新生成一次，成本可控。
- 评估智能体时，不要只看单个 task 的准确率，而应关注跨时间、跨任务的改进幅度和知识保留；这更贴近推荐/广告系统中连续决策、用户反馈驱动的真实场景。
- 该基准数据可用于后训练 LLM 以增强持续学习能力，从业者可以考虑将业务日志中的成功/失败案例转化为类似的阶梯式训练样本。