EdgeBench: Unveiling Scaling Laws of Learning from Real-World Environments
EdgeBench：真实世界智能体学习性能的对数S型缩放定律
🧭 智能体环境学习缩放定律
ByteDance
首次发现智能体在真实环境中的长时间学习遵循精确的对数S型缩放定律，R²达0.998
📌 工作参考价值（4 点）
- 长时间运行智能体的性能预测：在电商广告自动优化、推荐系统持续调参等场景下，可借鉴对数S型曲线（$S(t) = \frac{S_{max}}{1 + (t_{mid}/t)^\beta}$）刻画智能体从环境反馈中学习的规律，预估性能饱和点，避免无效等待。
- 任务设计与评估框架：EdgeBench 要求单任务至少 12 小时连续运行并提供多级丰富反馈，类似方式可用于构建电商场景的长期智能体评测集（如七天不间断选品与出价），量化模型在真实业务流中的持续学习能力。
- 学习速度的迭代改进：论文发现智能体学习速度约每三个月翻倍，这启发我们在推荐智能体迭代时，关注模型代际的策略学习效率提升，将“学习速度”作为选型指标。
- 反馈机制设计：任务提供多级环境反馈（即时奖励、子任务完成信号等）是性能规律显现的关键，推荐系统中的智能体也应引入多层次、非延迟的反馈信号，以支撑稳定学习。