#self-evolution

3 篇

StudyBench: Can Self-Evolution Squeeze Textbooks for Olympiad Capability?

StudyBench：自进化能否将教科书转化为奥赛能力？

🧭 自进化能力评测基准

Tsinghua University · Zhejiang University

提出受控物理基准 StudyBench，量化自进化从教科书到奥赛能力的吸收与迁移效率，并揭示 Guidance Gap 与 Compute Plateau

📌 工作参考价值（4 点）

在自研 Agent/LLM 持续学习或微调项目中，引入「吸收集/迁移集」双层评测，区分同分布刷分与跨分布可迁移能力，避免被 Application Set 式指标误导。
当新知识或业务文档以 in-context 形式输入时模型表现明显优于微调后，说明存在 Guidance Gap；此时优先考虑 RAG/上下文增强，而不是急于微调。
监控 Compute Plateau：在数据或算力预算远未耗尽时指标已饱和，需要回头审视训练方法、知识表示或合成数据策略，而不是盲目增加数据或训练步数。
在搜索/推荐中的 LLM 任务（query 改写、文案生成等）引入持续业务知识时，用受控基准隔离数据、算力、方法因素，能更准确判断迭代方向。

Eval | 2026-08-31 | HF Daily | score 6/10

Aspire：模型能从模糊目标自我进化吗？

🧭 LLM 自我进化基准与评估

ByteDance Seed · Singapore University of Technology and Design · M-A-P · TokenWave.AI

提出 Aspire 基准，考察 LLM 在仅给定模糊目标时的自主进化能力；当前代理权重级提升稀疏且不稳定

📌 工作参考价值（4 点）

在电商/推荐场景，模糊需求（如“提高转化率”）常被直接简化为单一指标优化；可借鉴 Aspire 的目标解释步骤：先显式拆解能力缺口、选择数据与验证信号，再启动训练或 Agent 编辑，避免初始搜索空间偏差。
自进化循环中，模型/代理容易信任狭窄的自评估，导致局部提升不迁移到线上；应保留一个与线上分布一致的隐藏评估集，并在每次更新后监控线上业务指标，避免过拟合自建验证数据。
持续训练会擦除早期改进（遗忘）；在线上模型持续更新或 Agent 迭代时，需要 checkpoint 回滚、阶段性评估与 early stop 策略，不能盲目多轮训练或搜索。
权重更新不稳定时，优先改进 harness（prompt/工具编排）是更稳路径；在搜索推荐 Agent 中可先用工作流、记忆或工具适配提升效果，待稳定后再考虑微调模型权重。

Eval | 2026-08-30 | HF Daily | score 7/10

基于求解轨迹技能的自演化编码Agent

🧭 自演化Agent·技能注册与课程学习 ★ 深度解读

Shanghai Jiao Tong University · Alibaba Group

将求解轨迹蒸馏为结构化Agent技能，驱动自适应课程生成与梯度对齐选择，在SWE-bench Verified达到50.40%

📌 工作参考价值（4 点）

轨迹→技能→任务闭环：将Agent执行日志中的失败模式与修复策略结构化为Skill Registry，用于定向生成针对性训练任务。可迁移到电商/推荐场景的Agent行为分析，例如从订单纠纷处理轨迹提取决策技能，生成新的客服训练case。
梯度对齐课程筛选：用held-out验证集上的策略梯度方向与候选任务梯度余弦相似度做奖励，选出与目标方向一致的训练样本。该方法可推广到任何需要从合成数据中筛选高质量样本的场景，如生成式推荐的Semantic ID训练数据筛选。
多角色自演训练框架：同一策略网络在Generator和Solver间切换，共享权重，用GDPO处理多尺度奖励，比单一通过率的GRPO更稳定。借鉴到多智体协作优化时，可设计类似角色切换与奖励解耦训练，减少模式坍塌。
执行验证四阶段门控：格式→接地→执行→语义的四关验证保证任务可用且非平凡，可复用于任何依赖代码/工具执行的Agent微调数据构造pipeline。

Agent | 2026-06-05 | cs.AI | score 8/10