Astar：从历史迭代中学习提出 AI 系统进化方向
🧭 自进化AI系统 · 进化方向提案 ★ 深度解读
Alibaba Group · Zhejiang University
训练专用模型从历史实验日志中学习提出有效进化方向，在 Lazada 广告召回上超越人类专家与 GPT-5.5
📌 工作参考价值（4 点）
- 用历史实验日志构建“方向提案”训练语料：将任意两个实验版本配对，用 loss 曲线判定优劣，可把稀疏迭代日志扩展成密集监督信号；同时用 AST 清理、配置白名单去除无关改动，适合在广告/推荐模型迭代日志上复用。
- 训练轻量 reward model（0.6B 即可 AUC 0.8094）预测改动是否提升指标，替代真实训练验证做候选筛选和 RL 奖励，可大幅降低 AutoML/实验平台试错成本；在业务上可用来预筛离线实验参数。
- 生成式方向提案用分层约束（主方向→模块→具体动作）代替直接输出，显著压缩搜索空间；在推荐系统自动调参、召回模型结构搜索等场景可以借鉴，让 LLM 按固定层级生成，提高可控性。
- 闭环设计：把每次真实执行结果回收为训练样本，让提案模型随目标系统一同进化，避免“静态模型过时”；可集成进现有模型迭代平台，实现每周自动产生并验证多个改进方向。
OctoLong：跨仓库代码上下文中途训练增强长上下文建模
🧭 长上下文数据工程 · 递归依赖增强
UKP Lab & Center for Applied Cybersecurity ATHENE, TU Darmstadt · CAIDAS, University of Würzburg
通过递归检索代码依赖构建富含长距离依赖的长上下文数据，仅占12%训练数据即大幅提升长程检索与Agent任务
📌 工作参考价值（4 点）
- 构造富含依赖的长序列训练数据：对于需要处理用户长期行为序列的推荐或搜索场景，可借鉴通过解析商品间显式/隐式依赖（如共现、因果、点击链）来生成高信息量的长上下文样本，而非简单的时间拼接，提升模型对长程依赖的建模。
- 少量高质数据即可生效：论文证明仅将12%的依赖丰富数据混入训练即可大幅提升长上下文性能。在资源有限的业务中，可针对特定长尾任务，低成本构造小批量高质量长序列样本，快速注入所需的长程推理能力。
- Agent 长历史状态追踪：对于多步工具调用的Agent系统，可引入类似的依赖图构建思路，在上下文窗口中动态维护工具调用链之间的隐式依赖，缓解长horizon下的状态丢失问题。
- 分阶段扩展上下文的训练策略：先在大规模短上下文上预训练，再利用构造的长上下文数据进行中程微调扩展窗口，最后指令微调，这一流程可在不损失原有能力的前提下高效扩展推荐或Agent模型的最大输入长度。