Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models
功能感知中间填充训练提升编码智能体基座模型
🧭 编码智能体训练 · 函数感知填充
用函数调用结构的自监督中间训练增强编码智能体,在复杂任务上提升超3%并缓解能力侵蚀
📌 工作参考价值(3 点)
- 主要是学术贡献,业务可借鉴点有限。
- 利用程序依赖图选择关键片段进行掩码训练的思想,可迁移到序列推荐中——针对高偏置交互或语义关键 token 进行掩码,强化模型对长程依赖的建模。
- 在对话式推荐 Agent 的训练中,可设计类似的中间训练阶段,注入“查询-结果-使用”的循环偏置,提升模型对工具返回结果的利用效率。