Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory
代理记忆蒸馏：分层教师记忆赋能小模型代理
🧭 代理记忆蒸馏 · 分层教师记忆传递
KAIST · DeepAuto.ai
通过工作流、子任务、函数三层记忆将大模型代理的工具使用经验蒸馏到小模型，无需训练，显著提升工具调用成功率
📌 工作参考价值
- 分层记忆设计可直接复用到推荐/电商Agent：将大模型（如GPT-5）在复杂多步推荐任务（如“根据用户画像、实时行为、库存状况生成推荐”）中的成功轨迹，提取为任务规划(Workflow)、子任务执行示例(Subtask)（如召回→过滤→排序）和工具调用指南(Function)（如调用推荐API的参数格式、常见错误处理），注入到4B/8B小模型中，在降低线上延迟与成本的同时保持高质量决策。
- 按需纠错的函数记忆（Function Memory）：当小模型调用API出错时，仅在该步按函数名检索成功示例并注入上下文，不增加正常执行时的token开销，适合电商推荐中接口众多、参数复杂的工具调用场景，可显著降低错误恢复重试次数。
- 子任务记忆（Subtask Memory）贡献最大：实验表明，提供具体可执行的API调用序列（代码级示例）比纯文本策略描述更有效，在构建Agent的记忆库时，应优先沉淀高成功率的子任务执行片段，而非仅保存宏观策略。
- 4B规模模型受益最明显：资源受限的线上推荐Agent可优先采用4B量级模型配合AMD，用极低的推理成本达到接近大模型的工具使用能力；对大模型（>8B）效果收窄，可权衡是否部署。
- 训练无关的即插即用方式：无需微调，仅通过提示工程和离线记忆库构建，快速将历史大模型经验迁移到新上线小模型，适合快速迭代的推荐系统上线流程。
动机
小语言模型Agent（4B-8B）在工具使用任务中成功率低，无法产生足够多的高质量轨迹来构建有效记忆。直接将从大模型（教师）采集的记忆转交给小模型（学生）效果有限，因为能力差距（capability gap）导致学生无法理解或执行教师的高层策略（例如“先登录再播放音乐”，学生不知道如何登录）。为此，需要一种将教师记忆拆解为不同粒度、适应学生理解能力的蒸馏方法。
方法关键点
- 三层分层记忆构建（训练无关，完全基于成功教师轨迹生成）:
- Workflow Memory（工作流记忆）：任务级高层策略，用自然语言描述完成任务的整体思路、涉及的工具、前置条件与决策规则，并抽象掉具体值（如用占位符替换ID、邮箱）。
- Subtask Memory（子任务记忆）：将轨迹分割为语义连贯的子任务段，每段存储标签、文字描述和具体的工具调用/代码执行示例（含观测），提供可复制的执行模式。
- Function Memory（函数记忆）：按函数名索引，记录每个工具的正确调用方式、参数模式以及上下文理由，用于错误恢复。
- 记忆注入方式:
- 主动注入：任务开始时，将检索到的工作流和子任务记忆预置到系统提示中，提供执行蓝图。
- 被动注入：仅在工具调用出错时，按失败函数名检索函数记忆并加入错误反馈，最小化上下文膨胀。
- 所有记忆由教师模型（GPT-5-mini）从成功轨迹中一次性离线生成，学生推理时通过嵌入向量相似度检索（top-1）。
关键实验
- 基准: AppWorld（多应用复杂任务）、BFCL V3（函数调用多轮）、ToolSandbox（有状态对话工具使用）。
- 学生模型: Qwen3-4B, Qwen3-8B, Gemma4-E4B, Llama3.1-8B；教师: GPT-5-mini。
- 主要结果: AMD平均准确率提升——AppWorld +27.2%p，BFCL V3 +11.2%p，ToolSandbox +3.4%p，全面超越ReasoningBank、MemP、SASM等记忆基线；Gemma4-E4B在AppWorld上达到54.2%，超越教师（50.0%）。
- 消融: 子任务记忆贡献最大（在WF基础上额外提升25.0%p），函数记忆提供补充；用学生自身记忆替换教师记忆导致性能回归至零样本水平；4B模型收益最高（+34.5%p）。
- 效率: AMD显著降低学生交互轮次，使其接近教师水平（AppWorld上Qwen3-4B从23.8步降至14.9步）。
最值得记住的点
将大模型Agent的成功经验按“任务规划→子任务执行示例→工具调用纠正”三层拆解并注入小模型，能让4B模型在工具使用任务上超越大模型教师，且完全无需训练。