MemoryCPT: An End-to-End Agent Memory Framework for Cost-Performance Trade-off
MemoryCPT：面向成本-性能权衡的端到端Agent记忆框架
🧭 Agent记忆优化 · 成本与性能权衡 ★ 深度解读
香港科技大学 · 香港科技大学(广州) · 腾讯LIGHTSPEED STUDIOS · 香港中文大学
通过离线蒸馏记忆构建 + 在线GRPO摘要优化，在长对话问答中同时提升答案质量并大幅降低推理成本
📌 工作参考价值（4 点）
- 离线记忆构建与在线检索分离：将记忆压缩为可复用的片段（episodic + semantic），整体记忆构建成本可以在多次查询间摊销，适合电商Agent持续对话或长期用户画像维护，避免每次请求重复处理全量历史。
- RRF融合稠密与稀疏检索：在商品知识库或用户行为记忆中，结合 embedding 和 BM25 两种信号做初步召回，再用 LoRA 摘要器压缩，能有效降低下游 LLM 的 token 消耗——可直接用于客服意图识别或推荐语生成前的背景筛选。
- GRPO 训练成本感知摘要策略：用加权奖励（F1 + token节省）训练摘要模型，使 agent 学会“用最少且最关键的上下文回答问题”。在电商搜索结果摘要生成或广告文案自动适配中，可以借鉴此方法，在字数限制下优化信息含量。
- QPC 指标量化智能密度：在评测推荐解释、Agent 回答或 query 扩展时，除看准确率，也应关注单位推理成本的产出，便于在工程上做模型选型与预算控制——尤其是当需要高频调用大模型时。