#Memorization

4 篇

Generative Recommenders Forget the Long Tail: Restoring Memorization in Retrieval and Ranking

生成式推荐遗忘长尾：检索与排序中的记忆恢复

🧭 生成式推荐 · 长尾纠偏 ★ 深度解读

University of Science and Technology of China · Ant Group

提出无训练插件 CAPE，用 item-level 共现记忆同时修复生成式推荐的检索剪枝和排序偏差，显著提升长尾命中

📌 工作参考价值（4 点）

线上生成式推荐不要只扩 beam 或只做重排：先用 beam 的 tail recall 和 tail conversion 定位瓶颈。若 beam 尾召回不足，需要额外候选；若 recall 足够但命中差，重排更关键。论文 Proposition 2.1 可作为上线前检查。
用原始 item-item 共现矩阵构建轻量长尾候选通道，比训练 LightGCN 更适合精确记忆。用户级 support 进候选、事件级 mean 做排序，min-max 归一化后与生成 likelihood 融合，只需一个超参 λ。电商可直接统计用户历史商品与候选商品在多少用户中共同出现，补足 beam 外的长尾。
top-1 anchoring 是无痛上线关键：保持 backbone 首项不变，只重排第 2-K 位；若更看重整体 GMV，可去掉 tail mask 把共现证据用于全部候选。
工程成本低：CSR 稀疏矩阵存共现，每请求只增加约 100 token teacher forcing，延迟增 11-16%，可批处理；而扩 beam 50% 延迟翻倍还不一定提升尾命中。

GenRec | 2026-10-21 | cs.IR | score 9/10

持续学习机制组合实现长期记忆

🧭 持续学习机制组合与长期记忆

Johns Hopkins University

组合数据/函数/权重 anchor 与 merged LoRA 将 100 任务顺序微调平均保留率从 1.2% 提升至 34.9%

📌 工作参考价值（4 点）

模型需要持续更新商品目录或用户行为时，可采用 merged LoRA 为每个新任务/新领域分配独立低秩矩阵，避免直接覆盖全量参数，再定期合并或推理时加权组合，减少灾难性遗忘。
借鉴 data anchor：在每次更新时混入少量历史代表样本（或合成回放），即使无法保存完整旧数据，也能显著提升长期保留率；对电商场景可保存高价值/长尾样本的小型 memory buffer。
多种机制存在超加性交互，尤其 data anchor + merged LoRA。工程实现上不要单独评估单一策略，应组合验证，并使用 factorial 实验量化主效应与交互作用。
任务级 successive halving 搜索设计空间成本可控，适合在业务中快速筛选持续学习策略组合，再投入完整训练。

Training | 2026-09-06 | HF Daily | score 7/10

测量参数高效微调的容量：适配器到底写了多少比特？

🧭 PEFT 记忆容量与隐私泄露 ★ 深度解读

Carnegie Mellon University · Columbia University

通过压缩方法直接测量 LoRA 适配器的记忆容量，揭示容量取决于插入位置和基座结构，SFT 会记忆秘密而 RL 不会。

📌 工作参考价值（4 点）

适配器放置位置的选择：同一参数预算下，插入 MLP 的适配器存储的比特数约为注意力的两倍。在需要保护隐私的场景（如联邦学习、模型市场），将有泄露风险的适配器放在注意力模块可主动降低其存储容量。
隐私风险评估工具：论文提供了可复用的测量方法，能在训练前估算适配器的容量，并与待训练数据集的比特信息量对比，提前判断是否落入“全量记忆”区间，无需事后攻击。
强化学习优于监督微调：在必须共享模型但训练数据敏感时，用 GRPO 等可验证奖励的强化学习方法替代 SFT，几乎不记忆训练数据，特别适合 Agent 或推荐系统的用户交互训练。
参数数量 ≠ 隐私风险：适配器的泄露风险更多与写入的比特数相关，而非参数总量，因此监控模型存储的比特数比单纯限制秩更有效。

Training | 2026-07-23 | cs.LG | score 8/10

LLM会泄露训练数据但这是它们的意愿吗？倾向感知的记忆评估

🧭 LLM记忆评估·倾向性度量

University of Southern Denmark

提出倾向性感知框架，区分能力与倾向，发现LLM在普通使用下很少主动泄露训练数据。

📌 工作参考价值（4 点）

区分能力与倾向性：评估推荐/Agent系统中生成模型的数据泄露风险时，不应仅依赖前缀攻击等对抗性方法，需引入倾向性度量，模拟真实用户查询场景，避免高估风险。
轻量级溯源管道：SimpleTrace 利用 infini-gram 快速回溯生成文本至训练语料，可复用于电商搜索或推荐文案的版权/隐私审核，实现 verbatim/near-verbatim 检测。
持续预训练降低记忆：DFM Decoder 表明，用新数据持续训练可降低对旧数据的记忆，对于需要定期更新且关注隐私的推荐模型，该结论支持数据滚动训练策略。
双维度审计：在部署生成式推荐前，应同时报告最坏可提取率与普通倾向性，为合规和风险控制提供更全面视图。

Eval | 2026-06-03 | HF Daily | score 6/10