LLMs Can Leak Training Data But Do They Want To? A Propensity-Aware Evaluation of Memorization in LLMs
LLM会泄露训练数据但这是它们的意愿吗？倾向感知的记忆评估
🧭 LLM记忆评估·倾向性度量
University of Southern Denmark
提出倾向性感知框架，区分能力与倾向，发现LLM在普通使用下很少主动泄露训练数据。
📌 工作参考价值（4 点）
- 区分能力与倾向性：评估推荐/Agent系统中生成模型的数据泄露风险时，不应仅依赖前缀攻击等对抗性方法，需引入倾向性度量，模拟真实用户查询场景，避免高估风险。
- 轻量级溯源管道：SimpleTrace 利用 infini-gram 快速回溯生成文本至训练语料，可复用于电商搜索或推荐文案的版权/隐私审核，实现 verbatim/near-verbatim 检测。
- 持续预训练降低记忆：DFM Decoder 表明，用新数据持续训练可降低对旧数据的记忆，对于需要定期更新且关注隐私的推荐模型，该结论支持数据滚动训练策略。
- 双维度审计：在部署生成式推荐前，应同时报告最坏可提取率与普通倾向性，为合规和风险控制提供更全面视图。