CALMRec: Causally Aligned Language Memory for Long-Horizon Recommendation
因果对齐的语言记忆长程推荐框架 CALMRec
🧭 长周期推荐 · 曝光校正语义记忆
Shenzhen University
用冻结 LLM 离线编译语义原子，通过三时间尺度记忆与倾向性校正分离持久偏好和曝光偏差，保守重排提升长周期价值
📌 工作参考价值
- 三时间尺度记忆拆分：将用户状态显式建模为短期意图、长期偏好与曝光痕迹，避免将重复曝光误当作真实偏好，可直接用于电商推荐系统的用户画像记忆模块设计。
- 倾向性加权校正曝光偏差：通过逆倾向性权重更新长期记忆，使得模型学到的偏好不受当前推荐策略的曝光频率污染，对于存在强反馈循环的广告/信息流场景尤其有效。
- LLM 离线异步编译语义原子：冻结的大语言模型仅用于预处理阶段生成带溯源的语义原子，不参与在线推荐运算，既利用了语义能力又避免了在线延迟与成本，适合工业落地。
- 保守离线 Q 学习重排：采用 CQL 惩罚与 KL 约束限制模型对未充分支持的行为的乐观外推，可迁移到电商长周期价值优化的重排序层，提升留存而不牺牲过多即时指标。
- 反事实删除解释检验：只保留真正影响排序分数的证据原子生成解释，避免生成与决策无关或虚假的推荐理由，可用于构建更可信的推荐解释系统。
动机
现有 LLM 推荐常将用户持久偏好、瞬时意图与曝光诱导行为混为一谈，导致反馈循环：重复曝光被当作偏好，即时点击压倒长期满意度，流畅的解释未必反映排序决策。长程决策需要分离这些因素，但直接将 LLM 置于动作环路成本高且难以审计。
方法关键点
- 语义原子：冻结的多模态 LLM 异步将物品内容与反馈编译为带证源的语义原子 (embedding + 置信度 + 溯源)，不参与在线推理。
- 三时间尺度记忆：短期意图 (高衰减门控)、长期偏好 (倾向性加权自归一化更新)、曝光痕迹 (记录所有曝光)，分别捕捉瞬时需求、稳定兴趣与政策诱导的饱和信号。
- 倾向性校正：长期记忆更新使用逆倾向性权重 ω_t，使得记忆估计的是参考策略下的语义证据，而非当前曝光策略的频率。
- 保守长程重排：用保守 Q 学习 (CQL) 估计状态‑动作价值，并加入多样性奖赏、语义饱和惩罚与策略 KL 项，在行为支撑约束下最大化长期折扣回报。
- 忠实解释：通过删除候选证据原子检验排序分数变化，只有贡献超过阈值且有溯源的原子才会进入解释生成，保证解释与决策一致。
关键实验结果
在三个公开数据集 (WeChat-Video, MIND-small, KuaiRec) 和受控模拟环境中，CALMRec 相对于最强基线 (如 LERL) 将长周期折扣价值提升 6.1%、7.6%、6.7%，同时曝光饱和显著下降 (约 40%)；二十次种子配对消融显示，移除倾向性校正导致价值下降 0.739±0.191，移除保守惩罚造成价值下降 0.523±0.234；冻结 LM (SmolLM2-135M) 在语义原子释义恢复上相比 TF‑IDF 提升 Micro‑F1 147%。
核心结论
将 LLM 定位于离线语义编译器，结合去偏记忆与保守价值优化，能在不改变在线推理延迟的前提下，可靠地解耦偏好与曝光、兼顾即时与长期收益，并生成决策一致的解释。