SCoRD: Semantic-Assisted Continual Retriever-Reranker Distillation for LLM-Based Recommendation
SCoRD：语义辅助的 LLM 推荐检索-重排持续蒸馏
🧭 LLM 检索-重排持续协同蒸馏 ★ 深度解读
Korea University · University of Illinois at Urbana-Champaign · Sungkyunkwan University
提出语义意图助手与三阶段持续蒸馏，让 LLM 重排与轻量检索器在非平稳流中低成本高效协同更新
📌 工作参考价值（5 点）
- 在带 LLM 重排的检索-重排线上，不要对每个新数据块做全量蒸馏：用 retriever 序列内 item 对齐置信度筛选 bottom 20% 的低置信序列做 LLM 蒸馏，能显著降低 LLM 调用和训练成本，同时把增益集中在困难样本上。
- 把 LLM 的语义推理从 free-form generation 改成「动态意图记忆 + 多标签选择」，可复用为商品的 intent/兴趣标签系统；意图向量可以注入 retriever 的序列表征，增强 ID 模型的语义判别力，且推理端几乎没有额外延迟。
- 在 retriever 每日在线更新时，不重新调用 LLM，只聚合行为相似用户序列的意图分数作为 collaborative pseudo-label，能提供稳定语义监督；适合电商/信息流里每天冷启动或新增序列频繁的场景。
- 用相邻周期意图直方图差分识别衰退意图，再从 retriever 候选集里按 intent 后验采样负例，替代随机负采样，可更有效地捕捉用户偏好漂移，适合替代现有召回/排序模型中的负采样策略。
- 新用户无历史行为时，意图级语义先验能明显提升冷启动效果；可在用户冷启动阶段直接用 LLM 打好的 intent 标签作为特征或约束。