动机

对话推荐系统（CRS）广泛使用 ReDial 数据集，已有数百篇研究引用。然而，各家对数据集预处理、ground-truth 物品定义、外部知识源以及底层 LLM 的选择均不统一，导致结果难以直接比较。同时，数据集中存在大量「重复推荐」——同一电影在多个轮次中被反复提及，简单的复制上下文即可获得虚高的召回分数，掩盖了模型真实的个性化推荐能力。

方法关键点

• 分类体系：将 CRS 方法分为三类架构：Modular Fusion Pipeline（模块耦合）、Shared-Backbone Pipeline（共享骨干）、Unified Single-Backbone Pipeline（统一单骨干）。按成熟度区分经典方法与当代 SOTA。
• 复现框架：选取 7 种代表性方法（KBRD, KGSF, UniCRS, ECR, MESE, PECRS, ReFICR），统一预处理、数据划分与评估协议。对缺少批处理(old code)的方法添加 batch 推理以加速。
• 标准化控制：解耦 LLM 骨干（固定 GPT2-small/medium/DialoGPT-small 替换）、关闭外部知识差异，并引入「去重」ground-truth（移除已在对话上下文中出现的物品），强制评估推荐的新颖性。
• 效用指标：除 Recall@k 外，采用 Success Rate (SR) 和 Reward-per-Dialogue-Length (RDL) 衡量对话效率与用户满意度。

关键实验与数字

• 复现敏感度：在 R@50 上所有方法相对误差 ≤5%，但 R@1 上 4/7 的方法偏差超过 10%，R@1 的震荡对随机种子和 checkpoint 选择极其敏感。
• 重复捷径：未去重时，Naive 基线（逆序推荐上下文出现过的电影）R@1 可达 0.043，超过 KBRD、KGSF、MESE 等复杂模型。去重后所有方法 R@1 下降近 50%（例如 UniCRS 从 0.049→0.024），Naive 基线归零。ReFICR 仍最优但优势大幅收窄。
• 骨干鲁棒性：GPT2-small → GPT2-medium 带来一致但小幅的 Recall 提升；DialoGPT-small 对 Shared-Backbone 方法（ECR）有正面影响，但导致 Unified 架构（MESE、PECRS）性能严重退化，显示对话预训练目标与多任务联合损失的冲突。
• 效用指标：MESE 在 Recall 非最高（R@1 0.025）的情况下获得最高 SR (0.079) 和 RDL (0.011)，而 ReFICR 的 RDL 仅 0.004，表明高 Recall 并不等于高效用。

最值得记住的一句话：ReDial 上近 50% 的推荐精度来自重复已知物品的捷径，去除后 SOTA 方法性能腰斩，且很多“架构创新”的增益实为更强 LLM 骨干带来的红利。