User Preference Induction with LLMs for Offline Top-N Recommendation Evaluation
利用 LLM 诱导用户偏好以改善离线 Top-N 推荐评估
🧭 评估方法与流行度偏差缓解 ★ 深度解读
Information Retrieval Lab, CITIC, Universidade da Coruña
两阶段 LLM 先归纳用户偏好再补充缺失判断，降低评估中的流行度偏差
📌 工作参考价值（4 点）
- 在电商/广告推荐离线评估中，可利用 LLM 为每位用户生成偏好摘要（类似购物画像），再对多路召回融合后的 top-N 候选池中未被点击/购买的物品进行相关性补充标注，减少假阴性。
- 采用池化思想：只对多个推荐算法输出的并集进行 LLM 打分，避免全量评定，成本可控且聚焦评价关键区。
- 提示设计上，用“偏好叙述 + 判断指令”比直接给历史交互序列更能降低判定中的流行度先验；在实际业务中可先让 LLM 总结用户浏览/购买历史，再基于摘要评估新商品的契合度。
- 注意适用条件：若候选池本身已被热门商品主导（如仅评估头部的精排结果），补充标注可能反而强化流行度偏差，需配合多样性控制或长尾增强策略一同使用。