AutoSim: A Self-Improving User Simulator for Conversational Search Evaluation
AutoSim：面向对话搜索评估的自改进用户模拟器
🧭 用户模拟器自改进 · 评估真实性 ★ 深度解读
University of Passau · Interdisciplinary Transformation University Austria
Prompt 级自改进无法消除对话搜索模拟器与真实用户行为差距，权重级对抗微调把判别 AUC 降到 0.45 并修正评估偏差。
📌 工作参考价值（4 点）
- 如果要在搜索/推荐/Agent 离线评估里用 LLM 用户模拟器，别指望 prompt 或少样本把「模拟用户」变真实；准备少量真实用户对话或行为日志，用 LoRA/权重级对抗 SFT 训练生成器。论文的四轮 rejection sampling 流程可直接复用：冻结判别器，采样候选 utterance，保留最像人的样本再 SFT，然后刷新判别器。
- 上线前给模拟器加两道检查：一是真实 vs 模拟判别器 AUC 或人工判别，不只看平均 query 长度、礼貌比例；二是在真实用户无结果/低召回的高难度 query 上比较模拟 query 的 nDCG 或召回，防止模拟器掩盖检索失败。
- 把「评估判断」和「用户生成」解耦：排序有效性来自强 LLM judge，不必让 judge 自改进；judge 与 generator 用不同模型家族，避免 self-preference/verbosity bias。业务上可复用为：LLM relevance judge 保持与人工标注或 A/B 结果对齐，生成器单独做真实性校准。
- 对生成式推荐/QueryRec 或多轮 Agent 用户建模：不要只学最终答案或短 query 表层长度，要匹配真实 query 与完整需求之间的语义对齐；短 query 不一定需求聚焦，需额外测 query-need alignment。