StudentSim: Training LLM-based Student Simulators
StudentSim：训练基于 LLM 的学生模拟器
🧭 LLM 学生模拟与策略 RL
Microsoft Research · University of Illinois Urbana-Champaign
用两阶段训练构建个性化学生模拟器，同时提升行为保真与引导响应，并可作为 tutor RL 奖励
📌 工作参考价值
- 构建用户行为模拟器用于推荐/广告/Agent 的离线评估或 RL 时，可采用“全局 pooling 训练 + 按用户 specialization”两阶段路线；尤其适合真实业务中大量稀疏 user-item 行为，既能共享跨用户模式，又能捕获个体偏好。
- 评估模拟器应同时区分“行为保真度”和“策略响应度”：前者衡量像不像真实用户，后者衡量在推荐策略/引导变化下是否合理更新；两者不可偏废，否则会出现只像但不对策略变化反应的“静态画像”模拟器。
- 将高保真用户模拟器作为 reward model 做策略 RL，可用来训练排序/对话式推荐策略；但需要先用 F/R 协议监控模拟器质量，避免 reward hacking。
- 如果只有少量真实用户交互，可借鉴 StudentSimEval 的标准化评测协议，固定训练/评测记录，做可复现的用户模拟器 benchmark。
动机
真实学生数据稀疏、采集慢且贵；已有状态追踪模型难以消化导师解释/纠错，LLM 角色扮演不够贴合学生水平。
方法关键点
- 两阶段训练：先跨学生 pooled training 学共性，再做 per-student specialization 拟合个体。
- StudentSimEval 覆盖国际象棋、英语二语写作、数学共 60 名学生，统一用相同记录训练/评测。
- 同时报告行为保真度 F 与引导响应度 R。
关键结果
三个领域均超 GPT-5.4。国际象棋 F=0.51、R=0.91，对比 GPT-5.4 的 0.23/0.72，Maia2 的 0.45/0.27。作为 tutor RL 奖励模型时，训练出的 tutor 在准确度、引导和个性化上优于无 RL 基线与 GPT-5.4 模拟奖励。