PriceBench: A Diagnostic Benchmark for Price, Quality, and Brand Preferences in LLM Booking Agents
PriceBench：LLM 预订智能体价格、质量与品牌偏好诊断基准
🧭 LLM 采购智能体偏好诊断
London School of Economics and Political Science
提出 PriceBench，用 logit 选择模型从酒店预订选择中恢复 28 个 LLM 的价格质量品牌偏好，发现高能力模型偏好更强更一致
📌 工作参考价值（4 点）
- 在把 LLM 用作导购、选品或下单代理前，先诊断其隐式偏好：不要只看任务完成率，要在满足约束的候选中看它实际选了哪个；可用 logit 离散选择模型从历史对话或推荐日志中恢复价格、质量、品牌的权重。
- 弱模型容易受 listing order 影响或锁定单一选项，工程上避免直接让弱模型做最终购买决策；要么换更强模型，要么在 prompt 中显式注入价格约束并随机化候选顺序，降低位置偏差。
- 同一模型系列内价格敏感度差异可能超过一个数量级，上线代理或做 A/B 时需按具体模型版本/checkpoint 测量，不能沿用“同系列偏好差不多”的假设。
- 对 LLM 生成推荐/购物结果，把平均客单价或 booked price 漂移纳入离线评估；论文中 $247 到 $393 的差异意味着模型选择会直接改变收入与成本，不能只做事后观察。