"If I Had to Buy Just ONE: Galaxy S26 Ultra": Auditing AI-Generated Product Recommendations
若只能买一台 Galaxy S26 Ultra：AI 生成产品推荐审计
🧭 LLM 生成式推荐系统审计
Law & Tech Lab, Maastricht University · Utrecht University · Social Computing Group, Department of Informatics, University of Zurich
审计 ChatGPT、Gemini 与 Google AI Overviews 的产品推荐，揭示第一人称偏好、重复不一致和来源差异
📌 工作参考价值（4 点）
- 评估生成式推荐时不能只看单次输出或 API，需模拟消费者端界面并多次重复请求，否则会低估产品推荐变化与来源差异；可引入第一人称偏好率、产品一致性、来源重叠等审计指标。
- 若在电商中使用 LLM 做商品推荐，注意模型会高频使用「我会选」等主观表述（ChatGPT 达 79%），可能带来偏袒或误导风险；可通过 prompt 约束或后处理抑制第一人称表达，保持中立语气。
- API 与消费者界面表现差异显著（来源重叠仅 12–15%），说明实验结论不能直接外推到生产环境；若做线上 LLM 推荐，需对实际部署界面和 API 分别做回归测试与监控。
- 来源展示不稳定且跨模型重叠极低，会增加用户信任与合规风险；建议在推荐结果中显式记录并展示证据来源，建立可追溯链路，便于审计和争议处理。