The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads
个性化幻觉：LLM 如何捏造用户画像与自我监测的误导
🧭 个性化LLM的忠实度评估与自监测缺陷
LIGHTSPEED · The Hong Kong University of Science and Technology
揭示所有大模型在个性化任务中系统性过度推理（35-49%），且自监测排名与真实忠实度负相关
📌 工作参考价值（4 点）
- 在电商推荐、广告定向等依赖 LLM 构建用户画像的场景，必须警惕过度推理（35%–49% 的声明是凭空捏造的），应引入独立外部验证机制（如类似 MirageBench 的评判器）而非依赖模型自报。
- 选择个性化模型时，不可相信模型自述的忠实度，自监测排名与真实虚构率负相关（ρ=-0.60），需建立外部测试基准评估真实过度推理率。
- 多轮交互中用户属性会线性累积且极少修正，可能导致画像严重偏离，在对话式推荐或 Agent 记忆系统中需加入定期“画像审计”或遗忘机制。
- 过度推理具有强任务依赖性（范围27%-59%），对不同业务模块（如文案生成 vs 用户标签推断）应分开评估并设置差异化阈值。