Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity
为何大语言模型与人类在创造力评价上既趋同又分歧
🧭 LLM 评估标准与人类对齐研究
University of Cambridge · University of Manchester · University of Queensland
揭示LLM创造力评估依赖更窄的新颖性标准且忽视上下文信息，模型选择显著影响对创意的识别
📌 工作参考价值（3 点）
- 若用 LLM 评估广告文案或推荐理由的创意，须警惕其对市场趋势、品牌声誉等上下文信息不敏感，建议结合人工或上下文特征补充判断。
- 选择 LLM 评估器时需考察其评估标准的广度：标准越宽泛的模型越能区分人类眼中的高/低创意，可预先在试点任务上校准。
- 对于侧重新颖性的场景（如生成吸引点击的推荐语摘要），LLM 评估与人类一致性较高，可直接用作粗筛；而涉及语境契合度的任务则不宜单独依赖 LLM。