Overview of the NTCIR-19 Automatic Evaluation of LLMs 2 (AEOLLM-2) Task
NTCIR-19 大语言模型自动评估 2（AEOLLM-2）任务综述
🧭 LLM 自动评测 · 长文本深度研究报告
Tsinghua University · Quan Cheng Laboratory · University of Science and Technology Beijing
推出 Deep Research Evaluation 子任务，聚焦 LLM 生成深度研究报告的自动评估，收到 10 队 91 个提交
📌 工作参考价值（4 点）
- 评估 LLM 生成的商品文案、推荐理由、广告创意等长文本时，先建立人类标注的质量基准，再开发自动评估器并关注与人类打分的一致性（如相关性、事实性、可读性）。
- 长文本生成评估需要细分维度，不要只给整体分；可参考任务将 deep research 报告质量拆解为多个标注维度，便于定位模型问题。
- 自动评估器本身要作为系统组件持续迭代：用 human-annotated ground truth 定期回归，关注自动化指标与人类评估的秩相关（Kendall/Spearman），而不是只盯绝对分数。
- 任务中参赛方法常见 LLM-as-judge 或集成指标，可迁移到业务中做离线文案质量门禁，但需注意长文本事实性错误的检测仍是难点。