Tasks over Application Manuals: Revealing Gaps in Long-Horizon Procedural Reasoning for Language Models
应用手册任务：揭示语言模型长程程序推理的缺陷
🧭 长程程序推理评测
Manulife
构建 TAM 基准，用两类真实手册任务评估 GPT-5，发现精确匹配仅 1% 和 15.5%
📌 工作参考价值（4 点）
- 业务中高度规则化、需要跨文档查询的任务（广告政策、促销/优惠券规则、售后条款）不要直接交给 GPT-5 端到端生成最终判定；应拆成可校验的子步骤，每步做精确匹配或规则引擎兜底，LLM 只做信息抽取/语义匹配。
- RAG 和 ReAct 在长程手册任务上没解决根本问题，说明长文档检索准确率是瓶颈；可先做语义切分、section-level 索引、规则预先结构化（如将条款转成可执行 DSL/知识图谱），把“翻手册”转化为确定性查表。
- 建立内部评测时，用逐条人工验证的 exact-match 指标，不要只看模型输出“像不像”；TAM 的构建方法可复制到自己的业务手册/政策库上，先测 GPT-5 类模型的基线。
- Agent harness 可能因循环步骤长而累积错误，建议设置中间状态校验点、限制 ReAct 步数，并把高置信度规则提前缓存到上下文。