From Isolated Tasks to Structured Capabilities: A Multilayer Taxonomy for Large Language Models
面向大语言模型的多层能力分类体系：从孤立任务到结构化能力
🧭 LLM能力分类与评估体系
Fudan University
基于认知科学构建14领域/91子技能的多层LLM能力分类，并量化15934篇论文的研究覆盖与盲点
📌 工作参考价值
- 能力覆盖审计：参照该分类体系的14个领域（如语义、推理、规划、感知等），审计自身业务中LLM应用（如对话推荐、搜索改写、商品文案生成）所依赖的子技能，发现测试盲点。
- 评测构建指导：借鉴“基础层-构造层-整合层”的分层思路，为推荐Agent或对话系统设计分层评测集，从简单语言理解到复杂多步决策，逐层诊断模型弱点。
- 注意力分配优化：论文揭示当前研究严重偏科（22%语言语义，21%推理，而社会推理等不足2%），电商场景中类似地可及时检查是否过度关注语义而忽视用户心理建模、多轮交互等能力，避免能力短板。
- 功能假设验证：利用分类法中的子技能依赖关系，在微调推荐模型时设计迁移实验，例如先强化基础语义能力再训练规划能力，验证能力提升是否如认知科学假设般逐层传递。
动机：LLM评估目前以任务为中心，碎片化严重，难以跨研究对比、识别研究盲点。本文提出基于人类认知科学的多层能力分类体系，将分析单元从孤立任务转向结构化能力，以便系统组织研究、审计覆盖、解释评估结果。
方法关键点：定义14个能力领域（语义能力、推理、规划决策、感知等）和91个子技能，分为三层：基础层（如词汇语义、句法）、构造层（如推理、规划）、整合层（如社会推理、理论心智）。层级划分依据发展先后顺序和功能支撑假设，并将人类认知概念适配到可观测的模型行为。对2023-2025年ACL、AAAI、ICML、NeurIPS的31505篇论文进行多模型标注、共识与仲裁，最终映射15934篇LLM相关论文的能力分布。
关键结果：研究高度集中在语言语义（22.3%）、推理（21.3%）、规划决策（13.5%）、感知（12.3%），六个领域占比不足2%。各领域内最频繁的子技能中位占比97.9%，10个领域内该比例>90%。语言语义与推理的共现对数量最高（1864篇，提升度2.47），理论心智与社会推理共现对提升度最高（30.84，尽管基数小）。