From Isolated Tasks to Structured Capabilities: A Multilayer Taxonomy for Large Language Models
面向大语言模型的多层能力分类体系：从孤立任务到结构化能力
🧭 LLM能力分类与评估体系
Fudan University
基于认知科学构建14领域/91子技能的多层LLM能力分类，并量化15934篇论文的研究覆盖与盲点
📌 工作参考价值（4 点）
- 能力覆盖审计：参照该分类体系的14个领域（如语义、推理、规划、感知等），审计自身业务中LLM应用（如对话推荐、搜索改写、商品文案生成）所依赖的子技能，发现测试盲点。
- 评测构建指导：借鉴“基础层-构造层-整合层”的分层思路，为推荐Agent或对话系统设计分层评测集，从简单语言理解到复杂多步决策，逐层诊断模型弱点。
- 注意力分配优化：论文揭示当前研究严重偏科（22%语言语义，21%推理，而社会推理等不足2%），电商场景中类似地可及时检查是否过度关注语义而忽视用户心理建模、多轮交互等能力，避免能力短板。
- 功能假设验证：利用分类法中的子技能依赖关系，在微调推荐模型时设计迁移实验，例如先强化基础语义能力再训练规划能力，验证能力提升是否如认知科学假设般逐层传递。