World Modeling in Transformers
Transformer 中的世界建模：机制分析
🧭 机制可解释性 · 世界模型
EPFL · IDIAP Research Institute · MATS · University of Bern · University of Manchester
通过机制分析与因果干预揭示 TaxiGPT 内部存在一致地图与导航能力，行为失败源于叠加特征干扰
📌 工作参考价值（4 点）
- 评估 LLM/Agent 能力时，不应只看行为指标（如推荐 CTR、合法动作率），可结合探针或因果干预检查中间表示是否编码关键实体与关系；行为失败可能是特征干扰而非能力缺失。
- 对 embedding 或序列模型，可按相同动作/属性的实体做分组表示（类似 affordance packing），降低叠加特征干扰，提升导航/决策鲁棒性；可迁移到商品/query 表示中按可替代行为聚类。
- 用机制指标追踪模型训练过程中能力的涌现阶段，指导训练轮数、模型规模选择或继续训练，避免依赖单一评估集。
- 当线上模型出现异常行为时，可先定位是感知/表示层错乱还是策略层决策错误，再针对性修复，减少无效重训。