Skip a Layer or Loop It? Learning Program-of-Layers in LLMs
LLM 动态层跳过与循环：学习「层程序」提升推理效率与准确率
🧭 动态层执行优化 · 自适应计算
University of Maryland, College Park, MD, USA · MBZUAI, Abu Dhabi, UAE
提出 PoLar，让 LLM 为每个输入动态决定跳过或循环哪些层，用更少层达到同等或更高准确率。
📌 工作参考价值（4 点）
- 低成本 LLM 推理加速：在电商推荐、对话 Agent 等需要高吞吐的场景，可借鉴 PoLar 的「层跳过」与「层循环」思想，根据输入复杂度动态分配计算量，减少不必要的层计算，降低时延与成本。
- 纠错与能力自修复：PoLar 发现错误预测可通过更少的层组合纠正，这启示我们在推荐生成或多 Agent 交互中，当 LLM 输出不可靠时，可尝试用剪枝或路径重排的方式生成备选输出，而无需完整重跑模型。
- 轻量级路由网络设计：PoLar 提出的轻量预测网络（如基于隐藏状态的 LSTM）能以极小开销学习层执行程序，这种路由机制可直接迁移到 MoE 推荐模型或生成式推荐中，为不同样本选择不同的专家或计算路径。
- 模型能力挖掘：论文表明固定深度推理仅捕获了 LLM 潜能的一个子集，这提示我们在使用生成式推荐模型（如语义 ID 生成）时，可探索冻结主干下的动态解码路径，用更少步骤生成更优推荐。