When is Your LLM Steerable?
LLM激活引导何时可行？基于早期隐藏状态预测的可控性
🧭 LLM激活引导 · 早期状态预测引导效果
University of Maryland, College Park · MBZUAI
用生成前几步的隐藏状态差异训练GBDT，预测激活引导是欠调、成功还是过调，预测器可指导强度搜索，大幅降低解码成本
📌 工作参考价值（4 点）
- 激活引导的行为预测可用于Agent/对话系统：在电商客服、推荐解释生成等场景，若需控制输出风格（如语气、说服力），可在生成前几步后即判断引导是否有效，避免了完整生成后评估，节省推理成本。
- 特征工程思路可复用：提取引导前后隐藏状态的差异，对比不同层和初始token位置的激活偏移，这类特征能结构化编码引导传播路径，类似做法可用于业务中判断模型是否遵循特定指令。
- 轻量预测器做在线决策：用GBDT对早期状态做三分类（欠调/成功/过调），预测速度快，可嵌入推理管线，实时调整引导强度或决定是否重试，无需耗时的网格搜索。
- 引导强度动态搜索：利用预测器作为指导，在小部分解码步骤后预测效果，快速逼近最优强度，这种思路适用于任何需要调参的控制方法（如LoRA权重、prompt权重）。