#Steering

3 篇

Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics

词汇参考系：以原生语义解读LM残差流

🧭 LLM可解释性 · 残差流原生语义

Monash University · Chongqing University · Technical University of Munich

利用模型自身剩余层读取隐藏状态，构建词汇参考系，使残差流可读、可归因、可操控，早期退出可跳过近半层

📌 工作参考价值（4 点）

线上LLM推荐/搜索生成可集成LexFrame[1]做early exit或self-speculative decoding：在中间层检测confident readings，跳过约45%层，延迟降低且输出差异仅0.16 nats。
归因分析替代attribution patching：lexical frame的系数更忠实反映预测来源，用于电商推荐/搜索模型审计，定位影响query或item生成的关键token段。
用lexical basis做受控steering：在不影响其他token前提下引导预测，可应用于电商文案/搜索词生成，如注入品牌词、规避敏感词、约束推荐理由风格。
该方法不依赖对模型输出的拟合，直接复用前向过程，工程实现轻量，适合嵌入现有LLM推理框架作为内省工具。

LLM | 2026-10-15 | cs.CL | score 6/10

RARE：在 MoE 语言模型中解耦表示引导与专家路由

🧭 MoE LLM 表示工程与路由解耦

Huazhong University of Science and Technology · AIDX TECH PTE. LTD. · National University of Singapore

将行为扰动投影到路由器矩阵零空间，保持 MoE 路由一致，提升表示工程的控制效果与效用保留

📌 工作参考价值（4 点）

如果业务用 DeepSeek/Qwen 等 MoE LLM 做生成式推荐、query 改写或商品文案，需要对安全性、合规性、事实性进行在线控制时，避免直接对 hidden states 加扰动导致 expert 路由漂移；可借鉴 RARE 把扰动投影到 router matrix 的 null space，以保留下游能力。
该方法是轻量、无需训练的推理期控制手段，相比 SFT/RLHF 可以快速上线、实时调节，适合电商大促、广告审核等需要动态调整输出约束的场景。
工程实现只需缓存各层 router matrix 并计算其零空间投影，可在 vLLM 等推理框架中作为后处理插件集成，对延迟影响较小；论文在多个开源 MoE 模型上验证了通用性。
路由对语义内容敏感、对行为变化不敏感这一发现，提示在做 RAG 检索、query 改写时如果希望改变模型输出风格而不破坏专家选择，可以优先在表示空间的 router-null 子空间内操作。

LLM | 2026-08-21 | cs.CL | score 7/10

潜隐时钟：扩散语言模型中的隐式时间建模

🧭 扩散语言模型的可解释性分析

Sapienza University of Rome · EPFL · NVIDIA

发现无显式时间条件的扩散语言模型内部编码了隐式去噪时间步，可通过探针提取和方向操控来调制模型行为

📌 工作参考价值（4 点）

对于使用扩散模型生成推荐内容（如GenRec）的场景，可借鉴隐式时间步操控来动态调节生成的确定性与多样性：沿时间步子空间方向移动可改变模型置信度，实现从保守推荐到探索式推荐的切换。
工程实现上，可在推理时通过简单的激活向量加法（无须重新训练）来控制生成进度，用于A/B测试或个性化生成风格。
探针方法可用于监控线上模型的去噪状态，例如检测异常生成或提前终止去噪步骤以节省计算。
若将扩散步骤与推荐质量关联，可利用隐式时间步表征设计自适应调度策略，在低延迟场景下跳过部分去噪步骤。

Other | 2026-07-19 | HF Daily | score 6/10