SAEVerbalizer: Generating Explanations for Sparse Autoencoder Features via Representation Verbalization
SAEVerbalizer：通过表征言语化生成稀疏自编码器特征解释
🧭 LLM 可解释性 · 表征言语化
Tsinghua University · Peking University · Fudan University
注入 SAE 解码方向并微调下游层，将 SAE 特征直接言语化为自然语言解释，摆脱外部行为观察
📌 工作参考价值（4 点）
- 可将 SAE 特征言语化范式迁移到推荐/搜索的内部表征：对用户或商品 embedding 的稀疏特征生成自然语言解释，帮助理解模型捕获的隐式偏好（如价格敏感、品牌忠诚），用于特征 Debug 和可解释推荐。
- 训练一个 verbalizer 后即可直接解释 decoder 方向，无需为每个特征收集行为证据，显著降低大规模特征解释的工程成本；在电商场景可批量解释召回/排序模型中的稀疏特征，加速模型审计。
- 多方向注入产生组合语义、反转方向产生相反语义，可用于可控文本生成：例如在广告文案或推荐理由生成中，通过注入/反转特定语义方向实现属性编辑（如风格、情感、卖点控制）。
- 跨模型迁移只需轻量 adapter，不重新训练完整解释器，适合业务中多 LLM 版本快速适配；在生成式推荐或 Agent 决策解释模块中可复用该迁移策略。