#steering

6 篇

Devils in Question Relay: Source-Conditioned Relay Steering to Mitigate Hallucinations in Audio-visual Large Language Models

源条件中继引导缓解音视频大语言模型幻觉

🧭 多模态LLM幻觉缓解 · 训练免干预

Harbin Institute of Technology, Shenzhen · Peng Cheng Laboratory, Shenzhen · Fudan University

提出训练免方法SECRET，通过源条件中继引导抑制跨模态干扰，缓解AVLLM源混淆接地幻觉

📌 工作参考价值（4 点）

训练免的表示引导（steering）思路可迁移到电商多模态场景（商品视频理解、直播切片审核、图文一致性校验）：对LLM内部问题表示做方向性修正，无需微调即可抑制无关模态干扰，快速上线。
业务中跨模态冲突常见（如商品主图与描述不一致导致问答错误），可借鉴“源条件对比表示”：利用不同模态路径干预构造对比样本，用其表示差异引导原始状态，提升模型对指定源信息的遵循能力。
路径干预分析定位干扰通路的方法，可用于诊断自有多模态Agent或推荐解释模型中的跨模态信息污染，为模型裁剪和推理优化提供依据。
与RAG/推荐系统结合时，可对检索到的多模态候选做源条件重定向，避免LLM被无关信源带偏，提升生成结果的grounding可靠性。

Multimodal | 2026-09-28 | HF Daily | score 6/10

MAxBench: A Multinomial Concept Recovery Benchmark

MAxBench：多类别概念恢复基准

🧭 可解释性 · 多类别概念表示评估

Boston University · Technion – Israel Institute of Technology · Harvard University

提出几何无关的评估框架 MAxBench，比较 10 种方法，发现仿射子空间最优且优势源于偏移项

📌 工作参考价值（4 点）

在需要控制多类别概念（如商品属性、兴趣标签）的生成式推荐或 Agent 中，仿射子空间表示（线性方向 + 非零偏移）比纯线性方向更可靠；若自行训练类别方向，应学习 offset 而非只学 basis，可显著提升召回和可控性。
MAxBench 的采样评估方式（从表示中采样而非直接测量距离）可迁移到评估不同表示学习方法（如 LoRA、adapter、prompt 等）对多类别属性的操控效果，避免几何假设过强。
论文发现 no method consistently beats prompting，提示在业务中做可控生成时，先用 prompt 基线验证概念可操控性，再决定是否需要更复杂的 internal steering。
本文属可解释性方向，对电商/搜索推荐直接业务价值有限，但若涉及模型内容安全/风格控制/属性操控，可参考其评估思路。

Eval | 2026-09-11 | cs.LG | score 6/10

interpretability concept representation steering evaluation benchmark affine subspace multinomial concepts

Recognition-Refusal Misalignment in LLMs: Why Models Answer Structurally Unanswerable Questions

识别-拒答错位：LLM为何回答结构上无解问题

🧭 LLM 拒答路由与可辨识性

University of Southern California · Arizona State University

结构无解问题中LLM已有可线性读取的不可答表征，但与安全拒答通路近正交，导致路由失败

📌 工作参考价值（4 点）

在推荐/Agent 工具链中，可对“结构上不可执行/无有效答案”的用户请求做线性探针或残差流方向检测，生成前拦截，避免错误推荐或错误 API 调用。
别假设安全对齐的拒答能力会自动迁移到“无效问题”；应单独构建无效意图/工具不可执行分类器，或补训练目标使识别方向与拒答行为方向对齐。
推理时 steering 可以在不改参数的情况下提升拒答/澄清能力，适合快速上线和 A/B；对电商问答中“无此商品属性、日期无效”等场景可尝试。
预训练已具备不可答表征，说明修复成本可以较低：轻量 LoRA/linear adapter 对齐识别方向与行为方向可能足够。

LLM | 2026-08-28 | HF Daily | score 7/10

LLM refusal steering linear representation safety unanswerable questions

TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint

TRAPSBench：视觉语言模型编码了认知克制却无法表达

🧭 多模态 VLM 视觉不确定性下的克制与评估

Meta Superintelligence Labs

VLM 内部能识别证据不足但输出不克制；提出 TRAPSBench 和 PECS，定位表达瓶颈

📌 工作参考价值（4 点）

在电商/广告的视觉智能体（商品图审核、直播切片理解、图文问答）中，模型对图像遮挡/模糊常过度自信；不要只靠 prompt 或 logit 置信度，可在 hidden states 上训轻量 probe 识别“不可判定”，作为路由/兜底信号。
评估不能只看准确率：可借鉴 PECS 构造 matched pairs（同一 case 只改一个关键帧/遮挡物/文字），要求可判定时答对、不可判定时弃权；在线上可把拒答率与人工差评率、客诉率挂钩。
文本不确定性比视觉不确定性更易被识别；若 Agent 含多模态输入，视觉分支应单独做 epistemic gate，避免文本线索足够时掩盖视觉证据缺失。
工程化干预放在 output stage 更划算（单层 steering / refusal head / adapter），因为模型内部已有可解码的答案性信息，无需从头训练大模型；这对搜索推荐中的多模态生成式模型做安全拒答也可复用。

Multimodal | 2026-08-13 | cs.CL | score 6/10

VLM abstention epistemic uncertainty benchmark probing steering

Inside the Unfair Judge: A Mechanistic Interpretability Account of LLM-as-Judge Bias

深入不公正法官：LLM评判偏差的机制可解释性分析

🧭 机制可解释性 · 评估偏差

AMAP, Alibaba Group · Mohamed bin Zayed University of Artificial Intelligence · University of Southern California · University of Michigan, Ann Arbor

从隐藏状态几何揭示LLM评判偏差的可控子空间，实现因果转向与失败预测，超越文本方法

📌 工作参考价值（4 点）

使用线性探针（linear projection）在隐藏态上检测评分偏差，无需修改提示，可实时监控在线评估系统的公平性，例如在电商搜索排序的LLM打分环节预警。
通过激活向量偏向子空间的方向进行“激活转向（activation steering）”，无需重新训练或注入few-shot示例即可校正偏见，低成本提升推荐理由生成、对话评估等场景的客观性。
将偏见建模为低维子空间可作为特征用于失败预测，在未见数据上大幅超越纯文本方法，可集成到推荐系统的离线评估pipeline中自动标注可疑打分。
方法跨评判模型、跨偏见类型通用，适合在广告创意评分、商品评论有用性评估等多场景复用，减少人工校验成本。

Eval | 2026-07-13 | cs.AI | score 6/10

bias mechanistic interpretability LLM-as-judge steering hidden states evaluation

Fast & Faithful Function Vectors

快速且忠实的函数向量

🧭 LLM可解释性 · Function Vectors

Fraunhofer Heinrich-Hertz-Institute, Berlin, Germany · Technische Universität Berlin, Berlin, Germany · BIFOLD – Berlin Institute for the Foundations of Learning and Data, Berlin, Germany · Technological University Dublin, Dublin, Ireland

引入LRP归因与分布式引导，提升函数向量在LLM中的任务控制效率与准确率

📌 工作参考价值（4 点）

用LRP定位任务关键注意力头：可直接迁移到LLM推理优化中，通过LRP归因剪枝无关头，降低电商问答、文案生成场景的推理延迟。
分布式引导提升控制精度：在控制LLM生成时，将引导向量插入多层多头比仅在一层注入更有效，可改善商品详情生成的事实一致性和风格控制。
加速Function Vectors提取：LRP仅需少量样本即可识别有效头，大幅减少ICL示例数，适合电商中需频繁更新prompt的动态场景（如大促自动卖点生成）。
分析ICL任务表示的工具：方法可推广用于诊断LLM在推荐解释生成、用户意图分类中的任务编码方式，辅助Prompt工程与示例选择。

LLM | 2026-06-03 | cs.LG | score 7/10

function vectors LRP attention heads in-context learning steering LLM control