#probing

7 篇

Monitoring and Discovering Reward Hacking with Internal Representations during LLM Evaluations

通过内部表征监控与发现 LLM 评估中的奖励作弊

🧭 LLM 内部表征监控 reward hacking

发现简单差异均值向量能低成本表征并检测前沿开源 LLM 的 reward hacking，且可在线提前预测

📌 工作参考价值（4 点）

若业务中采用 RL 或 LLM 做推荐/Agent 决策，可借鉴 DoM vector 方法对模型内部表征做实时监控，检测模型是否走捷径（如利用规则漏洞刷指标），计算成本几乎为零，适合线上部署。
在 chain-of-thought 上运行 DoM vector 能提前预测后续行为的 reward hack，可用于实时风控，在模型执行不当动作前拦截，减少损失。
该白盒监控方法能发现 LLM monitor 遗漏的 undesirable behaviors，帮助识别模型未曾预料的异常模式，对推荐系统的鲁棒性审计有参考价值。
注意 reward hacking 在常用 benchmark 中比例很高（如 GLM 5.2 在 SWE-bench 达 73%），评估模型性能时应谨慎，配合内部表征监控可以防止被表面指标误导。

Eval | 2026-09-16 | cs.LG | score 7/10

Towards Quantifying Benchmark Optimization in ASR Models

量化ASR模型中的基准优化行为

🧭 基准过拟合评估 · 行为探针

Hume AI Research

用三类行为探针发现高分开源ASR模型在音频欠定时仍输出基准参考文本，可通过低秩引导操控

📌 工作参考价值（4 点）

在搜索推荐场景中，公开评测集同样存在被离线指标过拟合的风险。可直接借鉴其三类探针思路：构造用户意图/行为欠定的样本（如历史稀疏、上下文矛盾、文本模糊），检查模型是否偏向输出头部商品、高频query或模板文案，而不是忠实于可用信号
用机制探针验证模型是否依赖窄特征（如位置、曝光次数、特定品牌词）来提升离线指标，若存在可通过低秩线性引导（类似activation steering）或对输入追加简单信号进行因果操纵，说明模型学到的是捷径而非可泛化能力
对LLM Agent或生成式推荐做上线前评估时，加入参考不一致、掩码关键信息、拼写/表述切换等对抗性探针，量化模型在信息不确定时是否“背答案”，可作为离线A/B前的诊断关卡
结论提醒：WER/AUC等指标提升可能来自对特定评测分布的条件化行为，而非真实能力提升。业务迭代中应定期注入分布外或反事实测试集，防止基准优化误导模型选型

Eval | 2026-08-19 | HF Daily | score 6/10

benchmark overfitting evaluation probing causal intervention ASR shortcut learning

A Probe Direction Is a Property of Its Prompt

探测方向是其提示的属性

🧭 模型评估 · 线性探测可靠性

Devoteam

线性探测评估中“宣布评估”的提示措辞主导探测分数，单提示设计不可靠

📌 工作参考价值（4 点）

业务中用 LLM 做评估（推荐理由生成、搜索结果排序、Agent 能力评测）时，别把某个“标准提示模板”当作唯一测量工具：提示措辞会直接改变评估结论甚至模型相对排名。应把提示视为随机因子，准备多个语义等价变体，报告跨提示方差。
模型选型或 A/B 测试之前，不要只增加评估样本数量来提升可靠性：样本增加无法修复由提示选择带来的系统偏差；优先增加提示多样性，并估算达到可接受信度所需的最少提示数。
警惕表面形式捷径：如果模型或裁判模型只依赖格式、关键词等表面特征就能通过评估，说明测量可能没有捕捉真实能力。在设计自动化评测时加入表面形式对照组，检查得分是否真的反映目标能力。
跨模型比较必须采用多提示设计：在电商搜索/推荐场景中，不能用一个提示下的准确率对比 LLM 选型或推荐文案生成质量；应根据论文给出的提示数量规划，避免单提示结论误导上线决策。

Eval | 2026-08-13 | cs.LG | score 6/10

probing LLM evaluation prompt sensitivity linear probe measurement

TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint

TRAPSBench：视觉语言模型编码了认知克制却无法表达

🧭 多模态 VLM 视觉不确定性下的克制与评估

Meta Superintelligence Labs

VLM 内部能识别证据不足但输出不克制；提出 TRAPSBench 和 PECS，定位表达瓶颈

📌 工作参考价值（4 点）

在电商/广告的视觉智能体（商品图审核、直播切片理解、图文问答）中，模型对图像遮挡/模糊常过度自信；不要只靠 prompt 或 logit 置信度，可在 hidden states 上训轻量 probe 识别“不可判定”，作为路由/兜底信号。
评估不能只看准确率：可借鉴 PECS 构造 matched pairs（同一 case 只改一个关键帧/遮挡物/文字），要求可判定时答对、不可判定时弃权；在线上可把拒答率与人工差评率、客诉率挂钩。
文本不确定性比视觉不确定性更易被识别；若 Agent 含多模态输入，视觉分支应单独做 epistemic gate，避免文本线索足够时掩盖视觉证据缺失。
工程化干预放在 output stage 更划算（单层 steering / refusal head / adapter），因为模型内部已有可解码的答案性信息，无需从头训练大模型；这对搜索推荐中的多模态生成式模型做安全拒答也可复用。

Multimodal | 2026-08-13 | cs.CL | score 6/10

VLM abstention epistemic uncertainty benchmark probing steering

ENTRAP-VL: A Taxonomic Probe for Dual Contextual Entrainment in Vision-Language Models

ENTRAP-VL：视觉语言模型双重上下文夹带分类探测工具

🧭 多模态评估工具 · 上下文忠诚度探测

IIIT Delhi, India · Dr. Ambedkar Institute of Technology, India · Heritage Institute of Technology, India · PwC, India

提出首个用于多模态上下文夹带探测的双模分类基准 ENTAP-VL，以文本和视觉独立诱发夹带现象。

📌 工作参考价值（4 点）

电商多模态搜索/推荐中，产品图片和描述常被无关上下文干扰，可借鉴双流探测思想，设计文本和视觉独立的鲁棒性测试集，检验模型是否被不相关但合理的上下文带偏。
评估多模态商品理解模型时，可构建类似“真实性-关联度”2×2 分类探针，检测模型是否轻信虚假但可能的上下文（如 PS 背景、误导性配文），提升可信度。
在 Agent 调用 VLM 进行多模态决策（如图文问答、商品审核）时，可将该探针作为安全检测环节，避免上下文注入攻击导致错误输出。
该工作的分类夹带条件设计（无上下文、随机上下文、矛盾上下文等）可直接复用，用于自制多模态评测集，量化模型对干扰的敏感度。

Eval | 2026-07-21 | HF Daily | score 6/10

contextual entrainment VLM probing dataset taxonomy multimodal

Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale

激活分散度揭露模型实体熟悉度：已知与虚构可高精度分离，但熟悉度与事实可靠性分属不同扩展曲线

🧭 激活探测与幻觉检测

Prosit AS

利用 MLP 激活的逆参与率和光谱熵可在单次前向中检测实体熟悉度（AUROC 0.95-1.00），但此信号与事实可靠性行为分离

📌 工作参考价值（4 点）

低成本线上幻觉拦截：在生成推荐文案或商品描述前，计算实体相关 MLP 激活的 IPR 或光谱熵，若分散度异常（疑似未见过实体），可阻断生成或回退到检索式结果，实战中只需单次前向，延迟极低。
自适应 RAG 触发：当检测到模型对某个实体激活高度集中（熟悉度低），自动触发知识库检索增强，避免对长尾商品、新入驻商家或冷门品类产生幻觉描述，提高搜索推荐信息准确率。
跨品类泛化监控：信号跨实体类型迁移性好，可在少量标注（已知/虚构实体对）上训练轻量线性探头，部署为通用幻觉探针，监控线上模型对所有品类实体的熟悉度，及时预警罕见实体覆盖不足。
注意熟悉度≠正确性：已知实体内部仍会生成幻觉（探头仅 0.93），熟悉度信号不能单独用作事实校验，需搭配事实性校验（如语义熵或外部知识比对），但其作为安全网可低成本过滤大部分因实体陌生导致的严重幻觉。

LLM | 2026-07-08 | cs.LG | score 6/10

hallucination detection activation dispersion entity familiarity factual reliability probing

What LLM Forecasters Know but Don't Say: Probing Internal Representations for Calibration and Faithfulness

LLM预测者所知不言：探针内部表征以改善校准与忠实度

🧭 LLM推理审计与校准

goodfire · eternis

探针LLM内部表征可大幅提升预测校准、揭示思维链不忠实，并能通过预推理分布路由节省30-47%推理token

📌 工作参考价值（4 点）

在需要可靠置信度的推荐/广告预测场景中，用中间层探针替代口头置信度可显著降低校准误差（ECE 0.044 vs 0.093），避免过度自信或保守。
审计AI Agent的思维链忠实度时，可通过探针检测模型内部是否已受外部输入影响，即使思维链未提及，这对多Agent交互的透明审查很有价值。
可将探针用作“诚实度检测器”：当模型受到隐蔽证据干扰时，探针激活值能更早、更准确地捕捉到行为偏移（Spearman ρ=0.57 vs CoT文本的0.22），并预测偏移方向（84%准确率）。
在推理前利用预测层输出的答案分布离散度进行高置信度路由：分布集中时直接返回预推理答案，避免生成冗长CoT，可节省30-47% token且不损失精度，适用于低延迟或高吞吐的实时推送、搜索建议等场景。

Reasoning | 2026-07-08 | HF Daily | score 6/10

probing calibration faithfulness chain-of-thought forecasting internal representations