#Probing

4 篇

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

计算而非几何：意义同一性是计算产生的，不是嵌入自带

🧭 RAG 语义向量假设的实证挑战

Independent Researcher

系统实证显示同义改写判断依赖句子在同一前向中的联合计算，冻结双塔向量几乎无法读出该关系

📌 工作参考价值（4 点）

同义 query 归一化、商品标题同款识别、广告文案去重等任务中，不要依赖双塔向量 cosine 相似度（AUC 仅 0.55-0.65）。直接用 cross-encoder / 联合前向读头，或现成 BGE-reranker-large（AUC 0.94），1.5B 联合 probe 即可达 0.90+，成本可控。
搭建召回/检索时，dense 双塔召回对 paraphrase 类语义不够敏感，建议增加 hybrid retrieval，并用联合注意力的 reranker 做第二跳，而不是期望单塔召回解决含义等价问题。
若为线上性能必须保留双塔结构，可从联合教师模型（如 BGE-reranker）蒸馏分数到小型联合读头或非线性 pair 模块；但注意 bi-encoder 直接 fine-tune 到 paraphrase benchmark 会显著损失 STS-B/QQP 迁移（Spearman 下降约 0.25），需任务隔离或加通用损失。
对 query 改写、push 文案、广告创意等生成后需要判断"是否同一意图/同义"的场景，优先用 LLM/联合编码核对，而不是保存的句子向量比较。

RAG | 2026-09-23 | cs.CL | score 7/10

何时复制：用模型内在信号控制投机解码

🧭 LLM 推理加速 · 投机解码

SwitchSD 用轻量探针识别 LLM 的复制意图，动态切换神经草稿与上下文复制，吞吐最高提升 15%

📌 工作参考价值（4 点）

在部署 LLM 推理服务（如推荐文案生成、Agent 工具输出）时，可借鉴 SwitchSD 的 copy-intent 探针：对目标模型中间层训练轻量分类器，判断当前 token 是否应从上下文复制，避免 Prompt Lookup Decoding 的误触发。
对于大量 copy 场景（商品描述扩写、基于历史行为生成推荐理由、模板填充），混合策略明显优于单一神经草稿；用 hidden-state probe 代替 n-gram 重叠启发式，可减少意外重复。
工程上可将 EAGLE/PLD 作为两个 draft 后端，通过探针分数做低成本路由，无需重新训练主模型；如果业务里 copy 密度高，预期可获得 10%+ 吞吐提升。
可复用的结论：copy 不是一个表面 n-gram 模式，而是 LLM 内部可检测的控制信号；把复制判断从规则升级为模型感知，能直接提升投机解码效率。

LLM | 2026-09-17 | cs.CL | score 7/10

迈向Gricean后退：探测LLM的知识边界与指称特异性

🧭 LLM知识边界与生成特异性探测

University of Colorado, Boulder

LLM内部已编码知识边界与指称特异性信号，但生成时未协调，仍倾向编造具体细节而非退回通用陈述

📌 工作参考价值（4 点）

在商品文案生成、推荐理由或对话式电商中，对于长尾/新品等知识边界外的实体，可主动降低指称特异性：生成更通用的描述（如“某品牌运动鞋”而非具体型号），减少事实错误，提升可信度。
利用论文发现：模型激活中已包含知识边界和特异性信号，可训练轻量探针或使用激活引导（steering）在解码时调整logits，对低置信度实体自动触发“通用化”策略，无需重新训练大模型。
在RAG或知识增强场景中，当检索不到实体的具体信息时，可提示模型生成更笼统但真实的回复，并可将知识边界信号作为拒答或回退的触发条件。
该工作为幻觉控制提供了新思路：不是直接抑制幻觉，而是引导模型退回到安全的特异性层级，这比单纯惩罚更符合合作沟通原则，可尝试作为RLHF的额外奖励信号。

LLM | 2026-08-13 | cs.CL | score 6/10

潜隐时钟：扩散语言模型中的隐式时间建模

🧭 扩散语言模型的可解释性分析

Sapienza University of Rome · EPFL · NVIDIA

发现无显式时间条件的扩散语言模型内部编码了隐式去噪时间步，可通过探针提取和方向操控来调制模型行为

📌 工作参考价值（4 点）

对于使用扩散模型生成推荐内容（如GenRec）的场景，可借鉴隐式时间步操控来动态调节生成的确定性与多样性：沿时间步子空间方向移动可改变模型置信度，实现从保守推荐到探索式推荐的切换。
工程实现上，可在推理时通过简单的激活向量加法（无须重新训练）来控制生成进度，用于A/B测试或个性化生成风格。
探针方法可用于监控线上模型的去噪状态，例如检测异常生成或提前终止去噪步骤以节省计算。
若将扩散步骤与推荐质量关联，可利用隐式时间步表征设计自适应调度策略，在低延迟场景下跳过部分去噪步骤。

Other | 2026-07-19 | HF Daily | score 6/10