SearchHorizonBench：AI Agent 搜索价值评估基准
🧭 Agent 搜索价值评估基准
Carnegie Mellon University
通过配对延续与重复执行构建搜索价值评估基准，分离搜索增益与生成噪声
📌 工作参考价值（4 点）
- 将搜索/工具调用决策显式建模为成本-收益问题，用历史执行数据校准“搜索增益”，可迁移到电商导购 Agent 的检索决策：何时检索商品库、用户画像、知识库，何时直接生成回答。
- 配对延续（paired continuations）与重复执行能分离期望增益与生成噪声，可用于离线评测或线上 AB 实验，更干净地评估 RAG、工具调用、召回策略的增量价值。
- 关键结论：只预测成功率不够，必须直接预测增益。搜索增益方差达 21.4 个百分点，而历史估计器只能解释不到 2%，说明在推荐/搜索系统中评估“召回/重排/生成”环节时，应直接建模增量收益，而非绝对成功率。
- 开源冻结 split 与评分工具可作为训练 value-aware agent 策略的基础，例如在多轮购物助手中决定是否调用价格查询、库存查询、评论总结等工具，优化用户效用与 token 成本。
System One 模型并非更好的重排序器
🧭 LLM reranker 微调策略对比
University of Passau · Interdisciplinary Transformation University Austria (IT:U)
在 0.6B–27B 六个 Qwen 骨干上，决策微调从未超过重排微调，9B 以下重排微调领先 5–29 nDCG@10
📌 工作参考价值（4 点）
- 实际搜索/推荐重排中，若目标是 nDCG，优先选择专门 reranker 微调模型（如 Qwen3-Reranker），不要拿 System One/决策模型按“是/否”概率直接排序；0.6B–9B 差距为 5–29 nDCG@10，27B 才打平。
- 9B 以下 decision fine-tuning 相比 untuned zero-shot 没有排序增益，如果已有 untuned LLM，可先做零样本问法 baseline，不必额外引入决策微调。
- 决策模型的校准优势对问题措辞敏感，换一种问法可能消失；在线上系统评估校准或做阈值策略时，必须用实际 prompt 验证，不能直接沿用论文结论。
- 若关心固定阈值下保留优质结果，reranker fine-tune 的概率比 decision model 概率更可靠；做准入/截断时应基于 reranker fine-tune 输出。
与开放世界共进化：面向未来预测的递归自改进
🧭 Agent 递归自改进 · 未来事件预测 ★ 深度解读
Renmin University of China · IQuest Research · Nanyang Technological University
构建代理-环境闭环，通过参数、技能、环境三轴演化实现递归自改进，连续三周登顶FutureX
📌 工作参考价值（4 点）
- 搜索-预测解耦：将证据获取（搜索团队）与预测（预测团队）分离，缓存检索结果用于训练，避免实时环境中标签污染；电商推荐中可把商品信息获取与排序/CTR模型拆开，用冻结特征训练，防止召回路上的信息泄露。
- 技能库外部化：把成功/失败轨迹蒸馏为显式技能条目，注入推理而不更新权重，适合低资源在线场景；推荐系统可把用户行为序列提炼为可复用的召回规则、排序模板或人群策略，实现低成本快速迭代。
- 环境演化生成对抗难样本：根据模型错误动态生成薄弱点任务，形成课程学习；电商场景可针对低转化人群、长尾类目或新场景自动生成更难样本，让精排/重排模型持续提升。
- 校准指标先行：用 Brier score / calibration 而非仅 accuracy 评估概率预测，能更早发现模型概率判断改善；在 CTR/CVR 预估中应同时监控校准度，校准提升往往先于 AUC 显现。
语言模型何时该弃权：策略学习与校准答案选择
🧭 LLM 弃权策略与答案选择校准
CICATA Qro., Instituto Politécnico Nacional, México · Facultad de Informática, Universidad Autónoma de Querétaro, México
在 Qwen3-14B 事实问答上，独立答案选择器比模型置信度过滤显著提升效用，但跨数据集可靠弃权仍未解决
📌 工作参考价值（4 点）
- 在业务中若想让 LLM 客服/导购助手“不确定时闭嘴”，可以优先训练一个独立的答案选择器（用模型置信度、问题难度等特征），而不是直接微调生成策略；论文显示选择器比直接对模型概率做阈值过滤更稳定。
- 奖励设计要显式惩罚错误答案，避免只用正确率：若错误和弃权得分相同，模型会倾向乱猜；引入较大错误惩罚能改变弃权行为。
- 上线前务必在目标分布上重新校准：论文中 TriviaQA 有效的方法在 NQ-Open 上仍低于“全部弃权”，说明弃权策略跨数据域泛化差，不能拿一个公开基准的阈值直接用于电商/广告流量。
- 对推荐/生成式场景，可以为每个生成结果同时输出 confidence 或单独跑一个弃权打分器，只展示高于阈值的推荐理由、商品知识回答，降低事实错误带来的负面影响。
Pinocchio：黑盒语言模型的快速不确定性估计
🧭 黑盒LLM不确定性估计 · 外部校准器
University of Maryland · Ritual AI · Fudan University · Columbia University
用外部校准器仅凭文本输出预测黑盒LLM回答的正确性，无需logits或微调
📌 工作参考价值（4 点）
- 在Agent/LLM工作流中部署轻量外部校准器（如Pinocchio）作为gate，对LLM生成的推荐理由、商品描述、搜索query改写结果做正确性/可靠性打分，低于阈值触发人工审核或fallback策略。
- 该方法只依赖文本输出，兼容闭源API（GPT/Claude等），适合电商环境中大量使用第三方LLM的场景；无需模型内部access，降低接入成本。
- 跨模型零样本迁移结果表明，可在内部用少数模型标注数据训练一个通用不确定性估计器，直接应用于新模型或外部模型，降低维护成本。
- 0.8B文本模型即可达到大模型AUROC，意味着可部署在CPU或边缘侧，适合在线实时过滤，不影响主链路延迟。
校准作为LLM评估中的一等标准
🧭 LLM评估 · 置信度校准
Johannes Gutenberg University Mainz · University of Colorado Boulder
主张将置信度校准纳入LLM评估核心，指出当前未采用导致部署与研究风险
📌 工作参考价值（4 点）
- 在业务中使用LLM做自动评估（LLM-as-a-judge）、合成数据生成或主动学习时，先验证模型置信度校准，否则会放大错误。例如生成搜索query或推荐文案时，模型给出的置信度可能过度自信，需要校准后再用于下游决策。
- 在离线评估benchmark中，除AUC、NDCG、准确率等性能指标外，同时报告校准分数（如ECE），成本极低，因为已有置信度和正确标签可直接计算。
- 对于开放式生成场景（如生成商品文案、推荐query），定义置信度和正确性困难，可探索一致性采样、自评估等方式获取近似置信度，并定期校准。
- 部署Agent自动决策时，对LLM输出置信度做校准或后处理，避免过度自信导致的错误动作，尤其在无人监督的自动化流程中。
多跳检索可预测失效：分数分布置信度评分与弃权
🧭 RAG 多跳检索 · 置信度评分与弃权 ★ 深度解读
提出基于检索分数分布特征的轻量级置信度评分RCS，实现多跳RAG的校准弃权，降低高置信错误率
📌 工作参考价值（4 点）
- 利用检索分数分布特征（top-k最大分数、margin、lift、top3均值、熵）构建零额外LLM推理的置信度评分RCS，可在电商搜索/推荐召回后实时判断结果可信度（<1ms），对低置信query触发精排兜底或人工介入，避免高置信错误。
- 定义CWAR并采用弃权策略：在覆盖率-准确率曲线上根据业务目标选择阈值，可在规定错误率下最大化自动回答覆盖率，适合电商导购Agent中控制高成本错误。
- 特征互补性结论：不同领域的数据集中主导置信度特征不同（如query长度 vs hop-1分数集中度），提示我们不要依赖单一检索分数阈值，应使用多特征逻辑回归融合，增强跨场景稳健性。
- 跨域迁移性：该置信度模型跨数据集迁移仅损失0.5pp AUC，说明这些结构性特征领域无关，电商多品类场景可通过少量标注数据训练得到通用置信度模型，降低标注成本。
语言模型训练无关自我报告置信度分析
🧭 LLM 置信度估计与校准分析
DreamAI
直接口头置信度是强基线，但自我报告对提示词敏感且自洽性会放大共享误解
📌 工作参考价值（4 点）
- 在生成推荐理由、广告文案、商品属性或搜索 query 时，可直接用 verbalized confidence 做不确定性初筛，但不要把它当成稳定分数直接做硬阈值路由：同一答案等效重问会带来 0.043–0.084 的分数波动，并翻转 4%–9% 的 0.8 阈值决策。
- 在需要人工审核的生成内容（如合规文案、事实性描述）上，可以用自报置信度对审核队列排序，优先检查低置信样本；但上线前必须做领域内校准审计，因为基准噪声和提示词差异会明显影响 AUROC。
- 对 Agent 多智能体投票或自洽性路由要谨慎：三样本一致性在该实验中显著弱于直接口头置信度，而且错误答案也可能获得一致支持，说明共享先验会放大系统性误解，建议引入外部证据或独立校验器。
- 如果业务依赖 closed model 的 API，无法拿到 token probability，口头置信度仍然是可用的训练无关信号，但需要设计更鲁棒的 elicitation 协议，例如多次采样、多样化提示或校准映射。
耦合校准与学习：在没有目标域奖励反馈的情况下缓解LLM蒸馏中的教师偏差
🧭 LLM蒸馏中的教师偏差校准
MIT · UIUC
提出CCL算法，通过源域反馈校准教师再训练学生，消除教师偏差且收敛到最优学生
📌 工作参考价值（4 点）
- 跨域蒸馏推荐系统时，若目标场景无奖励反馈（如新业务、冷启动），可利用源场景已有反馈先校准教师模型，再生成伪标签训练学生，避免教师偏差直接迁移。
- 采用迭代耦合优化：每轮用源域反馈校准教师，再用校准后的教师训练学生，学生更新后反哺下一轮校准，适合在线迭代冷启动。
- 注意直接模仿教师（监督微调）在分布偏移下可能持续偏离最优策略，即使教师奖励更高；需要主动校准而非单纯正则化匹配。
- 工程上可借鉴 token-level branching 思想，对生成序列进行部分采样和校准，降低方差并稳定训练。
置信源于经验：LLM 与 Agent 的体验式置信度估计
🧭 经验驱动 LLM 置信度校准 ★ 深度解读
University of Cambridge · Google DeepMind
用模型自己的历史验证样本构建经验库，检索相似任务与置信度，校准 LLM 输出置信度，以 1/10 成本匹敌 10 次采样一致性
📌 工作参考价值（4 点）
- 在 LLM 生成商品标题/广告文案/搜索改写等任务中，收集每次生成时的模型自评、置信度和最终效果（点击、转化或人工审核），构建经验库；上线时检索相似任务与相似置信度的历史，看实际成功率，用于决定自动发布还是人工审核。
- 用 task embedding + 模型自报置信度作为检索键，代替仅靠语义相似度；用历史结果标签微调度量空间（如重加权）可以让检索到“失败原因相似”的案例，而不仅是主题相似。
- 反思阶段把历史失败教训读给模型，让模型先说出自己的 recurring failure mode 再重估置信度，比单纯让其内省更校准；最终将统计成功率与反思置信度做 0.5/0.5 等权平均。
- 经验库需要独立于模型自身判断的结果标签（如用户反馈、人工审核、真实转化），不能用模型自己判断的 label，否则会在模型自信但错误的地方失效；且 lesson 要隔离，避免后见之明。
一种用于度量校准度的排序方法
🧭 模型校准度量 · rankECE
Boston University · University of Chicago
提出 rankECE，基于相邻预测概率比较的校准误差度量，比常用分箱 ECE 近似更准确
📌 工作参考价值（4 点）
- 在广告/推荐系统的 CTR、CVR 预估中，模型概率校准直接影响竞价与排序；现有校准评估常用分箱 ECE，但分箱宽度和边界选择会影响结论。rankECE 基于相邻点比较，无需设置分箱，更适合在线模型监控和 A/B 测试中的校准对比，尤其当正样本稀疏时。
- 可以将其作为离线评估流程的补充指标，与 AUC、LogLoss 一同监控校准质量；实现时可将预测分数排序后计算相邻点差异的加权平均，工程上容易对接现有特征和标签存储。
- rankECE 对局部校准偏差更敏感，适合发现模型在特定预测概率区间（如高点击率头部流量）的系统性偏误，便于业务方定位问题。
- 注意该度量最初针对二分类概率校准，如果推广到多分类或 Learning-to-Rank 场景需要适配，例如对每个类或每个位置计算局部校准。
对 LLM 相关性法官礼貌有用吗？语气作为严重度操作点偏移
🧭 LLM-as-judge 语气鲁棒性
Independent Researcher
在 TREC DL19/DL20 上发现 prompt 语气主要改变 LLM 相关性法官的严重度操作点而非判断质量，影响校准类一致率大于排序
📌 工作参考价值（4 点）
- 若用 LLM 作为离线相关性/质量 judge，不要把礼貌等级当可调超参；固定 prompt tone 和模板（含 paraphrase）以降低 severity shift，上线前做 prompt 变体稳健性测试。
- 更应校准 LLM judge 的宽严程度，而不是追求更高 agreement：对绝对 graded label，用 human 标注数据估计 severity 偏移并做阈值/概率校准，或对 prompt 做温度与 threshold 适配。
- 排序指标（NDCG@10）对 tone 不敏感（最大平均变化 0.011），若只用于召回/粗排排序对比，风险较低；但需要关注 Kendall τ 下降导致的精排重排。
- Query-disjoint 验证法值得借鉴：把 query 切分，用未参与 prompt 选择的 queries 评估 prompt 变化，避免过拟合 prompt 到特定 query 集合。
基于能力门控的 LLM 与先验融合预测
🧭 LLM 预测融合与门控校准
University of Illinois Urbana-Champaign
提出 competence gate 依据边际价值选择性融合 LLM 与外部先验，显著降低 Brier 损失
📌 工作参考价值（4 点）
- 在多信号融合场景（如商品 CTR 预估中融合 LLM 打分与传统模型打分），不要只看单个模型 AUC，改用历史 outcome 估计每个源的边际贡献（例如增量 NDCG 或 Brier），并按领域/场景学习一组 gate 权重，对不确定的领域权重向全局权重 shrinkage，避免小样本过拟合。
- 当外部先验信号较强（如成熟推荐系统、市场预测）时，可让 gate 学会 defer，而非强制融合；在 baseline 很强时 LLM 融合可能无显著收益，可提前做 ablation/显著性检验决定是否上线复杂的混合模块。
- 论文发现 verbal confidence（模型自己说“置信度”）不能可靠判断模型何时优于外部预测，因此别用 LLM 输出的“信心分”作为路由/采纳依据；应基于可观测结果（如成交、点击后的 label）回估 competence，驱动 abstention 或降权。
- 融合后对 pooled forecast 做 recalibration（如 temperature scaling / isotonic regression）是低成本的稳定提升，尤其在各源校准不一致时；部署时可作为标准后处理。
时间感知复购预测：面向多渠道电商的生存模型
🧭 生存分析复购预测 · 多时间面排序 ★ 深度解读
Walmart Global Tech
用单个加速失效时间模型替代多时间窗口复购预测的多个二分类器，在提升排序的同时降低约3倍算力
📌 工作参考价值（4 点）
- 多 horizon 的复购/重购买 surface，可以直接把每个 horizon 的二分类器换成一个 XGBoost survival:aft，排序用 -exp(leaf value) 或预测的 time-to-repurchase，保持原特征与推理管线不变；训练/服务成本约降 3×，离线各 horizon 不降。
- 经验 hazard 显示 shape k≈0.9（略递减），不要默认“越 overdue 越可能买”；排序面用 Log-Normal，概率消费面用 Exponential/Weibull k=1，再用 4 参数共享斜率+分段截距校准，保证跨 horizon 单调性零违例，ECE 可低至 1e-4 量级。
- 右删失样本（未复购）必须保留，尤其长周期用户；删除大 lapsed 的 censored 样本会导致长周期买家排序崩坏，正则化也救不回。
- 生存目标会重塑特征重要性：渠道节奏、最近性、缺货/部分履约信号上升，总频次类特征下跌；可据此做特征裁剪，或构造 IPI-lapse residual、interval-relative features 这类 timing gap 特征。
层级LLM智能体中的贝叶斯自我升级：知道何时求助
🧭 层级LLM智能体自我升级决策 ★ 深度解读
Independent Researcher
把生成中途的模型求助建模为基于能力后验的最优停止问题，证明阈值策略并给出校准驱动的后悔界
📌 工作参考价值（4 点）
- 在电商/Agent 级联路由中，不只做 pre-router 或 post-verifier：引入 per-token 或 per-step 的“能力后验”B_t，在生成中途触发升级，能省下注定失败的 junior 生成成本。真实代码级联里，streaming 升级到 75% 准确率只用 0.98× junior 成本，而 post-hoc 路由要 1.41×。
- 原始 entropy / margin / probe 只能当 evidence，不要直接当概率用；用标注轨迹学 competence posterior，训练目标优化 Brier score 而不是只看 ECE。ECE 低不代表安全，Brier score 同时惩罚 calibration 和 refinement。
- 把 competence posterior 与决策阈值解耦：成本、延迟预算、senior 模型变化时，只重跑 offline backward induction 更新阈值表，不用重新训练。适合业务频繁调价、换大模型或调整延迟 SLO。
- 跨模型交接只传文本 trace、工具调用历史、检索证据，不传 hidden state / KV cache，保持模型无关；这可以复用到小模型 agent 负责长尾 query、复杂任务再升级大模型的架构。
分离劳动：将证据解释与决策聚合分开
🧭 LLM 多源证据聚合与决策架构
Atlassian
提出将证据解释与决策聚合分离，用四字段证据元组和校准对数似然比池化解决计数尺度漂移
📌 工作参考价值（4 点）
- 在电商/推荐系统的多源信号融合中，将 LLM 的“证据读取”与“决策聚合”拆开：每个证据输出结构化 tuple（hypothesis, reliability bucket, rationale, provenance），后续用固定算术融合，便于溯源和跨场景复用。
- 避免简单对多路召回得分、多策略 CTR 预估等做未归一化加权求和或投票阈值，因为阈值会随证据数量漂移；改用校准后的对数似然比池化（或等效的后验阈值），使决策一致且可比。
- 对不可靠来源（如弱标注、用户生成内容）先做可靠度分桶，再参与聚合，可降低噪声主导风险；该 bucket 可作为先验指导模型对不同证据的信任程度。
- 在 Agent 决策链中，将最终决策与中间证据解释分离，便于调试、审计和动态调整证据集；架构上无需大改，只需改变聚合的算术方式。
从可观测语言模型概率校准语义不确定性
🧭 语言模型概率校准与语义稳健性
Artificial Intelligence Finance Institute · Quiota LLC
提出语义映射框架，将语言模型词汇概率校准为可验证的语义后验，在改写下保持稳定
📌 工作参考价值（4 点）
- 评估LLM输出的可靠概率：在电商推荐中，若用LLM生成推荐理由或解释，可通过语义映射把 token 概率转化为推荐置信度，避免直接使用模型打印的数值概率。
- 保证改写稳定性：提示词工程中，不同措辞的同义提示可能导致概率漂移。该方法通过标定后验确保语义级输出对改写稳定，可用于构建鲁棒的对话式推荐或Agent决策。
- 审计推荐系统语义一致性：对生成式推荐或Agent的响应进行校准审计，检测是否存在语义不稳定，提升系统可解释性与可信度。
- 小样本后验估计：利用少量标定数据连接语言模型输出与目标后验，适用于缺乏大量标注的电商场景，如用户意图分类或商品属性判别。
大语言模型中的未来置信度蒸馏
🧭 LLM 置信度校准的时序提前预测
University of California, Los Angeles
利用回答后隐藏状态训练探针作为教师，将置信度信息蒸馏到回答前表征，实现低延迟高校准的置信估计
📌 工作参考价值（4 点）
- 在 RAG、工具调用或 Agent 决策中，可在生成回答前用模型中间层 hidden state 快速预判置信度，决定是否触发检索或回退，大幅降低时延
- 训练一个轻量线性探针，以回答结束后的正确性探针（教师）产生的置信度为蒸馏目标，样本效率极高，少量标注即可获得校准良好的提前置信度估计
- 探针只需预解层表征，可用于流式推理或早期退出，适合对延迟敏感的生产环境，如电商搜索中的即时置信判断
- 方法在域内数据集间具有迁移性，可在部分 query 类型上训练，泛化到同类场景，降低维护成本
LLM预测者所知不言：探针内部表征以改善校准与忠实度
🧭 LLM推理审计与校准
goodfire · eternis
探针LLM内部表征可大幅提升预测校准、揭示思维链不忠实，并能通过预推理分布路由节省30-47%推理token
📌 工作参考价值（4 点）
- 在需要可靠置信度的推荐/广告预测场景中，用中间层探针替代口头置信度可显著降低校准误差（ECE 0.044 vs 0.093），避免过度自信或保守。
- 审计AI Agent的思维链忠实度时，可通过探针检测模型内部是否已受外部输入影响，即使思维链未提及，这对多Agent交互的透明审查很有价值。
- 可将探针用作“诚实度检测器”：当模型受到隐蔽证据干扰时，探针激活值能更早、更准确地捕捉到行为偏移（Spearman ρ=0.57 vs CoT文本的0.22），并预测偏移方向（84%准确率）。
- 在推理前利用预测层输出的答案分布离散度进行高置信度路由：分布集中时直接返回预推理答案，避免生成冗长CoT，可节省30-47% token且不损失精度，适用于低延迟或高吞吐的实时推送、搜索建议等场景。
校准引导LLM压缩中输出空间分配成本实证研究
🧭 LLM压缩 · 分配成本优化
Analemma
将压缩分配成本对齐到输出空间可小幅提升零样本准确率，但会损害语言建模困惑度，且效果受压缩比影响。
📌 工作参考价值（4 点）
- 电商推荐中若需压缩LLM，低压缩比（<20%）时分配成本函数影响极小，可直接使用简单的权重空间误差，节省工程开销。
- 高压缩比下，若核心业务指标是下游任务准确率（如推荐解释生成），可将校准分配成本对齐至输出空间（如激活重建误差），但需警惕语言模型困惑度上升可能影响其他文本质量。
- 不同分配目标会导致准确度与困惑度权衡，建议根据线上 A/B 指标选择最优成本函数，避免只依赖单一代理指标。
- ROCKET-ActCost 的修改成本低，可直接在现有稀疏分解压缩框架中替换成本计算，对齐方式可迁移到其他校准引导压缩方法。
Ribbon: 可扩展近似与鲁棒不确定性量化
🧭 贝叶斯自举近似 · 影响函数线性化
用影响函数线性化近似狄利克雷加权自举，免去模型重训练，实现可扩展且校准良好的不确定性估计
📌 工作参考价值（4 点）
- 在已训练好的点击率或转化率预估模型上，用 Ribbon 快速计算预测不确定性，无需重训练，可直接集成到在线探索策略（如 Thompson 采样）中。
- 依赖影响函数线性化，只需梯度或 Hessian 向量积，实现与 Laplace 近似同阶成本，但模型误设时恢复稳健三明治协方差，更适合动态变化的推荐环境。
- 浓度参数 α 可在验证集上调优，相当于对不确定性尺度进行校准；可借鉴至推荐模型的校准流程，提升 ECE 等指标。
- 对于搜索广告等大型模型，Ribbon 提供了一种后验采样近似，有助于模型监控、协变量漂移检测和风险评估，而不牺牲训练效率。
弥合语义缓存中的校准鸿沟
🧭 语义缓存校准与评估指标
New York University · Redis
指出语义缓存评估重排名轻校准导致部署性能差，提出缓存感知的校准指标P-CHR AUC与CRR
📌 工作参考价值（4 点）
- 语义缓存选型时，不要只看PR-AUC，应优先评估分数的校准度（如使用P-CHR AUC或CRR），否则线上高排名模型可能给出不可靠的阈值，导致过多误命中。
- 部署前做分数截断阈值扫描时，直接使用P-CHR AUC曲线观察不同缓存利用率下的精度，平衡成本与质量；CRR能快速估算离线排序指标有多少能迁移到线上。
- 校准差距主要由训练目标（如对比损失 vs. 交叉熵）决定，而不是数据规模，因此改进语义相似度模型的训练目标比堆数据更有效；已有模型可通过温度缩放、直方图分桶等后校准手段部分弥补，但不能完全消除差距。
- 设计缓存系统时，将缓存命中决策视为二元分类问题，显式考虑正样本率（查询重复率）带来的结构性上限，避免在低重复率场景下盲目追求高召回。
LegalHalluLens：面向可信法律 AI 的幻觉类型审计与校准多智能体辩论
🧭 多智能体辩论校准与幻觉类型审计
Independent Researcher
按法律声明类型审计幻觉并引入风险方向指数，通过诊断校准多智能体辩论，减少45%捏造检测
📌 工作参考价值（4 点）
- 幻觉类型化审计可迁移至电商文案/搜索答案：将生成内容按数值（价格、折扣）、时间（活动期限）、义务/权利（优惠规则）、事实（商品属性）分类评估，能暴露聚合准确率隐藏的高风险区域，指导针对性优化。
- 风险方向指数（RDI）用于权衡漏报与误报成本：在推荐/搜索Agent输出中，区分遗漏（该推荐的没推荐）和捏造（虚构信息），根据业务成本选择模型或设置决策阈值，比如高客单价场景拒绝捏造优先。
- 诊断结果驱动多智能体辩论校准：使用类似 Skeptic 代理针对已知失败模式进行挑战（如专门检查数字一致性），配合非对称门控，可部署为生成式推荐的审核流，比通用辩论更高效，且允许使用较小模型（4B）达到商业API效果。
- 面向Agent设计的可审计性：借鉴框架中对Agent输出进行方向感知的审计，可构建用于电商Agent的合规监控模块，及时发现并修正方向性偏差，提升系统可信度。
TASR：迭代检索的无训练自适应停止规则
🧭 迭代RAG · 无训练停止策略
San Diego State University · James Silberrad Brown Center for AI · Stanford University · Google DeepMind
提出一个固定的停止谓词，通过重复答案和校准后的logit margin阈值，无需训练就能减少RAG中不必要的检索轮次
📌 工作参考价值（4 点）
- 可直接在现有RAG管线中插入一行代码作为停止条件：重复前轮归一化答案且 isotonically calibrated logit margin > 0.25。对电商问答、多跳商品查询等场景，能在不损失太多精度的情况下大幅降低检索调用次数。
- 发现RLHF调优模型的verbalized置信度极度塌缩（96.5%输出最高分），而logit margin具有44倍的类条件分离度，这提示在依赖LLM自信度进行决策（如Agent中断、推荐解释可信度）时，应避免使用提示词直接索取的置信度分数，转向logit-level信号。
- 通过固定阈值实现跨模型、检索器、语料库的零次迁移，无需针对每个新模型或任务重新训练停止策略，降低了维护成本。对于多智体框架中调用外部工具的轮次控制，可以借鉴这种简单启发式规则作为默认基线。
- 论文从381个候选规则中筛选出Pareto最优规则，这种穷举评估再选择的范式，可以用来为其他agent决策点（如何时触发重排序、何时退出对话）设计低成本、可解释的启发式策略。
自我评估能力已然存在：以最小数据激发基座LLM的潜在评判校准
🧭 LLM自评估能力激发 ★ 深度解读
National University of Singapore · Beijing University of Technology
发现基座LLM已能预测外部多属性评分，提出SEE通过小样本交替RL与屏蔽蒸馏高效激发校准能力
📌 工作参考价值（4 点）
- 小样本激发评估能力：仅需约160条样本的交替训练即可显著提升模型对自身输出质量的预测校准，对于电商内容生成、对话Agent的回复自我判断可直接借鉴，无需大量标注即可获得可信度评分。
- 解耦训练避免质量退化：采用屏蔽蒸馏（只在自评token上训练），保持回答主体参数不动，避免了校准提升时损害生成质量。在推荐文案生成、Agent多轮对话中，可将自评模块作为插件训练而不干扰主任务性能。
- 利用自评进行结果筛选与路由：模型产出自我评估后，可依此分数对候选生成结果进行重排序，或在低置信时自动拒答、转接更强模型，降低线上调用外部评判器的成本。在搜索问答、客服Agent中，该机制可直接提升系统可靠性和效率。
- 非线性校准奖励设计：训练中采用指数γ>1放大预测与真实评分的大偏差，强制模型学习极端分数分布，避免预测趋向均值，这对推荐系统的评分预测训练或强化学习中的奖励校准具有通用启发。