多智能体协作中的校准置信度学习
🧭 多智能体协作 · 置信度校准 ★ 深度解读
University of Science and Technology of China · Qwen Business Unit of Alibaba · National University of Singapore
让多智能体在 RL 中联合学习任务与校准置信度，并在交接与最终输出传递该信号，提升协作准确率与可靠性
📌 工作参考价值（4 点）
- 在多级 Agent 检索/推理流水线中，每个 handoff 都附上 calibration 后的置信度，而不仅是最终答案；下游做 query 分解、召回、重排或审核时，可以把上游置信度作为显式特征，决定是否追加检索、采信或改写中间结果。
- 训练下游 Agent 时，上游模型冻结并用其真实报告做训练数据，避免离线报告与在线行为不一致；可用 confidence-aware weighting 的做法：把置信度 mask 掉重打分，以 per-token log-prob 变化识别真正受置信度影响的位置，对这些位置加权 task advantage，能强化模型对置信度信号的利用。
- 最终置信度可用于选择性回答和定向复查：高置信请求自动返回或进入低成本通道，低置信请求追加检索/二次审核/人工兜底，实现覆盖率和准确率的可控权衡；在电商搜索、广告文案生成、Agent 客服等对可靠性敏感的场景尤其适用。
- 小心未校准置信度：论文显示去掉 BCE calibration loss 后，融合场景准确率会低于完全不传置信度的 MAS；也就是说不可靠的置信度可能比没有信号更误导下游，上线前应做 Brier/AUROC 校验。
Intern-Decision：自回归掩码语言建模的高效多模态决策模型
🧭 Agent 结构化决策 · 多模态小模型 ★ 深度解读
Shanghai AI Lab · Shanghai Jiao Tong University · Fudan University · Nanyang Technological University
用单次前向的自回归掩码决策替代自由文本生成，输出结构化选择与候选概率，4B模型七套评测集平均准确率90.02%
📌 工作参考价值（4 点）
- 用“掩码决策字段 + 单次前向”替代 free-form JSON 生成或逐字段循环打分，适合电商/广告中高频闭集判断：意图分类、tool routing、风控/安全审核、多字段表单决策等。
- 保留 Qwen 等 causal backbone 与 native LM head，在 assistant skeleton 的 <decision> 占位符前一个 token 读 logits，对 legal options 做 softmax 得到候选概率；无需额外分类头或逐字段前向，且多字段共享 state，减少重复 prefill。
- 对概率输出做 post-hoc temperature scaling 能显著改善 Brier / ECE；可用小模型置信度阈值触发大模型接管，适合难例路由、广告审核升级、搜索结果重排等场景，在精度和成本之间选操作点。
- 多模态输入（文本+可选图像）输出离散动作，适合 GUI Agent、商品图审核、直播画面判断等“看截图→做选择”的闭环任务；训练时冻结 vision tower 可低成本复用预训练视觉能力。
SearchJev：面向搜索 Agent 的快速且校准良好的 System-1 决策模型
🧭 Agent 双系统搜索决策加速与校准 ★ 深度解读
Huawei Technologies Co., Ltd. · Leiden University
将搜索 Agent 中的短决策与 System-2 生成分离，用 schema-conditioned logits 直接输出校准概率，实现 5.2-5.3 倍决策加速并提升端到端答案准确率
📌 工作参考价值（4 点）
- 把搜索/推荐链路中频繁的短判断（相关性、query 改写是否等价、意图分类、证据充分性、next action）从 LLM 自回归生成中拆出来，用同一个轻量模型基于 schema-conditioned first-token logits 直接做分类/打分，避免 JSON 解码，可显著降低线上延迟。
- 借鉴 SLCD：对不确定标注用 soft-label，训练时混合 cross-entropy + Brier loss，并按输出类型（Choice/Score/Noul）做 temperature calibration；这能提供更可靠的置信度，适合做置信度 gate、拒识或降级。
- 双系统架构值得迁移：System 1 出低延迟决策 + 置信度阈值，不置信时回退到 System 2（大模型）处理；在电商/广告的召回粗排、query 改写、相关性过滤等场景可以平衡成本与效果。
- 将异构标注数据统一成 state-schema 格式训练一个多任务决策模型，用 LoRA 微调小模型即可覆盖多种决策类型，降低多模型维护成本；对 unordered options 做 permute 可减少位置偏差。
基于 IRT 的 Rubric 校准偏好：跨查询统一 LLM 评判尺度
🧭 LLM 评判校准 · IRT 跨 query 尺度统一 ★ 深度解读
Cohere
用 IRT 将 LLM 的 listwise 偏好与共享 rubric 校准为跨 query 可比的连续相关性分数
📌 工作参考价值（4 点）
- 离线评估：商品/广告 reranker 的人工 qrels 稀疏、噪声大，可对候选池一次性跑两阶段 LLM judge 产出连续 gain，作为新模型离线指标，避免每轮人工标注。
- IRT 校准可复用：任何 LLM 相对偏好（pairwise/listwise）都能通过共享 rubric 的 τ_j、α_j 映射到统一 logit 尺度，使跨 query/campaign/类目分数可比；在电商多 query 聚合排序、Agent 工具选择评估中可直接套用。
- rubric 设计：5 个递增 yes/no criteria（主题相关→信息有用→属性匹配→直接回答→深度覆盖）比单一有用性更稳；业务可自定义准则，并筛选 discrimination/difficulty 合理的准则。
- 工程实现：BT tournament 窗口 w=10，先随机后按估计质量抽窗；Stage B 多次重复取 pass share；离线 label 池固定后，新模型只需重排候选即可算 RCP-nDCG，成本集中在一次 judge 标注。需注意 LLM judge 可能与 LLM 训练的 reranker 有偏好耦合，上线前用盲评人工子集校验。
可用护栏：跨机器学习系统的选择性预测认证
🧭 安全门认证可用性计算与分区规划
Rivian and Volkswagen Group Technologies · Stony Brook University · Westlake University
将选择性预测认证可用性转化为可计算量，用动态规划优化分区，在安全、粒度和覆盖间达到权衡
📌 工作参考价值（4 点）
- 在电商/Agent 安全门（工具调用、自动拦截、推荐展示）中，按业务单元认证目标精度时，用精确二项反演快速判断每个单元是否有足够样本；对长尾单元提前规划数据采集或流量分配，避免无法认证。
- 借鉴动态规划分区：当需要按类目/用户层/策略标签认证时，合并相邻小流量单元形成分区，可在保持整体安全认证的同时最大化服务流量；用两个数据划分（规划/选择）减少过拟合。
- 错误预算重分配：不同业务单元风险容忍不同，非均匀分配家族错误预算可放松部分单元精度要求，提升整体覆盖率；在线上可对高频低风险单元采用较松门限。
- 注意人口机会与有限样本差距巨大（0.157 vs 0.005），认证流程设计不能只依赖朴素估计，需显式考虑样本量或采用稳健选择策略。
当智能体出现分歧：贝叶斯反向推理作为无标签多智能体集体决策锚点
🧭 多智能体决策聚合与校准
The University of Melbourne · Sri Lanka Institute of Information Technology
用贝叶斯反向推理构造reverse posterior，以Jensen-Shannon散度衡量跨路径一致性，提升多智能体决策聚合性能
📌 工作参考价值（4 点）
- 多智能体集成决策（如商品标签审核、广告文案质量打分、query意图分类）不要只对正向logits投票；可以额外让同一个LLM反向推理“给定该标签，证据出现的概率”，用两个方向分布的JS散度识别可靠agent，避开共享错误。
- 在agent分歧大的样本上，log-linear融合（LogLin）比简单投票/加权更稳；若业务中有多路召回/多模型打分分歧严重，可用跨路径一致性作为融合权重，优先相信正反推理一致的模型。
- 无标签场景下，反向推理可作为廉价校准信号；若积累少量标注数据，两阶段校准reverse anchor能进一步提升聚合，适合冷启动或低资源标注的电商场景。
- 反向推理模型单独精度可能不高，但作为互补信号价值大于正向基线；架构上可保留轻量反向头或prompt模板，避免额外大模型训练。
领域特定的大语言模型幻觉检测
🧭 LLM幻觉检测与领域自适应
Purdue University Fort Wayne
多信号检测管线结合DeBERTa-v3、MC Dropout与DPO，实现通用与领域自适应幻觉缓解
📌 工作参考价值（4 点）
- 在电商问答、商品描述、推荐理由等 LLM 生成场景，可部署类似“微调 DeBERTa-v3 + MC Dropout + 温度缩放”的反应级幻觉检测器，作为生成内容上线前的置信度闸门；MC Dropout 推理可额外提升准确率但增加延迟，适合异步质检而非实时推荐链路。
- 标注预算有限时，可借鉴其学习曲线结论：25% 训练数据已获 77% 性能，垂直域可先用小样本微调快速验证，再决定是否扩充标注。
- 跨域迁移风险明确：通用域检测器在生物医学域 F1 仅 0.52，域匹配预训练模型微调才明显提升；业务上不能直接复用通用事实性检测器，应使用行业语料继续预训练或微调。
- DPO 用检测器分数作为偏好信号，将 Qwen2.5-0.5B 幻觉率从 85.5% 降至 37.7%，可尝试对推荐文案/客服回复生成器做类似对齐，减少不实信息。
LLM Agent 不确定性量化：分类法、评估协议与实证研究
🧭 Agent 轨迹级不确定性与校准 ★ 深度解读
Trinity College Dublin, Ireland · University of Texas Health Science Center at Houston, USA · University College Dublin, Ireland · Northeast Forestry University, China
提出三轴分类法与轨迹级校准指标 TC-ECE，揭示 Agent 步级校准无法推出轨迹级校准
📌 工作参考价值（4 点）
- 在构建推荐/搜索 Agent 时，不要只监控最终答案置信度；在 planning、retrieval、tool call 每个步骤输出 confidence，并在轨迹检查点评估 TC-ECE。尤其在多步召回/排序/重写流程中，早期错误会累积，需要 mid-trajectory 干预信号。
- 不要把每步置信度相乘作为整体可靠性：步骤间相关性会导致低估或高估，建议拟合轨迹级校准器或使用生存因子 q_t，并对前缀可靠性分层监控。
- 多 Agent 协作（如 query 理解、召回、排序、出价等模块）中，相似训练历史导致相关性错误共识；需要加权仲裁，保留不同意见，不能简单平均。
- 论文发现 Agent 自述置信度不一定可靠，建议与简单基线（如 step-index）对比；部署前离线用真实轨迹校验。
多模态大模型幻觉源于协同头信息分布漂移
🧭 多模态大模型幻觉归因与校准
Shenzhen University of Advanced Technology
提出 HEAL，通过头部级信息解耦与校准识别并缓解多模态大模型幻觉
📌 工作参考价值（4 点）
- 多模态 LLM 在电商商品描述生成、图文推荐、广告创意生成等场景中容易出现幻觉，可借鉴头部级解耦与校准思路：定位并校准跨模态协同注意力头，无需全模型微调，降低落地成本。
- 因果噪声干预筛选冗余头的方法可用于分析现有多模态推荐模型的注意力机制，识别对跨模态对齐贡献不大的头，进行剪枝或优化，提升推理效率。
- 动态注入校准因子到 value vectors 的机制可迁移到多模态特征融合模块，作为轻量级即插即用组件，增强图像和文本特征的一致性。
- 结论“幻觉与模态特定头数量/强度无关，而与协同头信息分布漂移相关”提示在多模态推荐/搜索中应关注跨模态交互的质量而非单模态表示的强度，可指导模型调试和特征工程。
基于因果模型的增量推荐
🧭 因果推荐 · uplift 增量建模 ★ 深度解读
Spotify · Imperial College London · University College London · Hologen
利用已有 holdback 数据扩展生产推荐模型为因果双头模型，以双阈值策略减少 7% 曝光且不损消费
📌 工作参考价值（4 点）
- 复用现有随机 holdback/对照组流量做 uplift：不需要新数据，直接把生产多任务模型改成 shared-trunk + treated/organic 双 head，用分区 loss 保证两个输出语义清晰；适用于电商推荐、广告重定向、消息 push 等场景。
- 警惕归因窗口不一致：点击/转化窗口和自然转化窗口不同时，不要直接相减估计 CATE；双阈值策略（预测转化高且自然转化低才投放）能绕过该问题，并给业务一个可解释的 θ0 杠杆控制曝光量。
- 阈值策略依赖校准：联合训练 holdback 数据能改善 treated head 校准，尤其高分段；建议上线前监控校准曲线，否则阈值调优不可靠。
- 生产结果说明约 93% 曝光已是增量，可挖掘的非增量曝光约 7%；在效率优化项目里，先用 holdback 数据量化 always-takers 占比，再决定投入。
校准到知而不校准到行：伪造证据使 LLM Agent 承诺不可知问题
🧭 LLM Agent 决策校准与 SFT 修复
Independent Researcher
专业外观的市场面板大幅提升 LLM Agent 对不可预测问题的承诺率，定位为行动门控失效且可通过 SFT 修复
📌 工作参考价值（4 点）
- 在电商/广告的 LLM Agent 决策链路中，对“不可预测”类问题（如未来销量、市场波动）增加显式门控：在行动前先让模型或一个小型分类器判断问题是否可答，避免被权威格式的不相关证据诱发错误承诺。
- 对输入给 LLM 的指标/面板等证据进行可信度过滤：即使数据是伪造的，专业外观仍会显著提升模型承诺率，因此需验证数据来源，或通过 prompt 强调“仅使用问题本身信息，忽略装饰性面板”。
- 可以使用少量合成数据 SFT 一个小模型（如 3B）来训练“拒绝不可知”的门控，实验显示 540 个案例即可将承诺率降至 0 并跨领域迁移，适合业务中快速构建风险控制模块。
- 注意响应格式：为模型保留推理空间（如允许 chain-of-thought）是门控生效的关键，强制输出决策的刚性格式会导致模型自信犯错，因此在设计 agent prompt 时避免直接要求“是/否”而不给推理步骤。
WARP：面向群体意见的 Wasserstein 对齐 RAG
🧭 RAG 检索校准 · Wasserstein 对齐意见分布
Amazon.com
用 Wasserstein 距离校准 RAG 检索证据的情感分布，避免少数意见被淹没
📌 工作参考价值（4 点）
- 在电商评论摘要、用户反馈聚合等场景，top-k 检索容易偏向主流意见，可借鉴 WARP 思想：先估计总体意见分布（如情感强度分布），再用 Wasserstein 距离选择文档子集，使检索证据的分布与总体对齐，避免生成有偏的回答。
- 工程实现上，WARP 提供三种变体适应不同候选池规模（稠密/稀疏/可变），亚秒级延迟，可在线作为 RAG 检索后处理模块，与现有向量检索无缝集成。
- 将 Wasserstein 距离作为检索校准的优化目标，比 KL/JS 更合理，因为它保留了情感强度之间的序数关系——强烈负面与强烈正面混淆的代价高于相邻强度混淆。在涉及情感、评分等有序标签的场景中可优先考虑。
- LLM 生成阶段对检索证据分布敏感，WARP 实验表明校准检索能显著提升生成质量（86% 偏好），因此构建“群体意见总结”类 Agent 时，应将检索校准作为生成前必要步骤。
时间序列基础模型中的预测坍缩现象与校准-排序权衡
🧭 时序基础模型 · 校准-排序权衡
Abel AI Lab · Arizona State University · University of Oxford
发现时序基础模型预测坍缩现象，提出 CalibRank 平衡校准与排序，横截面相关性近三倍提升。
📌 工作参考价值（4 点）
- 排序目标与校准目标未必一致：若业务指标是物品排序质量（如信息流/广告 CTR 排序），只优化 pointwise MSE/Logloss 可能导致预测趋于均值、区分度不足。可尝试在损失中加入 batch-level 排序项（如 pairwise/listwise loss 或相关性正则），类似 CalibRank。
- 评估需补横截面/排序视角：逐样本 AUC/准确率可能掩盖排序结构失灵，增加 IC、Spearman 或 NDCG 等指标监控，尤其对于低信号目标（点击、转化）。
- 低可预测性 + 校准约束会使预测振幅过小：若线上排序模型打分过于集中，可放松校准约束或对 logits 做温度缩放/振幅重标定，但需监控校准误差。
- 多实体共享模型（用户/商品）时，逐实体损失不识别全局序；可尝试在训练中构造 batch 内样本对或跨实体排序损失。
从原子证据到逻辑组合：复合答案选项的结构化组合推理
🧭 LLM 结构化组合逻辑推理
University of Colorado Boulder
将复合选项分解为原子判断并用整数规划组合，大幅提升 LLM 在 AND/OR/NEITHER-NOR 逻辑题上的表现
📌 工作参考价值（4 点）
- 在电商搜索/推荐中，用户 query 常隐含 AND/OR/NOT 组合（如“红色且不是羽绒服”），可直接借鉴本框架：先对每个原子条件独立打分，再用约束求解器组合，避免让 LLM 直接处理复合条件。
- 对 Agent 决策中的规则匹配（如同时满足多个商品属性、排除某些类目），可将复合条件拆成原子判断，分别用对比假设校准每个原子，然后用整数规划做最终决策，提升逻辑一致性。
- 对于多条件排序/召回场景，可以在召回后增加一层逻辑组合重排：用 LLM 对单个条件打分，再用 ILP 约束组合，替代直接让模型输出复合判断，减少 NEITHER/NOR 类负向组合的错误。
- 该工作证明了“分解-校准-组合”的范式在逻辑推理上的有效性，可用于构建电商问答中复合查询的理解模块，尤其是需要处理排他性条件时。
SCOPE-Router：面向执行任务的开集成本感知 VLM 路由
🧭 VLM 路由 · 成本感知训练 ★ 深度解读
CASIA · UCAS · NUS · Tencent
提出执行导向 VLM 路由基准、开集双塔路由器和成本感知训练目标 CRM+RCCR，在三个基准上取得最佳 Rank Score
📌 工作参考价值（4 点）
- 成本感知损失设计可直接迁移：将成本编码为连续 relevance target（正确且最低成本为 1，其他正确模型按成本指数衰减，错误为 0），用 per-pair BCE 替代 softmax CE，避免多正样本梯度稀释。在电商多模型路由（如广告创意生成、商品文案生成）中可直接替换现有分类器 loss，无需改动模型结构。
- 开集模型接入方案实用：为新模型构造行为 profile（正确性、成本、价值向量、语义汇总向量），只需在约 1024 条校准集上跑一次即可加入路由池，无需重新训练路由器。适合频繁上线新模型/版本的业务场景，如 LLM API 切换或多模态内容审核模型更新。
- 混合校准集选择策略可复用：按 50% 随机 + 30% 诊断（模型分歧度 + 成本分布）+ 20% 多样性（聚类质心）采样，有限的标注预算下最大化 profile 区分度。在自建路由训练数据或评估模型互补性时可以参考。
- 架构无关的 CRM+RCCR 目标可试用于现有路由系统：论文实证在 RouterDC、ZOOTER、CosineCls、VLC 四个不同架构上 Rank Score 提升 1.25–6.21 点。若业务已有简单的 query-model 打分器，可将该 loss 嵌入微调，获得成本感知能力。
AI Agent 能否模拟 A/B 测试结果？一个智能体实验验证框架
🧭 Agent 模拟 A/B 测试效果预测 ★ 深度解读
Amazon
提出 S-RCT 框架并验证：预校准和 within-subject 设计可将 Agent 模拟 A/B 测试的平方误差降低约 77 倍
📌 工作参考价值（4 点）
- 预校准消除幅度偏差：利用实验前历史数据训练轻量校准函数（如 Platt scaling），纠正 Agent 对用户行为反应幅度的系统性放大，可将平方误差降低约 77 倍，直接用于在线模拟预测。
- Within-subject 设计降方差：每个 Agent 同时接受 treatment 和 control 条件，消除 Agent 间个体差异，标准误平均减小 2.4 倍，在有限 Agent 预算下显著提升灵敏度。
- 方向性信号用于廉价筛选：即使幅度不准，Agent 模拟的方向性准确率（sign overlap 0.70）足以在真实实验前筛掉大概率有害的干预，节省流量与工程成本。
- 智能采样降低计算成本：对 KPI 进行分层，预先估算各层标准差，采用 Neyman 分配，对高方差连续指标（如收入）可用更少 Agent 达到相同模拟精度，适合大型电商多实验并行场景。
校准模态补全的不完整多模态推荐方法
🧭 多模态推荐 · 模态补全校准
Southern University of Science and Technology · National University of Singapore · Singapore Management University
通过两阶段校准框架解决模态缺失导致的跨模态结构失真与偏好适应差距，提升多模态推荐鲁棒性
📌 工作参考价值（4 点）
- 模态补全时引入跨模态结构一致性约束，避免补全后多模态特征割裂，可通过对比损失或结构保持正则实现。
- 偏好导向表征校准：构造伪缺失样本，将补全表征与经排序监督训练好的完整模态表征对齐，使补全特征直接适配推荐排序任务。
- 构建补全感知的物品关系图，同时融合补全后的多模态内容相似性与用户行为协同信号，提升图推荐模型在模态缺失场景下的表现。
- 两阶段设计：先做与推荐任务无关的结构校准，再做偏好微调，方便工程上逐步开发和部署，降低在线开销。
大语言模型中的元认知：基础、进展与机遇
🧭 LLM 元认知能力评估与增强
Yale University · University of California, Irvine
系统综述 LLM 元认知研究，提出监控与控制双过程框架，总结评估与增强技术
📌 工作参考价值（4 点）
- 推荐置信度过滤：在生成式推荐或对话 Agent 中，利用模型的校准（calibration）和不确定性估计能力，对推荐结果进行置信度评分，过滤低质量输出，提升推荐可靠性。
- 自我反思增强 Agent 决策：借鉴元认知监控-控制循环，在搜索/推荐 Agent 中加入自我评估步骤，让模型判断信息是否充分、是否需要调整查询或调用工具，提高任务完成率。
- 提示工程激发元认知：通过特定提示（如要求模型先解释推理过程再给出答案）诱导模型的自我反思，改善复杂推荐任务（如动态查询改写、广告文案生成）的准确性和可解释性。
- 减少幻觉与错误累积：在多步推理或序列推荐场景，引入元认知监控可以及时检测和纠正逻辑错误，防止错误传播，特别适用于需要长链条规划的购物助手或营销策略生成。
Agora：基于拍卖机制的LLM智能体推理任务分配框架
🧭 拍卖机制驱动的多智体任务分配优化 ★ 深度解读
University of Birmingham
通过校准置信度的拍卖机制，将复杂推理任务动态分配给最合适的专家模型，实现成本-质量可控。
📌 工作参考价值（4 点）
- 将推理流水线分解为子任务，以校准后的置信度作为出价基础，通过拍卖动态选择最优专家模型/工具，适合电商搜索、推荐系统中的多模型路由，有效降低推理成本并避免过度自信导致的错误分配。
- 校准策略（分组缩放+直方图分箱+在线自适应）可直接复用：先用静态校准器在多样化数据上消除原始模型置信度的系统性偏差，再用在线更新适配业务特有分布，确保模型选择基于真实能力而非幻觉。
- 成本敏感参数β提供直接的成本-质量调节旋钮，可在不同流量层级或业务优先级下灵活切换：Quality-First、Balanced、Cost-Efficient三种预设模式无需重新训练，适合成本敏感的线上服务。
- 框架与规划器解耦，可作为可插拔的分配层加入现有Multi-Agent系统，不侵入内部模型，也能集成数据集提供的分解步骤或基于LLM生成的依赖图，对搜索、Agent系统的容错调度有借鉴意义。
贝叶斯稀疏低秩适应实现大语言模型不确定性估计
🧭 LoRA 变分贝叶斯稀疏训练 · 不确定性校准
Jilin University · Michigan State University
在LoRA的秩维度上施加随机掩码实现变分贝叶斯稀疏化，高效校准LLM推理置信度
📌 工作参考价值（4 点）
- 电商/推荐系统中用 LoRA 微调 LLM 做预测时，可直接引入秩维度的随机掩码（如训练时 Dropout 某个 rank component）来抑制过自信，无需修改模型主体。
- 将 DALorRA 的变分贝叶斯训练视为一种轻量集成：推理时多次随机采样子 rank 结构取平均，低成本获得校准后的预测分布，适合线上需要可信度打分的场景。
- 该工作验证了在仅操作 LoRA 参数的情况下即可实现有效校准，对线上部署友好，可避免昂贵地维护多个模型副本。
- 方法简单、即插即用，可直接嵌入现有的 LoRA 微调流程（如广告预估、搜索相关性判断等分类/回归微调任务）获得置信度更可靠的输出。
基于神经元感知的无标注自蒸馏数据选择方法
🧭 无标注LLM自蒸馏与数据选择
University of Pittsburgh
通过神经元激活筛选无标注数据和构造上下文，实现无监督LLM自蒸馏，提升领域性能且保持泛化
📌 工作参考价值（4 点）
- 可利用神经元激活计数筛选模型易答对的未标注样本进行自训练，降低电商/推荐领域高质量标注依赖。
- 通过神经元激活重叠度检索少样本上下文构造教师提示，提升伪标签质量，可借鉴到LLM生成式推荐的教师模型构建。
- 采用逆向KL蒸馏 + EMA教师稳定训练，避免校准崩塌，适合需校准概率的推荐场景（如CTR预估）。
- 纯离线、无奖励信号的迭代框架，适合无在线交互的广告/搜索系统日志后训练。
扩展会改善基于LLM的社会模拟吗？
🧭 社会模拟扩展定律评估
Stanford University · Open Athena
发现LLM社会模拟在多数任务上随规模改善，但行为偏差校准等任务不随扩展改善
📌 工作参考价值（4 点）
- 1. 当用LLM模拟用户行为（如点击、购买）做离线评估时，扩大模型可提升主流用户群的模拟准确度，但小众群体或风险偏好等认知偏差校准不会随规模改善，需额外校准或引入心理学模型。
- 2. 纵向用户兴趣预测扩展缓慢，若用于推荐系统中的长期用户建模，应结合真实行为序列，不宜单纯依赖大模型模拟。
- 3. 可利用本文的分层评估思路：对多数群体用大模型模拟生成训练数据，对少数群体做针对性数据增强或微调。
- 4. 行为模拟中的认知偏差问题提示：大模型未必自然具备人类的非理性决策（如从相关任务学习奖励），在强化学习环境或Agent模拟中需显式设计偏差机制。
获取前须知：检索增强生成中校准的检索预算分配
🧭 自适应检索预算分配 · RAG 校准
University of Maine at Presque Isle · Stanford University · Independent Researcher
为 RAG 提出校准概率接口，依置信度分配检索预算（闭卷/紧凑/完整/弃答），实现延迟与准确率权衡
📌 工作参考价值（4 点）
- 在检索增强的推荐或搜索系统中，可以根据模型置信度自适应调整检索深度（如仅用闭卷回答或检索少量文档），节省计算资源并减少延迟。
- 将序列对数概率等不确定性信号校准为正确性概率，用于选择性召回或拒绝回答，避免低质量输出影响用户体验，尤其适合高可靠性要求的排序或问答环节。
- 提供校准后的概率接口，允许系统在延迟和准确率之间显式权衡，可通过设置不同阈值适应不同场景（如高吞吐的广告检索与低延迟的在线推荐）。
- 离线校准步骤（如 Platt scaling）能大幅降低预期校准误差（ECE），直接移植到电商 RAG 管道中，提升检索决策的可靠性。
CalVerT：用校准验证遥测增强智能体，改进知识密集型任务行动与学习
🧭 Agent校准遥测改进检索决策
The University of Texas at Austin
给智能体状态加入校准自置信和接地验证分数，纠正过度信任参数知识与冗余检索
📌 工作参考价值（4 点）
- 在购物助手、搜索Agent等场景，可引入类似双信号状态：用模型对候选答案的校准置信度（如 p(true)）和检索片段对答案的支持度（grounding verifier）作为决策依据，减少幻觉和无用检索。
- 无需重新训练即可将遥测信号接入现有Agent框架（如 ReAct、RaR），只需在 Prompt 或状态中附加这两个分数，即可立竿见影提升回答准确率并节省检索成本。
- 当业务场景面临“模型太自信却答错”或“反复查询知识库却已有充分信息”时，可借鉴该工作设计决策规则：当置信度低且接地分低时触发检索，当两者都高时直接回答。
- 若后续采用强化学习微调Agent策略，将遥测信号作为状态特征加入，能进一步优化决策，此思路可直接复用于电商对话Agent的检索策略训练。
分布偏移下校准混合专家模型
🧭 分布偏移下 MoE 校准
Johns Hopkins University
证明硬路由 MoE 的专家级校准在分布偏移下仍能保证全局校准，而软路由不成立，并提出对抗重加权提升校准-准确率权衡
📌 工作参考价值（4 点）
- 推荐/广告系统常面临分布偏移（促销、季节、新用户群），使用 MoE 结构时可直接借鉴本文结论：硬路由下只需校准各专家即可保证整体概率可靠性，工程实现更轻量。
- 若业务需软路由以获取更平滑的专家组合，可用提出的对抗重加权损失（惩罚偏移下的路由聚合校准误差）微调模型，尤其适合高价值子集（高消费用户、长尾物品）上的概率估计优化。
- 广告出价、CTR 预估对概率校准极其敏感，该方法在不牺牲精度的前提下提升 ECE，可直接集成到训练 pipeline 中，作为辅助损失项。
- 在 Agent 多智体或任务路由场景，不同专家处理不同意图/域，分布偏移常见，本文的理论分析和训练技巧可指导路由策略选择与校准保障。
多智能体协议中基于聚合置信度信号的可靠估计
🧭 多智能体系统置信度估计与聚合
University of Illinois Chicago
首次为多智能体辩论系统设计聚合置信度，通过可比性转换与贝叶斯融合显著提升判别力
📌 工作参考价值（4 点）
- 电商搜索/推荐中的多Agent协同（如Query理解、商品召回）可借鉴软投票或贝叶斯融合聚合各Agent置信度，用于触发人工审核或自动路由决策
- 置信度转换（使输出概率跨模型可比）的思路可直接用于解决异构模型协作时的分数对齐问题
- 参数与非参数校准实验显示校准主要提升决策正确率(F1)，若业务目标侧重可靠筛选(AUARC)则可放松校准需求，节约计算
- 生成式推荐中使用多模型辩论生成商品描述或解释时，聚合置信度可作为生成内容的可靠性指标，辅助过滤低质量输出
AI 代理的战略决策支持：何时独自行动，何时寻求帮助
🧭 AI Agent 决策支持与自适应支持调用 ★ 深度解读
University of Pennsylvania
提出在线自适应算法 SOS，以最小化支持调用次数同时保证反事实漏支持误差可控
📌 工作参考价值（4 点）
- Agent 工具调用的成本控制：在电商推荐、客服等 Agent 系统中，外部工具（数据库、知识库、人工审核）调用成本高，SOS 算法能自适应学习何时真正需要工具，使支持调用率大幅低于 LLM 自主决定基线，同时维持相同或更低的漏支持错误率，可直接嵌入 Agent 推理循环。
- 在线校准与反事实反馈：当反馈只能选择性获得（即只有调用支持时才得知其是否必要），随机探索+重要性加权更新阈值的机制可用于推荐系统中延迟或部分可观测的指标优化，例如判断何时需要人工审核高风险的推荐结果。
- 与现有 LLM 训练解耦的监督层：该框架作为无模型修改的外层监督，适用于任何黑盒 Agent，无需重训或微调 LLM，即可在线上实现错误率可控的支持决策，适合快速叠加强化已有 Agent 的可靠性。
- 分数设计启示：实验表明使用表示学习的参数化分数（线性探针、锚定分数）比纯置信度分数更稳定高效，尤其在初始信号不可靠时，可通过在线校准逐步改善分离度，为设计 Agent 中的支持价值估计函数提供实用参考。
ToolRec：面向设备助手的校准偏好对齐查询推荐
🧭 查询推荐 · 偏好对齐 · 点击率优化
Huazhong University of Science and Technology · OPPO AI Center
提出双层校准机制与加权KTO，在OPPO小布上显著提升工具调用查询的CTR和总点击量
📌 工作参考价值（4 点）
- 双层点击校准可迁移至电商行为建模：根据用户活跃度（浏览/加购/购买频次）分桶校准点击权重，减少沉默用户噪声；同时对工具型行为（如领券、收藏、直达搜索）提权，强化可执行动作的引导，提升转化率。
- 样本级加权KTO简化偏好对齐：无需构造正负样本对，直接利用隐式反馈（点击/未点击）和校准权重优化LLM，适合电商推荐中大量单点隐式反馈的排序或查询生成场景。
- 工具检索增强的查询生成范式：预先构建系统工具库（如加购、下单、查物流），在生成推荐查询或广告文案时，通过检索确保可执行性，避免“不可点击”的无效推荐，可直接嵌入对话Agent或多任务推荐系统。
- 在线A/B验证的实用迭代思路：工作已在亿级月活平台验证，证明在校准后的偏好信号上做对齐，能同时提升CTR和总点击量，为相关业务提供了可直接参考的离在线优化路径。
DeepWeb-Bench：需大规模跨源证据与长程推导的深度研究基准
🧭 深度研究智能体评估与诊断 ★ 深度解读
Peking University
提出一个包含矩阵任务、溯源记录和校准维度的深度研究基准，揭示检索非瓶颈、推导与校准才是主要挑战。
📌 工作参考价值（4 点）
- 电商/市场分析Agent构建：可复用矩阵任务格式（实体×分析维度）和四能力（检索、推导、推理、校准）设计，用于自动生成竞品报告或行业分析。
- 信息抽取可靠性：引入源溯源等级（T1-T4）和跨源一致性检查，可作为电商知识库或RAG系统的证据可信度评估模板，减少幻觉。
- 工程实现启发：发现检索并非瓶颈，应重点投入多步数值组合与校准逻辑，例如在推荐系统的归因分析或财务推演Agent中显式要求推导步骤。
- 领域专长差异：模型在不同品类表现差异大（相关仅0.61），提示为细分场景（如新能源车、芯片）定制微调或专用提示链，而非通用方案。
Nexus：多智能体时间序列预测框架
🧭 Agent ★ 深度解读
Google · Pennsylvania State University
通过宏微观双分辨率预测与动态校准，Nexus 多智能体框架在零样本预测中超越专业时序模型，并输出可解释推理。