AskStream：流式视频理解不确定性下何时与如何主动提问
🧭 多模态流式视频主动交互智能体
Institute of Automation, Chinese Academy of Sciences · Beijing Academy of Artificial Intelligence · Hunan Normal University · Minzu University of China
引入主动 ask 动作的流式视频理解基准，评估模型在视频与用户不确定性下的提问与回答策略
📌 工作参考价值（4 点）
- 在电商直播、视频客服等流式交互场景中，可把 Agent 的动作空间从 wait/answer 扩展为 wait/ask/answer：当模型对用户意图或视频内容置信度低时，主动发起澄清问题，避免停止等待或生成幻觉答案。
- 参考 AskStream 的帧级时间窗标注，把“何时提问”建模为序列决策问题；在真实流式视频数据上标注每一帧或每一时间窗应执行 wait/ask/answer，用于训练主动交互策略。
- 设计类似 Ask-F1 的评估指标，同时考虑回答质量、提问代价与等待收益，而不只看最终答案准确率；在推荐/广告交互中可迁移为“澄清问题的性价比”，平衡打扰率与信息增益。
- 落地成本提示：该基准集中于视频理解，工业界需先构建领域内不确定性标注，但可复用其问题定义与评测框架来低成本启动。
准确但不谦逊：评估知识冲突下 LLM Agent 的认知谦逊
🧭 Agent 评估 · 知识冲突与不确定性
Johns Hopkins University · New York University
提出 ISE 轨迹级评估框架，发现高准确率不必然伴随认知谦逊，模型干预提升谦逊常损失准确率
📌 工作参考价值（4 点）
- 在电商 RAG/Agent（商品问答、智能客服、选品助手）中，除最终准确率外，增加轨迹级 ISE 指标：是否识别冲突、是否尝试二次检索/对比解决、是否对未解决冲突升级给用户或人工；可在日志中埋点监控。
- 构建对抗性评测集：故意注入与模型参数知识矛盾的商品属性、库存、价格信息，或构造两个上下文来源不一致的场景，检验 Agent 是否静默覆盖冲突，而不是只测端到端准确率。
- 多步 Agent 流程中，早期检测到的冲突常在后续被覆盖；可在每步状态维护“未解决冲突”列表，并在最终回答前强制检查，或用 memory 保存冲突标记，要求输出时带上 caveat。
- 强制模型输出不确定性可能降低任务完成率，建议按业务风险分级：高合规/价格承诺场景启用强制谦逊与升级，低风险推荐场景只做日志监控。
MURAL：基于自适应边学习的多模态不确定性感知推荐
🧭 多模态推荐 · 动态图与不确定性融合
American University · Ulsan National Institute of Science and Technology · Michigan State University
用动态自适应边学习和不确定性感知融合，解决多模态推荐静态图与噪声融合瓶颈
📌 工作参考价值（4 点）
- 动态边学习替代静态 item-item 相似图：推荐系统里用可微检索 + ANN 实时构建 item 图，能跟随用户行为变化，O(N log N) 复杂度适合大规模商品库。
- 不确定性感知多模态融合：对商品标题、图片、视频等模态建模 aleatoric uncertainty，动态降低噪声模态权重，在 UGC 素材质量参差时提升稳定性。
- Teacher-student 对齐到行为信号：将多模态表征蒸馏到协同过滤表征，用点击/购买等行为 anchor 做对比学习，避免模态噪声破坏协同信号。
- 鲁棒性与可解释性：在数据缺失/损坏场景下有效；通过模态权重可解释垂直域依赖，如时尚重图、电子重文本，便于业务沉淀特征优先级。
大型发现模型：基于实证的模型驱动开放式搜索
🧭 LLM + 贝叶斯代理模型开放式搜索
University College London · The Hong Kong University of Science and Technology (GZ) · Institute of Automation, CAS · Jilin University · AI Lab, The Yangtze River Delta
耦合 LLM 生成与贝叶斯非参代理模型，用不确定性值引导候选生成与筛选，实现开放式搜索性能大幅提升
📌 工作参考价值（4 点）
- 借鉴「LLM 生成 + 非参代理模型」的架构：在电商搜索/推荐里，可让 LLM 生成候选商品描述、广告创意、Query 改写等，同时训练一个轻量 Bayesian surrogate（如 GP/随机森林）预测效果并输出不确定性，不依赖 LLM 自评/概率作为可靠打分。
- 用 uncertainty-aware value 做候选筛选：例如生成多个广告文案或推荐理由时，按 surrogate 预测的 CTR/CVR 减去不确定性惩罚选择，可平衡探索与利用，降低对冷启动或分布外候选的误判。
- 持续更新 discovery memory 与 surrogate：每个线上实验反馈（点击、转化）实时更新代理模型和记忆池，使候选生成越来越符合业务目标；类似在线贝叶斯优化，适合迭代优化推荐策略或创意素材。
- 注意资源：LLM 生成多个候选成本可控，但每次实验反馈更新 surrogate 需要在线训练或增量更新方案；可参考论文中非参模型的选择，探索轻量实现。
视觉语言模型在视觉缺失或被误导时的行为评估：科学图表基准
🧭 VLM 不确定性行为评估与基准
University of Aberdeen, UK · International Institute of Information Technology Hyderabad, India · University of Technology Nuremberg, Germany · University of Southern California, USA
提出 SciFigBench 与 A-R-I 框架，系统评估 VLM 在科学图表上的不确定性行为，揭示高精度不等于高可靠性
📌 工作参考价值（3 点）
- A-R-I 框架可改造成多模态商品理解质检：当商品图模糊、文字遮挡时，模型是否应承认“看不清”而不是编造卖点；可设置 blur/裁剪变换 + 强制确认 unreadable 区域，评估模型在低质量图片上的拒答率。
- resistance probes / caption-bias probes 可借鉴为“图-文不一致”检测：商品主图与标题/卖点描述冲突时，模型是否会被营销文案带偏？可构造对抗样本测试多模态推荐/审核模型的抗误导能力。
- 将“高感知精度≠行为可靠”的结论用于模型选型：在商品图 OCR、广告素材审核等场景，除了 accuracy，还要看 hallucination rate 和 uncertainty admission，类似 Gemini 3.1 Pro 在阻力分数上表现更强，可能更适合需要安全拒绝的业务。
LoRA空间中低损失谷的构建及其对贝叶斯推断的意义
🧭 LLM微调 · LoRA贝叶斯推断
HTWG Konstanz · LMU Munich · Munich Center for Machine Learning (MCML) · TIDIT.ch
提出分段贝塞尔曲线连接独立LoRA最优解，形成连续低损失谷，提升不确定性估计和功能多样性
📌 工作参考价值（4 点）
- 低成本贝叶斯集成：利用分段贝塞尔曲线在LoRA空间内连接多个独立微调点，只需少量曲线参数即可实现参数空间遍历，为推荐模型的多样性预测提供比传统deep ensemble更轻量的方案。
- 不确定性校准：通过沿低损失谷进行参数扰动（结合flat-minima扰动）生成多样化预测分布，可直接用于电商搜索/推荐场景的置信度估计，缓解过度自信。
- 功能多样性正则化：引入Jensen-Shannon散度正则项鼓励不同曲线点的预测差异，可迁移至多任务推荐模型训练，促进多专家或子网络的功能多样化，提升集成互补性。
- 连续模式连接优于离散集成：实验表明线性插值遇损失障碍，而曲线版连续路径有效，提示在LoRA微调推荐大模型时，应避免简单参数平均或独立集成，可采用路径化方法获取更平滑的不确定性面。
软专家：基于α-Rényi集成的LLM不确定性感知后训练
🧭 LLM后训练集成与不确定性量化 ★ 深度解读
Imperial College London · Bessemer AI
用α-Rényi损失在经典变分贝叶斯和预测导向后验之间插值，训练一组互补LoRA专家，通过软路由实现专业化与不确定性量化。
📌 工作参考价值（4 点）
- 冲突目标解耦：在电商推荐等多目标场景（点击、转化、多样性彼此冲突），可训练多个LoRA适配器，用α-Rényi目标软路由不同用户或样本到不同专家，避免单模型折中，提升整体效果。
- 数据污染防御：α-Rényi责任权重会自动将异常样本（如刷单、错误标注）的路由集中在少数粒子，隔离对干净模型的梯度影响，提供一种低成本集成鲁棒性。
- 不确定性辅助决策：在Agent任务或敏感推荐中，利用粒子间预测分歧（如方差）估计认知不确定性，在不确定时触发人工审核或保守策略，实现可靠部署。
- 低成本集成与特化：共享冻结基座模型，仅训练LoRA副本，通过调整α（甚至动态调整）控制特化程度，在治理冲突时兼顾个体质量和集成多样性，适合资源受限的线上系统。
带有学习可靠性的过程奖励模型
🧭 过程奖励可靠性建模与自适应推理
Washington University in St. Louis · Singapore University of Technology and Design
BetaPRM 预测步骤正确概率和该预测的可靠性，并利用可靠性信号实现自适应计算分配，减少推理 token 消耗
📌 工作参考价值（4 点）
- 在 Agent 多步决策中，使用 Beta 分布建模每步奖励的可靠性，避免单点奖励误导决策，增强动作选择的可信度。
- 对于生成式推荐候选集选择的 Best-of-N 推理，可借鉴自适应计算分配（ACA）：根据可靠性提前终止高置信候选，将计算资源集中到不确定的候选上，显著减少 LLM 调用成本。
- 训练 PRM 时，不再回归有限样本成功率，而是采用 Beta-Binomial 似然直接学习 Beta 信念，输出不确定性，这对排名、过滤等下游任务更友好。
- 在需要对中间结果（如 query 重写、解释生成）打分的系统中，可引入可靠性阈值控制，避免过早丢弃潜在正确但暂时评分偏低的步骤。
暂停与反思：思维链推理的共形聚合
🧭 Reasoning
用加权分数聚合与共形风险控制，在有限样本保证下控制自信错误率并提升选择性准确率