MetaRubric：面向 Rubric RL 的奖励学习
🧭 LLM RL · 奖励学习与 Rubric 自适应
NTU Singapore
提出 MetaRubric，交替证据感知策略优化与响应引导的 Rubric 自适应，解决 Rubric RL 的虚假信用问题，在医学 QA 上超越静态 GRPO
📌 工作参考价值（4 点）
- 在用 LLM-as-judge 对生成内容（推荐理由、广告文案、Agent 回复）按 rubric 打分时，注意“虚假信用”风险：模型可能未包含要求的实体、动作或信息却获得高分。可增加证据感知的检查层：匹配响应中是否出现支撑某 criterion 的关键短语/实体/工具调用，否则该 criterion 记零分或低权重。
- 构建反事实 prompt 校准 rubric：电商场景可修改商品关键属性（价格、库存、适用人群）生成反事实问题，让 rubric 对上下文事实敏感，避免通用 rubric 给出与事实不符的高分。
- 采用“策略优化 ↔ rubric 自适应”交替训练：定期用线上 badcase 或当前策略响应更新评估 prompt 和 rubric 的 criterion 权重，形成闭环，提升后续 RL 训练的奖励质量。
- 证据感知的奖励塑形可减少 reward hacking：仅当生成内容包含支撑证据时才给予 partial credit，能降低模型用套话或格式正确但信息缺失的响应骗取高分的概率。
Stageboost：基于反事实估计的商品详情页信号推荐模型
🧭 电商信号推荐 · 反事实估计
eBay India · eBay Israel · eBay USA
eBay利用两阶段XGBoost反事实估计在商品详情页优化信号展示，GMB提升0.08%
📌 工作参考价值（4 点）
- 借鉴反事实估计校正信号展示偏差：记录信号曝光与转化数据，用IPW/DR等方法估计每个信号对转化的因果增益，而非简单看CTR，避免位置偏差误导。
- 两阶段解耦价值评估与组合优化：先独立预测信号收益，再在placement容量约束（如Urgency最多1个，Conversational最多2个）下求最优组合，提升可解释性和工程可控性。
- 对高客单价商品强化信号推荐：实验表明高平均价格商品转化提升显著，可针对此类商品增强信任/紧迫感类信号（如库存、退货政策）的投放。
- 工程上采用XGBoost，训练快、可解释，适合电商大规模候选信号的线上快速迭代。
CROP：基于反事实的任务相关性用于选择性在线蒸馏
🧭 LLM 在线蒸馏中的 token 级样本选择
The University of Hong Kong
提出 CROP，通过反事实敏感性边际度量 token 级任务相关性，优化选择性在线蒸馏的监督分配
📌 工作参考价值（4 点）
- 在业务 LLM 蒸馏或微调中，可借鉴 CROP 对 token 级监督进行加权：仅重点关注与当前任务语义相关的 token，降低无关 token 的学习干扰。
- 利用构造「原始-释义-反事实」三元组来校准 token 敏感度，可用于评估指令中哪些部分真正驱动任务输出，辅助 prompt 精简或数据筛选。
- 方法不依赖外部标注，完全基于模型内部行为，适合线上持续学习或无法大量标注的推荐/Agent 场景。
- 可迁移到生成式推荐，例如对用户 query 或 item 描述生成时，判断哪些 token 影响最终推荐结果，提升蒸馏数据质量。
超越充分性：基于反事实必要性的时间序列解释框架
🧭 时间序列解释 · 反事实必要性
University of Bristol
提出 TimePNS，利用反事实干预量化时间序列解释的必要性，过滤虚假子序列，提升解释保真度
📌 工作参考价值（3 点）
- 针对用户行为序列推荐模型的可解释性，可借鉴两步设计：先学习充分性掩码，再利用反事实干预剔除噪音行为，识别真正驱动推荐的关键交互。
- 在广告点击序列归因中，用必要性信号替代纯充分性打分，有助于排除偶然关联的曝光，提升关键触点的定位精度。
- 整体框架与推荐场景差异较大，直接迁移成本高，更适合作为序列解释的理论参考。
BiPACE：基于双模拟引导与动作反事实估计的LLM智能体策略优化
🧭 LLM Agent 训练 · 分组策略优化
University of Chicago · Stanford University · The Hong Kong University of Science and Technology (Guangzhou) · University of Science and Technology of China · Meituan
用双模拟聚类和动作反事实基线修复步进分组RL的状态-动作信用失配，将ALFWorld验证成功率从90.8%提升至97.1%
📌 工作参考价值（4 点）
- 在训练对话式推荐、搜索 Agent 等多步决策模型时，可借鉴 BiGPO：使用 Actor 自身隐藏状态的余弦距离在线聚类，替代观测哈希，作为状态近似双模拟关系，大幅减少孤立组，增强组内信号，适用于并行采样多条轨迹的在线训练。
- PACE 的动作反事实基线：在行为簇内用动作条件化的均值作为基线计算 Q(s,a)-V(s) 风格的优势，避免将状态价值误归因给动作，适用于推荐 Agent 中相似状态下不同动作（如提问、推品）的精确信用分配。
- 方法无额外 Critic 网络，只需存储 rollout 中的隐藏状态和分组信息，额外开销仅 11.3% 训练步长，工程实现轻量，可直接替换现有 stepwise GRPO/GiGPO 的优势估计器，提升长程任务成功率。
- 限制：依赖多条并行轨迹构建分组，若系统仅支持单轨迹在线学习，需做适配；但批量离线训练或仿真交互场景可直接受益。
模态感知身份构建与反事实结构学习实现无ID多模态推荐
🧭 生成式推荐 · ID-Free 多模态 · 反事实学习 ★ 深度解读
Hubei University · Wuhan University
通过动态模态感知位置编码和反事实图结构学习，大幅提升无ID多模态推荐的语义表达和长尾覆盖
📌 工作参考价值（4 点）
- 模态感知位置编码（MAIC）：用文本和视觉语义生成门控，动态调制位置编码，使ID-free表征具备内容感知性。可直接用于生成式推荐的身份构建，用商品图文特征调整区分信号，增强冷启动物品泛化。
- 反事实图增强（CSL）：通过流行度惩罚选取低曝光但语义相似的邻居，构建反事实图，缓解流行偏差。适合电商长尾商品发现，可嵌入现有GNN推荐管线，改善推荐多样性和公平性。
- 自监督结构对比：跨层对齐和去耦判别损失稳定低曝光语义结构在多层传播中的保留。该trick可迁移到任何图学习推荐模型，增强结构鲁棒性。
- 多模态融合权重调优：不同品类（如服装vs宠物）文本/视觉门控融合比例需单独优化，提示工程落地时宜按业务场景自适应调整多模态贡献。