CRAMER：基于请求感知掩码的推荐模型编辑控制
🧭 请求感知序列推荐 · 参数掩码控制 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · Faculty of Computer Science, Dalhousie University
用稀疏行-列参数掩码将自然语言请求即时作用于冻结的序列推荐骨干，避免重训与 LLM 推理开销
📌 工作参考价值（4 点）
- 借鉴掩码控制冻结骨干的架构：电商/推荐场景中，用户对推荐结果的即时反馈（如“不要太贵的”“更休闲”）可以用参数掩码在推理时快速调整模型，无需重新训练或部署多套模型；尤其适合已有大规模 Transformer 排序/召回模型。
- 用结构化行-列门控降低控制维度：不要对每个参数单独 mask，而是对矩阵行/列做门控再外积得到 entrywise mask，参数量从 O(d²) 降到 O(d)；配合 Gumbel-Top-k 实现 k-hot 稀疏，平衡表达力与开销。
- 工程实现可复用：请求文本经 PLM 编码 + mean pooling 得到语义向量 → 线性层投影到 gate logits → 离散采样得到 mask；训练只更新投影层和可选的部分 PLM，推理只多一次轻量前向，适合集成到现有 serving 系统。
- 超参数与模型选择：drop ratio 在 0.10 左右最优；小数据集需要更稀疏（更大 drop ratio）防过拟合；请求编码器用 ModernBERT 或 RoBERTa 比 MiniLM 效果好，可根据数据集规模选择。
CritICL：利用小模型失败模式实现推理时弱到强泛化
🧭 推理时弱到强泛化 · 失败模式检索 ★ 深度解读
The Ohio State University · Princeton University
用同家族弱模型失败模式构建离线批判库，推理时按失败模式检索注入大模型，单次生成匹配多次采样性能
📌 工作参考价值（4 点）
- 建立业务侧“失败模式 CritBank”：用较小/便宜的模型或线上历史 badcase 生成错误响应，由强 LLM 离线标注失败类型和纠正说明；在 query 理解、商品属性抽取、推荐理由生成等任务中，把失败模式预测或静态画像作为检索键，从库中取示例注入 prompt，减少在线多路采样成本。
- 检索键从语义相似度改为失败模式/错误类型：实验显示比随机、固定、语义相似度检索高 4-6 个点；推荐场景可先预测用户/物品/请求的易错标签，再召回对应纠错示例，比只找相似 case 更直接规避模型系统性错误。
- 同模型家族多尺度失败分布稳定（Spearman 0.88-0.91），聚合多个弱模型比单一弱模型更贴近大模型；在模型升级或蒸馏时，可以用同架构旧小模型收集错误，指导新大模型上线前的 prompt 防御性设计或 few-shot 示例库构建。
- CritICL-static 只需单次生成即可达到 Consistency@5 效果，总 token 远低于 self-reflection 和 LLM-as-judge；适合线上延迟敏感、需要快速推理的 Agent 链路，也说明离线构建错误知识库比在线多路验证更划算。
D3ER：基于解耦与蒸馏动态集成的多模态推荐
🧭 多模态推荐 · 动态集成与知识蒸馏
Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences
首次将梯度提升引入多模态推荐，交替学习模态同质与异质判别信息，并以知识蒸馏和全局校正正则增强集成
📌 工作参考价值（4 点）
- 多模态商品/内容理解中，显式拆解“跨模态同质判别信息(HOI)”与“模态特有异质判别信息(HEI)”，分别建模再动态集成，可避免单一联合表示的内部冲突，适合电商图文/短视频/标题等多模态商品表征。
- 借鉴 gradient boosting 的交替训练与样本聚焦思路：轮换训练不同专家模型，让各模型专注处理自己擅长的样本（如视觉突出 vs 文本突出），后续以动态 ensemble 融合，提升整体排序效果。
- 多个专家模型上线成本高时，可用 knowledge distillation 把多专家集成知识迁移到单一轻量 student，保留集成增益的同时降低存储/推理开销，适合推荐系统线上 serving。
- global correction regularization 可作为防止交替训练陷入局部最优的通用正则，迁移到其他多任务/多专家训练框架中。
大语言模型的数据引用：一个开放挑战
🧭 数据引用与溯源 · LLM
University of Padua
提出 LLM 数据引用三方向：训练数据归因、推理时数据引用、知识图谱事实引用，与文档级引用 grounding 区分
📌 工作参考价值（3 点）
- 在 RAG 或 Agent 工作流中，引用源不能只给文档块/URL，应设计数据引用层：对商品表、用户行为聚合、知识图谱三元组等结构化/半结构化数据，记录 dataset+subset+query+version+timestamp 等固定性信息，避免引用粒度太粗导致无法复现。
- 训练数据归因（如 influence functions、TRAK）可转化为数据贡献报表，用于合规审计、数据合作方结算；电商推荐模型若用外部数据或用户数据，可借此评估哪些训练集对模型行为影响大，平衡数据收益与版权风险。
- 引用 KG 事实时，要把三元组（s,p,o）作为可引用单元，并沿 provenance 传播 credit：例如商品知识图谱中一个属性值来自某供应商，生成推荐解释时应溯源到具体三元组及其上游来源，增强可解释性和信任。
电商搜索中长期用户价值建模的直接因果效应优化
🧭 电商搜索 · 长期价值建模 · 因果优化 ★ 深度解读
Taobao & Tmall Group of Alibaba
用 actor-critic 直接优化代理指标对长期 GMV 的相对因果效应，学习个性化 item 级融合分数
📌 工作参考价值（4 点）
- 用相对因果效应替代预测关联做跨粒度对齐：不要只学「代理指标能预测长期目标」，而是学「代理指标上升时长期目标上升多少」。在业务里可以把 critic 对干预前后的预测差作为训练信号，减少纯相关性代理带来的误导。
- actor 输出融合权重而非直接输出分数：让 actor 从用户/请求特征生成多个上游预测分数的凸组合权重，既保留可解释性，又稳定优化。在线只部署 actor，把学习到的代理分数作为新增项加入现有排序公式，原有权重不动，风险可控。
- 用户级聚合要做曝光次数校准：代理指标按用户聚合时，不同用户曝光量不同会带来混杂。固定参考曝光次数并用校准模型做归一，能更干净地刻画代理指标与长期目标的关系。
- 加条件归一化排序损失作为正则：因果效应损失非凸不稳定，可以加一个把代理指标和长期目标归一化到同一分布后的 pairwise ranking loss，提升训练稳定性，类似业务多目标融合里可以复用。
EditaLive：面向直播的统一人物视频实时编辑框架
🧭 实时人物视频编辑 · 扩散蒸馏
University of Macau · vivo BlueImage Lab · GVC Lab, Great Bay University
基于外观-运动解耦蒸馏为两步采样器，实现14.47 FPS低延迟直播角色视频编辑
📌 工作参考价值（4 点）
- 直播电商的实时换装/虚拟试穿/人物特效可借鉴外观-运动解耦思路：用预训练图像动画模型作为基底，通过参考帧编辑+视频重建实现指令驱动编辑，同时保留原始动作与面部表情，减少不一致。
- 低延迟推理工程化：采用 aligned self-rollout distillation 将扩散模型压缩为两步采样器，结合固定 RoPE 与 align forcing 缩小训练-推理差距，可大幅降低生成式视频模型的推理成本，适配实时互动场景。
- 长序列流式生成中引入首帧保留稀疏注意力，过滤冗余历史信息、抑制外观漂移，适合直播等持续流式推理，可迁移到需要长时一致性的视频生成或序列建模。
- 指令编辑数据构建方法：通过参考帧编辑与视频重建自动生成 CharEdit-50K 数据集，可借鉴到电商商品换背景、模特换装等合成数据生成，降低人工标注成本。
概念瓶颈模型作为决策支持系统真的有效吗？
🧭 可解释AI · 人机协同决策
DISI, University of Trento, Italy · CIMeC, University of Trento, Italy
大规模用户研究验证CBM交互式概念修正仅在困难任务、易识别概念且主动交互下提升人机协同准确率
📌 工作参考价值（4 点）
- 把推荐/广告模型的中间表征改造成“可编辑概念层”：先预测一组业务可理解概念（如价格敏感、类目偏好、即时意图），再由下游策略/模型输出最终排序或文案；产品运营可纠正概念而无需懂特征，CBM 的用户研究表明这种交互式修正比仅展示解释更能提升人机协同准确率。
- 交互式概念修正不是万金油：论文发现增益只在任务被用户认为困难、概念容易识别且用户主动交互时出现。在电商场景，可优先用于高价值、高不确定性的推荐/投放决策（如大促选品、push 文案筛选），而不是所有流量都开放人工干预。
- 概念检测的准确性会直接影响信任：如果模型经常识别错概念，用户反而会不信任系统。部署前应评测概念层准确率、对齐业务术语，必要时展示置信度或“不确定”状态，避免误导运营。
- 对 LLM/Agent 方案，可将“reasoning/解释”视作 concept bottleneck：让 Agent 先输出可校验的中间意图或证据标签，再生成推荐/Query；同时提供人工修正这些标签的入口，借鉴该研究的用户实验设计做 A/B 验证。
候选供给与答案选择塑造多智能体系统中 LLM 评判价值
🧭 多智能体推理 · LLM 评判与终选 ★ 深度解读
Fudan University · Shanghai Jiao Tong University · Shanghai Academy of Artificial Intelligence for Science
将多智能体推理拆成生成-交流-终选，证明 LLM 评委价值随候选正确率、任务和生成器变化，混合频率与排名可救回少数正确答案
📌 工作参考价值（4 点）
- 在电商/搜索/Agent 工作流中，把「候选生成→交互/召回→终选」拆开埋点，重点统计正确/高相关候选是否已出现却被多数投票或流行度排序丢掉；先看生成供给，再优化选择。
- 多智能体集成或 LLM 终选不要只用多数投票：采用 answer frequency 与 judge rank 的 rank-power 加权（wi=(k-i)^t，t=2-4），可在固定候选池中救回少数高质量候选，本文提升约 7pp，适合小候选池和冷门但正确的商品/query 候选。
- LLM judge 不是静态能力：上线前用实际上游生成器的候选分布评估 rank AUC 与 pgen 的关系，监控低可用性区间可能低于随机；对高难度、冷启动或候选正确率很低的场景谨慎使用 judge。
- 算力路由：小候选集（k≤6）用 judge 比扩大采样更划算；大池且候选正确率较高时多数投票更稳，judge 边际收益下降甚至为负。可据此做动态选择策略。
J-Zero：从零数据实现 Challenger-Solver-Judge 统一协同进化
🧭 自进化 LLM 训练 · 多角色对抗协同
KAIST
提出 J-Zero 统一 Challenger-Solver-Judge 协同进化框架，以对抗自对弈和已知偏好对在可验证/不可验证域持续提升 LLM
📌 工作参考价值（4 点）
- 使用 Challenger 生成越来越难的用户 query/场景，Solver 学习响应，可构建推荐/搜索 Agent 的难例生成器，提升对长尾 query 和对抗性输入的鲁棒性，无需额外人工标注。
- Judge/Reward Model 训练用「生成结构保证偏序」的合成偏好对（如多步检索-重组答案 > 单步答案）替代自评或人工打分，减少 reward hacking 和噪声；推荐系统的 LLM 评估器可复用此思路。
- 零数据自进化闭环可迁移到电商冷启动或新品类：两个角色互相出题与作答，自动生成微调数据，缓解冷启动样本不足。
- 同时进化多个角色（Challenger/Solver/Judge）比单角色自训练更稳定，持续 10 轮不退化；在线推荐 Agent 持续优化时可借鉴此三模块协同更新机制。
基于 Agent 推理的长视频多镜头一致性编辑
🧭 视频编辑 · Agentic Reasoning
Nankai University · Tencent
提出 Agentic 框架结合 LLM 与 VLM，解决长视频多指令编辑中的跨镜头一致性、指令解耦与时空结构零破坏问题
📌 工作参考价值（4 点）
- 主要是视频编辑领域的学术贡献，与电商/搜索推荐业务直接关联较弱；但其中 LLM + VLM 协同的 Agentic 任务分解 思路可迁移到多模态商品视频/短视频生成审核：将复杂指令拆解为多个子任务，分别由 LLM 做指令规划、VLM 做视觉校验，提升生成内容的一致性。
- 提出的 Cross-Shot Editing Consistency (CSEC) 与 Zero-Destruction on Spatiotemporal Structure (ZDSS) 评估维度，类似推荐系统中“跨会话兴趣一致性”和“无侵入式推荐”，可借鉴其评估指标设计，度量多步交互或长周期推荐中的连贯性与非破坏性。
- 长视频分段处理中避免实体碎片化的思想，可用于电商详情页视频自动剪辑或广告素材拼接：根据实体分布动态切分而非固定时长，减少实体断裂。
- 整体业务可借鉴点有限，若团队涉及多模态内容生成或 AIGC 质量评估，可关注其 Agentic 编排与人工评估指标。
将科学论文展开为多轮生成轨迹用于继续预训练
🧭 合成写作轨迹 · 继续预训练 ★ 深度解读
ByteDance Seed · Nanjing University · Evolvent AI
把 arXiv 论文展开为“写作请求→全局计划→逐节思考→正文”多轮轨迹，构建 60B token CPT 语料，提升写作与长文阅读
📌 工作参考价值（4 点）
- 真实业务长文本可反向构造“写作过程”数据，不改写内容：电商商品详情页、广告落地页、搜索导购长文、Push 文案等结构清晰的长文本，保留原文为答案/正文，反向生成用户 request + 全局规划 + 每段写作前 deliberation，适合 CPT 或 SFT，能提升文案生成、摘要、长文阅读，同时把事实锚定在原文减少幻觉。
- 结构化文档拆成多轮轨迹，让模型学会规划与分段生成：按 section/block 拆分，在每段正文前插入 pre-writing deliberation，比“整篇+一段思考”更细粒度；对推荐理由生成、商品对比、报告生成等任务，可把商品参数、卖点、用户评论作为不同 section 来构造数据。
- 数据构造不依赖大模型，用 4B/9B 开源模型即可：论文显示 4B 生成器下游效果最好，且更难拟合的 synthetic data 更有训练价值；业务上可以低成本大批量生产 trajectory 数据，不必上最强 API。
- 评估也锚定 held-out 真实文本，并生成 rubric/checklist：可借鉴到业务评测：从近期未用于训练的真实商品/query/文章抽取，让 LLM 反向生成题目 + 评分规则，用代码可检查的 checklist 做格式/事实约束，配合 LLM judge 打分。
理解 LLM 推理中的进化策略：比 GRPO 更广的推理覆盖
🧭 LLM 推理后训练 · 进化策略 ★ 深度解读
Southern University of Science and Technology · National University of Singapore · Huawei Noah's Ark Lab · City University of Hong Kong · Harbin Institute of Technology, Weihai
系统分析 ES 与 GRPO 的推理后训练行为，发现 ES 保持更广推理覆盖、提升 Pass@K，大参数漂移不必然导致灾难性遗忘
📌 工作参考价值（4 点）
- 作为显存受限或长轨迹 Agent 微调的备选方案：ES 无需 backprop，只做前向 rollout，适合电商 Agent 长对话、多步工具调用。实现时务必对 population rewards 做 z-score 归一化，并使用 one-point estimator（两 point 在 regenerated reasoning rewards 上无增益），可节省一半前向成本。
- 若业务目标需要候选多样性（搜索推荐中的 query 建议、生成式推荐的多个 item 候选、push 文案多版本），考虑 ES 或 ES→GRPO 顺序训练：ES 保持探索，避免 entropy collapse，提升 Pass@K/覆盖率；再用 GRPO 强化单点准确率。已证明顺序混合可在 Pass@1 和 Pass@K 之间扩展 Pareto 前沿。
- 超参数 scaling：大模型（1.5B/3B）ES 用 N=16 即可接近 N=64 的效果，0.5B 需 N=32，说明模型越大所需扰动方向越少。业务上可先用小规模扫描 population size，以降低评估成本。
- 参数 drift 大不等于遗忘：ES 更新幅度远大于 GRPO（40 倍以上），但 held-out 性能保持甚至更好，主要更新集中在 LayerNorm 和 attention。持续学习场景下，可监控 held-out 任务，不必过度担心 drift。
LivingRAG：把可验证经验写入 Graph RAG 的在线复用框架
🧭 Graph RAG 在线经验复用 ★ 深度解读
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University · Hangzhou Innovation Institute, Beihang University
提出可写经验存储的 Graph RAG 框架，复用激活图和推理摘要，在多跳 QA 上提精度并降生成 token
📌 工作参考价值（4 点）
- 在线搜索/推荐会遇到大量『同模板不同实体』的 query，如『A 和 B 哪个更省电/更快』。可借鉴 masked template 相似度匹配历史问题的推理脚手架，只把摘要交给生成模型，不把历史实体直接注入召回，避免污染当前结果。
- 把历史 query 在图上的实体激活向量作为可复用先验：用当前 query 语义相似度 + 当前 base activation 与历史稀疏 activation 的 cos 相似度选 top-K，再融合到初始实体激活。电商知识图谱检索里可用它做 query 级 warm start，避免新 query 冷启动重新探索图邻域。
- 经验写入一定要有质量门：先 novelty 去重，再对答案提取原子 claims 用 NLI 做证据支撑检查。业务 Agent 记忆/知识库写入可参考这种『先廉价 novelty、后昂贵 NLI』的顺序，既省推理成本又避免错误经验被放大。
- 成本收益要区分 prompt/completion：经验复用会增加约 3.5% prompt tokens，但能减少 22.7% completion tokens、总 API cost 降约 12.1%。在生成成本远高于输入成本的 LLM 应用中，这种 trade-off 更划算；同时要注意经验增长，需设计过期、剪枝或 time-decay，动态商品/价格/库存场景更关键。
模态成熟度指数：评估全能模型多模态能力的基准
🧭 多模态 LLM 评估基准
Meta Superintelligence Labs
提出 MMI 基准和模态存在性得分 MPS，发现前沿多模态模型输出模态存在率仅 15.6-34.9
📌 工作参考价值（4 点）
- 在多模态 Agent 评估中引入「模态存在性得分」：先测量模型是否生成所需输出模态（图片/表格/音频等），再评估内容质量，可在工程链路早期暴露模态缺失问题，避免在不存在的内容上浪费人工评分。
- 对多模态生成任务，采用人工撰写每个输出模态的 rubric，再由 LLM judge 打分；论文显示与 rubric-blind 人类标注一致性约 70.8%，可作为电商导购/客服多模态输出评估的自动化基线，但需留意 Scott's π 仅 0.41，不能完全替代人工。
- 设计评测集时要求 prompt 自包含、明确期望的输出模态组合，可用于构建电商场景下多模态商品推荐、广告创意生成、客服回复的 benchmark；尤其适合评估模型是否按指令返回「商品图+文字说明」等组合。
- 当前前沿模型多模态输出模态存在性低，提示实际部署 RAG/Agent 系统时，不应依赖模型自主决定输出模态，而应在 prompt 或后处理中显式约束输出格式，例如强制返回图片、表格或语音。
MOTIF：动机引导的冷启动多模态推荐拓扑推断
🧭 冷启动多模态推荐 · LLM 语义拓扑重建 ★ 深度解读
Taiyuan University of Technology · Sydney Smart Technology College, Northeastern University, China
用离线 LLM 推理用户与商品动机，重建 item-item 图并做加权对比学习，显著提升冷启动多模态推荐
📌 工作参考价值（4 点）
- LLM 语义只做图重建，不做在线预测输入：业务中可以把 LLM 对商品/内容的功能、场景、人群、替换/互补关系推理离线缓存，转成 item-item 图边权或关系特征，避免 LLM embedding 与协同过滤 embedding 空间不一致带来的噪声，同时不增加在线推理延迟。
- 冷启动用户动机从训练可见历史生成：电商推荐中可用用户短期点击/购买商品的标题、图片、属性离线总结用户动机（如户外训练、礼品购买、家庭活动），作为召回或排序的辅助特征，不泄露测试集。
- 只扰动最后一层表示 + SE 门控的图对比学习：对于不确定性较高的重建边，相比全图扰动更高效、更鲁棒；可迁移到 GNN 召回、商品关系图学习，用 feature-wise gate 自动抑制噪声维度。
- 语义-结构对齐作为辅助损失而非直接拼接：将 LLM 语义向量投影到与图嵌入共享空间做对比对齐，最终主任务只用图嵌入，可解决多模态/文本特征与协同信号不对齐的问题，适合电商冷启动 or 新内容分发。