EII-SCL：利用情感惯性增强多模态对话情绪识别
🧭 多模态对话情绪识别 · 情感惯性
The Hong Kong Polytechnic University
提出情感惯性引导的监督对比学习模块，无需额外数据即可提升多模态对话情绪识别
📌 工作参考价值（5 点）
- 主要是学术贡献，但以下点可借鉴到对话式推荐、智能客服等对话系统中：
- 在对话状态追踪中引入情感惯性先验：假设用户情绪短期连续，可在特征序列上构建正负样本窗口，设计对比损失增强情绪特征一致性。
- 插件式模块设计：EII-SCL 作为即插即用的模块，可嵌入现有多模态对话模型（如多模态 RecBot），无需修改主网络结构。
- 无需额外标注：通过利用对话历史标签构造时序邻域样本，不增加标注成本，适合实际业务中标签稀疏的场景。
- 时序窗口对比方法可迁移到会话推荐：在序列推荐中，利用用户短期行为惯性构造对比样本，提升兴趣漂移建模。
适配嵌入模型用于智能体能力检索
🧭 Agent 能力检索 · 嵌入模型微调
University of Technology Sydney · Squirrel AI Learning
微调通用文本嵌入模型实现跨目录的 Agent 能力检索，并在未见数据集上验证迁移有效性
📌 工作参考价值（4 点）
- 电商功能/服务统一检索：将商品、工具、服务包装成“能力 profiles”，可用相同范式构建搜索引擎，统一索引异构货架。
- 元数据驱动的 embedding 微调：利用公开元数据自动生成能力描述，无需人工标注大量 query-item 对，可快速搭建新业务的检索基线。
- 跨域迁移的思路：先在一个可获取的源域（如开源 Agent 目录）微调，再部署到目标域（如内部工具/技能库），无需冷启动大量数据，验证了跨目录泛化可行性。
- 模型选择：BGE-base、KaLM-v1.5、EasyRec 等通用检索模型经微调后可用于垂直 Agent 搜索，为工业上选型提供参考。
核化线性注意力：用对称锥打破容量墙
🧭 高效线性注意力训练与推理
Department of Computer Science, University of Colorado Boulder
提出 KATA 框架，利用自对偶锥保证非负注意力权重，大幅提升线性注意力的联想记忆容量与吞吐量
📌 工作参考价值（4 点）
- 在用户长序列建模中可直接替换 softmax 注意力，KATA 的块状态形式和 O(log T) 深度扫描能将推理延迟降低一个数量级，适合稀疏行为序列的实时兴趣捕捉。
- 关联扫描（associative scan）和秩一 PSD 特征映射提供了一种参数高效的状态放大方法，可迁移到推荐系统的长程用户表征压缩，无需增加 KV cache 大小即可扩展记忆容量。
- 论文中的 Triton 融合内核实现（Flash-Attention 风格前向、块状态并行）可作为参考模板，优化现有推荐模型中的注意力层，特别是在 GPU 上处理超长序列时获得 2×-10× 的吞吐提升。
- 核特征映射的几何设计思路（Welch 下界、球形码）可用于生成式推荐的 Semantic ID 编码，提升 token 空间的容量与分辨力，缓解生成式推荐中的哈希碰撞问题。
HOMIE：多模态智能增强的人-物中心视频个性化
🧭 人-物交互视频个性化生成
Hong Kong University of Science and Technology
统一处理 inter/intra-subject 的视频个性化框架，通过 MLLM 全局引导注意力提升人-物交互保真度
📌 工作参考价值（4 点）
- 视频个性化在电商中可用于虚拟试穿或商品展示，该工作对人-物交互的可控生成有直接价值，尤其保持主体身份的同时实现合理交互。
- MLLM 融入自注意力的全局多模态引导方式可借鉴：在推荐系统中融合多模态特征时，可尝试在注意力层注入预训练多模态大模型的高层语义特征，增强物品与用户行为的对齐。
- 模态引用嵌入区分不同来源特征（如图像、文本、MLLM 特征），可迁移至多模态用户建模，显式编码不同类型行为序列的模态差异，提升特征融合质量。
- 对抽象概念（如品牌 logo）的自动关联方法，可用于商品属性与视觉风格的隐式绑定，增强生成式推荐中 semantic ID 的视觉化表达。
教智能体停止而不仅是点击：CUA-RL的可靠性度量
🧭 Agent强化学习的方差分析与可靠报告 ★ 深度解读
Cabal AI · Para AI
发现CUA-RL结果被上游方差（数据抽取为主）误导，提出k种子报告协议并揭示修复难度由动作约束决定
📌 工作参考价值（4 点）
- 强化学习训练与评估协议：在推荐/搜索/对话Agent的RL训练中，单次运行的结果不可靠。应采用≥5个独立数据抽取×多训练种子的交叉评估，报告平均数和标准差（或IQM及分层 Bootstrap CI），避免因数据批次差异导致错误结论。
- 统一验证器提升训练效率：将任务完成验证器复用于“提示、教师、奖励、部署门控”四通道，类似在推荐系统中构建自诊断模块，可同时用于在-上下文纠正、知识蒸馏信号、稀疏奖励塑形和在线安全检查。
- 引入行为克隆安装正向动作：当策略从未采样到正确动作（如停止、罕见推荐）时，纯策略梯度无法强化它。利用验证器的蒸馏项（gated BC）注入该动作，可解决稀疏/负奖励场景下关键动作难学习的问题，类似电商推荐中引入用户明确停止信号。
- 数据抽取比种子更关键：方差分解显示训练数据批次差异是效果波动的主要来源（困难任务上占48%方差），训练种子影响小（≤10%）。在推荐系统AB测试或离线评估时，应优先控制训练数据的划分方式，而非仅关注模型初始化。
LLM-as-a-Coach：面向非可验证任务的经验学习
🧭 LLM 后训练从标量奖励转向经验反馈
Microsoft Research · Tsinghua University · Peking University
将 LLM 评估从标量奖励升级为细粒度经验反馈，通过上下文蒸馏提升开放任务的后训练效果
📌 工作参考价值（4 点）
- 广告文案 / 推荐理由生成：将点击、转化等弱信号通过教练模型转化为细粒度的文本反馈（如“信息量不足”“说服力弱”），再用 EL 蒸馏优化生成策略，替代只优化点击率的标量奖励，能显著提升文案质量与多样性。
- 对话式推荐系统：在多轮交互中，用 LLM 教练对每轮回复进行多维度评价（相关性、说服力、个性等），作为经验知识输入策略模型，缓解纯奖励优化导致的单调回复或“套路化”问题。
- 反馈信号设计：借鉴 EL 的教练设计，将评分准则（rubric）的文本描述直接作为经验知识，无需额外训练奖励模型，适合电商场景中快速部署新产品推荐的文案评估。
- 工程实现：EL 的 on-policy 上下文蒸馏可通过偏好对（preference pairs）实现，与 DPO 流程兼容，避免复杂的 RL 基础设施，对线上系统实时更新更友好。
潜隐时钟：扩散语言模型中的隐式时间建模
🧭 扩散语言模型的可解释性分析
Sapienza University of Rome · EPFL · NVIDIA
发现无显式时间条件的扩散语言模型内部编码了隐式去噪时间步，可通过探针提取和方向操控来调制模型行为
📌 工作参考价值（4 点）
- 对于使用扩散模型生成推荐内容（如GenRec）的场景，可借鉴隐式时间步操控来动态调节生成的确定性与多样性：沿时间步子空间方向移动可改变模型置信度，实现从保守推荐到探索式推荐的切换。
- 工程实现上，可在推理时通过简单的激活向量加法（无须重新训练）来控制生成进度，用于A/B测试或个性化生成风格。
- 探针方法可用于监控线上模型的去噪状态，例如检测异常生成或提前终止去噪步骤以节省计算。
- 若将扩散步骤与推荐质量关联，可利用隐式时间步表征设计自适应调度策略，在低延迟场景下跳过部分去噪步骤。
SciForma：科学图表结构忠实生成框架
🧭 结构保真图表生成
Wangxuan Institute of Computer Technology, Peking University · State Key Lab of CAD & CG, Zhejiang University · Microsoft Research Asia
通过结构轴分解与多维度合取偏好优化，实现科学图表的结构忠实生成，超越开源模型与GPT-Image-1.5
📌 工作参考价值（3 点）
- 主要是学术贡献，对电商/广告/搜索推荐系统的直接迁移价值有限。
- 多维度合取偏好优化（M-DPO）可借鉴到推荐系统中平衡准确率、多样性、新颖性等多目标，强制同时达标，避免单一标量奖励忽视薄弱维度。
- 结构清单与迭代纠错的机制可迁移到 Agent 自动生成营销图文、技术架构图时的实时校验与修正流程。
WHALE：基于Wukong-HSTU的可扩展统一推荐架构
🧭 可扩展推荐架构 · 特征交互与序列建模统一 ★ 深度解读
Meta Platforms, Inc.
通过逐层注意力融合将Wukong特征交互与HSTU序列建模统一，实现可扩展的工业推荐模型
📌 工作参考价值（4 点）
- 逐层注意力融合设计：在排序模型中，不推荐简单的“先压缩序列再拼入浅层交互”方式，而是像WHALE那样，在每一层用特征交互的输出作为query去关注行为序列，让高阶交叉能反复检索细粒度历史证据，可移植到电商/短视频的候选感知历史建模。
- 注意力实现与效率优化：共享KV减少显存带宽；根据query长度与序列长度的不对称性动态选择query-parallel或KV-parallel的反向计算路径，提升吞吐；用shared-gate SwiGLU替换标准SwiGLU，FFN计算量降低33%。这些trick可直接用于自研注意力模块的加速。
- 消除CPU-GPU同步：在线推理中通过shape hint tensor避免动态形状导致的同步开销，单点可节省1~5ms延迟，适合对延迟敏感的大型排序模型。
- 统一架构的缩放收益：增加序列长度、模型深度和宽度均带来一致的离线收益，且在线主指标+0.113%仅付出5%吞吐下降，说明该架构在工业场景中具有成本有效的扩展性。
从模态到命题：以语言为中心的多模态统一框架
🧭 语言中心的多模态语义表示框架
NVIDIA · University of Ottawa
提出将任意模态数据表示为原子命题集合，通过全局语义码本实现可解释、可组合的跨模态理解与检索
📌 工作参考价值（4 点）
- 商品语义原子化：将商品的多模态信息（图文、视频）拆解为“材质:纯棉”“风格:通勤”“场景:办公室”等原子命题，构建可解释的商品语义空间，替代纯Embedding匹配，提升冷启动和可解释推荐。
- 结构化跨模态检索：在电商搜索中，用户自然语言查询可映射为原子命题集合，与商品的多模态命题袋进行精确匹配，支持“带兜风帽的羽绒服”类组合条件检索，解决传统向量检索难以处理的组合属性问题。
- 组合式推荐与解释：利用命题的布尔组合特性，进行复杂推荐逻辑（如“买过A+B的人还需要C”），并直接生成自然语言解释，适合作为推荐Agent的推理底座。
- 数据增强与冷启动：通过语义码本自动生成大量虚拟样本的命题表示，可用于新品类/缺样本场景的召回，避免对交互数据的强依赖。
低成本智能体建模：在笔记本上模拟大规模LLM智能体社会
🧭 LLM多智能体社会模拟 · 低参数代理模型
Independent Researcher, Tel Aviv, Israel
用低参数代理模型替代LLM智能体，仅需数百次查询即可在笔记本上模拟大规模智能体社会并预测误差趋势
📌 工作参考价值（3 点）
- 在电商/推荐系统的用户模拟或A/B仿真中，用几百条LLM决策样本蒸馏一个轻量行为克隆模型，即可在普通服务器上模拟百万级用户/Agent，成本降低几个数量级；尤其适合生成式推荐中评估策略的宏观指标（转化率、GMV、多样性）。
- 构造多智能体仿真时，先根据 agent 的交互阶数（是否只依赖历史均值等低阶统计量）与记忆长度预估替代误差的 N 缩放；若响应接近饱和或强曲率，需升级代理模型阶数或保留部分 LLM 调用，避免宏观结论失真。
- 把 LLM 决策策略蒸馏到小模型用于线上近线推理，可作为 Agent 策略降本方案；结合 error trend 先验判断哪些场景可以安全蒸馏，哪些需要保留大模型。
优化LLM生成式推荐中的文本解码Trie结构
🧭 生成式推荐 · 解码Trie优化 ★ 深度解读
Michigan State University · Snap Inc.
提出BONSAI框架，通过最小集合覆盖构建自适应、低分支的文本解码Trie，将推荐准确率提升最高21.6%
📌 工作参考价值（4 点）
- 解码Trie结构是性能瓶颈：不要只关注term ID的语义质量，Trie的分支因子和深度对束搜索成功率影响巨大，应联合优化。
- 用最小集合覆盖控制分支：在构建词典树时，每层用贪婪最小集合覆盖算法选择特征，能显著降低浅层分支数，提升束搜索命中率，可直接迁移到现有term ID方法（如表2实验，仅重组ID即提升7.7%~9.1%）。
- 让ID长度自适应物品语义丰富度：不必强制所有物品用固定长度ID，简单物品短路径、复杂物品长路径，能减少信息损失，对于冷启动物品和新品类尤其有效。
- 两阶段训练对齐多路径表示：SFT用最长ID作为目标，RL阶段直接优化束搜索下的推荐成功率，让模型学会利用同一物品的多条有效ID路径，适合处理物品有多个别名或关键词的场景。
蒸馏强化学习：将教师监督融入LLM后训练梯度
🧭 强化学习 · 知识蒸馏融合 ★ 深度解读
Nankai University · Zhongguancun Academy · Beijing Institute of Technology · Zhejiang University · Institute of Automation, Chinese Academy of Sciences
通过逆向重要性采样将教师知识注入RL梯度，实现选择性token级信用重分配
📌 工作参考价值（4 点）
- RL训练的教师信号注入：在推荐模型或Agent的RL训练中，可以用一个更强的教师模型对学生生成的序列进行token级重加权（教师/学生概率比），取代传统的KL散度模仿，避免无条件模仿导致的局部最优和模型坍塌。
- 负样本重置技巧：只在优势为正的样本上应用教师权重，负优势样本权重重置为1。在电商推荐场景中，可确保只从“好”的推荐路径中学习教师知识，避免在失败路径上模仿教师而遭受更大惩罚。
- 序列几何归一化：当学生和教师分布差异大时，教师对学生生成token的概率往往偏低，会导致乘积权重骤减，该方法除以序列内几何均值，仅保留相对偏好，稳定训练。尤其适用于跨模型结构（如不同推荐模型家族）的知识迁移。
- 跨模型家族鲁棒性：在师生模型结构差异大(如DeepSeek到Qwen)的蒸馏中，传统OPD容易失效，而Distilled RL仍能稳定提升效果，对需要混合异构模型推荐的场景有参考价值。
贝叶斯提示优化：基于并行回火梯度引导离散MCMC的后验采样
🧭 LLM Prompt 优化
Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University
将提示优化建模为离散提示令牌上的贝叶斯后验采样，用梯度引导MCMC与并行回火提升指令归纳准确率
📌 工作参考价值（4 点）
- 提供一种原则性后优化工具：给定初始提示和少量示例，可通过后验采样自动微调提示，适合电商/推荐场景中优化查询改写、商品描述生成等LLM指令。
- 贝叶斯框架可输出多个候选提示，支持集成或不确定性估计，提升生产环境鲁棒性。
- 梯度引导的离散MCMC方法比纯启发式搜索更高效，可考虑在Agent工作流中嵌入，利用历史交互数据在线优化Agent的指令模板。
- 需注意当前实现计算成本高，且容易在小样本优化集上过拟合，建议结合正则或交叉验证。
博弈论框架下的可解释超参数敏感性分析
🧭 超参数重要性分析 · 博弈论
Louisiana State University
用 Shapley 效应与 Pareto 前沿分析多目标场景下超参数对各目标的影响，识别关键超参数以缩小搜索空间
📌 工作参考价值（4 点）
- 超参数重要性排序：在训练 CTR/CVR 模型前，先用少量样本计算每个超参数的 Shapley 效应，快速锁定对关键指标（如 AUC、LogLoss）真正敏感的参数，避免全量 grid search 浪费资源。
- 多目标权衡可视化：对于同时优化点击率与转化率的推荐模型，利用 Pareto 前沿分析可直观看到不同超参配置在双目标上的 trade-off，辅助业务决策（例如选择偏重 CVR 的配置）。
- 早期模型评估：在模型开发初期，通过 Pareto 前沿分布判断当前超参空间是否已接近有效边界，若远离前沿则考虑重构搜索空间或更换架构，减少无效迭代。
- AutoML 流程增强：可将该框架嵌入现有 HPO 流水线，在贝叶斯优化前先运行敏感性分析，自动剔除低影响超参数，提升搜索效率。