去除位置和长度影响的读者高亮对齐度量
🧭 LLM上下文压缩评估 · 读者高亮对齐
Glasp Inc.
提出剔除位置与长度偏差的评估框架，发现LLM重要性排序与读者高亮对齐接近人类个体水平
📌 工作参考价值（3 点）
- 评估文档摘要/压缩模型时，常规准确率受位置和长度偏差影响，可借鉴分层匹配与合成零分布校准，对商品描述、评论摘要等场景的压缩质量进行无偏评估。
- 语言模型重要性排序与读者高亮高度一致，可自动提取商品卖点或用户关注片段，量化模型与人类偏好对齐程度，提升内容生成效率。
- 该方法提供消除混杂因子的通用评估框架，可迁移至推荐系统中分析用户行为数据（如点击），控制位置暴露偏差，更准确衡量模型捕捉兴趣的能力。
ROCS：面向请求的计算共享实现大规模推荐高效推理
🧭 请求导向计算共享 · 推理加速 ★ 深度解读
Meta AI
通过GLM和DCA延迟交互并复用请求侧计算，配合IKBO内核优化，在不损失质量下最高获得3×QPS提升
📌 工作参考价值（4 点）
- 改造现有交叉网络：借鉴GLM思想，在DCNv2或FinalMLP等特征交互模块中，将输入分组为请求侧和候选侧，对线性层、MLP等施加下三角掩码，强制请求侧输出不依赖候选特征，从而可在多候选间复用。在电商排序中，每个用户请求评估数百商品，可节省大量重复计算。
- 用户序列建模引入DCA：对于用户行为序列，先用请求侧编码器一次得到各层表征，再在每层通过跨注意力进行候选条件检索，避免为每个候选重复跑序列模型。在广告推荐中，这能将序列计算复杂度从O(N×seq_len^2)降至接近O(seq_len^2)。
- 工程实现使用IKBO：在GPU推理时，不显式将请求张量广播到候选batch大小，而是通过索引映射在GEMM或注意力内核内部按需加载，并结合融合广播加法、持久化CTA和内存对齐优化。可用Triton编写定制内核，减少HBM带宽占用。
- 计算重新分配策略：节省的FLOPs可倾斜分配到请求侧（因被所有候选平摊），提升模型容量而不显著增加延迟。例如，在排序模型中，可将约80%的预算分配给请求侧，在几乎不增加推理成本的情况下提高AUC。
视觉生成中文本条件的缩放特性
🧭 文本条件缩放 · 结构化提示优化
ByteDance Seed
扩散损失随结构化提示的信息量线性下降，而非标记数，引导出更强的提示器和模型
📌 工作参考价值（4 点）
- 结构化输入比长文本更有效：在生成式推荐（如商品描述、广告文案生成）中，使用结构化数据（属性键值对）替代冗长自然语言描述，可避免性能饱和，并持续提升生成质量。
- 量化输入信息量来指导优化：借鉴 GPG（生成概率增益）和 ED（实体密度）等度量，为推荐场景的 prompt 设计提供可监控指标，寻找信息量-生成质量的最优点，而非盲目增加上下文。
- 三阶段训练提示器：将 SFT + 冷启动 + 验证器门控策略蒸馏的管线迁移至推荐系统，训练专用提示器，自动优化用户意图解析、查询重写或对话式推荐的输入生成。
- 避免“长 prompt 幻觉”：在 Agent 与 LLM 结合的场景，输入 token 数增加不保证效果提升，应通过结构化注入领域知识（如商品图谱、用户行为标签）来提升信息密度，减少冗余推理。
通过个性化自然语言恢复语义ID生成式推荐中的协同信号
🧭 生成式推荐 · Semantic ID + 协同注入 ★ 深度解读
Mohamed bin Zayed University of Artificial Intelligence · JD.com · Salesforce · McGill University · Mila
在冻结的生成式推荐模型上，利用自然语言标签重建协同因子，层级重排候选，修复语义ID缺失的协同信号
📌 工作参考价值（4 点）
- 对已有生成式推荐模型，无需重新训练，即可在推理时注入协同信号：用二阶共现矩阵（HPF分解）构建项目协同签名，作为重排序的附加分数，成本仅为 O(d) 点积。
- 将用户画像转化为自然语言标签（用LLM从历史行为总结），再通过一个可学习的桥接分布 P(f|t) 映射到协同因子空间，生成查询向量。这比直接使用历史item-embedding均值更可控、可解释、可编辑。
- 推理时采用层级差异化干预：粗粒度代码做候选扩展，中粒度代码做残差重排，细粒度代码仅加库存约束，保持波束预算不变，直接提升 hit@10 约 4 个百分点（OneRec-8B）。
- 该方法天然解耦内容与协同信号，无需修改 SID 码本，适合迁移到其他 semantic-ID 生成器（包括编解码器），具有较低耦合性。
图上同图跨任务迁移的协议与预测方法
🧭 同图跨任务迁移的评估协议与预测因子
University of Texas at Dallas · Virginia Polytechnic Institute and State University
提出无泄漏评估协议并揭示节点分类与链路预测跨任务迁移的方向性和可预测性
📌 工作参考价值（4 点）
- 泄漏防护协议可迁移至多任务图学习评估：在电商推荐中，用户-商品交互图常同时需要节点分类（如用户属性）和链路预测（如购买行为），可采用固定节点/边划分、消息传递图排除评估边、固定负样本的策略，避免数据泄漏导致的错误乐观估计。
- 根据同质性选择迁移方向：实验表明 NC→LP 在 homophilic 图上稳定正向，而 LP→NC 仅在结构易学且节点分类任务不饱和时才有效。在构建多任务模型时，可先计算图的同质性指数，指导是采用共享编码器还是分离任务分支。
- LP 作为结构预训练：在用户-商品图中，若节点属性稀疏或不可靠，可先用链路预测任务预训练 GNN，再微调到节点分类（如用户流失预测），但需监控目标任务的饱和程度，防止负迁移。
- CoTask Score (CTS) 作为联合目标：当需要单一编码器同时服务 NC 和 LP 时，CTS 能综合衡量两者效用，帮助选择最佳模型架构和训练机制，避免多任务折衷中的性能退化。
VAD：多模态在策略蒸馏的视觉归因目标重构
🧭 多模态在策略蒸馏 · 反事实视觉归因
Shanghai Jiao Tong University · Xiaohongshu Inc. · The Chinese University of Hong Kong · Zhejiang University · Southeast University
通过反事实目标重构分离教师修正中的视觉可归因部分，提升多模态细粒度蒸馏效果
📌 工作参考价值（4 点）
- 电商多模态场景（商品图片理解、视觉问答）中，若存在特权教师（如高分辨率图），可用反事实方法计算视觉证据方向，重构更纯的监督信号，避免语言先验污染，提升学生模型细粒度识别能力。
- 在蒸馏训练时，将监督信号分解为视觉可解释部分和残差，仅用视觉部分作为主要目标，可借鉴到多模态搜索/推荐模型的特征对齐，抑制无关文本偏差。
- 反事实目标重构可作为一种通用原则，用于多模态Agent的决策归因，识别哪些视觉线索驱动了正确行为，从而指导针对性蒸馏。
- 分布式训练中，教师模型冻结评估两次（证据存在/移除）来计算代理方向，该方法可工程化实现，用于在线知识蒸馏以提升多模态模型鲁棒性。
VIG-RL：用强化学习学习搜索与插入以验证图像基础
🧭 Agent 强化学习动态搜索插入图文证据
Peking University · Huawei Cloud BU
将验证性图像基础建模为动态决策过程，用强化学习优化搜索-选择-插入的 agent 循环
📌 工作参考价值（4 点）
- 电商商品文案生成中，可借鉴动态决策何时检索并插入商品实拍图或证照截图，提升可信度与转化率。
- 强化学习驱动的多步 agent 决策（何时搜、选哪张图、插在何处）可迁移到购物助手主动补全多模态信息。
- 复合奖励（步骤级工具使用评价 + 最终图文对齐）可用于优化推荐解释生成中的多工具调用组合。
- ReAct 式动作-观察循环可集成搜索工具，在对话推荐中自适应地引入外部证据（如用户评价截图、商品对比图）。
VisualRouter：查询驱动的长视频视觉采样
🧭 查询感知的视觉采样策略
区分全局/局部查询的自适应视觉采样框架，即插即用，无需训练，显著提升多模态大模型的长视频理解能力。
📌 工作参考价值（4 点）
- 查询类型分类（全局 vs 局部）的思路可直接复用到多模态搜索与推荐：对用户 query 进行意图分类，分别采用不同召回或排序策略。
- 训练无关、即插即用的设计适合快速集成到现有视频理解 pipeline，如商品视频标签提取、直播切片精选等，无需额外训练成本。
- 事件感知的帧选择策略（事件划分→段级分配→段内选择）可借鉴到长视频推荐场景：对视频内容做事件切割，按事件分配曝光帧数，保证多样性。
- 相关性、覆盖度、多样性三平衡的采样准则可应用于推荐系统的物品选择或内容摘要，避免信息冗余，提升用户体验。
稳定优势融合：在线策略蒸馏的熵崩溃应对方法
🧭 RLVR与在线蒸馏的稳定融合训练策略 ★ 深度解读
Shanghai University of Finance and Economics · Meituan · The Chinese University of Hong Kong, Shenzhen · Peking University
通过稀疏压缩控制量级、预热退火调度时间，稳定GRPO与OPD优势融合，避免熵崩溃并提升生成质量
📌 工作参考价值（3 点）
- 在强化推荐系统中，业务指标（如点击）提供稀疏奖励，教师模型（如大模型打分）提供密集信号，借鉴SAF的量级控制（top-k稀疏化+tanh压缩）可抑制教师信号中少数极端 token 对梯度更新的主导，避免训练崩溃。
- 采用KL散度触发的预热和线性退火策略，自适应调节教师信号强度，防止早期过度模仿限制探索，后期保留教师指引的同时释放业务奖励的探索压力，可迁移到Agent训练或生成式推荐策略优化。
- SAF仅修改优势融合部分，不增加额外模型或损失，实现轻量、即插即用，适合在已有强化学习训练流程中快速验证教师信号融合效果。
WIDE：Token 级动态宽度剪枝实现自适应 LLM 推理加速
🧭 LLM 动态剪枝 · 推理加速
Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo · Munich Center for Machine Learning, LMU Munich
首个端到端可微分的 token 级动态宽度剪枝框架，支持预填充与解码场景，细粒度分配注意力头组与 FFN 通道组
📌 工作参考价值（4 点）
- 在线 LLM 推理降本：在电商搜索的 query 理解、商品描述生成、RAG 检索等环节部署 LLM 时，可将 WIDE 的 token 级动态宽度剪枝迁移到自有模型中，按 token 难度动态分配算力，显著降低延迟与成本。
- 两阶段训练策略复用：先通过可微分掩码学习 token-wise 稀疏模式，再冻结掩码进行微调，该流程可应用于自有 Transformer 模型，无需大量校准数据即能保持精度。
- 细粒度结构剪枝方案：将动态剪枝从层级下推到注意力头组和 FFN 通道组，相比粗粒度弃层更细粒度，可模仿该分组设计，在推荐模型的 Transformer 层中实现更柔性的算力分配。
- 剪枝-内核算子协同设计：提出的 mask 重排序、block 级跳过、intra-block 跳过等工程化加速技巧，可作为部署端优化参考，有效将动态稀疏转化为实际加速。
用于高效多媒体检索的持续细化探索图
🧭 图索引构建与探索式搜索优化
HTW Berlin
提出 crEG，快速构建紧凑且连通性保证的图索引，专为探索搜索优化，推荐场景价值突出
📌 工作参考价值（4 点）
- 实时增量索引：crEG 构建速度极快，内存占用低，适合电商高频更新的物品库，可直接用于 embedding 索引的在线增量更新。
- item-to-item 探索推荐：图连通性始终保证，天然适合“以物品搜物品”的场景（如详情页相似推荐），避免死胡同，提升可探索性。
- 动态边优化：可选的边优化算法能在不重建全图的情况下持续提升精度，适合需要渐进式索引质量提升的线上服务。
- 评估校准：实验表明标准 ANN 指标（recall@k）高不代表探索搜索表现好，推荐系统评估需加入探索场景（query 来自库内点）的专用指标，避免离线评测与线上效果脱节。
在线策略优化中验证器诱导的支撑重塑
🧭 RLVR在线策略优化的能力保持问题
Peking University · BUPT
在线RLVR优化单一目标会缩小后续任务可采样成功轨迹，导致pass@1与best@k背离
📌 工作参考价值（4 点）
- 多目标 RLVR/RLHF 后训练时，同时监控 pass@1、best@k 与“有成功轨迹的 prompt 比例”，避免平均奖励上升但尾部任务支撑塌缩。
- 对搜索/推荐 Agent 的指令遵循或格式约束训练，RLVR 可能只重排已有开头 token 而非生成新能力；可对前几个 token 加多样性正则或保留基座策略的开头分布。
- 顺序多目标训练（如先数学后 IF）应在每个阶段保存 checkpoint 并评估跨任务 best@k；参考策略约束、路由先验、蒸馏只能部分缓解，建议显式混合数据或联合验证器。
- 若用 RLVR 做转化/点击奖励的 on-policy 优化，需防止模型为提升即时反馈而牺牲搜索/检索友好性；可在 reward 中考虑前几个 token 的信息量或可搜索性。
自动提取概念激活向量解释图像相似性
🧭 可解释AI · 概念向量
Bielefeld University - Faculty of Technology · University of Zagreb - Faculty of Electrical Engineering and Computing
用稀疏自编码器自动发现概念方向，通过嵌入扰动解释图像相似度的全局因素
📌 工作参考价值（4 点）
- 商品图像相似性解释：在电商图像搜索或推荐中，可利用本方法自动发现颜色、纹理、形状等概念，解释为何两个商品图像被判定相似，增强用户信任。
- 多模态对齐的全局解释：该方法模型无关、度量无关，可直接嵌入现有视觉-文本对齐流程，为召回的图文对提供概念重要性排序与归因热力图。
- 范例检索复用：借鉴“Exemplar Retrieval”的思路，从商品库中挖掘与当前 pair 具有相似解释概念的案例，辅助人工审核或生成自然语言解释。
- 数据分布保真扰动：潜空间概念扰动比像素空间篡改更符合真实数据分布，可用于推荐系统的反事实解释生成，避免产生不自然的反事实样例。
自验证改良：通过联合判定与置信度强化学习实现自适应测试时计算
🧭 自适应推理 · 自验证强化学习
Sun Yat-sen University · Guangdong Key Laboratory of Big Data Analysis and Processing · X-Era AI Lab
学习自验证与置信度作为内部控制信号，在推理时自适应分配计算预算，无需外部验证器
📌 工作参考价值（4 点）
- 多轮决策的自适应终止：在推荐Agent或对话系统中，可以借鉴SVR让模型在对每轮输出（如推荐列表、搜索建议）同时生成质量判定和置信度，达到阈值则提前终止交互，节省LLM调用成本。
- 无需外部监督的自我验证训练：通过奖励校准自验证正确性，模型能内生判断能力，适用于电商场景中缺乏及时反馈的推荐解释、文案生成等任务，训练时只用最终答案正确性，推理时自我把关。
- 联合输出校准与决策：将离散判定与连续置信度联合输出，并通过校准奖励使其对齐真实准确性，该思路可迁移到CTR预估中的不确定性建模或排序模型的置信度输出。
- 自适应计算分配：对简单样本自动减少推理步数，复杂样本多步迭代，类似思想可用于动态召回、重排序的算力分配，例如对低候选集质量的请求执行更多召回或精排步骤。
ASARL：面向社交搜索的自主多智能体相关性学习框架
🧭 多Agent数据治理与搜索相关性学习 ★ 深度解读
Tencent PCG
通过多智能体协同数据治理与分阶段偏好对齐训练，实现社交搜索相关性理解的自动化与社交感知
📌 工作参考价值（4 点）
- 多智能体数据标注流水线可迁移到电商搜索：ReasonAgent 生成推理标签、CriticAgent 核查一致性、GenAgent 生产长尾样本的闭环，能降低人工标注成本，缓解长尾查询覆盖不足，尤其适合大量非标品的电商搜索场景。
- 分阶段训练策略值得复现：先用领域特化的 Reasoning CoT 做 SFT 注入知识（Social Context Training），再用 DPO 对齐真实点击信号（Preference-Guided Optimization），最后蒸馏到轻量模型（Social Distillation），这套流程可直接用于电商搜索相关性优化。
- 社交属性的结构化建模思路可用：将用户意图与社区/商品属性对齐，形成可解释的推理链，既能改善模型判断准确性，又能输出可读的排序理由，利于搜索诊断和运营。
- 真实在线实验验证了收益：在 QQ 频道和群搜索上，CTR 提升 1.36%~2.69%，Join Rate 提升 1.06%~2.59%，部署达 1200 万 DAU，说明该方法可同时提升点击和深层转化，对电商搜索有直接参考价值。