面向标量奖励模型的端到端隐式推理学习
🧭 奖励模型 · 隐变量训练 ★ 深度解读
Peking University · Tencent
将推理链视为隐变量，端到端最大化标量RM的数据似然，统一生成与判别目标，提升OOD泛化。
📌 工作参考价值（4 点）
- 搜索/推荐排序模型中的奖励建模：可借鉴隐变量框架，将生成式推理与标量打分联合优化，避免生成器与判别器目标割裂，提高打分的鲁棒性和分布外泛化能力。
- 简化训练流程：使用REINFORCE将生成器的优化目标直接对齐到下游标量RM的对数似然，无需外部教师模型或手工设计的奖励（如Kendall’s τ），减少超参数和数据处理开销。
- 数据清洗trick：利用浅层文本特征训练轻量MLP集成，过滤掉模型易拟合的简单样本（低损失），保留更具泛化价值的困难样本，可迁移到偏好数据或标注数据的质量筛选。
- 在线RLHF中的长度控制：LatentRM在RLHF中生成更短的回复，同时保持高胜率，有效抑制“奖励过度优化”和长度作弊，这对对话系统或生成式推荐中的对齐训练有借鉴意义。
内部放松，跨间平衡：视觉语言MoE的几何引导负载均衡
🧭 多模态MoE负载均衡优化
Peking University · Peng Cheng Laboratory · Qwen Team · Sun Yat-sen University
提出ReBA，通过模态分离与图像内放松路由，解决视觉语言MoE在不同token混合下的负载失衡
📌 工作参考价值（4 点）
- 多模态推荐模型中，图像/文本token数量随请求动态变化时，可借鉴ReBA对图像和文本分别计算负载均衡损失，避免跨模态误差抵消。
- 对于图像特征，按源图像分组，每个图像内均匀路由（Relax Within），能有效抑制分辨率变化导致的负载波动，适合电商商品图片处理。
- 利用“固定负载曲线”离线分析模型在不同token混合比例下的负载表现，提前预估推理瓶颈，指导工程部署资源分配。
- 实现轻量：只需在路由器添加模态标识和图像分组，不改变主干结构，易于在现有MoE推荐模型上试验。
OpenART：基于开放式环境演化的 Agent 红队规模化评测
🧭 Agent 安全红队 · 环境演化
Fudan University · Shanghai Artificial Intelligence Laboratory · XSafeAI
提出开放式环境演化基准 OpenART 与黑盒攻击策略 EMHA，在 75 种 Agent-模型配置上取得 85.0% 攻击成功率
📌 工作参考价值（4 点）
- 在电商/广告等长会话 Agent 场景中，可借鉴「环境状态演化」思路：不直接攻击模型输入，而是通过授权状态转移逐步污染共享上下文，测试推荐/搜索 Agent 在累积状态下的鲁棒性。
- 多工具调用（如商品检索、订单查询、广告投放）中，可建立状态转移超图，识别高风险路径，提前限制敏感状态变更，防止攻击链通过多个合法工具组合放大风险。
- 评估 Agent 安全时，除了模型能力，需重点关注 runtime 框架选择：文中发现目标 Agent 身份可解释额外 7.6% ASR 变异，提示生产中应测试不同 Agent 运行时的安全性差异，避免仅依赖模型层防御。
- 对于长链路任务（如电商导购 Agent 执行 97 次工具调用），可引入动态环境监控，检测偏离任务目标的异常状态演化，作为红队预警机制。
PaletteID：基于原型组合的语义ID用于多模态CTR预测
🧭 语义ID · 原型组合 · 多模态CTR ★ 深度解读
华中科技大学 · 华中师范大学
用原型选择替代量化编码，保留连续相似性信号，提升CTR预测和长尾表现
📌 工作参考价值（4 点）
- 用真实物品作为语义锚点（原型）替代抽象码本：PID 直接从物品池中选出代表物品构成原型调色板，每个 token 都有具体物品可追溯，增强了可解释性，也避免了码本分配中的语义损失。在电商场景中，可以直接将高曝光、多内容的优质商品作为原型，赋予更强的业务语义。
- 软聚合保留连续相似性，避免硬量化：通过 top-K 原型相似度加权聚合（sigmoid 门控），保留了多模态嵌入空间的细粒度相似性，比 RQ-VAE 等硬分配方式对长尾物品更友好。可借鉴到已有的 Semantic ID 方案中，将硬编码改为软检索-聚合，尤其适合提升冷启动物品的表征质量。
- SQ-DPP 原型选择兼顾多样性和代表性：使用质量感知的 DPP 从全量物品中选出一组既覆盖语义空间又避免过于孤立的原型，平衡了长尾覆盖和高频语义区域的准确度。在推荐系统的特征工程或表示学习阶段，可复用这种建库思路，构造更具泛化性的基础语义单元。
- 离线原型检索，在线仅需查表聚合，极易部署：PID 序列和相似度分数全部离线预计算并存入特征存储，在线推理只需 K 次 embedding 查表、一次线性变换和加权求和，计算开销极低，可直接插入现有 CTR 模型（如 DeepFM、DCNv2、DIN）作为新特征。
QASP：查询自适应鲁棒向量搜索策略
🧭 查询自适应向量搜索策略 ★ 深度解读
Amazon
通过学习预测每个查询的召回进度曲线，以极低推理开销实现查询自适应搜索，显著降低方差与数据访问。
📌 工作参考价值（4 点）
- 用回归预测召回曲线替代直接预测探测数：训练一个轻量模型预测任意探测数下的累积召回，再通过阈值得到探测数，可获得更丰富的监督信号（每查询L个标签），且支持跨召回目标泛化。在生产环境中，可以作为推荐系统向量召回（如 Faiss IVF）的查询自适应模块。
- 归一化、尺度不变特征设计：特征如相对距离（tanh(d(q,μ_l)/d(q,μ_1)-1)）、基于质心的局部固有维度、累积簇大小比例等，将查询难度与索引特性编码为统一形式，可直接迁移到其他向量搜索设置。
- 反应式校准机制不必重新推理：利用预测的逐簇增量召回率，在搜索时用 EWMA 监控实际发现率，若连续低于预测则提早终止，高于则延长搜索，作为安全网，不需额外模型调用，实现起来轻量高效。
- 极轻量模型便于大规模部署：QASP-DL 仅 1.5K 参数，内存 6-7 KB，吞吐 124K qps，可在 CPU 上批量推理，对搜索延迟影响极小。该模式适合在现有向量检索引擎中作为预处理步骤集成。
桥接 RAG 中问答鸿沟的假设提示嵌入
🧭 RAG 检索优化 · 假设嵌入
University of Primorska, Faculty of Mathematics, Natural Sciences and Information Technologies · InnoRenew CoE · Research Centre of the Slovenian Academy of Sciences and Arts, The Fran Ramovš Institute
将假设内容生成从查询时移至索引阶段，用预计算的假设提示嵌入将检索变成问题-问题匹配
📌 工作参考价值（4 点）
- 预计算假设查询嵌入，替换在线 HyDE：在电商搜索或客服 RAG 中，可将每个商品详情页、政策文档预先用 LLM 生成多个可能用户会问的问题（hypothetical prompts），用这些问题嵌入直接建索引，在线时用户查询嵌入直接与问题嵌入匹配，完全消除查询时调用 LLM 的延迟和成本。
- 多假设覆盖长尾查询：每个 chunk 生成 5-10 种不同表述的假设问题，能覆盖更广泛的用户表达习惯，尤其适合电商搜索中同义但非规范表达的查询，提升召回率和上下文精度。
- 与重排序、多向量检索等兼容：HyPE 仅改变索引构建方式，不影响线上检索架构，可直接叠加现有的粗排-精排流水线、多向量延迟交互模型（如 ColBERT）或查询分解，适合渐进式落地。
- 监控与质量保障：生成假设问题时需要控制幻觉，可先用小模型生成再过滤，或结合类目体系约束生成范围，保证问题与文档内容一致，这比 HyDE 在线生成更容易审计和修复。
区域约束批采样：消除本地社区平台对比用户建模中的不可能负样本
🧭 对比学习 · 区域约束负采样 ★ 深度解读
Danggeun Market Inc. (Karrot)
提出区域约束批采样(RCBS)，通过构造区域同质mini-batch将地理不可能负样本替换为可行负样本，提升用户表征质量与下游推荐效果
📌 工作参考价值（4 点）
- 地域受限业务的负采样策略：外卖、本地生活、社区电商等有曝光半径的场景可直接借鉴，按配送区域或商圈组织batch，减少因配送范围外导致的无效负样本，让模型专注真实可曝光物品的对比。
- 零模型改动的经验性trick：仅改变数据加载时的shuffle逻辑，不改模型结构与loss，工程落地成本极低；可按粗/细粒度区域分组逐步降低不可能负样本比例（如从0.98→0.30），观察到Recall稳定提升。
- 负样本难度信号的隐性引入：RCBS使batch内天然充满“可行但未交互”的负样本，这种harder negative能提供更强训练信号，尤其适合两塔模型直接迁移。
- 与倾向性加权的互补：若存在进一步曝光偏差，可在区域batch内叠加IPS等倾向性修正，先行用RCBS去掉曝光概率为0的样本，再对剩余样本做概率加权，实用且易扩展。
RecHarness：基于Bandit路由与LLM代理的推荐模型自进化框架
🧭 Bandit路由+LLM生成·推荐模型自动迭代 ★ 深度解读
Georgia Institute of Technology · Kuaishou Technology
用Thompson采样选择编辑方向，LLM负责具体代码修改，在有限预算下稳定优化推荐模型
📌 工作参考价值（4 点）
- 分离方向决策与代码生成：把“试什么方向”交给Bandit（基于历史成功/失败后验），把“怎么改代码”交给LLM，避免LLM在巨大搜索空间内盲目发散。推荐系统工程师可借鉴此架构，用简单统计路由控制尝试领域（架构、损失、特征），用LLM执行具体编辑。
- Jump-Basin机制跳出局部最优：当近期提升速率低于阈值时，自动开放结构跳跃臂（如更换序列编码器）。线上A/B显示，这一机制在短期局部精调无收益后自动激活，产出了可部署的结构改进。在广告排序或CTR模型迭代中，可设置类似机制自动触发大改。
- 实验技能（Experiment Skill）作为文本记忆：动态总结成功编辑、失败原因和趋势，形成紧凑的文本上下文注入LLM提示，避免模型重复犯错。可直接迁移到工业Agent中，用于维护试验记录、提炼可复用策略。
- 有限试验预算下的高效分配：Thompson采样在每一轮集中分配试验给高潜力臂，使47.92%的非基线试验刷新了best-so-far分数（随机分配仅22.45%）。在电商搜索/推荐中，当单次全量训练和评估成本高时，此路由可显著提高试验效率。
ResKV：固定预算下通过残差缓存重构被忽略注意力贡献的KV缓存压缩
🧭 固定预算KV缓存压缩
University of Electronic Science and Technology of China
将KV缓存预算分为精确主缓存与紧凑残差缓存，同框归一化复原被丢弃token的注意力分子分母贡献，广泛提升长上下文性能。
📌 工作参考价值（3 点）
- 在电商推荐的长用户行为序列建模中，若使用LLM生成式推荐，KV缓存膨胀是瓶颈，可借鉴ResKV的残差缓存思路：保留核心token作为精确主缓存，用紧凑残差统计量重构被丢弃token的注意力贡献，从而在内存受限下保持长上下文的注意力完整性。
- 工程实现上，残差缓存的构建可通过离线验证决定每层每头的残差预算分配，解码时动态门控按query调整残差贡献，这种在线-离线协同策略可以迁移到推荐系统中的搜索/浏览长序列压缩，平衡效果与延迟。
- 残差缓存参与同一softmax归一化，而不是事后修正，这一设计确保注意力分数的分子和分母质量都得到恢复，相比简单的eviction或合并方法，对下游生成质量更友好，适合高精度要求的选品文案生成、个性化搜索词推荐等场景。
思考即出行：基于LLM推理的生成式下一兴趣点推荐
🧭 生成式推荐 · 语义ID + 推理增强 ★ 深度解读
Dalian University of Technology · Wuhan University · A*STAR · South China University of Technology
统一SFT与RL推理，用时空不确定性校准优势估计，大幅提升LLM对语义ID的理解和跨域泛化
📌 工作参考价值（4 点）
- SFT与RL统一训练范式：在自回归生成中同时保留记忆和推理探索，避免LLM灾难性遗忘，可直接用于商品标题、推荐理由等的生成式推荐系统。
- 难度感知的优势估计：通过核密度估计用户行为时空分布，量化当前请求的认知不确定性，动态调整RL更新幅度——电商中可对冷门/长尾用户加大探索，对高频行为保持保守。
- 奖励重标定避免难度信号丢失：用样本奖励相对于组内最大值的缩放替代纯中心化，防止GRPO在易/难样本上产生相同的优势值，可迁移至推荐策略的在线强化学习调优。
- Token级熵作为探索奖励：防止推理token熵塌缩，维持策略多样性，在生成式排序或创意文案生成中有助于避免模式崩溃。
TransX：通过行为与服务流交叉扩展Transformer推荐
🧭 工业推荐 · 序列建模 · 延迟优化 ★ 深度解读
LinkedIn
用Encoder-Decoder解耦行为流和服务流，结合分组稀疏交叉注意力与近线缓存，在LinkedIn实现CTR+6.0%且在线计算降低80%
📌 工作参考价值（4 点）
- 将用户行为序列与候选服务流显式解耦，Encoder专注长期意图，Decoder通过Cross-Attention融合当前候选，避免将异质信号混在一个序列中，既保留因果结构又提升预测力。电商/广告场景中用户浏览、加购等行为与曝光上下文天然分离，可直接套用这种双流交叉架构。
- 近线行为编码 + 缓存策略：利用因果自注意力一次性编码用户全历史，生成行为表示并持久化，在线推理时只做轻量级候选编码和交叉注意力，延迟与行为序列长度无关。可借鉴到实时推荐场景，大幅降低成本。
- 分组多查询稀疏交叉注意力：所有候选共享行为序列的Key/Value，每个候选仅有独立Query，并引入局部最近行为窗口+全局锚点（pooling token）的稀疏模式，既能捕捉短期意图和长期偏好，又将复杂度从O(mL)降到O(mL_local)。高QPS下非常实用。
- 序列到序列的单次前向传播训练：利用行为前缀复用，训练成本从O(T L^2 d)降为O(L^2 d+T)，相比传统逐事件训练每epoch时间减少约50%。在大量用户历史场景下训练效率提升明显。
在失败处蒸馏：自适应教师引导恢复负RL组梯度信号
🧭 RL训练优化 · 在线蒸馏 · 梯度信号修复 ★ 深度解读
TJUNLP Lab, Tianjin University · Meituan Longcat Team
针对GRPO中全错样本的梯度消失，用教师置信度加权OPD并选择高价值token蒸馏，辅以正确轨迹SFT，修复学习信号。
📌 工作参考价值（4 点）
- 识别负零方差prompt并施加额外监督：在GRPO训练中，当一批采样全部错误（负零方差）时，梯度消失。可借鉴本文，仅在这类prompt上启用教师蒸馏或SFT，避免对所有数据盲目使用融合损失。
- 教师置信度加权蒸馏信号：在应用OPD时，用教师模型在该prompt上的平均成功率作为权重，缩放token级优势。对应到业务 Agent 训练，若用更大模型打分，可将其置信度作为信号强弱指示。
- 高价值token选择性蒸馏：仅对高学生熵或师生概率差异大的token进行蒸馏，减缓收敛到教师上限，保留RL探索空间。可迁移到推荐话术生成、搜索改写等任务，防止模型过早模仿强模型而丧失多样性。
- 辅以SFT注入正梯度：对负零方差prompt，额外用教师生成的正确答案做SFT，能缓解OPD的优势不对称问题。在实际应用中，对模型反复失败的困难样本，准备少量高质量示范轨迹能有效引导。
Zero-Mem：面向LLM智能体的零Token记忆操作
🧭 Agent 零Token记忆操作 ★ 深度解读
The Hong Kong Polytechnic University · Southwestern University of Finance and Economics · Jilin University
提出零Token记忆框架，用实体图和时序层次替代生成式抽象，全部记忆操作不占用LLM调用或Token。
📌 工作参考价值（4 点）
- 零LLM记忆管道：记忆构建、检索、路由、校准等全部环节都用确定性算法和编码器完成，避免生成式抽象，可直接用于电商Agent的“用户长期偏好/行为记忆”，将记忆部分与最终生成解耦，极大降低Token开销和延迟。
- 双视图结构化检索：实体-上下文图捕获跨会话关联，时间层次保留对话局部性和状态，通过查询路由动态加权融合。推荐系统Agent可以仿造这种“关系+时序”双重索引，处理用户多轮意图变迁与跨会话关联。
- 证据校准与封闭：检索后自动补充关系桥接和局部上下文，再用边界与类型滤波提炼证据，最后对答案进行确定性校验。这套方法可复用到电商QA或对话推荐的后处理阶段，提高生成事实性与一致性，无需额外LLM调用。
- 保留原始痕迹：Zero-Mem不生成中间摘要或笔记，所有证据都可追溯到原始交互，适合需要审计、合规且长周期交互的电商客服或导购场景，在低成本下提供可解释的原文支持。
知其然，亦行其道：LLM 个性化中的记忆利用研究
🧭 Agent 记忆利用评估
The Hong Kong Polytechnic University
解耦“知道”与“行动”的评估范式揭示：LLM agent 能记住用户偏好却常不据此行动，健康领域尤甚。
📌 工作参考价值（4 点）
- 构建个性化推荐或客服 agent 时，应设置成对的 Know/Act 测试用例，分别验证偏好召回与行为应用，避免“记住但不用”的盲区。
- 对高风险偏好（如过敏、健康约束）应提升测试密度与强度，并考虑在 prompt 或记忆检索后追加显式的“偏好-行动”一致性检查模块。
- 记忆架构（如摘要、向量检索）能缩小 Know-Act 差距，但无法根除，需配合针对性微调或 RLHF 强化从记忆到行为的转化。
- 工程上可将用户敏感属性标记为“强制遵循”类型，在推理阶段由策略层校验生成内容是否符合已知偏好，防止危险建议。
注意力头角色断裂：理解与检测VLM幻觉
🧭 视觉语言模型幻觉检测
Peking University · Joy Future Academy
发现幻觉使注意力头偏离忠实上下文行为（角色断裂），基于此构建轻量线性检测器，AUROC 达 93.23%
📌 工作参考价值（4 点）
- 在电商多模态推荐（如商品图生成描述/问答）中，可借鉴 Role-Break 信号构建轻量线性检测器（特征维度<5000），无需微调 VLM 即可识别幻觉输出，提升生成内容可信度。
- 检测器基于注意力头行为的局部偏离，具备线性可读性和可解释性，适合作为实时监控或过滤模块，拦截不可靠的生成文本。
- 若 Agent 工作流中调用 VLM 进行图像理解，可将此检测器后置，对高幻觉 token 直接干预（屏蔽/重生成），降低下游决策风险。
- 该方法不依赖单一幻觉模式，跨模型/任务稳定性强，可用于多模态推荐系统的质量保障。