奖励引导解码：面向生成式推荐的可控价值对齐
🧭 生成式推荐 · 奖励引导解码 ★ 深度解读
Institute of Information Engineering, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Kuaishou Technology · Peking University
提出RGD框架，将业务价值注入解码过程，解决生成推荐中似然与价值不匹配问题，无需重训模型
📌 工作参考价值（4 点）
- 解码时注入业务价值，无需重训生成器：RGD 将奖励模型作为测试时控制器，通过闭式解 log P + R/β 替换原始 beam search 的排序方式。业务目标切换或权重调整只需更换奖励头或调整温度系数 β，生成器保持不变，显著降低维护成本。
- 轻量级奖励模型设计可复用：奖励头以 Bottleneck MLP 共享生成器解码器的隐藏状态，梯度隔离训练，仅增加少量参数和推理开销。这种插件式设计可直接纳入现有生成推荐服务。
- 混合推理策略平衡效果与延迟：在首层 SID 使用 pre-merge 扩大搜索空间，后续层改用 post-merge 减少计算量，在工业场景中实现与全量 pre-merge 相近的效果，延迟增加可控，适合在线部署。
- 缓解 beam search 的早期剪枝问题：通过奖励引导，原本因低生成概率被剪枝的高价值候选项有机会存活，扩大有效搜索范围。在快手直播推荐中，CTR 引导的 RGD 在线带来 +0.392% 页面点击率、+0.689% 观看时长。
局部适调揭示 Transformer 中不同学习目标的分层偏好
🧭 LoRA 层位置与学习特征适配
Yale University
不同层应用 LoRA 会形成各异的学习特征：词法绑定重早期层，事实关联偏后期层，行为策略学后期动作、中期门控
📌 工作参考价值（4 点）
- 任务驱动的 LoRA 层选择：若需让模型快速绑定新商品名、品牌词等（词法绑定），优先在早期层（1–6层）插入 LoRA，获取速度快且对无关上下文扰动小；若需更新商品属性、事实知识，则应在后期层（约20+层）适配，避免覆盖早期通用表示。
- 对话/Agent 策略微调解耦：行为策略学习（如导购话术、推词决策）中，行为的具体生成（action）适合在后期层适配，而策略控制（何时执行）适合在中间层适配，可分层挂载不同 LoRA 模块，减少策略遗忘与干扰。
- 因果与流程推理任务适配位置：类似推理“用户搜索→点击→转化”的因果链或售后流程，在模型中、后期或全层适配效果更好，不建议只在单侧浅层或深层微调。
- 避免灾难性迁移的基础原则：当希望模型在新任务上泛化且不破坏原有能力时，可参考论文学到的“适应几何”：获取、迁移、边界性三者往往不可兼得，需按业务目标选择关键层位，如追求高迁移性能需考虑中层或全栈适配。
MARS：面向外卖复购推荐的多智能体重排序框架
🧭 多智能体协作重排序 ★ 深度解读
Georgia Institute of Technology · The University of Texas at Austin
结合轻量级协同召回与 LLM 分阶段重排序，证明预训练 LLM 在复购推荐中可匹敌专用模型。
📌 工作参考价值（4 点）
- 粗排-精排两阶段设计：先用 LightGCN 进行菜系（cuisine）级粗排，再结合 Swing 协同相似度和 LLM 进行商家（vendor）精排，有效降低候选集大小，适合电商中品类多、商家多的长尾场景。
- 协同信号作为 LLM 输入：不抛弃成熟的协同过滤，而是将 LightGCN 的全局偏好与 Swing 的局部共现信息提炼成文本证据供 LLM 推理，简单且实用。
- 多智能体框架提升可解释性：Manager 调度、Profiler 提取特征、Analyzer 预测菜系、Critic 排序商家，中间输出结构化，便于监控和调试，尤其适合需要业务可解释性的推荐系统。
- 推理时计算（test-time compute）能带来额外收益：启用 LLM 的 thinking 模式让模型在输出前自我修正，显著提升重排序精度，成本允许时可在关键环节采用。
MemLens：面向LLM智能体的价值感知记忆管理与交互分析系统
🧭 LLM智能体记忆价值评估与存储优化
山东大学软件学院 & C-FAIR · 北京航空航天大学SKLCCSE实验室 · 香港城市大学数据科学系
提出基于Shapley值的记忆价值评估方法，实现细粒度、可解释的智能体记忆管理
📌 工作参考价值（4 点）
- 记忆价值评估思路：借鉴Shapley值量化每条交互记录对最终响应的贡献，可在电商对话Agent中识别高价值用户反馈或决策关键上下文，优先保留。
- 分层记忆存储架构：按价值分数将记忆分为短期、长期和归档层，可迁移到推荐系统的用户长短期兴趣建模，兼顾存储成本与召回效率。
- 交互式可视化分析：提供记忆价值热力图、检索延迟对比等面板，帮助算法工程师调试Agent推理链路，快速定位低效检索或记忆冗余问题。
- 多维度策略对比：系统内嵌响应质量、延迟、token消耗的AB对比，适合在业务Agent上线前评估不同记忆淘汰策略的性价比。
MemSFT：用外部参数化记忆缓解大模型领域微调的对齐税
🧭 领域专精 · 外部参数化记忆 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · Tsinghua University
通过外部参数化记忆和token级动态路由器，在不修改基座模型参数的前提下注入领域知识，完全避免通用能力遗忘
📌 工作参考价值（4 点）
- 记忆训练范式：利用领域数据构建 kNN 检索的 soft label 作为教师分布，结合 KL 散度和交叉熵训练一个独立的 Memory LM，避免直接微调基座模型，可向电商搜索/推荐 LLM 注入商品、规则等新知识而不损害通用对话与推理能力。
- 动态路由器设计：轻量两层 MLP 以基座和记忆的隐藏状态及输出置信度/熵为特征，预测 token 级融合权重；训练时混合领域与通用数据并加入符号正则，自动学习何时依赖记忆，适用于生成推荐理由、推送文案等需要专业性与通用性平滑拼接的场景。
- 记忆复用：同一记忆模块可在共享 tokenizer 的不同规模基座模型上即插即用，无需重训；在电商多模型矩阵中，可一次训练商品知识记忆，供多款 LLM 部署使用，显著降低维护成本。
- 工程成本：训练一个 8B 记忆和路由器的 FLOPs 仅占全量 SFT 的一小部分（如四个基座模型总成本仅 0.22 倍），适合快速迭代注入新业务线知识。
Metis：记忆基础模型，让大模型内生记忆能力
🧭 记忆基础模型·原生记忆状态与过程 ★ 深度解读
MemTensor (Shanghai) Technology Co., Ltd. · Renmin University of China · National University of Singapore · Shanghai Jiao Tong University · Tongji University
首个记忆基础模型原型，将记忆内化为原生参数化状态和计算过程，用中间训练获得自主记忆能力
📌 工作参考价值（4 点）
- 可用轻量级固定尺寸记忆矩阵（M_t, S_t）隐式存储多轮对话历史，替代显式文本拼接或外部检索，上线仅需前向传播，无需梯度更新，适合在线推荐 Agent 部署
- 记忆更新（Gated Delta Network 风格）与当前推理完全解耦，可与原始注意力并行计算，推理延迟主要取三者最大而非相加，对实时性要求高的电商对话系统有参考价值
- 中间训练数据构造方法可复用：将公开事实型数据集改造成含记忆操作（记住/更新/遗忘/反射）的多步交互序列，显式标注记忆一致性，用于训练推荐对话 Agent 的上下文理解与状态管理
- “原生记忆过程”思想可扩展到推荐模型：将用户行为序列压缩为模型内部动态参数，用特殊设计的记忆重建与操作损失联合优化，实现端到端的个性化状态保持
面向排序的结构感知相对策略优化
🧭 结构感知的排序强化学习 ★ 深度解读
Tsinghua University · Renmin University of China
用 top-weighted Kendall-tau 距离归一化奖励差，使 RL 排序的优势估计偏向高效局部调整
📌 工作参考价值（4 点）
- 将排列距离引入优势估计：在做搜索/推荐/广告的 RL 重排时，可借鉴使用 top-weighted Kendall-tau 距离归一化奖励差。这样能鼓励模型通过顶部位置的局部交换提升效果，避免仅凭标量奖励导致过度关注全局重排而破坏已收敛的策略。
- Action-level 更新替代序列级更新：SRPO 在每个位置独立计算概率比和 KL 惩罚，更细粒度。在生成式推荐或列表生成模型中，可将每个位置的输出视为一个动作，直接复用此细粒度更新方式，提升训练稳定性。
- 低样本环境下的鲁棒学习：SRPO 在 group size 仅为 2 或 4 时性能即超越 GRPO 等基线，适合在线搜索广告等高延迟、稀疏反馈场景。可用极少量采样列表构建可靠优势，降低采样成本。
- tanh 平滑与组内标准化：将结构归一化偏好除以组内奖励标准差再经 tanh 压缩，能有效抑制离群样本的梯度。这一 trick 可迁移到任何基于组内相对比较的 RL 优化中（如对话策略、重写策略），提高训练稳定性。
MindForge：通过无源码程序合成教授小模型全周期软件工程
🧭 LLM 训练 · 程序合成 · 教师蒸馏
Huawei Canada · Queen's University · University of Manitoba
自动化将开源命令行程序转为无源码训练环境，用教师轨迹微调小模型，使编程从零构建性能大幅提升
📌 工作参考价值（4 点）
- 可借鉴其自动构建仅暴露接口和文档的无源码沙箱的方法，为推荐系统 Agent 生成训练环境，例如基于推荐 API 文档和模拟用户行为合成决策轨迹。
- 使用大模型作为教师生成高质量全生命周期交互轨迹，再微调小模型，这种蒸馏范式可直接用于将复杂推荐策略（召回、排序、重排）压缩为小型 Agent 模型，降低线上延迟。
- 训练数据覆盖需求分析、设计、实现、测试多阶段，对推荐 Agent 训练有启发：可设计从用户画像分析、策略设计到配置、离线评估的完整任务流，提升模型全局优化能力。
- 从与测试集不重合的仓库构建环境，泛化性提升显著，业务中可用多样化历史推荐场景构造合成数据，微调模型以应对未见过的运营需求或算法变更。
判别式LLM反击：用双塔模型替代生成式推荐检索
🧭 LLM双塔检索 · 判别式推荐 ★ 深度解读
Meta
将LLM作为共享背板的双塔检索器，配合蒸馏与连续思考，性能匹敌生成式推荐且可规模化部署
📌 工作参考价值（4 点）
- 双塔+LLM的务实路线：放弃生成式检索的Token解码，改用LLM编码器生成用户和物品的向量，通过ANN检索。对于物料量大的电商/广告系统，这种方案更易落地，无需担心Token到物品ID的映射错误和自回归延迟。
- 蒸馏技巧：从Cross-Encoder教师转移动态排序知识：用Cross-Encoder对同一候选集计算更准确的分数分布，然后以KL散度蒸馏到双塔学生。实操中可使用“yes/no”输出头计算logit差作为分数，同时加一个以用户历史为条件的Token预测辅助任务来增强教师，提升蒸馏上限。
- Token级特征压缩与层剪枝：将连续特征用有限标量量化（FSQ）离散化为少量Token，减少输入长度，提升QPS 19.7%；对Transformer进行层剪枝（搜索代理指标评估重要性）再知识迁移，可再提速10%，几乎无损。
- 数据效率与模型时效性：LLM双塔在仅用0.5%训练数据下即可匹敌生产DLRM基线；模型冻结后连续数天性能几乎不降，而传统DLRM因物品ID分布漂移损失严重，该特性可大幅降低重训成本，适合推荐系统频繁更新的场景。
PILA：面向 LLM 原生广告的即插即用插入框架
🧭 LLM 原生广告 · 解耦式插入 ★ 深度解读
Peking University · Tsinghua University · University of Michigan · BIGAI · Shanghai Qi Zhi Institute
将广告插入解耦为条件响应改写，作为轻量级 sidecar 模块，实现模型无关、即插即用且强度可控的广告融入
📌 工作参考价值（4 点）
- 解耦式重写设计可复用：在对话推荐或生成式推荐中，可仿照 PILA，将商品推荐或广告插入作为独立的轻量 sidecar 模块，不改动上游对话/搜索模型，仅对最终回复进行条件改写，降低侵入性并保持主模型质量。
- 数据构造与增强管线：种子数据合成 + 多样性增强 + 自我评判的自动化数据构建流程，可用于生成对话推荐中的商品链接、推广文案等训练样本，解决标注稀缺问题。
- 广告强度可控机制：基于说服知识模型的对比解码方法调整曝光策略，这种“部署时旋钮”可迁移到电商推荐中，平衡推荐内容的自然度与商业目标（如 GMV、点击率），无需重新训练模型。
- 三指标评估体系：Q1 相关性、Q2 连贯性、Q3 广告有效性的三元评估，可直接用于衡量对话推荐中商品植入的整体质量，指导实验迭代。
RecoReward：推荐引导的多模态描述生成
🧭 生成式推荐 · 训练-推理解耦 ★ 深度解读
南开大学 · 快手科技 · 中国科学院信息工程研究所 · 中国科学院大学
利用行为反馈训练内容生成，实现推荐感知的共享描述，推理时无用户成本
📌 工作参考价值（4 点）
- 可复用思路：在电商或内容推荐中，用已部署的双塔模型输出作为奖励信号，微调MLLM来生成对下游召回更友好的 item 描述，训练时接入用户行为信号，推理时完全剥离，保持线上低延迟。
- RAS 的减法设计值得借鉴：用非目标用户的平均亲和度作为背景项，从目标用户打分中减去，能提升描述的区分度，让生成的语义向量更有选择性，而非放大普适偏好。
- 工程实现细节：RL 阶段使用 GRPO+DAPO 组合，格式奖励保证输出可解析，语义奖励驱动排序，这种混合奖励可以避险 reward hacking；在线上的直播推荐 A/B 测试中，有效用户渗透率与分发宽度均有正向提升，说明方案具备线上可行性。
- 对于冷启动或内容重复使用的场景，该方法提供了一种训练一次、反复使用的范式，避免了为每个用户重复生成描述的推理开销，可直接桥接至双塔召回架构。
See2Think：衡量多模态模型是否真正利用了中间视觉状态
🧭 多模态推理过程诊断与评估
Shanghai AI Laboratory · The Hong Kong University of Science and Technology · Central South University · The Hong Kong University of Science and Technology (Guangzhou) · University of Science and Technology of China
构建统一评估框架See2Think，诊断多模态推理中中间视觉状态的生成、渲染与利用瓶颈
📌 工作参考价值（4 点）
- 在电商搜索、推荐解释或商品问答的Agent流程中，若引入中间草图、标注等视觉操作，可借鉴VAoT框架记录每一步的视觉动作、渲染结果与后续利用，诊断渲染失败导致的错误传播。
- 设计多模态Agent时，避免仅依赖最终答案评估，而应分析视觉状态的忠实渲染与反馈吸收率，尤其在3D商品展示或场景理解任务中，即使模型选择正确操作，渲染瓶颈仍会大幅降低准确率。
- 通过任务相关的损坏反馈干预，可量化模型对中间视觉状态的行为依赖性，这对于验证Agent是否真实依赖视觉信息（如商品图像局部特征）而非文本捷径具有实操价值。
- 发现高反馈吸收率不一定转化为准确率提升，提示在Agent中盲目增加视觉反馈机制可能无效，应先确保渲染环节准确可靠。
SkillRise：面向跨任务技能进化的智能体强化学习
🧭 Agent 多任务技能进化与文档迭代 ★ 深度解读
Zhejiang University · National University of Singapore · Shanghai Jiao Tong University · Meituan
将相关任务序列化并用单一策略交替执行任务解决与技能文档演化，以解耦信用分配实现跨任务技能迁移
📌 工作参考价值（4 点）
- 跨任务技能积累范式：对于电商搜索/推荐Agent，可将不同商品类目下的搜索/推荐任务视为同一任务族，按难度递增构造序列，使Agent在解决简单任务后沉淀通用策略，再迁移到复杂任务，减少重复探索。
- 演化文档作为记忆载体：在投放策略优化或多轮对话中，让Agent维护一份技能文档（例如“高价商品推荐要点”），每次任务后自动更新，替代外部记忆库的复杂维护，降低工程复杂度。
- 解耦信用分配：将“执行当前任务”与“为后续任务总结经验”的奖励分离，执行用即时反馈，总结用后续任务折扣回报，避免两者相互干扰，适合广告出价、查询改写等需要平衡即时效果与长期学习的场景。
- 测试时持续提升：SkillRise展现的随着相关任务序列增加性能递增的特性，可应用于在线服务中持续积累跨请求的经验，无需重新训练即可利用历史交互不断优化策略。
SPARC：序列感知渐进式属性路由与压缩框架
🧭 生成式推荐 · 多字段压缩与上下文路由 ★ 深度解读
Alibaba Group
在生成推荐中，先对多字段行为历史做上下文建模再压缩，使每个交互仅占一个 token 且不损失关键信息
📌 工作参考价值（4 点）
- 可插拔的轻量级历史压缩模块：SPARC 作为生成式推荐骨干的前端，不改变训练目标与 SID，可直接插入现有模型（如 RankGR、TIGER），在保持推理成本不变的前提下提升历史交互的表达能力。
- 上下文感知路由机制：CAR 通过将字段划分为身份（SID）与侧信息，并用上下文条件动态路由侧信息到有限槽位，这种设计可借鉴到电商推荐中的多字段行为建模——例如按行为类型、商品属性、时间衰减等动态决定哪些侧信息更具信息量，避免静态聚合的过早信息丢失。
- “先上下文，再压缩”的原则：先按字段类型构成长序列（Field-wise Context Modeling）捕捉时序演化，再跨字段压缩；工程实现中可以为每个字段维护一条独立的序列 Tranformer 或轻量编码器，成本远低于直接插入全字段 token 序列。这种方法对广告点击历史、多行为序列等场景均可复用。
- 槽位分工的可解释性与可控性：CAR 的路由权重自然形成了不同槽位对不同类型侧信息的偏好（例如一个槽专注行为类型与新鲜度，另一个专注卖家/品牌），可为后续人工规则或约束提供参考，有利于在线调优与特征筛选。
SpecFirst：行为规范提取优先的两阶段从零程序合成框架
🧭 Agent 规范驱动程序合成
Huawei Canada · Queen’s University · University of Manitoba · Concordia University
将需求工程引入LLM Agent，先提取行为规范再合成代码，从零编程通过率提升6.9%-21.3%
📌 工作参考价值（4 点）
- 复杂搜索/推荐策略从零构建时，可引入强制分阶段规范提取：让Agent先通过有限行为试探（如A/B黑盒探查推荐接口的响应规律）输出结构化Spec，再生成策略代码，避免直接编码导致的理解漂移。
- 将行为Oracle思想用于推荐Agent评测：设计黑盒环境（如模拟用户反馈的oracle），迫使Agent先探索行为边界再生成策略，提升策略的鲁棒性。
- 在多步推理任务中应用“规范-实现”解耦：例如，电商搜索Query意图理解与改写，可先让Spec Agent明确意图分类与改写约束，再由Code Agent生成规则或模型调用逻辑。
- 工程化时重视中间产物的稳定性：SpecFirst证明了提前固化的结构化规范能减少后续交互中的误解，在长上下文Agent任务中值得借鉴，如用JSON Schema约束中间输出格式。