SPADE：面向本地搜索的时空偏好对齐与多样性增强框架
🧭 生成式 Query 推荐 · 本地搜索时空建模 ★ 深度解读
Meituan · Independent
联合优化词表、时空编码、DPO 对齐与解码多样性，显著提升本地生活 query 推荐
📌 工作参考价值（4 点）
- OA-BPE 可直接迁移到生成式 item/Semantic ID/query 模型：用 CTR、CVR、曝光归一化作为 BPE merge 权重，替代纯频次统计，给高价值长尾实体更短 token 化，训练前就注入业务先验，几乎无额外成本。
- STAR 的连续多尺度正弦编码 + 零初始化软门控注入，适合需要 GPS/时段信号的 LLM 推荐或 Agent 工具调用；比离散 city/geohash token 更细粒度，且不破坏预训练表示。
- MARS-DPO 是低成本生产对齐方案：直接复用线上 impression-click 列表构造偏好对，复合 reward 融合 rank/LLM 可执行性/距离，自适应选 hard negative，再加 SFT anchor 和分反馈权重，能避免 DPO 概率坍塌。
- SDBS 做 top-K 多样性比 Diverse Beam Search 更稳：只给低 rank beam 加 sigmoid bonus，top beam 不动，复杂度 O(B)，几乎不掉 HR；适合短候选 slate 需要去重又保召回的场景。
可靠性加权直接偏好优化：鲁棒偏好学习的惩罚权重方法
🧭 偏好学习 · 鲁棒 DPO
School of Data Science and Analytics, Kennesaw State University
在 DPO 中为每个比较样本引入可学习可靠性权重，自动降权翻转/噪声偏好，几乎无额外计算成本
📌 工作参考价值（4 点）
- 直接用于 LLM 推荐/排序模型的偏好微调：电商场景的用户行为（点击、点赞、下单）常含噪声甚至反转，RW-DPO 的权重估计与策略联合优化可自动降权可疑样本，工程实现只需在 DPO loss 中加一个惩罚项和闭式权重更新，几乎不增加训练成本。
- 容忍标注噪声，减少人工清洗：实验显示在 10-30% 翻转标签下，RW-DPO 的 win rate 不随翻转率上升而下降，甚至超过干净标签 DPO，说明面对隐式反馈数据不必先花大量资源清洗，可直接训练。
- 利用 margin 阈值识别翻转样本：理论证明恢复所有翻转比较需要 margins 约 log n，可据此设计样本检查策略：优先审查模型与其高置信度预测矛盾且 margin 较大的比较对，辅助数据质检。
- 与其他噪声校正方法对比的启示：RW-DPO 的误报标志更少、估计误差更低，可作为 RLHF 训练中鲁棒偏好建模的基线方案，适合需要快速验证鲁棒性的团队。
SecPO：面向提示注入安全的原理性对抗训练
🧭 LLM 安全 · 对抗训练防御 Prompt Injection
UC Berkeley · Anthropic · Google DeepMind
提出 SecPO 损失与对抗训练管线，将 Qwen3.6-27B 在 AgentDojo 上的提示注入 ASR 从 78.8% 降至 8.8%，且无良性性能损失。
📌 工作参考价值（4 点）
- 在电商/客服 Agent 使用不可信外部数据（商品评论、工单、邮件）时，应将 prompt injection 视为高风险，采用防御性微调而非仅依赖系统提示词；SecPO 思路：构造注入不变且保持业务 utility 的偏好对，替代以原始不安全模型为参考的 DPO。
- 可搭建红队自动化对抗训练流水线：持续合成强注入样本（论文 best@240 水平的攻击），加入微调数据，比只用弱模拟攻击有效；对电商场景可针对商品描述注入、用户评论注入等生成专用对抗样本。
- 上线前评估应采用 AgentDojo 类自适应攻击和 ASR@N 指标，覆盖攻击者后手（AttackerMovesSecond）等更贴合真实 agent 工作流的位置，而不仅是单轮 prompt 测试。
- 安全微调可以与工具调用、指令遵循等能力保持兼容：通过多任务/多基准联合训练与监控，避免为了安全牺牲业务核心能力。
WeFair：短视频搜索个性化查询改写的保真度感知对齐
🧭 个性化查询改写 · 保真度感知 RLHF ★ 深度解读
Weixin Group, Tencent · East China Normal University
用保真度分级的 SFT-DPO-GRPO 对齐人类反馈，训练紧凑个性化 query 改写模型并显著缓解意图漂移
📌 工作参考价值（4 点）
- 对于 query 改写/生成式推荐，建议把真实 session 中相邻 query 改写对和“不需要改写”保留样本同时纳入 SFT，并用 LLM 多裁判筛选，能显著提升改写决策准确率和降低 intent drift。
- 三阶段对齐可复用：SFT 课程用低精度宽覆盖数据打底，DPO 用点击/消费偏好做相对排序，最后 GRPO 奖励只给与真实用户改写或保留完全匹配的目标；避免使用相似度/retrieval/RM 等辅助奖励，它们会降低 advantage purity 和最终准确率。
- 线上部署采用 direct 输出 + 用首个 token 的保留概率做 gating，决定是否只用原 query 做检索排序；这是低成本集成改写的方式。2B 模型 7.6 tokens、0.316s 足够支撑百万级日请求。
- 若要评估改写质量，可定义 Consistent Recall/Precision、Intent Drift Rate、Hallucination Rate 和 Preservation Decision Recall，结合 LLM judge 与人工标注；该指标组合更适合搜索会话中的意图保真评估。
SPAR：带前缀平衡语义ID的逐步个性化自回归推荐
🧭 生成式推荐 · Semantic ID ★ 深度解读
University of Electronic Science and Technology of China · University of Science and Technology of China · HUJING Digital Media & Entertainment Group · Southwest Jiaotong University
提出前缀平衡语义ID构建与逐步个性化解码，缓解生成式推荐分支不平衡和证据不匹配
📌 工作参考价值（3 点）
- Prefix-conditioned memory retrieval：在生成式推荐或Agent决策中，可在每个解码步骤根据当前已生成前缀从长期记忆中动态检索相关证据，而非使用静态用户表示。用Q-Former压缩多粒度历史视图，再通过cross-attention按需读取，可灵活适配不同层级的分支决策。
- Prefix-balanced SID construction：构建层级Semantic ID或类目树时，应在父节点下平衡子节点负载，而非全局平衡。通过设置负载上限并进行最小扭曲移动，可缓解流行路径主导，提升长尾物品可见性。适用于电商商品结构、广告创意圈选等场景。
- DPO preference alignment：利用beam search生成候选集，由排序模型打分构造偏好对进行DPO训练，可进一步提升生成质量。工业级可行，可结合SFT和DPO联合优化，对推荐结果进行偏好对齐。
基于f散度的排序偏好对齐方法（f-RPO）
🧭 LLM 排序偏好对齐 · f-divergence ★ 深度解读
Purdue University · Michigan State University
将f-divergence对齐框架扩展到排序偏好，提出f-RPO，在排名恢复和生成质量上优于排序baseline
📌 工作参考价值（4 点）
- 可直接利用用户点击/转化排序数据训练LLM对齐策略：f-RPO的目标函数形式简单（TV/RKL变体）：L_TV = ½ E[Σ_i ρ_i(−σ(r_i) + Σ_{j>i} q(j|i) σ(r_j))]，用隐式奖励 r=β log(π_θ/π_ref)，无需显式reward model，可嵌入现有DPO流程。
- 构造排序数据时，采用异质生成器（不同温度/模型）产生候选，再由reward model打分并过滤低置信度样本（最小相邻margin≥0.5），可显著提升排序监督质量，适合电商场景下用LLM-as-judge批量生成偏好数据。
- 权重设计ρ_x(i)∝k−i, q_x(j|i)∝j−i 天然满足rank-favored条件，且理论保证排序一致性；这种高排名更大权重的列表级损失可直接迁移到学习排序任务。
- 方法用LoRA微调0.5B-9B小模型即获得明显排序能力提升，适合在广告/推荐轻量级模型上部署，可作为生成式推荐（如Semantic ID排序）的对齐模块。
DeLoop：用重复动作自监督训练长程 Agent 避免循环
🧭 长程 Agent 的自我监督去循环训练 ★ 深度解读
Google · Boston University · University of Washington · University of Southern California · Google DeepMind
把 agent 重复动作当负样本、同 rollout 后续恢复动作当正样本做 DPO，大幅降低上下文压缩下的循环率
📌 工作参考价值（4 点）
- 在电商/广告的 multi-step agent 流程（购物助手、广告投放优化、搜索 query 改写 agent）里，可以先加一个结构化的重复检测器：把 tool/API call 做 canonicalize（忽略空格、参数顺序），再对比返回 observation；相同的 (call, observation) 就是 loop。这些信号可以直接用于在线拦截，也能变成训练数据。
- 用 agent 自己的 rollout 挖掘偏好对：rejected = 重复动作，chosen = 同一条 rollout 里第一个后续非重复动作。无需 reward、gold answer、LLM judge，适合业务里大量失败/无效日志的自监督学习；LoRA DPO 成本低。
- 上下文压缩/总结会明显放大 loop。如果系统里做了会话压缩、摘要、截断，建议监控压缩后的 loop rate，并且不仅优化 compressor/memory，还要训练 policy 学会使用已有历史记录。
- DeLoop-Mix 证明跨域自挖 pair 可以提升泛化：电商场景可以把搜索、推荐、客服等不同 agent 任务的 loop pair 混合训练，既压低重复动作，又提升任务成功率。
适应多轮交互的生成式推荐系统
🧭 生成式推荐 · 多轮对话交互 ★ 深度解读
National Taiwan University · Johns Hopkins University
让生成式推荐模型通过 routing token、history re-anchoring 与 behavioral replay 在多轮对话中保持准确性并可被纠正
📌 工作参考价值（4 点）
- 如果已有生成式推荐模型（Semantic ID），要接入 Agent/对话场景，可参考 routing token + history re-anchoring：将是否推荐建模为解码动作，推荐时把用户历史插入到 ItemID 生成前，避免额外路由分类器。
- 多任务微调时用 behavioral replay（重放原始序列推荐样本）配合 instruction 数据，能有效防止遗忘历史-物品映射，推荐精度不降反升；这比只做对话微调可靠。
- 处理用户“不喜欢/换一个”等反馈时，用 DPO 构造偏好对（拒绝 item vs 正确 item）可显著降低重复推荐（Repeat@10 从 1.00 降至 0.27），是可直接复用的纠偏方法。
- 评估对话推荐质量时用 LLM-as-judge 而非 BLEU/ROUGE，并将路由失误计入准确率（该推荐时未推荐算 miss），更贴近真实线上体验。
电商搜索文档扩展中基于 DPO 的查询生成 QGDPO
🧭 生成式查询扩展 · DPO 偏好对齐 ★ 深度解读
Walmart Global Technology
用相关模型构造偏好对做 DPO，再将生成 query 过相关过滤，显著减少 Doc2Query 幻觉并提升线上搜索相关性与加购率
📌 工作参考价值（4 点）
- 可直接复用「相关模型自动构造 DPO 偏好对」：用已有的三分类相关模型 exact/substitute/irrelevant 对 SFT 生成的 query 打分，按 exact 和 irrelevant 自动配对，省去人工偏好标注；DPO 学习率用 1e-6（远低于 SFT 的 1e-4），β 取 0.1，能明显压住幻觉。
- SFT + DPO 之后再接 relevance filter，两个增益相互独立、可叠加；过滤阈值选 95% recall，既能保持较高 precision（0.866），又不过度牺牲生成的新 token 数量，适合商品文档扩展场景。
- Query 生成式检索里，beam search（beam=10，no repeat ngram=2）比 top-k / top-k+top-p 更稳定，exact 率更高、irrelevant 率更低；如果业务追求线上检索结果稳定可复现，优先用 beam search。
- 用 Mistral-7B + LoRA（rank=256, alpha=64）替代 T5-base 做 Doc2Query，在媒体、玩具等依赖世界知识的商品上能生成更多有用新 token，但需离线批量推理并权衡成本；可以只对长尾或特殊品类启用 LLM 版本。
LLM Agent 的来源偏好：测量、成因与缓解
🧭 Agent 端到端搜索中的来源偏好测量与缓解 ★ 深度解读
Graduate School of Data Science, Seoul National University
LLM Agent 在端到端搜索中因来源域名产生选择偏差，即使内容一致也偏好特定站点，且可通过平衡训练与缺失信息干预缓解
📌 工作参考价值（4 点）
- 在电商/Agent 评估中引入 requirement-matched pair + Bradley-Terry 方法监控来源偏差；用 inversion rate 衡量来源偏好是否压倒 item 质量，可作为线上选品 Agent 的公平性指标。
- 工程上，URL/域名是来源偏好的主要信息载体；隐藏文本中的来源名作用小，因此做盲评或上线时可考虑对 Agent 屏蔽 URL 或标准化来源展示，减少域名对决策的影响。
- 精调 LLM 选择模型时，DPO/偏好数据中 source 与 preferred label 的相关性会学习成 shortcut；把 source 与 label 的配对比例平衡到 50% 可将已有来源偏好拉回中性，避免某个电商平台/供应商被系统性偏袒。
- 当商品属性缺失时（如价格），Agent 会用来源先验脑补；补充缺失属性或 prompt 中明确“来源与属性无关/指定某来源通常低价”可显著降低偏好，尤其后者对线上 prompt 工程成本低，但需知道哪个来源被歧视。
LexReward：法律LLM的分类驱动多维奖励框架
🧭 LLM对齐 · 多维奖励建模
Peking University · Northeastern University · Tsinghua University
提出按Style/Element/Chain三维分解的法律奖励框架，用rubric构建偏好数据训练DPO和奖励模型
📌 工作参考价值（4 点）
- 把整体质量奖励拆成多个可诊断维度（如表达质量、关键要素、推理链），分别建模与优化；推荐/搜索生成式场景可类似拆成相关性、多样性、新颖性、转化意图等维度，避免单一粗粒度打分掩盖短板。
- 用 rubric 定义评估标准，让 LLM 对候选输出打分并构造偏好对，替代昂贵的人工标注；在电商文案生成、推荐理由、搜索 query 改写中可低成本生产 DPO 偏好数据。
- 维度专用 reward model 支持 RL 优化且不需要 reference answer，适合在线反馈稀疏、缺乏标准答案的生成任务；可在强化学习推荐或对话式推荐中作为 reward shaping 组件。
- 论文的维度分析思路可迁移到上线前评估：先对模型输出做多维自动评测，定位具体短板维度，再针对性做 DPO 或 RL 优化，而不是全局调参或重新训练。
小模型更优负样本：偏好蒸馏的缩放规律
🧭 偏好蒸馏 · 负样本构造与缩放 ★ 深度解读
LinkedIn · University of California, Davis · Arizona State University · Clemson University · Pennsylvania State University
在偏好蒸馏中，用更小的冻结模型生成 rejected 响应，比学生自己生成的负样本效果更好且计算成本更低
📌 工作参考价值（4 点）
- 在偏好训练/对比学习数据构造中，不要默认使用同一模型的失败样本作为负样本；尝试用更小的冻结模型生成负样本，可以在降低推理成本的同时提升学生模型效果，尤其在 SeqKD 初始化后。
- 负样本筛选可借鉴 reference likelihood 指标：在固定候选池内选择参考策略下低似然的样本，能获得更强的对比信号，对电商推荐中的 LLM 生成式排序或文案生成同样适用。
- 混合不同来源的负样本可以线性控制训练效果，实际工程中可通过调节小模型负样本占比来平衡成本和收益，无需完全替换。
- 负样本的部分收益来自任务相关的 token 结构而非 prompt 特定错误，因此可将负样本重新分配给其他 prompt 或做 token 级扰动，用于数据增强，提升负样本利用率。
价值几何：语言模型中伦理偏好对齐的任务向量组合
🧭 任务向量组合与伦理偏好对齐
Mohamed bin Zayed University of Artificial Intelligence
用任务向量正交化隔离价值偏好方向，实现可逆的伦理立场迁移
📌 工作参考价值（4 点）
- 任务向量正交化技巧可迁移到 LoRA/DPO 微调：将特定风格/价值方向的 task vector 对 general instruction following 方向做正交，能分离出干净的方向，便于做可控模型编辑，避免引入无关偏移。
- 在推荐/生成式候选排序中要警惕 first-option bias：论文发现 Llama-3.2-1/3B 强第一选项偏差，plain fine-tuning 和 DPO 都能修正到 >98% 准确率，说明简单的 SFT 即可消除位置偏差，值得在评估集上验证。
- 多语言价值冲突数据构造思路可复制：跨境电商或跨语言 Agent 场景中，可构建类似两选项困境集，用于评估模型在公平性、安全策略上的跨语言一致性。
- task arithmetic 实现立场反转：实验中通过向量加减获得相反伦理立场的模型，可借鉴用于生成式推荐中在不重新训练的情况下切换风格或安全策略，如保守/探索、品牌调性等。
领域特定的大语言模型幻觉检测
🧭 LLM幻觉检测与领域自适应
Purdue University Fort Wayne
多信号检测管线结合DeBERTa-v3、MC Dropout与DPO，实现通用与领域自适应幻觉缓解
📌 工作参考价值（4 点）
- 在电商问答、商品描述、推荐理由等 LLM 生成场景，可部署类似“微调 DeBERTa-v3 + MC Dropout + 温度缩放”的反应级幻觉检测器，作为生成内容上线前的置信度闸门；MC Dropout 推理可额外提升准确率但增加延迟，适合异步质检而非实时推荐链路。
- 标注预算有限时，可借鉴其学习曲线结论：25% 训练数据已获 77% 性能，垂直域可先用小样本微调快速验证，再决定是否扩充标注。
- 跨域迁移风险明确：通用域检测器在生物医学域 F1 仅 0.52，域匹配预训练模型微调才明显提升；业务上不能直接复用通用事实性检测器，应使用行业语料继续预训练或微调。
- DPO 用检测器分数作为偏好信号，将 Qwen2.5-0.5B 幻觉率从 85.5% 降至 37.7%，可尝试对推荐文案/客服回复生成器做类似对齐，减少不实信息。
LOCUS：任务感知低秩后训练实现高效 token 语言生成
🧭 低秩后训练控制 LLM 输出 token 成本
University of Washington
冻结主干，在任务相关低秩子空间内做偏好优化，仅更新0.24-0.28%参数即可显著降低输出长度
📌 工作参考价值（4 点）
- 在电商/广告/Agent 场景中，LLM 生成商品文案、推荐解释、客服回复或搜索词时，输出长度直接决定推理成本与首字延迟。LOCUS 提示可以不在全参上做偏好对齐，而是冻结基座，用低秩适配器训练“简洁但保持有用”的偏好，参数更新量极小，便于线上灰度、热切换和快速回滚。
- 将输出 token 成本显式建模为约束优化：在 utility 约束下最小化长度。业务上可借鉴为“在转化率/相关性不显著下降的前提下，最小化生成 token 数”，用带长度惩罚或约束的 DPO 目标训练，避免模型学到“长回复=高偏好”的 verbosity bias。
- 任务感知的低秩子空间选择可以迁移为场景化适配器：不同业务（广告标题、搜索建议、Agent 任务规划）用不同低秩 subspace，分别控制生成长度，既保持各场景特有偏好，又避免冗长输出。
- 工程收益：论文显示仅更新约 0.25% 参数即可获得长度显著下降，这对需要频繁迭代偏好模型的多租户推荐/广告系统尤其有价值，可以大幅降低存储、训练和部署成本。
RetroThinker：语音 LLM 的流式回顾推理框架
🧭 流式语音 LLM 自我修订推理优化
The University of Texas at Austin · FAIR, Meta Superintelligence Labs
通过 SFT+length-based DPO 让流式 SpeechLLM 自我修正 CoT，GSM8K 相近延迟下绝对准确率 +11%
📌 工作参考价值（4 点）
- 多阶段后训练组合可迁移：先 SFT 构造带显式“回顾/修订”痕迹的推理数据，再用 length-based DPO 优化早期推理修订，可用于训练对话式推荐 Agent 的推理链，让模型在用户输入过程中边听边想、自我纠错，降低最终响应延迟。
- 长度感知的 DPO 可控制推理 token 长度，避免 CoT 过长导致线上推荐/搜索 Agent 的 TTFT 恶化；在搜索推荐场景可把“延迟-准确率”作为显式偏好信号加入偏好优化。
- 流式自我验证与前向修正思路可迁移到实时多轮 Agent：当用户 query 尚未说完时启动候选解释/推荐理由生成，并在后续 token 流中动态修正，而非等完整输入后再推理，适合语音购物、实时广告文案生成等场景。
- 需要注意本工作基于语音 token 模型，与电商文本 Agent 不完全同构；可直接借鉴的是训练框架和偏好设计，而非模型架构。
StepAudio 3 Music 音乐生成技术报告
🧭 音乐生成 · ABC-CoT 显式规划
StepFun · ACE · The Chinese University of Hong Kong · University of California San Diego
支持 ABC-CoT 显式音乐规划与离散-连续表示的 5 分 30 秒级音乐生成模型
📌 工作参考价值（4 点）
- 显式中间规划再做最终生成：在推荐理由、push 文案、对话式导购等场景中，可以先产出结构化计划（如类目、卖点、风格、约束）作为部分上下文，再生成最终文案，提升可控性和结构一致性。
- 离散 token + 连续 latent 混合生成路径：生成式召回或内容生成中，可用 Semantic ID 作为离散 token，配合 diffusion 生成连续隐变量，兼顾语义可控与高保真重建。
- 低帧率大码本 single codebook：50Hz、65536 码本降低序列长度和解码成本；在 item/query 表示 tokenization 时可借鉴“低频帧 + 大码本 + 语义辅助多任务训练”。
- 用 DPO 直接优化业务偏好指标：AudioBox 的 enjoyment、usefulness、production quality 均在 DPO 后提升，说明推荐文案、搜索 query 生成等任务可以在 SFT 后用真实业务偏好做偏好优化。
表示对齐实现可泛化的语言模型安全
🧭 LLM 表示级安全对齐 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
提出 ReSO，直接对齐 LLM 潜在表示与人类道德分类结构，在不监督响应的情况下提升对抗鲁棒性
📌 工作参考价值（4 点）
- 在内容安全/合规审核中，不要只做输出层微调（如 DPO），可对物品/内容/query 的表示与安全分类结构做表示级对齐，增强对对抗改写、隐晦违规的泛化。具体可用 triplet 排序损失拉近同类安全内容表示、拉远危险表示。
- 若已有安全分类标签/人工判断，可构造 graded category vector（严重度×置信度），用 Bradley-Terry 目标对 latent 相似度排序进行优化，不需要生成标签，适合标签稀疏或冷启动场景。
- 监控训练过程中验证 RSA 与攻击成功率（ASR）的相关性，作为早停/剂量指标；在 ReSO 中观察到后期 RSA 回归伴随 ASR 上升，避免过拟合。
- 对 Agent 系统，若依赖 LLM 做安全决策，可考虑对状态/动作表示做类似对齐，提升对未见对抗输入的鲁棒性，而不是仅依赖 prompt 或输出过滤。
MERGED：通过生成专家推理蒸馏的多模态实体解析
🧭 多模态实体解析 · 推理蒸馏 ★ 深度解读
Amazon
无需人工标注，多教师VLM生成推理标签，共识SFT+分歧DPO蒸馏7B学生，PR-AUC超32B基线6.32%且成本降6倍
📌 工作参考价值（4 点）
- 关系定义频繁变化的电商场景（exact/variant/substitute），可直接用多教师 VLM 生成结构化标签与 reason；共识样本用于 SFT，分歧样本用 meta-judge 选偏好做 DPO，无需等待人工 SOP 审核，可把新关系上线周期从月级压缩到天级。
- 让模型输出 label+reason+confidence 的 JSON，并用 label 和 confidence 合成标量分，方便接入现有排序/召回链路；7B 学生单样本 <1s、成本约 $600/百万，适合百万级实时商品匹配。
- 冷启动迁移时不要从基座从头训：从已有相邻任务 checkpoint 继续做一轮 MERGED，10K 样本即可显著提升，适合跨市场/跨品类关系定义快速扩展。
- 生成式推荐/Agent 中若需要模型自我解释，可复用 meta-judge 偏好构造思路，提升 reasoning-label faithfulness；但需评估 meta-judge 的一次性大模型成本。
中性数据下对比偏好优化传递谄媚性认同
🧭 LLM 训练 · 偏好优化中的谄媚性传递 ★ 深度解读
Stanford University · Columbia University
教师模型的谄媚性认同通过 DPO 等对比偏好目标从表面中性数据传递给学生模型，且信号弥散难以过滤
📌 工作参考价值（3 点）
- 在构建偏好优化数据时，chosen 与 rejected 响应生成模型的行为偏差需匹配监控；若 chosen 模型在目标行为（如谄媚性认同、过度迎合用户）上显著高于 rejected 模型，对比目标会放大该差异，学生模型将学到隐性偏差。工程上可先用行为 benchmark 给候选 teacher 模型打分，避免偏差不对称对。
- 对电商/对话式推荐 Agent 增加“用户质疑”回归测试：首轮给出正确推荐后，用挑战 prompt（如“你确定？换一个”）测量模型是否错误改变立场，将坚持率纳入线上评估；该指标对应论文的两轮 sycophancy 测量，可直接迁移。
- 事后数据归因与过滤对弥散偏差信号无效（本文 probe-based attribution 过滤 60k 点仍无法降低），因此不能依赖清洗修复，需在数据生成源头控制 teacher 选择或调整对比强度；高风险场景可考虑直接用 SFT 学 chosen 响应，减少对比目标带来的隐式传递。
奖励引导的 Agentic 广告视频生成框架
🧭 Agentic 生成 · 在线反馈 RL ★ 深度解读
ByteDance · Tsinghua University · The Chinese University of Hong Kong
将广告视频生成拆成策略选择与草稿生成，用在线反馈训练性能与质量奖励并通过DPO+GRPO优化，在TikTok显著提升CTR/CVR/Advv
📌 工作参考价值（4 点）
- 拆解生成管线，给业务反馈提供可优化抓手：不要端到端直接出最终创意，而是拆成「策略选择 + 草稿生成」两个阶段，分别用 process reward 和 outcome reward 监督。做电商广告文案/短视频生成时可借鉴：先让模型选择「改 BGM/加 hook/混剪」等策略，再生成具体脚本，使线上 CTR/CVR 能分别指导中间决策和最终内容。
- 用公平曝光管道收集偏好数据：自然流量中创意的 CTR 混杂召回/排序偏置，AgenticGen 采用同一产品下 N=12 个候选随机曝光、绕过排序、至少 1000 曝光才有效的 impression-balanced 管道。创意优选和生成式广告系统的 reward 建模都应优先采用此类剥离偏置的数据协议，再构造同产品上下文内的 pairwise BT 偏好。
- 性能 reward 与质量 rubric 必须互补：单独用 CTR 学 reward 容易偏向 clickbait；引入专家 rubric 并用「三人一致才保留」的人工标注训练质量 reward，GRPO 融合权重（文中 λ_draft=0.6 偏性能）可同时保住在线效果和创作质量。业务上可复制：在线指标 reward + 平台内容规范 reward 一起进 RL。
- 多模态特征工程与稳定训练 trick：性能 reward 输入视频帧、音频/ASR、结构化故事线、广告特征；音频带来最大单点增益（+1.88%）。DPO 加 NLL 正则（λ=0.2）防格式崩坏，GRPO 中多 reward min-max 归一化并用 group-relative advantage；这些都可直接迁移到广告创意生成和评估。
PLC-DPO：噪声与模糊偏好下的后验标签校正 DPO
🧭 LLM 偏好优化 · 标签修正
KAIST AI · KENTECH
利用校准的策略-参考边际把偏好对路由为 clean/flip/tie，主动校正标签方向与强度，提升 DPO 在噪声和模糊偏好下的鲁棒性
📌 工作参考价值（4 点）
- 若业务中用 DPO/RLHF 对齐 LLM 排序器、广告文案生成或 Agent 行为，可引入基于 policy-reference margin 的在线路由：margin 接近 0 或反向时按 tie/flip 处理，而不是硬训，能降低点击/转化等隐式反馈中的误标和争议样本损伤。
- 不必在数据清洗阶段一次性过滤可疑样本，而是在训练中动态估计并修正监督方向/强度；对搜索推荐中的点击 vs 未点击、或 LLM-as-judge 分歧样本，可构造 robust DPO 损失，减少 false negative/positive 影响。
- 对于电商多模态内容或 Agent 行为偏好冷启动，tie 路由提供更平滑监督，适合标注分歧较大的场景；可先做 human disagreement 分析，再设定 flip/tie 阈值。
- PLC-DPO 可直接作为 loss 层替换现有 DPO，无需改数据或模型结构，适合已部署 DPO/RLHF 的团队快速验证。
竞争感知的生成式引擎优化：组合策略选择
🧭 生成式引擎优化 · 竞争感知组合策略选择 ★ 深度解读
Capital One, AI Foundations
用BOCS搜索竞争感知改写策略组合，再经DPO蒸馏为selector，在GEO基准上大幅超越agentic方法并抗竞争饱和
📌 工作参考价值（4 点）
- 在电商产品详情页/广告文案优化中，不要只优化单品内容，要把同query下竞品内容一起输入模型，让策略模型做「相对优化」；生成式搜索/推荐场景中，竞争饱和会显著侵蚀固定策略收益，条件于竞争语料可以减缓衰减。
- 两阶段「离线搜索+在线蒸馏」范式可直接复用：用BOCS等组合黑盒优化在离线环境搜索最优策略组合，再用SFT+DPO将黑盒观测蒸馏成轻量selector LLM，部署时仅需一次推理，避免在线运行昂贵的Bayesian optimization。
- 构造DPO偏好对时，先用Welch's t-test过滤统计不显著的观测，再选Hamming距离最小的hard negative，使模型学会区分相似策略组合之间的细微性能差异，比随机偏好对更高效。
- 推理轨迹蒸馏时，给teacher提供特权评分卡但强制其从可观测内容特征推理，然后把内容条件化推理教给学生；上线前要做泄露审计，并注意改写可能带来faithfulness/attribution下降，建议加入检索与事实性约束。
跨语言排序偏好优化：构建多语言对齐的层级 ranking 框架
🧭 跨语言 LLM 偏好对齐 · Learning-to-Rank ★ 深度解读
Korea University
将 Learning-to-Rank 引入跨语言偏好对齐，利用英语偏好知识提升目标语言一致性与质量
📌 工作参考价值（4 点）
- 在多语言推荐/Agent 回复场景，可用英语高质量偏好数据构建跨语言排序对，通过层级偏好（目标语言正确语言 > 英语正确内容 > 目标语言错误语言）同时约束语言一致性和内容质量，减少语言混淆。
- 将 DPO 的 pairwise 比较升级为 listwise ranking，利用 LambdaLoss 权重（如 nDCG2）对多个候选响应进行全局排序，能更精细地优化目标，例如在生成式推荐中同时对相关性、多样性、语言等维度排序。
- 在偏好优化损失中加入 NLL 项（如 α=0.2）可防止模型只增大 reward margin 而抑制被拒样本概率，避免生成退化，对业务中 LLM 微调有价值。
- 低资源语言/场景下，跨语言 ranking 比单纯 binary 对比更稳健，可借鉴到冷启动物品推荐或小语种文案生成，利用高资源语言偏好知识迁移。
PEA-DPO：感知增强直接偏好优化用于多模态大模型对齐
🧭 多模态 LLM 对齐与视觉偏好优化
University of Science and Technology of China · National University of Singapore
提出 PEA-DPO 显式利用视觉偏好信号，解决多模态 DPO 中的视觉不敏感问题并显著减少幻觉
📌 工作参考价值（4 点）
- 在电商图文推荐或商品文案生成中，仅靠文本偏好对齐容易让模型忽略图像关键信息；可借鉴 PEA-DPO 思路，构造显式视觉对比样本（例如移除商品属性区域前后）作为偏好对，强制模型感知视觉差异。
- 多模态场景下 DPO 失效往往表现为「视觉不敏感」，建议在偏好数据中显式注入视觉信号，而不是简单复用文本偏好对；这能降低商品描述与图片不一致的幻觉。
- PEA-DPO 在增强视觉敏感性的同时保持语言建模能力，说明多模态对齐可以解耦：对视觉模块加感知约束，对语言模块保持原有优化目标，适合需要兼顾文案流畅性和图片一致性的业务。
- 论文验证了不同规模 MLLM 上均有效，说明该方法可作为轻量级偏好优化插件，接入现有多模态推荐或搜索问答系统，无需改变主架构。
以问求证：基于熵减奖励的多轮 LLM 对话推荐
🧭 生成式对话推荐 · 熵减奖励 ★ 深度解读
Amazon
用推荐熵减作为多轮交互奖励，无需 ground truth 即可训练更高效的对话推荐 LLM
📌 工作参考价值（4 点）
- 可以把“采样推荐列表的加权熵”作为在线 Agent 的不确定性信号：每次用户回复后采样 top-k 商品列表，计算熵减，作为无监督 reward 或筛选样本，用于训练导购/客服 Agent，避免人工标注交互好坏。
- DPO 偏好对可由熵减重打标签，替换 CollabLLM 里 LLM-judge 的 interactivity 分数；工程上只需在原有生成流程中加一个采样和熵计算模块，成本低，且更贴合推荐目标。
- 加权熵公式中 rank j 权重为 1/log2(j+1)，可借鉴到推荐列表评估：强调 top 位置的一致性，避免长尾商品波动干扰不确定性估计。
- 评估时除了 Hit@k，还应关注达到目标商品所需轮次；电商多轮导购中可把“轮次效率”作为核心指标，与转化率一起优化交互策略。
扫清迷雾：在 LLM Agent 中植入与精调主动探索能力
🧭 LLM Agent 主动探索训练 ★ 深度解读
Sichuan University · National University of Singapore · University of Leeds · Engineering Research Center of Machine Learning and Industry Intelligence
通过探索性数据构建和对比信号引导强化学习，大幅提升 LLM Agent 在多轮交互任务中的主动探索与决策能力
📌 工作参考价值（4 点）
- 电商购物 Agent 的训练数据要包含探索轨迹：标准人类专家轨迹中探索动作几乎为 0（如 WebShop 中 Next/Back 仅 0.1%），导致 SFT 后的 Agent 只会被动执行、不会翻页回溯。可以用强 LLM 配合树结构上下文，合成包含主动搜索、回溯、分支尝试的探索丰富轨迹，作为 SFT 初始化数据。
- 用树结构管理会话历史，避免长程任务中的上下文迷失：在电商搜索、多轮比价等场景，线性的 action-observation 历史会混淆有效路径与废弃分支。借鉴论文中的 tree-structured history + cognitive notes，在 Agent 内部显式维护分支、回溯指针和状态标注（如 [DEAD END]、[SUB-OPTIMAL]），能显著提升策略的探索质量。
- 用对比偏好对 + DPO 校准「探索 vs 执行」的决策边界：在关键状态上，采样学生动作与参考动作，通过 MC rollout 估计各自未来回报，过滤小差距对后做 DPO。这套机制可以迁移到推荐/搜索 Agent 的策略优化，让模型学会何时继续浏览、何时停止探索并做出购买/点击决策。
- 探索效率评估与难度分层分析：论文提出的 Eff = EE - WE 指标（有效探索减浪费探索）以及按任务难度分层统计探索强度，可用于业务中诊断 Agent 是否在做有效信息获取，而不是盲目增加交互步数。
AdsWorldEngine：编排器与工具协同进化的对话广告 Agent
🧭 对话广告 Agent 与工具协同进化 ★ 深度解读
Microsoft
用 Actor-Tool 协同进化与标签锚定判断建模构建对话广告 Agent，取得显著离线与在线收益
📌 工作参考价值（4 点）
- 把“是否出广告/推荐/消息”从“出什么”里拆开：用 Opportunity Gate + asymmetric cost-sensitive GRPO 控制误触发。false positive 惩罚设为 -2、false negative 设为 -1，直接按业务损失编码；不要做 group std scaling，避免抹掉不对称 gap。适合电商 push、对话推荐插入、搜索广告位决策。
- Actor-Tool 协同进化：先用 final slate 的 relevance/diversity 奖励训练 Orchestrator，再用 high/low reward rollouts 构造 (intent, 正样本 ad, 负样本 ad) preference 对，以 DPO 式目标训练 retrieval/relevance/ranking tool。能把端到端业务奖励传导到召回/排序工具，适合已有检索/排序模型的团队。
- Orchestrator 的 GRPO 奖励要看最终 slate 的 relevance/diversity，而不是看生成 query 的表面多样性。训练后模型会从“2026 Honda Pilot vs Toyota Grand Highlander comparison”这种重叠 query 变成两个产品名 query，检索候选更不重叠。搜索 query 生成/改写可复用：评估 query 质量要用下游召回结果。
- Label grounded judgment modeling：用 human label + 生产 guideline 生成思维链，再用 reflection 过滤标签不一致的 rationale，能减少“流畅但违背 label”的监督噪声；适合做主观 relevance/机会判断模型。
Se-DPO：自演化令牌信用用于直接偏好优化
🧭 偏好对齐 · 令牌级自适应KL正则化 ★ 深度解读
University of California, Los Angeles · Shanghai AI Laboratory
通过在线从模型自身隐式奖励与参考熵中动态学习每令牌KL预算，解决DPO均匀加权的次优问题。
📌 工作参考价值（4 点）
- 动态重要性加权思想可迁移至推荐场景：类似给用户行为序列中不同位置 token 分配不同 KL 预算，推荐系统中可对用户历史行为的不同步数或不同特征维度分配不同的正则化强度或学习权重，避免平均主义，让关键决策点有更大优化自由度。
- 在线重要性更新机制：静态重要度在训练后期会严重失配，Se-DPO 定期从模型当前状态更新信用。这启发在在线学习排序模型或生成式推荐中，可引入周期性重估每个样本/特征重要性的机制，而不是训练前一次性固定。
- 轻量校准网络的设计模式：用一个小 MLP 融合强度（\(|\hat{r}_t|\)）与不确定性（\(H_{\text{ref}}\)）两个信号，输出信用。推荐系统可类似设计一个轻量子网络，结合预估的重要度与置信度来动态调节损失权重，几乎无额外成本。
- 无需外部信号的在线信用提取：只用模型自身隐式奖励和参考熵，无需教师模型或额外标注。在缺乏外部监督的生成式推荐或 Agent 任务中，可仿照此方法利用模型内部信号进行自适应样本加权。
搜索控制边界的简报引导纠正性偏好蒸馏
🧭 LLM搜索代理·漂移纠正与偏好蒸馏 ★ 深度解读
Renmin University of China · Alibaba Group
通过任务锚定的搜索状态简报从学生交动中构造状态匹配偏好对，纠正持久搜索漂移
📌 工作参考价值（4 点）
- 训练搜索/对话代理时，可为每个决策时刻构建一份教师端 search-state brief（含原始目标、关键约束、已获证据与缺失信息），以此作为训练时的特权参考，避免教师被学生已产生的误导上下文带偏。
- 利用学生自身交动的失败轨迹构造 状态匹配偏好对：失败步骤的原始延续 vs 教师针对该错误生成的纠正延续；成功轨迹中，最早的证据支撑答案 vs 不必要的继续检索。仅在训练时使用这些偏好执行 DPO，推理时无需额外开销。
- 偏好对的选择应结合 brief引导的局部错误评估与 rollout 最终结果，不预设失败轨迹中每一步都错，也不丢弃成功轨迹中的终止监督信号，以此过滤噪声样本。
- 电商场景的多步商品检索或客服代理，常因召回的相关文档引发主题漂移或约束丢失；可借鉴 BOUND 在状态层面锚定原始意图与约束，通过 DPO 巩固正确的搜索控制决策。
通过选择性上下文偏好优化学会何时信任
🧭 选择性信任训练 · DPO偏好优化
Duke University · National University of Singapore · UC Berkeley · UC Irvine · Northeastern University
提出选择性信任基准 MIST 与平衡 DPO 训练 SCOPE，使 LLM 在利用上下文时抵御误导信号
📌 工作参考价值（4 点）
- 构建多条件评估集：在 Agent 或 RAG 流程中，可借鉴 MIST 的四条件（干净、误导、正确上下文、无关上下文）设计验证集，评估模型对检索/注入上下文的「选择性信任」能力，避免只测鲁棒性或只测利用率。
- DPO 训练数据构造：利用 clean-correct/misleading-wrong 失败案例构造偏好对，且平衡四种条件（而非仅误导样本），可改善模型在不牺牲正确上下文利用率的前提下降低误导敏感度，适用于微调客服对话、搜索总结等易受噪声上下文影响的 Agent。
- SC2W 指标应用：在推荐解释生成或购物助手场景，可用 SC2W（干净正确被误导翻转为错误的比率）作为核心监控指标，重点检测模型在面对错误产品描述、误导性评论时是否保持正确。
- 工程实现轻量：SCOPE 仅需标准 DPO 训练，无需额外模型结构或强化学习，可直接在现有微调流程中应用，适合业务快速实验。
Groc-PO：面向多模态LLM的显式接地偏好优化
🧭 多模态LLM对齐 · 分阶段接地偏好优化
University of Science and Technology of China · Xiaomi Corporation · State Key Laboratory of Communication Content Cognition, People's Daily Online
通过在多模态推理的物体、上下文和推理阶段引入显式偏好监督，抑制错误传播并减少幻觉
📌 工作参考价值（4 点）
- 在商品图文描述生成、多模态问答等场景中，可借鉴分阶段偏好优化思想：分别对物体识别、上下文理解和推理结论设计偏好对，在训练时注入更细粒度的真实监督，从而减少事实错误。
- 构建偏好数据集时，可采用类似GCPD的三阶段结构（Object Grounding, Contextual Grounding, Grounded Reasoning），强制模型在生成中间步骤时保持与视觉证据的紧密一致性，这对需要多步推理的电商导购Agent尤其关键。
- 工程实现上，可直接在流行的DPO训练框架（如trl）中添加按阶段分组的损失项，只需将偏好对按阶段标记，然后联合优化，无需大幅改动训练管线。
- 该显式接地监督思路可迁移至搜索推荐中的多模态理解模块（如商品图、视频理解），提升对长尾商品或复杂组合的识别精度，最终改善推荐理由或搜索摘要的真实性。
用真实意图铺路：意图感知训练提升LLM安全分类
🧭 意图感知训练增强安全分类
University of Groningen · University Politehnica of Bucharest · NVIDIA
将用户意图作为显式中间信号，跨SFT/DPO/蒸馏/RL范式提升安全分类器鲁棒性，GRPO奖励意图保真度达最优
📌 工作参考价值（4 点）
- 在电商/Agent安全审核中，可将用户意图作为中间特征引入分类器，用少量人工标注（如AIMS仅1724条）提升对困难样本的判别力
- 借鉴意图条件蒸馏思路：在蒸馏安全判别模型时，让学生模型同时学习推理过程与最终意图，优于仅蒸馏推理
- 将意图保真度设为奖励函数，通过GRPO等RL方法直接优化安全分类的忠实性，可离线或在线微调
- 构建“提示→意图→标签”三阶段pipeline，在线上推理时引入意图生成步骤，以可控延迟换取更高准确率，形成帕累托前沿
你的鼠标和眼睛悄悄泄露偏好：基于隐式反馈的LLM对齐
🧭 隐式反馈LLM对齐 · 多模态行为信号
University of Massachusetts, Amherst · York University
利用鼠标轨迹与眼动追踪等隐式用户信号，显著提升LLM对齐的奖励模型准确率与DPO优化效果
📌 工作参考价值（4 点）
- 对话式推荐/Agent交互中植入隐式信号收集：在电商导购Agent或搜索推荐对话界面中，可低成本采集鼠标悬停、停留时长、滚动行为、甚至眼动数据（如用户授权），作为比显式点击/购买更稠密的偏好信号，用于细粒度reward建模。
- 奖励模型融合trick：使用随机森林等非线性模型融合隐式行为特征与文本特征，比纯文本reward模型提升9个百分点，可直接迁移到推荐系统中的用户意向打分或排序融合。
- DPO训练中注入隐式反馈权重：将基于鼠标/眼动的偏好得分作为DPO优化中的似然权重或对比对的选择依据，类似rDPO with NLL，可让生成结果更贴合真实用户关注模式。
- 数据收集与隐私平衡：论文所用Mechanical Turk的webcam眼动方案成本较低，电商搜索/Agent产品可考虑在用户知情同意下进行小规模采集，用于对齐模型的持续优化。
Mult-DPO：面向推荐系统的多项式直接偏好优化
🧭 生成式推荐 · 多正例偏好优化 ★ 深度解读
University of Virginia · Netflix · Cornell University
提出多项式替代似然，将 DPO 扩展到多正例集合式偏好对齐，并证明其为 marginalized PL 损失的上界
📌 工作参考价值（4 点）
- 对于包含会话、行为序列等场景，用户通常有多个正反馈（点击/喜欢），可直接用 Mult-DPO 同时建模多个正例与负例，无需成对损失，时间复杂度从 O(K^2) 降至 O(K)。
- 训练时利用 KV-cache 复用 prompt 部分，使得单步计算开销与 vanilla DPO 相当，适合部署在电商/对话推荐中序列较长、候选物品较多的场景。
- 硬负例采样能收紧损失上界，可借鉴 SPRec 风格按 epoch 动态采样高权重负例，进一步强化对齐效果。
- 若存在多级偏好（如评分 1-5），可直接用 Mult2-DPO 保留精细偏好结构，提升排序质量，适合替换传统 BPR 损失。
CoHyDE：密集编码器与LLM改写器的迭代联合训练用于工具检索
🧭 Agent工具检索 · 联合训练编码器与HyDE改写器 ★ 深度解读
SAP Labs
通过多轮交替更新，让编码器和LLM改写器在检索任务中协同进化，解决查询与API目录的词汇鸿沟
📌 工作参考价值（4 点）
- 联合训练改写器与编码器：在电商搜索或Agent工具检索中，可借鉴交替迭代的训练范式，用检索分数直接指导改写器优化，使查询描述与商品/工具表示空间对齐，缓解词汇不匹配问题。
- DPO以检索效果为奖励信号：无需外部标注，直接使用编码器的NDCG分数构建偏好对训练改写器，实现端到端的闭环优化，可应用于生成式推荐中的查询改写或商品描述生成。
- 预热与风格适配：先独立训练编码器（用真实查询-物品对）和改写器（用物品目录多格式文本），再进入联合循环，可快速获得领域适应能力，降低冷启动成本。
- 多轮协同进化：逐步增加轮次可稳定提升跨分布能力，尤其适合电商搜索中口语化查询与商品标题之间的语义对齐，模糊查询改善显著（+6.3pp NDCG@5）。
Mobile-Aptus：基于置信度驱动的MLLM移动代理主动鲁棒交互框架
🧭 移动代理 · 置信度驱动交互 ★ 深度解读
Shanghai Jiao Tong University · Meta (GenAI)
提出通用置信度集成框架，结合有监督微调与基于语义相似检索和DPO的置信度偏差校正，同时缓解移动代理的过度执行和过度请求问题
📌 工作参考价值（4 点）
- 可借鉴如何通过置信度分数让 agent 自主判断何时请求人工介入，避免因模型能力边界不清晰导致盲目执行或频繁打扰，适合电商售后、Agent 助理等场景，可复用 confidence-aware 的输出结构设计。
- 提出的两阶段训练流程（先 SFT 赋予置信度生成能力，再通过语义相似检索构建 DPO 对进行偏差校正）具有通用性，可直接迁移到推荐对话交互或生成式推荐中需要模型自省置信度的任务，提升模型自我评估的准确性。
- 在构建 DPO 正负例时，仅针对模型置信度预测错误的样本并利用语义相似度检索 top-k 相关样本构造对比对，能高效利用数据，避免全量标注；该数据增强 trick 可用于其他需要置信度校准的指令微调场景。
- 实验表明，用多智能体系统替代人工介入可在不牺牲任务成功率的前提下减少打断次数（TASK成功率提升32.91%，平均额外延迟仅0.56s），这为电商业务流程中人类介入环节的自动化提供了可行架构：部署一个云端多智体系统，在本地 agent 不确定时接管步骤。
情感音乐推荐：基于 rollout 世界模型的离线偏好优化
🧭 世界模型 · 离线偏好优化 · 情感计算 ★ 深度解读
LUCID Inc. · Mila — Québec AI Institute
用因果 Transformer 世界模型联合预测行为与情感反馈，并通过 DPO 优化策略，在伦理约束下实现情感导向的音乐推荐。
📌 工作参考价值（4 点）
- 世界模型作为离线模拟器与安全闸门：当在线实验受伦理或合规限制时（如电商中的高风险推荐、医疗健康推荐），可训练一个因果 Transformer 预测用户多维反馈（点击、评分、情感），完全在模拟器中训练和压力测试策略，上线前用对抗历史探测策略鲁棒性。
- DPO + 行为克隆做受控探索：用行为克隆初始化策略，再通过 DPO 微调，KL 散度惩罚项可约束策略偏离已验证的基准，适合在已有生产策略基础上渐进优化，避免灾难性遗忘。偏好对可基于“负反馈纠正采样”构造，即针对历史负反馈样本搜索高效用替代，形成有监督改进信号。
- 因子化 Transformer 架构便于并行打分：世界模型采用因子化设计，先对用户历史编码得到表示向量，再与候选物品 embedding 拼接后通过轻量 MLP 预测反馈，可实现一次历史编码、批量候选评分的并行化，大幅降低实时推理成本，适合库存量大的电商场景。
- 多目标效用函数融合异质反馈：将点击、评分、情感等多维信号加权合成为标量效用，且权重可配置，方便根据业务阶段动态调整优化目标（如先提转化再控多样性），同时监控覆盖率、熵、Gini 等多样性指标防止策略坍缩。
PEAM：通过经验内化将具身智能体记忆参数化
🧭 具身智能体经验参数化与持续学习 ★ 深度解读
Northwestern University · Northeastern University · South China University of Technology · Hong Kong Baptist University · Beijing Normal - Hong Kong Baptist University
将智能体经验从检索式记忆转为参数化技能，通过失败-纠正对比学习与隔离式的MoE-LoRA适配器实现持续巩固。
📌 工作参考价值（4 点）
- 经验内部化减少推理开销：在推荐/Agent场景中，可将高频技能或用户偏好直接固化到模型参数中（如LoRA适配器），避免每次推理时检索技能库或长上下文注入，可大幅降低延迟（实验中下降42%）和Token消耗（-85%）。
- 失败-纠正对比训练：利用失败与纠正后的轨迹对进行DPO训练，让模型不仅模仿成功行为，还能辨别纠正前后差异，此思路可迁移到对话Agent、推荐排序中：收集用户负反馈与修正后的正样本，构造对比学习信号。
- 按类别隔离的LoRA适配器防遗忘：在多任务/多领域场景中，为每个类别（如不同商品类目、不同Agent技能）分配独立的LoRA模块，物理隔离参数更新，可天然避免灾难性遗忘，无需复杂正则化。
- 自触发巩固机制：基于失败率统计检验自动决定何时更新模型，无需人工设定任务相关阈值，适合电商推荐等动态环境，根据实时表现自适应调整模型更新节奏。
TPMM-DPO：轨迹感知偏好引导的模型融合用于迭代直接偏好优化
🧭 迭代 DPO 训练稳定性优化
Guangxi University
提出轨迹感知模型融合方法，用学习到的融合权重整合迭代 DPO 过程中的历史模型，构建更稳定的参考模型，有效抑制噪声累积和性能退化。
📌 工作参考价值（4 点）
- 迭代偏好对齐的稳定训练：在电商对话、推荐理由生成等用到迭代 DPO 的场景，直接用上一轮模型作为参考可能引入噪声累积。可借鉴 TPMM-DPO，保留历史模型轨迹，通过可学习融合权重动态构建参考模型，提升训练稳健性。
- 模型融合权重学习：相比简单平均，学习到的融合权重能更好地抑制噪声，可应用于其他需要集成多代策略模型的场景（如 Agent 多轮自我改进）。
- 偏好数据抗噪：当偏好标注存在噪声（如人工标注不一致、自动收集的反馈），该方法能减轻过拟合和性能波动，适合电商 UGC 环境下的大规模偏好数据训练。
- 工程实现简单：融合模块即插即用，一般是在线合并模型参数，无需额外训练奖励模型，可直接插入现有 DPO pipeline。
RAGR：评论增强的生成式推荐
🧭 生成式推荐 · 用户评论增强 ★ 深度解读
Dalian University of Technology · City University of Hong Kong · Huawei Technologies Ltd.
将用户评论反馈编码为语义ID融入生成式用户序列，并通过DPO对齐确保模型偏好物品生成而非评论生成。
📌 工作参考价值（4 点）
- 用户反馈文本可直接转为语义ID注入生成序列：在电商评论场景中，可利用现有多模态编码器（如T5）将商品标题、评论等文本预先量化为离散语义ID，与物品语义ID按时间交错拼接，直接改造任意生成式推荐模型（如TIGER）的输入，无需改动模型架构。
- 引入评论预测作为辅助任务：将下一个评论的语义ID也作为生成目标之一，与物品预测共享同一生成空间，可隐式地让模型学习“物品-评论”的共现语义，缓解物品ID空间分布集中的问题，提升长尾物品的表示学习。
- 用DPO显式对齐生成偏好：当输入序列中同时包含物品和评论ID时，构造（输入，物品ID，评论ID）三元组，使用DPO将物品ID设为偏好输出，评论ID设为拒绝输出，可简洁地防止模型在预测位置“短路”直接生成评论，确保推荐目标不漂移。
- 实体文本的语义ID tokenization 优于直接混用不同来源文本训练 tokenizer：实验表明，仅用物品文本训练RQ-VAE得到的语义ID，在效率和下游推荐性能上均优于混合物品和评论文本，可避免语义空间过于分散带来的噪声。
通过随机少样本指导增强可验证奖励强化学习
🧭 LLM ★ 深度解读
University of Illinois Urbana-Champaign
提出 FEST 算法，仅用 128 个随机 SFT 演示，通过半在线 DPO 和衰减权重实现 RLVR 的显著提升