SCAR：语义连续性感知的检索策略实现RAG高效上下文扩展
🧭 语义连续性感知的自适应上下文扩展
Horizon Flow
提出自适应扩展相邻块的检索策略，以更少的块数达到高召回并减少 token 开销
📌 工作参考价值（4 点）
- 在电商知识库、客服RAG中，可借鉴SCAR的自适应扩展逻辑，通过权衡查询相关性与结构连续性，避免静态窗口造成的token浪费，用更少的上下文块保持高召回。
- 方法对嵌入模型具有尺度不变性，同一超参数可直接跨模型迁移，减少多业务场景下的调参成本，适合快速部署。
- 对于需要跨段落重组证据的长文档（如产品规格书、法律条款），SCAR可提升边界分割后的证据链完整性，避免人工调整分块策略。
- 在Agent的记忆检索或工具调用文档检索中，引入结构连续性惩罚项，能有效缓解因固定分块带来的信息碎片化，提升下游生成质量。
上下文感知RL：用辅助选择损失增强长序列与多模态证据接地
🧭 上下文感知强化学习 · 多模态与Agent ★ 深度解读
Princeton University · UC Davis
在 GRPO 中增加对比上下文选择辅助损失，显著提升 Agent 与多模态 LLM 的证据接地能力
📌 工作参考价值（4 点）
- 辅助上下文选择损失：在现有 RL（如 GRPO）训练中，同时训练一条「给定 query-answer，从一对相似但结论相反的上下文中选出支持该答案的正确上下文」的辅助任务，可作为轻量插件提升模型对关键证据的敏感度。
- 构造对比上下文对的工程方法：Agent 场景用轨迹过滤（同仓库、同文件、同函数、不同 issue + 答案掩码）构造 1k 高质量对，多模态用生成编辑+相似检索构造 7k 对，避免人工标注。业务中可类似挖掘正负用户行为序列、对比商品图文等。
- 避免将对比数据简单用于 SFT 或混入 RL 奖励：实验表明，用对比数据做 SFT 会严重破坏长序列策略（编码 Agent 任务 resolve rate 从 28% 跌至 1.3%），单纯作为二元奖励加入 RL 几乎无效；只有设计为辅助 logit 级损失并配合 GRPO 的 clip/KL 约束，才能稳定获益。
- 长序列推荐/Agent 的场景直接复用：在用户长行为序列、商品描述、多模态推荐中，可通过构造「仅关键一步不同」的正负上下文对，用相同辅助损失强化模型抓取关键信息，提升长程一致性和抗噪声能力。
探索代码解释器推理的外在令牌与内在认知特性
🧭 LLM推理 · 代码解释器行为分析
Vidyasirimedhi Institute of Science and Technology · Kasetsart University · SCB 10X · King Mongkut's University of Technology Thonburi · Chulalongkorn University
发现有效代码推理依赖关键令牌与验证、回溯等认知行为，并验证其对推理提升和训练增强的作用
📌 工作参考价值（2 点）
- 在电商Agent中若使用代码解释器进行数据查询或逻辑推理，可在推理时追加识别出的关键令牌（如结果验证、步骤回溯）以提升任务准确度。
- 训练推荐系统的LLM推理模块时，可注入代码思维中的自我验证、反向链推理等认知行为作为数据增强，帮助模型在复杂决策中减少过度思考，提高推理效率。
统一多模态自回归建模：共享上下文视觉分词器是关键
🧭 统一多模态自回归架构
Institute of Trustworthy Embodied AI, Fudan University · Shanghai Innovation Institute · Qwen Team, Alibaba Inc.
用单一离散视觉分词器统一多模态理解与生成，实现自回归模型直接解读自身生成视觉token
📌 工作参考价值（4 点）
- 统一视觉分词器设计可借鉴至电商商品多模态表征：单一离散token同时支持识别和生成任务，减少多套编码器的维护成本，对商品图搜索、审核、生成等场景具有统一表征潜力。
- Lookup-free比特量化（bitwise quantization）扩展视觉词汇量的同时保持低开销，类似Semantic ID的思想可用于商品视觉ID构建，将图像转为紧凑离散码，便于在大规模召回或生成式推荐中作为条件。
- 并行比特预测（parallel bitwise prediction）大幅缩短视觉序列长度，加速图像生成推理，对实时性要求高的商品图生成或虚拟试穿等场景有实用价值。
- 若业务中需构建统一的多模态对话/导购助手，共享context的架构能避免重复编码生成结果，降低延迟，值得在Agent设计时参考。
循环世界模型：迭代隐状态实现百倍参数效率
🧭 世界模型 · 循环架构 · 参数效率
FaceMind Research Asia
通过参数共享的 Transformer 块迭代优化隐状态，世界模型获得高达 100 倍参数效率并自适应深度
📌 工作参考价值（4 点）
- 参数共享的循环 Transformer 可迁移到用户行为序列预测，大幅减少长序列建模时的参数量和推理成本
- 自适应深度机制可根据输入复杂度动态分配计算，适合推荐系统中用户状态复杂多变的场景
- 迭代隐状态更新思想可用于长期兴趣演化模拟，替代传统的固定循环网络
- 主要是学术贡献，业务可借鉴点有限：当前仅在标准世界模型基准验证，缺乏推荐场景直接证据
ZPPO：将教师融入提示而非梯度的近端策略优化
🧭 基于提示的教师引导强化学习训练
NVIDIA
在困难样本上，教师通过构造对比提示替代策略梯度注入，使学生模型摆脱蒸馏与GRPO的局限。
📌 工作参考价值（4 点）
- 难例训练范式：当RL训练的智能体（如对话推荐Agent）在稀疏奖励场景下持续失败时，可将更强模型或模拟器的正确答案作为对比提示注入，而非直接蒸馏logits或修改梯度，避免策略漂移。
- 对比式提示构造：借鉴BCQ和NCQ，将正确与错误响应匿名配对，让学生模型自行判别，可迁移至推荐系统候选列表的对比学习，提升模型对优劣结果的辨识力。
- 动态困难样本重放：采用基于准确率的提示重放缓冲区，让模型反复练习尚未掌握的困难例，直到毕业，有助于解决推荐场景中长尾物品或冷启动样本的训练不足问题。
- 小模型增效：最小学生规模（0.8B）时提升最显著，适合在边缘设备部署的轻量级推荐或意图识别模型，用ZPPO替代传统蒸馏以保持更强泛化能力。
CoffeeBench：多智能体异质经济中长期 LLM 代理的基准评测
🧭 LLM 多智能体长期经济决策基准 ★ 深度解读
Sakana AI · KPMG AZSA LLC
构建咖啡供应链多智能体经济模拟，评估 LLM 代理在 90 天内的利润与通信行为，揭示主动交易与 idle-drift 分化
📌 工作参考价值（5 点）
- 多智能体供应链模拟可直接迁移至电商平台协同：咖啡供应链的农民-烘焙商-零售商三层结构类似电商中供应商-平台-客户的链状关系，可用 ReAct 代理模拟商家竞价、采购、定价，评估 LLM 在自动谈判与利润最大化中的表现。
- 主动通信是盈利能力的关键指标：高利润模型（GPT-5.5）日均发送 1.5 条消息以上，而低利润模型通信极少。在电商 Agent 设计中应鼓励主动询价、报价与协商，而非仅被动响应。
- 警惕 idle-drift 失败模式：Claude Haiku 4.5 在保持推理连贯的同时反复选择“等待下一天”，导致长达 40 天的不作为。实践中需为代理设置“活跃度监控”与强制唤醒机制（如超时重启、消息回复强制动作），防止陷入虚假的推理但无行动的状态。
- 利润与销售额解耦，定价谈判比交易量更重要：Gemini 3.1 Pro 与 Kimi K2.6 营收相近但利润差异大，原因在于前者实现了更高的平均售价。推荐系统或广告出价中同样适用：关注单次成交利润率而非仅追求 GMV 量，Agent 应具备动态定价与 margin 核算能力。
- 长期记忆管理是必须的工程化手段：当上下文超过 160k tokens 时，论文采用模型自身对中间轨迹做摘要，保留首尾最新步骤。对构建长会话 Agent 的推荐系统有直接启发：可定期对对话历史做压缩总结以适配上下文窗口。
DreamX-World 1.0：通用交互式世界模型
🧭 交互式世界模型 · 长时生成与相机控制
DreamX Team
一个支持相机导航、场景重访和可提示事件的通⽤交互式长时视频生成世界模型，通过蒸馏与自回归训练达到16 FPS
📌 工作参考价值（4 点）
- 自生成历史缓解偏移：用模型自身生成长序列进行训练，可借鉴到生成式推荐（如语义ID自回归生成）的长序列训练，减少曝光偏差与风格漂移。
- 记忆条件与几何检索：基于相机几何检索历史视图，实现场景持久化；可类比在会话推荐中按行为序列检索历史状态，保持长对话一致性。
- 蒸馏结合RL对齐：DMD风格蒸馏后使用RL恢复控制精度与视觉质量，对蒸馏后的生成式推荐模型可考虑类似强化微调来保持可控性。
- 工程优化技巧：混合精度、75%剪枝VAE解码、异步流水线并行等，可直接迁移至大规模生成式模型在线推理的加速。
多粒度自适应图证据的智能体多模态RAG
🧭 多模态长文档RAG · 图证据与智能体控制
Beijing Institute of Technology
基于证据图与在线预算控制的多粒度多模态RAG，在长文档QA中动态平衡证据覆盖与噪声
📌 工作参考价值（4 点）
- 多粒度证据图构建：将文档拆解为页面与元素节点，编码布局、阅读顺序、章节层级等结构关系，可迁移到商品详情页的复杂多模态信息检索，例如将商品主图、详情图、参数表、评论链接为图，提升问答或推荐理由生成时的证据定位
- 在线证据控制器与预算机制：按预算迭代激活、搜索、剪枝证据，避免固定Top-k导致的噪声或遗漏。电商场景中可将此法用于动态组装推荐解释/导购上下文的证据片段，在有限令牌内提升说服力
- 多模态证据渲染为结构化输入：将文字、表格、图片等证据统一格式化后馈入大视觉语言模型，启发电商推理时可把商品图文、参数、问答截图等异构信息规范渲染，增强模型理解一致性
- 证据覆盖与噪声的显式权衡：通过预算-性能曲线分析最佳工作点，推荐系统面对长商品详情、长用户评论时，可借此思路为LLM推理设定预算、平衡信息量与推理成本
多轮反思掩码激发掩码扩散模型的推理能力
🧭 掩码扩散模型 · 多轮反思推理
University of Maryland · Virginia Tech · Intuit · UC Davis · MBZUAI
为掩码扩散模型引入轻量后训练和免参数历史参考机制，实现原生多轮局部修改与测试时推理缩放
📌 工作参考价值（4 点）
- 文案/Query生成场景：若你的场景使用掩码扩散模型（如文本生成），可直接迁移Reflective Masking多轮修正机制，让模型根据上下文反复局部修改初始输出，提升文案或搜索Query的生成质量，减少全量重生成开销。
- Agent反思模式借鉴：Agent多步推理中常需局部修正错误，RM的“先预测再动态掩码高error区域”策略可嵌入自回归Agent的反思环，避免丢弃所有前文，只重写有问题的片段，降低推理token消耗。
- 推荐列表迭代优化：生成式推荐（如Semantic ID逐位生成）可引入test-time scaling：初次生成后，根据约束（多样性、业务规则）掩码部分ID位，多轮去噪生成更优列表，实现可控的局部编辑。
- 工程实现：方法无需修改模型结构，仅需轻量后训练即可激活推理能力；直接应用到现有MDM框架中，成本低，可作为固定范式插入现有流程。
GD^2PO: 通过组动态奖励解耦策略优化缓解多奖励冲突
🧭 LLM多奖励RL训练的冲突过滤 ★ 深度解读
Alibaba · Renmin University of China · Peking University · ETH Zürich · The Chinese University of Hong Kong
提出冲突感知过滤与查询级重加权机制，防止多奖励RL训练中梯度抵消，显著提升工具调用和对齐性能。
📌 工作参考价值（4 点）
- 多目标优化中，用 硬过滤（符号一致性）或信噪比过滤（SNR） 剔除梯度方向冲突的样本，避免优势项正负抵消，可用于推荐系统中同时优化点击率、转化率、多样性等目标。
- 引入 查询级重加权 动态调整更新量：根据一个 query 下留存非冲突样本的比例自动降权，类似推荐中根据用户信号质量调整学习率。
- SNR 一致性比率公式简单，可作为 训练中实时监控指标，检测多目标间的冲突程度。
- 方法对阈值不敏感，超参数鲁棒性强，适合在线学习场景，可直接集成到基于 GRPO 的推荐策略优化中。
合成先验预训练的单模型跨域序列推荐
🧭 免更新序列推荐 · 合成先验预训练 ★ 深度解读
Korea Advanced Institute of Science & Technology
SRPFN利用合成先验预训练与支持集条件推断，实现序列推荐无更新跨域泛化，平均提升7.53%。
📌 工作参考价值（4 点）
- 冷启动与品类扩展：新品类上线时，仅从已有交互构建低秩SVD嵌入+支持集，一分钟内即可复用预训练模型做推荐，无需重训模型。
- 长尾物品优化：采用基于转移概率采样支持集的方式，显著提升长尾物品命中率（Beauty Tail HR@5 +55.5%），可在推荐系统中用于长尾item的打捞。
- 合成先验数据增强：用hDCSBM+变阶随机游走生成海量、多样的合成训练序列，可预训练一个通用推荐基座，提升跨场景泛化能力。
- 架构迁移：编码器中的门控残差更新与方向性转移嵌入（源/目标分离）可嵌入现有Transformer推荐模型，增强对物品转移方向的敏感度。
后训练如何塑造生物推理模型
🧭 多阶段后训练与泛化权衡分析
Harvard University · Google DeepMind · Google Research
系统分析CPT、SFT、RL对生物推理模型泛化的不同影响，表明ID/OOD权衡取决于阶段组合而非单调提升
📌 工作参考价值（4 点）
- SFT 过拟合警告：SFT 持续提升分布内 (ID) 效果，但分布外 (OOD) 性能会在早期达到峰值后下降。推荐系统微调时需监控 OOD 指标，避免过度适配训练用户/物品分布。
- RL 恢复泛化：在强 SFT 检查点上加 RL（奖励信号与任务对齐）可提升 OOD 并部分恢复泛化。对电商搜索/推荐中的个性化与冷启矛盾，可设计 RL 阶段来对冲过拟合。
- 训练预算分配：固定总训练成本下，短 SFT + 大 RL 预算的 ID-OOD 权衡最佳。实际落地时，可优先保证 SFT 收敛早期即切换 RL，而非一味延长 SFT。
- 阶段非对称适配：不同阶段对模型容量要求不同，CPT 受益于大模型，而 SFT/RL 增益更依赖质量。在大模型推荐系统中，可先 CPT 对齐领域语言，然后用少量高质量 SFT 和充足 RL 调优。
Interactor：面向搜索广告的代理RL迭代描述生成框架
🧭 Agent RL优化广告描述生成 ★ 深度解读
Baidu Inc.
多轮迭代生成框架，利用生成奖励模型的细粒度反馈强化学习，显著提升广告描述的知识性与忠实度
📌 工作参考价值（4 点）
- 将单轮生成改为多轮迭代，利用细粒度反馈（不仅是标量奖励）修正错误，可迁移到商品详情页、推送文案等长文本生成，提升内容质量。
- 基于规则的生成奖励模型（GenRM）能输出二分判断和结构化推理，可作为自动内容审核或AIGC质量保障组件，在电商文案评估中直接复用。
- 在生成式推荐中引入外部知识检索（如搜索引擎），将检索结果作为上下文补充，类似RAG但通过RL优化融入生成循环，可增强商品描述的知识准确性。
- 代理RL训练采用GSPO算法，仅对动作token计算梯度并屏蔽环境token，适合大规模异步训练，对同类多步交互生成场景（如对话式推荐）有工程参考价值。
基于隐式推理的LLM生成式推荐方法
🧭 生成式推荐 · Semantic ID · 隐式推理 ★ 深度解读
University of Virginia · Snap Inc.
用可训练的 <pause> 令牌替代显式思维链，在Semantic ID推荐上效果更好且训练推理更高效
📌 工作参考价值（4 点）
- 用 <pause> tokens 做隐式推理，避免为每个样本生成昂贵且脆弱的文字理由：直接在输入中插入可训练的暂停令牌，仅通过下一个 item 预测损失优化，省去教师模型生成、理由对齐和 RL 后训练，训练成本降低 65%，推理速度提升 3.5 倍。
- 诊断显式 CoT 在 SID 场景下的三大失败原因，避免踩坑：弱化世界知识 verbalization、文本与 SID 嵌入空间分离、理由质量敏感。若团队正在尝试让 LLM 生成带推理的推荐，可将这些发现作为前置分析，避免无效投入。
- pause token 初始化和预训练策略可复用：将 <pause> 初始化为全体词嵌入的均值，再在结合文本与 SID 的数据上预训练，使其位于两个嵌入空间的交界处，有效桥接语义。该套路可迁移到其他需要融合离散 token（如用户行为序列、attribute tokens）的场景。
- 隐式 latent scratch space 思路不限于推荐：在输入和输出之间留出 k 个可学习的位置（不需监督），让模型自行决定如何利用这些中间计算，是一种通用的归约推理开销且提升下游任务表现的方法，可尝试用于搜索、广告点击率预估中的用户意图表征。