探索式建模：解锁预训练第三维度与端到端生成
🧭 多模态生成 · 探索式预训练新范式
UIUC · Harvard
提出探索式建模，在训练中探索多个候选生成并选择最佳匹配，将探索作为预训练新轴，提升多模态生成模型效率与性能
📌 工作参考价值（4 点）
- 生成式推荐训练：训练生成用户下一个物品（如 Semantic ID）时，对每个用户序列生成 K 个候选物品，选取与真实物品最匹配的进行训练，有效缓解多意图模糊问题，提升推荐多样性与准确性。
- 长尾与冷启动覆盖：探索式训练迫使模型关注多种模式，可帮助模型更好捕捉长尾物品，提升推荐新颖性和召回率。
- Agent 决策生成：生成 Agent 行动方案时，生成多个候选动作，通过环境反馈选取最佳动作训练，提升策略鲁棒性和探索效率，适用于多臂老虎机、对话策略等场景。
- 工程实现：探索候选数量 K 可作为新的调优维度，在资源允许下加大 K 能稳定提升效果，且随着模型与数据规模扩大，收益愈加显著，是有效的 scaling 策略。
TopoGR：保留语义ID拓扑结构的生成式推荐框架
🧭 生成式推荐 · Binary Semantic ID 拓扑保持 ★ 深度解读
Xidian University · Alibaba · University of Science and Technology of China
提出Bit-decomposable Semantic ID暴露汉明拓扑，在输入、监督、推理三阶段利用该结构，解决生成式推荐中tokenizer与generator的结构性不匹配
📌 工作参考价值（4 点）
- 二进制分解 Semantic ID：将物品内容（标题、描述等）经预训练模型得到向量，采用位分解量化（LFQ+可学习位基重建）生成二进制编码作为物品的生成式ID，保留汉明距离表示的语义邻近度，使不同但相近的物品可通过比特重叠关联，优于纯整数ID匹配。
- 训练时用汉明软目标代替 one-hot：根据码字间的汉明距离构造 soft target，让模型对近邻码的惩罚更小，有效提升冷启动物品的推荐质量，可迁移至电商新品冷启动场景。
- 推理时汉明一致性重排：利用预测分布构建软二进制原型，计算候选物品二进制 SID 与原型的一致性分数，修正并行生成得分，只需在小候选池操作，无额外解码延迟，适合在线推理。
- 工程实现注意点：保持 item 级序列输入（不展平 token 序列）以控制 self-attention 复杂度；平衡比特数 r 与 SID 长度 M，确保无码本崩溃；可结合并行预测进一步加速，TopoGR 的整体设计可平滑嵌入现有生成式推荐管线。
TWICE：双时钟双窗口学习用于在线广告长周期转化预测
🧭 延时反馈下的双时钟增量学习 ★ 深度解读
Kuaishou Technology
将点击时钟与转化时钟解耦，用历史 pCVR 质量加权延迟分布学习长周期 CVR
📌 工作参考价值（4 点）
- 双流增量训练解耦：将及时但标签不完整的点击时钟流和完整但延迟的转化时钟流分开，用停止梯度隔离参数，避免短期标签扭曲延迟分布，可直接迁移到电商长周期购买/退单预测等延时反馈场景。
- pCVR质量加权纠偏：在转化到达条件下，用历史停止的 pCVR 质量（标量）代替原始点击特征构建风险集，通过时间卷积纠正不同历史流量队列的混合偏差，只需维护一个标量索引，无需求存原始特征。
- 分组延迟上下文设计：用紧凑的分组上下文（如广告主行业、设备等低基数特征）代替全特征做延迟建模，避免高基数导致风险集碎片化和梯度消失，同时兼顾延迟异质性和统计鲁棒性，可借鉴到用户行为延迟分布建模。
- 轻量级服务：在线推理时仅需主模型 + 轻量延迟头预测任意窗口 CVR，不做历史查找或卷积，保持 36ms 延迟不变；训练额外成本只有标量索引维护，工程落地友好。
UniMem：边界无关任务流的互补情节到参数记忆框架
🧭 Agent 记忆管理 · 参数化与检索互补 ★ 深度解读
Institute of Automation, Chinese Academy of Sciences · Peking University · Meituan · University College London
受互补学习系统启发，用路由令牌解耦识别与执行，稀疏任务走检索、重复模式自动参数化，实现流式记忆扩展。
📌 工作参考价值（4 点）
- 路由与执行解耦：用轻量级路由令牌做任务识别，高容量Procedural KV Memory做任务执行，新任务无需标签即可自动分配参数块。电商推荐Agent可直接套用：路由判断用户意图，对应模块调推荐策略。
- 缓冲与门槛机制：稀疏/长尾任务保留在情节缓冲走RAG，避免过早参数化导致噪音；当缓冲证据足够且聚类质量过关时才固化为参数记忆。搜索广告场景中，低频query或新item可用此方式积累样本再触发模型更新。
- 参数隔离避免遗忘：每个任务独立KV Memory块，与冻结骨干通过可学习门控注入，天然抵抗流式任务间的灾难性遗忘。多租户推荐模型或个性化Agent可参考按用户/场景分配独立记忆单元，互不干扰。
- 无监督任务发现：基于NCD计算任务相似度 + HDBSCAN聚类，无需任务ID即可识别重复模式。可迁移到用户行为流中自动挖掘规律性行为簇，驱动推荐策略的自动聚合与迁移。
VaLiDRec：面向生成式推荐的可变长LLM对齐语义ID
🧭 生成式推荐 · 可变长语义ID ★ 深度解读
University of Queensland · Computer Network Information Center, Chinese Academy of Sciences · Griffith University
从LLM原生词表直接构建可变长语义ID并用并行token集预测替代自回归，实现高效语义对齐的生成式推荐
📌 工作参考价值（4 点）
- 直接利用LLM原生词表构建物品语义ID：不依赖量化码本，从物品标题/描述中基于token重要性（隐状态范数+IDF）和贪心剪枝选取关键词，形成可变长token集。电商业务可直接复用此方法为商品生成紧凑、语义对齐的ID，用于搜索、推荐或冷启动表示。
- 并行token集预测替代自回归生成：推理时仅需一次LLM前向传播计算所有候选token的得分，再聚合到item级，彻底消除beam search。线上推荐可借鉴该非自回归架构，实现87倍以上的推理加速，大幅降低RT和资源消耗。
- Graph-aware软提示注入协同信号：用GraphSAGE在物品转移图上聚合邻居，生成用户行为序列的连续提示向量。该方法可嵌入现有电商推荐pipeline，将交互图信息提炼为可学习的prompt，增强LLM对用户行为模式的理解，尤其利于稀疏场景和冷启动。
- SID构建中的碰撞处理与语义质量约束：通过功能权重引导的token扩展和频率后缀消歧，保证ID唯一性；同时用语义相似度阈值控制剪枝终止，平衡紧凑性与保真度。该思路可用于商品表示的去重、规范性控制，或为多模态物品生成高质量特征码。
VideoCoCo：基于双引擎与可执行代码思维链的物理一致视频生成
🧭 视频生成 · 可执行代码思维链
CUHK · USTC · SCUT · HKU · NTU
用可执行 Blender 代码作为过程级思维链，将物理推理与视觉生成解耦，显著提升视频物理一致性
📌 工作参考价值（4 点）
- 双引擎“过程推理 + 精细生成”的架构可启发在推荐系统中分离策略规划（如用户意图理解、多步交互设计）与内容生成，提升复杂流程的可控性。
- 用可执行代码作为中间表示，确保了确定性、可解释和可审计，类似思想可用于推荐场景中需要严格逻辑保证的环节（如营销规则引擎、动态定价逻辑）。
- 为适应模拟草稿域差异而专门构建配对数据集的方法，可迁移到推荐系统的域适配数据增强，例如合成用户行为轨迹与真实轨迹的对齐训练。
- 整体工作偏向视频生成，直接用于搜推系统的业务点有限，更多是架构与表示层面的理念参考。
文本驱动的随机游走异质图网络用于语义感知稀疏推荐
🧭 LLM+异质GNN稀疏推荐 · 评分预测 ★ 深度解读
The University of Sydney · Nankai University
融合LLM用户/物品画像与异质GNN，通过随机游走增强稀疏图，发现LLM嵌入对图增强敏感
📌 工作参考价值（4 点）
- LLM画像生成流程可复用：使用精心设计的系统提示和推理引导，让LLM（如Llama-3.2-3B）为每个用户和物品生成结构化文本描述，再通过指令微调的embedder（如instructor-xl）转为稠密向量，可增强召回或排序模型的语义特征，尤其适合电商中评论、标题等文本丰富的场景。
- 异质图多边类型建模：构建包含评分、评论、购买、同店铺、相似关系等九种边类型的异质图，可迁移至电商推荐中，用于捕获用户行为的多面性，提升冷启动或稀疏交互下的表示学习。
- 谨慎使用图增强与LLM嵌入：实验表明对Word2Vec等传统嵌入，随机游走新增二阶边能提升性能；但对LLM生成的语义向量，图聚合会稀释精细的个性化信号，导致RMSE/MAE变差。业务中若引入LLM特征，需评估图传播是否损害语义独特性，或采用自适应游走策略。
- 按业务目标选择损失函数：MSE训练更关注减少大误差（RMSE更低），适合需要控制极端错误率的场景（如高价值商品评分预测）；但MAE可能不如直接使用ChatGPT的基线。可根据业务侧重的指标调整损失，或采用联合优化。
WorkSurface-Bench：企业智能体多知识面路由评测基准
🧭 智能体知识路由能力评测
Peking University · Zhongguancun Academy · University of Chinese Academy of Sciences
提出面路由概念并构建基准，分离评测智能体选择知识源与使用知识源的能力
📌 工作参考价值（4 点）
- 在电商 Agent 中可借鉴“面路由”概念，将知识源归类为文档（商品描述）、表格（销量/库存）和图（商品关联/用户图谱），先让 Agent 选择合适的面再处理，提升准确性和效率。
- 分离评测 Route F1 和 Answer Accuracy，帮助定位 Agent 失败根因：是选错数据源还是后续推理错误，可迁移到内部 Agent 评测体系。
- 实验证明去除无关工具可以改善路由和效率，工程实现时可让 Agent 先进行面筛选，再暴露对应工具，减少干扰。
- 参考可审计答案构建方式：表格用可执行查询验证、文档用文本片段 grounding、图用来源追溯，适合企业内构建可信评测集。
宪法性中期训练：内容存在驱动对齐增益
🧭 中期训练对齐干预与持久性 ★ 深度解读
University of Oxford · Geodesic Research · Oxford Internet Institute
仅在中训阶段插入少量宪法性文本，即可获得经下游微调后仍持久的对齐泛化收益，且能力无损
📌 工作参考价值（4 点）
- 在推荐/对话模型的预训练后、SFT 前，插入少量公司价值观/安全准则文档（几百 M tokens），可大幅提升模型对规则的遵守和跨场景泛化，且不会被后续业务微调覆盖。
- 文档设计不必过度追求课程排序或显式推理块的精细结构；原则性内容的“存在”本身是主要驱动力，降低工程复杂度。
- 这种干预几乎零能力成本，甚至在常识推理等任务上有小幅提升，适合作为标准 SFT 流水线的补充步骤。
- 对齐效果在需要主动对抗上下文压力的场景（如多轮交锋、价值冲突）较脆弱，业务中若涉及此类动态对抗，仍需结合后训练或额外安全机制。
用户提问，平台竞争：推荐代理市场如何形成
🧭 Agent 中介的跨平台推荐市场策略 ★ 深度解读
Tsinghua University · Tencent Inc.
在用户代理中介的竞争中，宽访问带来注意力瓶颈，而结果问责可重新校准平台解释的影响力
📌 工作参考价值（4 点）
- 多平台竞争场景的接入设计：当业务涉及跨域或多个供应商时，可借鉴“先统一查询再跨平台排名”取代用户预选平台，将竞争提前至推荐候选池构建阶段，扩大用户触及面。
- 注意力约束下的展位策略：在用户代理短列表容量固定时，增加候选平台数量会加剧头部位置竞争，单纯扩展曝光槽位主要填充低排位，业务上应聚焦 Top-1 曝光效果的优化而非盲目增加推荐位。
- 推荐解释的博弈与校准：平台给出的推荐理由会成为竞争手段，需建立基于用户事后反馈的声誉记录（如点击后满意度），在后续排序中校准平台解释权重，抑制浮夸话术，这一局部声誉机制可直接嵌入现有排序模型的上下文特征。
- 模拟实验设计方法：采用真实交互历史重构购物请求、保留目标物品做客观参照，并以 LLM 模拟用户决策与反馈闭环，能低成本评估推荐市场规则的变化效果，适合快速迭代推荐策略原型。
重新审视投机解码中的有损验证：机制、权衡与失效模式
🧭 LLM 推理加速 · 有损验证分析
Independent Researcher · Baidu Inc. · Zhejiang University
将有损验证方法分为截断式和协作式两类，揭示截断式分布失真的性能衰退风险与协作式需控制过度超出的关键准则
📌 工作参考价值（3 点）
- 在电商对话推荐、Agent 推理等延迟敏感场景使用投机解码加速时，应优先选择协同验证等保持分布一致的方法，避免直接用截断式验证造成输出质量剧烈下滑。
- 若必须用截断式验证（如严格时间限制），需通过校准目标概率与草案概率的差距，设置阈值避免过度截断，减少分布失真。
- 评估加速效果时，务必以真实的目标模型采样（而非错误基线）作为对照，否则会严重误判方法优劣。
CAST：以博弈求解器为 LLM 智能体提供回合级教学信号
🧭 基于求解器的回合级信用分配 · LLM Agent 训练
University of Science and Technology of China · Nanjing University · Wuhan University · Meituan
将求解器状态价值变化转为回合级优势信号，缓解长程游戏中的信用分配难题
📌 工作参考价值（4 点）
- 电商多步对话/搜索结果规划：可用商品检索器、报价引擎等“可求解环境”的状态价值变化作为中间奖励，训练 LLM 进行多步推荐或搜索，缓解稀疏结局信号的反馈延迟。
- 只用标量信号，无需 teacher logits：业务中部署求解器只需输出标量价值，通信与计算开销远小于蒸馏完整分布，适合大规模 Agent 在线训练。
- 探索引导：通过 solver advantage 指示哪些候选 action 更有前途，可植入 Agent 的候选排序或树搜索中，提升探索效率，减少无效调用。
- 泛化到未见场景：论文在零样本迁移到 ALFWorld/WebShop 上有效，暗示类似方法可用于训练能泛化到新品类、新用户意图的电商任务型 Agent。
策略感知参数高效适配的LLM自动出价框架
🧭 LLM自动出价 · 策略感知参数高效微调 ★ 深度解读
Hainan University · Taobao & Tmall Group of Alibaba
SAGE通过位置增强、文本对齐与约束门控LoRA，仅用不到10%参数实现策略感知的LLM自动出价最优决策。
📌 工作参考价值（4 点）
- 位置增强模块可迁移到用户行为序列建模：将序列中不同语义类型的token（如点击/购买/曝光）赋予独立语义嵌入，结合正弦时间编码，取代统一的绝对位置编码，提升序列区分度和长度扩展性，适用于推荐系统的会话理解。
- 门控交叉注意力对齐多模态信息并压缩输入：在处理用户行为轨迹与自然语言指令（如搜索query、广告文案）融合时，用轨迹作为Query、文本作为Key/Value进行交叉注意力，替代直接拼接，既实现有效跨模态对齐，又大幅缩短LLM输入长度，适合对话式推荐Agent或指令跟随出价。
- 约束门控MoE LoRA实现低成本策略个性化：将业务约束（如预算、CPA目标）编码为门控信号，驱动混合专家LoRA动态选择适配器，每个广告主或场景只需额外极少参数即可定制策略，工程上可冻结LLM主干，只训练轻量适配模块，显著降低训练和部署成本。
- 整体框架可复用于多约束实时决策场景：SAGE的冻结骨干、低秩适配、条件路由设计可直接应用于电商搜索排序中的动态出价、预算分配或Push消息的个性化约束优化，用10%的参数实现超越全量微调的效果。
CLBench-V：多模态上下文学习能力基准，从定位到知识获取
🧭 多模态上下文学习基准与能力分析
Shanghai Jiao Tong University · Zhongguancun Academy · Shanghai Innovation Institute
首个多模态上下文学习基准，解耦上下文定位、信息应用与知识学习三维度，揭示模型严重不足
📌 工作参考价值（4 点）
- 多模态RAG与Agent的评估方法论：可借鉴三维度分类（上下文定位、新信息应用、新知识学习）来诊断Agent在电商商品详情页、广告落地页等多模态上下文中的能力瓶颈，比单纯端到端准确率更细粒度。
- 自动构建评估任务的低成本流水线：论文的自动构造+过滤方法可直接用于生成商品描述理解、图文手册合规性检查等领域的评测数据，降低人工标注成本。
- 模型选型参考：InternVL 3.5 在上下文定位和知识学习上更强，Qwen3.5-Plus 擅长信息应用，指导选型：若业务强依赖从图中提取新规则（如活动规则解读），宜选前者；若侧重直接应用给定信息（如表格问答），后者更优。
- 长多文上下文评估启示：论文分析了上下文长度、图片数量对性能的影响，可启示在商品详情页多图、长文档检索场景下，需针对性优化模型的长上下文窗口和跨图推理。
CogRec：基于语义ID结构认知的快慢推理生成式推荐
🧭 生成式推荐 · Semantic ID · 结构推理 ★ 深度解读
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · School of Artificial Intelligence, Beijing Normal University · JD.com
将推荐推理定义为SID空间内的Match/LateralJump/Explore操作，实现结构认知的快慢组合推理
📌 工作参考价值（4 点）
- 构建语义ID拓扑增强推理：在现有SID分层编码基础上，利用码本余弦相似度构建层内语义图（top-16邻居，相似度阈值0.15），并建立项级HNSW索引，为生成式推荐提供可导航的离散推理空间，可直接应用于电商商品的Semantic ID体系。
- 操作化快慢推理：将推理过程分解为Match（快速垂直匹配）、LateralJump（沿图边横向跳转）和Explore（无直接边时的探索），根据历史锚点与目标项的层间关系自动生成路由监督，无需额外模块，可通过控制非Match步数调节推理深度，适合线上自适应推理策略。
- 多阶段训练管线设计：先对齐新增SID token embedding（冻结基座），再训练直接SID生成，最后从同一checkpoint分叉出自然语言推理和结构路由分支，保证公平对比且工程可控。训练时对用户历史与助理回复全掩码计算loss，直接强化输入侧SID表征。
- 推理格式的选择依据：实验表明当用户历史与目标前缀匹配不足但存在可学习的层内语义关系时（中等难度），结构路由推理优于语言推理和直接生成；否则直接生成更高效。这可为业务中是否启用推理模块提供决策参考。