面向搜索Agent的图结构化行动空间与信用分配框架
🧭 结构化搜索Agent · 行动空间重塑 ★ 深度解读
National University of Defense Technology
用有限动作菜单替代自由形式查询，消除检索等价崩溃，并在同一状态下进行结构化信用分配，训练更稳定的RL搜索Agent
📌 工作参考价值（4 点）
- 将自由文本检索转换为离散菜单选择（如词条、属性、类目），可避免策略优化中的检索等价崩溃，适用于电商搜索推荐中的多步推理agent。
- 利用图形结构（实体-句子图）提供可预览的动作替代方案，实现局部对比信用（frontier-relative advantage），无需额外采样就能获得同状态下动作相对价值，可用于推荐系统的多步决策。
- 启用信用传播通过依赖图回溯，将下游收益分配给早前的桥接动作，能有效处理多跳推荐/对话中的延迟奖励问题，且计算开销低（仅增加9~11%），适合工业部署。
- 整体框架（菜单+SNC）与RL算法无关，可灵活集成到现有PPO/GRPO训练流程中，且图构建完全程序化（零LLM成本），为工业级搜索/推荐agent优化提供了高效方案。
面向知识对齐的多跳检索增强生成
🧭 知识图谱多跳检索与对齐学习
The Pennsylvania State University · University at Albany, State University of New York · Stony Brook University, State University of New York
区分锚点与链接三元组，通过全局召回与局部扩展提升图多跳检索的证据完整性
📌 工作参考价值（3 点）
- 知识图谱驱动的商品多跳问答：在电商场景构建商品-属性-类目等知识图谱后，可借鉴 KAMR 的“先全局检索锚点三元组，再沿图局部扩展收集弱相关证据”的两阶段策略，解决复杂查询（如“适合油皮的平价控油粉底液有何副作用？”）需要组合多条知识才能回答的问题。
- 弱对齐事实的补救机制：采用对比学习 pair-level 与 element-level 匹配，配合 LLM 掩码生成部分对齐数据的训练方式，能有效召回语义上弱相关但结构必要的三元组，适合推荐系统中低频长尾属性（如冷门成分）的补全。
- 支持 Agent 的推理链路构建：在 Agent 需调用知识库进行多步推理时，该检索方法可输出有序的证据链，增强答案的可解释性，尤其适用于合规审查、导购解释等场景。
NMKFR：时间感知冷启动推荐的鲁棒框架
🧭 时间感知冷启动 · 卡尔曼融合
Southwest University
提出神经记忆卡尔曼融合推荐器，利用后验协方差校准语义-时间融合以应对冷启动
📌 工作参考价值（4 点）
- 使用卡尔曼滤波器建模物品生命周期中的不规则时间间隔，可迁移至电商新品冷启动的状态跟踪，融合交互时间衰减。
- 后验协方差作为不确定性信号自适应平衡语义与时序分支，为多模态融合提供置信度加权思路，避免简单拼接。
- 基于Titans的记忆增强语义编码器能更有效地从物品文本中抽取长期依赖，适用于电商商品的标题、描述等文本侧信息。
- 框架的鲁棒性分析和有界不确定性行为为线上部署提供安全性保证，可作为推荐系统的置信度输出。
OneShot：面向大规模检索的索引排序联合学习与神经评分扩展
🧭 检索阶段索引-排序联合学习 ★ 深度解读
Meta Platforms, Inc.
首个端到端可训练的检索索引框架，将索引学习与排序目标对齐，并通过神经评分突破点积瓶颈，已在 Instagram 全量部署。
📌 工作参考价值（4 点）
- 端到端联合训练索引与排序：可将聚类中心作为可训练参数，与推荐损失（如 SSM）直接联合优化，通过直通估计器（STE）解决离散分配的梯度问题，消除先训练再聚类的错位。
- 在检索阶段引入非线性交互：使用小型 DNN 替代点积计算用户-物品分数，并通过 segment-wise 多路矩阵乘法控制计算复杂度，可在召回粗排或向量检索中提升表达能力。
- 全局索引平衡策略：利用随机组合优化导出的代理损失，通过维护全局硬分配统计量并用软分配回传梯度，能有效防止索引坍塌、保持聚类均匀，适用于大规模物料库的检索效率保障。
- Engagement ID 优于离线 Semantic ID：实验表明，端到端学出的 EID 在召回和聚类平衡性上远超传统语义 ID；若无法完全替换，可先冻结码本、仅学习物品到 ID 的分配（Hybrid 方式），也能恢复大部分收益。
PhiZero：基于物理语言的物理世界模型
🧭 物理世界建模 · 离散视觉表示
NLPR, Institute of Automation, Chinese Academy of Sciences (CASIA)
从野生视频自监督学习紧凑离散物理语言，先推理后渲染实现物理一致生成与零样本动作迁移
📌 工作参考价值（4 点）
- 将连续动态抽象为离散 token 序列的思路可迁移至用户行为建模：用 vector quantized 方式学习行为语义 ID，在紧凑空间内捕捉状态转移规律，降低下游序列预测的复杂度。
- 自监督学习“物理语言”的方法对无标注交互数据的表征学习有启发：从原始点击/购买序列中挖掘隐含因果结构，无需昂贵标注即可获得可推理的隐状态表示。
- “推理-渲染”分离的架构可拆解推荐系统：先由 Planner 生成抽象行为序列，再交由 Renderer 生成具体推荐内容，提升可解释性并支持可控生成。
- 主要贡献在物理世界建模，直接迁移至电商推荐场景的工程化价值有限，更多是概念层面的借鉴。
PSG：用于高效生成式重排的配对空间生成
🧭 生成式重排·Pair-Space 解码加速 ★ 深度解读
Kuaishou Tech
将生成式重排的原子从单品提升为有序物品对，解码步数减半，实现1.83倍加速且性能显著提升
📌 工作参考价值（4 点）
- 生成式重排中，将物品级自回归解码改为物品对级，直接减少解码步数，可无缝集成到现有 Generator-Evaluator 框架中，降低推理延迟。
- 预训练的对级表示（Pair-Token Representation）模块可在每次请求中动态构建词汇表，避免静态词汇表的数据稀疏问题，适用于电商/广告中候选集动态变化的场景。
- 强化学习阶段使用 GRPO 进行探索，不依赖外部过程奖励模型，实现简单且有效，可直接迁移到其他序列生成的推荐任务。
- 工程上，Pair-Token 表示编码与用户上下文编码可并行执行，隐藏额外开销；k=2 是工业场景下延迟与效果的甜点，候选集规模 n≤400 时可实现约 1.5× 以上加速。
QQWorld：基于分位数-分位数匹配的世界模型正则化
🧭 世界模型潜在空间正则化 · QQ匹配
Xi’an Jiaotong University
用分位数-分位数匹配替代Epps-Pulley检验，解决世界模型潜在表示重尾控制失效问题
📌 工作参考价值（4 点）
- 若推荐模型（如VAE、扩散模型）需要隐空间服从高斯先验，可用QQ匹配替代KL散度，强制尾部对齐，可能增强生成多样性和分布外泛化。
- 跨批次QQ的内存库机制与推荐系统中动量对比学习（如MoCo）或历史嵌入缓存类似，能以低开销扩大样本池改善分布估计，值得在用户表征训练中尝试。
- 监控隐向量的QQ图（而非单一分布距离）可更早发现训练中的尾部问题，适用于大模型调优。
- 在涉及多步序列决策的推荐场景（如交互模拟），该正则化可提升世界模型稳定性，减少误差累积。
Qwen-UI-Agent：面向真实世界的基础 GUI 代理技术报告
🧭 GUI Agent 基础模型与训练
Alibaba Group
统一移动/电脑/网页的 GUI 代理，结合真实设备环境与数据飞轮，实现多平台 SOTA 性能。
📌 工作参考价值（4 点）
- 统一动作空间设计：将 GUI 操作与 CLI 命令交错批处理，可借鉴用于电商 Agent 在网页/App 上执行多步推荐、广告投放任务，减少推理轮次。
- 自动化数据飞轮：用 Agent 自身构造任务、诊断失败并迭代，能显著降低人工标注成本，适合为电商搜索推荐 Agent 持续生成训练数据。
- 大规模在线 RL 训练：支持 100+ 步长轨迹训练，利用 10,000+ 并发环境加速，可迁移至电商多轮对话或流程自动化 Agent 的训练。
- 主动服务与跨平台状态保持：轻量 harness 层允许 Agent 主动发起推送或跨设备续接任务，类似电商场景中的主动推荐、缺货提醒或跨端购物车同步。
RefCaptioner：多参考图像指导的视频描述后训练框架
🧭 多参考图像约束的视频描述后训练
Peking University · Kling Team · National University of Singapore · Shanghai AI Lab · CASIA
提出多参考图像指导的视频描述任务，用分层覆盖折扣GRPO实现短语级绑定与干扰拒绝
📌 工作参考价值（4 点）
- 多参考图像指导的描述生成可直接迁移到电商商品视频描述：输入多张商品图，生成确保细节对齐（颜色、款式）的文案；可通过类似的分层覆盖奖励避免遗漏关键属性。
- 混合数据SFT保持通用能力的策略适用于垂直领域的LLM微调，防止灾难性遗忘；在训练电商领域的生成式推荐模型（如商品描述生成）时，可混合通用数据与领域数据。
- 分层覆盖折扣GRPO的强化学习思路可用于优化生成式推荐中的多实体绑定与一致性，例如在生成广告文案时强制提及多个卖点图像，并通过奖励塑造提升描述的事实准确性。
- MRVBench构建的评估方法（多参考绑定、干扰项拒绝）可借鉴到多模态推荐系统的离线评估中，用于检测生成的推荐理由是否忠实于输入的多张商品图。
ReToken：用一个Token提升视觉语言模型的长视觉检索
🧭 多模态视觉检索 · 稀疏Token选择
University of Illinois at Urbana-Champaign · Microsoft Research · Google DeepMind
用单个可学习Token从视觉KV缓存中检索稀疏相关token，大幅提升长视觉上下文中的问答准确率
📌 工作参考价值（4 点）
- 电商场景中处理商品多图或视频描述时，可利用可学习检索Token从大量视觉特征中快速定位与用户查询相关的帧/区域，提升问答或推荐理由生成的质量。
- 利用预填充的KV缓存和稀疏选择机制，避免每次查询都重新处理所有视觉token，大幅降低多模态推荐的推理延迟和显存占用，适合线上服务。
- 轻量级设计（单个token，单卡训练）表明，小型Query-Image数据集即可训练出有效的检索能力，可迁移到商品视觉问答或视觉搜索中。
- 该方法本质是条件特征选择，可扩展到用户行为序列（如视频浏览记录）中，用学习到的Token从长序列中检索相关历史行为，增强推荐模型而无需输入完整序列。
Σ-Mem：LLM多智能体系统的在线可靠性记忆
🧭 多智体可靠性记忆与自适应协调 ★ 深度解读
Nanyang Technological University
提出在线维护 peer 能力与关系的可靠性记忆，通过残差引导、路由与投票复用，无需重训模型
📌 工作参考价值（4 点）
- 可靠性记忆即服务：可对电商搜索/推荐中的多个 LLM agent（如意图解析、商品理解、排序）分别维护能力矩阵，根据历史正确反馈动态调整其在集成投票或路由中的权重，无需反复微调中心模型。
- 稳定在线更新：使用衰减对称矩阵 + Weyl 不等式保证单事件扰动有界，使长期可靠性能持续累积，避免噪声突发扭转信任。适用于广告竞价策略或推荐多路召回融合中的在线信誉更新。
- 无应答也能路由：直接读取记忆得分 $s_{p,t}= \phi(x_t)^\top M_p \phi(x_t)$ 即可选 peer，决策时不依赖 agent 输出，可复用于多路召回合并前的最优召回器选择，降低中心模型推理成本。
- 关系证据补充：记录 peer 之间的正确性共现关系，可识别共谋偏见或相关性错误，适用于推荐系统多模型融合时判断一致性是否真正可靠。
SERPO：面向开放式测试时强化学习的自演化评分标准策略优化
🧭 测试时强化学习 · 评分标准自演化
Huazhong University of Science and Technology · University of Science and Technology of China · Alibaba Group
提出自演化评分标准闭环，替代答案投票，实现开放式文本生成下的测试时强化学习，无需外部奖励
📌 工作参考价值（4 点）
- 自演化评分标准（G‑N‑B 响应进化 + 评分标准进化）可在无外部奖励的条件下构建自我评估系统，适用于电商文案生成、搜索词推荐等开放式场景，自动产生质量评分并迭代提升生成质量。
- 测试时自我进化闭环（采样→构建评分标准→评分→更新策略）可部署为线上模型的持续微调组件，例如用于推荐系统中的 query 改写或商品描述优化，全程无需人工标注。
- 概率化评分标准（将判定 token 的似然转化为奖励）提供了一种轻量、可解释的 reward 建模范式，可直接迁移到 Agent 决策链的自我改进，降低对昂贵奖励模型的依赖。
- 跨基准迁移进化结果表明该方法对不同领域分布有良好泛化性，可启发多任务推荐模型在无监督下自适应新品类或新场景。
Setoka：面向异构数据的个性化 Agent 分层用户理解基准
🧭 Agent 记忆系统与用户理解评估 ★ 深度解读
East China Normal University · The Chinese University of Hong Kong
首个心理学驱动的分层基准，评估记忆 Agent 从显式事实到人格特质的跨源推理能力
📌 工作参考价值（4 点）
- 记忆系统选型与分层设计：在电商/Agent场景中，简单事实检索（如用户偏好标签）用精确数据库查询即可，但跨多源行为聚合（如长期购物节奏、品类偏好漂移）需要带时间上下文的结构化记忆；更抽象的用户人格推理（如价格敏感性、冲动消费倾向）则需图结构记忆以显式关联分散证据，建议按查询抽象层次选择或组合多种记忆结构。
- 评估体系分层化：不要仅用整体准确率验收记忆系统，而应分解为单记录召回、多记录拼接、长周期聚合、跨类别泛化四个层次分别评估，暴露系统短板（例如当前系统情景记忆与行为模式得分骤降），尤其注意区分回答率与准确率，避免模型置信度误判。
- 异构用户数据的合成与一致性保障：可利用“事件锚定生成树”方法，先生成连贯的行为模式再扩展为多源记录，确保消息、日志、社交图等不同数据表围绕同一核心事件一致，可用于构造内部评测集，规避真实用户隐私问题。
- 人格/行为推理的显式建模：如果业务中需要推断用户深层特质（如新用户冷启动时的人格化推荐），可借鉴心理量表到行为模式的规则映射，将大五人格或消费相关特质转化为可观测的行为频率证据，建立从底层日志到高层画像的因果链，提升可解释性与冷启动效果。
ShadowDancer：从视频与影子学习统一动力学表征实现任意动作控制
🧭 视频世界模型 · 动作表征学习
Alaya Lab · Shanghai Innovation Institute
通过影子对与跨影子预测解耦外观与动作，使视频世界模型零样本复用任意演示动作。
📌 工作参考价值（4 点）
- 解耦外观与行为的数据增强思路：在电商/推荐中，用户行为序列（动作）常与内容表象（外观）纠缠。可借鉴“影子对”构造：对同一意图（如搜索同一品类）在不同 UI 皮肤或不同设备下的交互对，训练模型剥离表面特征，得到更纯的意图表征，提升跨场景迁移能力。
- 通过预测任务学习不变表征：cross-shadow prediction 直接以预测配对样本为目标，隐式舍弃无关变化。推荐系统可构造类似预训练任务：给定同一用户在不同上下文下的行为序列片段，预测彼此，使模型聚焦于提取不变的用户潜在兴趣，减少 noises 影响。
- 无需标注的动作复用：该方法将已有视频片段直接转化为可复用的控制信号，无需额外动作标签。对应到 Agent 或营销内容生成，可利用历史用户交互轨迹作为模板，直接在新内容上“重放”类似动线，快速生成个性化交互流程。
- 长序列一致性控制：block-causal 架构与统一动力学表征保证长期回放稳定。在生成式推荐（如生成购物路径）中，可借鉴该结构维持多步生成的逻辑连贯性，避免中间步骤崩塌。
SpatialCLI：先借助空间工具推理，再摆脱工具
🧭 Agent 工具学习与能力内化
Zhejiang University · Zhuoyu Technology · Beihang University · University of Electronic Science and Technology of China · Nanyang Technological University
提出三阶段框架让 VLM 学会调用空间工具，再将工具能力内化到自身，推理时无需工具仍高性能
📌 工作参考价值（4 点）
- 三阶段训练策略：先用工具增强数据做冷启动 SFT，再用 Agentic RL 提升工具调用准确率，最后将成功轨迹转化为 SFT 数据内化能力，可直接迁移到推荐/搜索 Agent 的工具调用训练中，比如让 LLM Agent 学会调用推荐 API 再内化推荐知识。
- 延迟敏感的线上场景：通过内化将工具能力蒸馏到小模型，实现推理时无工具调用，降低延迟，适用于电商搜索/推荐的高并发服务。
- 冷启动 SFT + RL 的组合：先通过格式化示例让模型学会工具调用格式，再用环境反馈优化决策，可提升 Agent 在复杂决策任务（如多步推荐、交互式搜索）中的鲁棒性。
- 评估基准设计：SpatialCLI-Bench 聚焦组合感知，类似思路可构建面向推荐领域的组合能力基准，评估 Agent 在 item 检索、过滤、排序等多步骤中的表现。