基于 LLM 的高效子图检索用于多跳知识库问答
🧭 MCTS + LLM 图检索 · 多跳 KBQA
用 MCTS 将子图探索转为树搜索，结合 LLM 引导节点筛选，在 WebQSP 上 Hits@1 达 78.88% 并提升效率
📌 工作参考价值（3 点）
- 在电商商品知识图谱的多跳推理或可解释召回中，可借鉴 MCTS 将子图扩展变成树搜索：对每个候选节点计算 relevance score 并回传剪枝，避免按 hop 全量扩张带来的候选爆炸，显著降低线上推理延迟。
- LLM 不做最终答案生成，而是作为搜索方向 refine 器：每一步用 LLM 判断当前节点/关系是否与 query 相关，可减少纯符号搜索的盲目性；类似思路可用于 RAG 的图索引检索或 query 到 KG 的映射，控制 LLM 调用成本。
- 节点评分反馈机制可作为召回阶段的 hard filtering：先粗召回，再用轻量打分/LLM 过滤不相关节点，适合 latency 敏感场景；在商品图谱问答或导购 Agent 中可先 MCTS 缩小候选，再进精排。
检索即遍历：有状态长上下文Agent的价值索引记忆
🧭 有状态长上下文Agent的记忆检索机制
Technical University of Munich · Nanjing University
提出价值索引记忆与局部遍历检索，分离内容与地址，验证有状态检索比无状态更易学习
📌 工作参考价值（4 点）
- 在对话式推荐或 Agent 多轮任务中，可借鉴“局部遍历”思想：维护一个可移动的检索头/游标，利用相邻步骤记忆重叠，减少重复全局检索开销；工程上可将向量索引组织为图结构，让查询在图中局部游走而非每次全量 ANN。
- 分离“记忆内容”与“地址几何”的框架可用于商品/内容 embedding 索引优化：定义价值为内容信息增益，地址距离为访问成本，用带成本正则的索引目标自动布局，让高互补且高价值的 item 在索引中靠近，冗余 item 自然分散，提升检索效率和多样性。
- 论文证明有状态检索在简单任务上比无状态绝对寻址收敛更快（0.59M vs 0.94M/2M+ steps），提示在需要高频连续检索的推荐/搜索场景，引入检索状态可能降低学习难度，值得在召回模块做小规模实验验证。
- 整体主要是学术贡献，业务可迁移性有限，上述思想可作为架构探索的参考，但需注意论文只测试了简单固定几何环境。
KARMA：工业广告 Agent 的无训练知识原子化 Harness 演化
🧭 Agent harness 无训练知识演化 ★ 深度解读
Alibaba International Digital Commerce Group
冻结模型权重与可执行 harness，以六类类型化知识模块的原子编辑+验证门控，使广告 Agent 离线动作一致性平均提升 29.7%
📌 工作参考价值（4 点）
- 把 prompt/harness 拆成可版本化的知识模块：role、domain、experience、constraints、output_protocol、action_descriptions 六类模块，规则带稳定 rule ID、来源、before/after journal，所有变更走唯一 write boundary。电商/广告 Agent 可借此在不改代码、不微调模型的情况下，按商品/活动/政策变化审计和回滚决策知识。
- 先做确定性轨迹诊断，再做知识编辑：Trace Verifier 不用 LLM 就把失败分为 no_action / wrong_action_type / wrong_direction，并按固定映射定位候选模块；同时把成功和失败轨迹都送给 Critic。能避免只看失败导致修复过拟合、破坏已有正确决策，适合推荐/广告策略中“该不该调、调哪里”的归因场景。
- 小步编辑 + 验证门控 + 快照回滚：每轮最多 3 个原子 edit，固定 validation set 要求 gain≥1 point 才保留，否则恢复 snapshot；可缓存 baseline validation，避免每轮 2 次全量评估，工程成本可控。可直接复用到电商 Agent 的离线知识更新流程，降低上线风险。
- 跨域知识复用要分源域评估：Long-tail/Others 域演化出的规则对多数目标域都有正向迁移，平均 hold-out gain +15.38；但 Automotive 源域对所有其他域都负迁移。若要做跨品类 Agent 知识冷启动，优先用长尾/综合流量积累的通用规则，但仍需在目标域做验证，不能假设迁移一定为正。
联邦推荐智能体：以自然语言知识共享实现隐私保护的 LLM 推荐协作
🧭 联邦推荐 · LLM Agent 知识共享 ★ 深度解读
Pohang University of Science and Technology · Sungkyunkwan University
在不更新 LLM 参数的前提下，用 C–T–R 知识单元和双隐私记忆实现推荐 Agent 的联邦协作
📌 工作参考价值（4 点）
- 在隐私约束或跨租户/跨店铺协作场景，可把用户行为抽象为 Condition–Transition–Reasoning 自然语言知识单元，去标识化后上传服务端做聚类整合，替代模型参数聚合，避免频繁微调 LLM。
- 用户画像拆成 semantic memory（偏好）和 decision memory（决策倾向）双记忆，推荐时分别用于检索和分支选择；实验显示分离维护比统一记忆保留率更高，可复用到个性化 rerank。
- 服务端对共享 reasoning 的整合需要跨分支 discrimination：相似行为下用户可能继续、回归或探索，必须保留不同 transition 分支，否则通用化会损失推荐精度。
- 固定客户端与服务端 LLM 参数，仅更新自然语言知识库（memory bank），适合端侧资源受限的推荐 Agent 部署，便于业务侧冷启动与隐私合规。
每个 token 都需要专属教师：多教师自适应 on-policy 自蒸馏
🧭 LLM 后训练 · token 级多教师 OPSD ★ 深度解读
TU München · Munich Center for Machine Learning · Kyoto University · ELLIS Institute Finland · Aalto University
提出 token 级自适应 on-policy 自蒸馏，用多教师池+多数投票+KL 为每个 token 选教师，数学推理最高提升+5.9
📌 工作参考价值（4 点）
- 在生成式推荐 / query 生成 / 文案生成的 on-policy self-distillation 中，如果使用高质量参考（如人工标注、规则 template）作为 privileged reference，建议构造多教师池：对参考做 prefix/suffix/random-span 截断、不同保留比例，而不是只用完整参考；再按 token 选择教师，可避免过度尖锐监督。
- 多数投票 + KL 距离是低成本的 token 级选择规则：先看候选教师对当前学生采样 token 的支持方向是否一致，再在一致子集里选 KL 最大的教师；不需要额外模型，可直接嵌入现有训练 pipeline。
- 消融表明，多教师池配随机选择或平均 loss 提升有限，真正收益来自自适应分配；因此如果业务上做多教师蒸馏，不能只做 ensemble，需要设计 token 级选择策略。
- 若在搜索/推荐 Agent 中让 LLM 生成推理或决策轨迹，可借鉴该 work 的 token 级教师干预评估法来快速诊断哪些位置需要更强监督，而不是整段统一加 loss。
MoLRSI：用于分子发现的递归自改进AI智能体
🧭 Agent 递归自改进搜索策略
MoLRSI通过工作流/架构优化与跨任务记忆递归改进搜索策略，抗生素命中率15.9%超专家流程
📌 工作参考价值（4 点）
- 把推荐/搜索策略搜索本身视为可优化的 workflow，用 execution feedback 和历史任务结果更新策略生成器，做 recursive self-improvement，而不是只自动化固定流程。
- 建立跨任务记忆：记录不同 campaign 的 workflow 性能与 refinement 结果，作为 few-shot exemplars 或偏好数据蒸馏到 meta-policy，帮助新任务冷启动。
- 多目标权衡：显式把 CTR、覆盖率、新颖性等竞争目标转成多目标 scorer，并在每一轮根据线上/离线反馈调整权重，避免固定单目标导致策略退化。
- 对 Agent 开发：将“设计和调优 workflow”变成可递归优化的环节，LLM 提出 workflow，执行器返回 score + failure trace，再用 trace finetune/更新 prompt 或 policy，可迁移到 GenRec 的 Semantic ID 搜索等场景。
PALATE：预训练自回归潜在嵌入用于广告排序
🧭 生成式用户表示 · 广告排序 ★ 深度解读
DoorDash
用 GPT 式序列模型学习用户门店互动，以 last-token 隐藏向量作为冻结用户表示接入排序，双场景显著提升收入与转化
📌 工作参考价值（4 点）
- 冻结用户 embedding + daily batch inference 是低成本把序列个性化接入多 surface 的方式：比在每个 ranker 内建 DIN/Transformer 更易维护，DIN 增量仅 +0.03%，证明一个共享表示可覆盖大部分收益。
- 在复购/重购型电商，用探索加权 loss 打破 repeat 主导：对新商家/新交互给 9:1 或 3:1 的权重，能明显提升对新商品的召回和新意图表达；业务上对应拉新/发现场景。
- 负样本设计可替代 exact softmax：固定热门池 + 曝光未转化 + random + in-batch，成本低且 Recall 更好；对高基数 item vocab 的场景可直接迁移。
- 两阶段课程：先 click 预训练再 conversion 微调，并 warm-start，可以保留浏览广度同时锐化转化意图；适合有 click→purchase 漏斗的电商/广告场景。
PFA：长序列生成式推荐中注意力可渐进聚焦
🧭 生成式推荐 · 稀疏注意力加速 ★ 深度解读
Alibaba International Digital Commerce Group · Zhejiang University
利用 GR 解码中注意力渐进聚焦与跨步排名一致性，PFA 通过共享重要性排名和几何预算缩减，加速长序列生成式推荐
📌 工作参考价值（4 点）
- 对长序列生成式推荐，可借鉴"早期构造共享重要性排名 + 后续几何缩减预算"，替代每步每 beam 独立 top-k，消除重复选择和 KV gather 开销，尤其适合 beam width 大、序列长的电商召回/广告候选生成。
- 工程实现上，用 beam 生成概率加权聚合注意力分布来挑选关键历史 token，比每个 beam 独立选更稳定且能共享连续 KV cache；可先 reorder KV cache，后续直接前缀截断，降低非连续内存访问。
- Step-aware KV projection：为不同解码步分配独立 KV 投影参数，成本低但能显著缓解复用 token 带来的表示退化，适合层级 SID 生成。
- 若业务采用生成式推荐，可保留 Step 0 全注意力做全局探索，不用过早压缩历史，对长序列效果稳定。
评估 LLM 引导搜索的序列决策框架
🧭 LLM 搜索策略的统一评估框架 ★ 深度解读
University of Waterloo · University of Glasgow
将 LLM 引导搜索抽象为 select/spawn 序列决策，统一评估高召回检索与 deep research 策略
📌 工作参考价值（4 点）
- 做 Agentic Search / RAG 搜索策略时，把每次决策拆成 select（继续看当前召回 list）和 spawn（重新生成 query 或换召回通道），可以统一 A/B 不同策略，避免只按最终答案做黑盒评估。
- 电商搜索改写长尾 query 时，可借鉴「批量 query reformulation + Move-to-Front」：一次性生成多路 candidate queries / 召回 lists，再动态把近期能出相关结果的 list 调到前面轮转；这比固定只走单路或仅前向探索召回更高，但要显式设置 spawn quota 或连续无效结果阈值，否则 LLM 判断成本会显著上升。
- 检索底座和策略同等重要：SPLADE 与 hybrid reranker 在所有策略下都比 BM25 更高效。业务上先把底层召回/精排做扎实，再叠加搜索策略，不要只优化 policy。
- 评测指标可以按预算场景重构：高召回或商品覆盖场景用 recall@R 或有效 nugget 覆盖率，而不是只看 DCG@K；同时可以把停止规则设成全局连续无关结果数，衡量单位 LLM 判断成本下的收益。
PIVOT：通过在线教师纠正进行渐进式干预
🧭 强化学习训练 · 在线教师干预
University of Chinese Academy of Sciences · Tsinghua University · Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences
在RLVR中插入教师纠正轨迹并施加token级KL监督，大幅提升困难推理任务的学习效率与最终表现
📌 工作参考价值（4 点）
- 在电商/Agent多步决策任务中，RLVR常因稀疏奖励（最终是否成交、任务是否完成）而训练低效；可引入教师模型（如GPT-4/内部大模型）在失败轨迹上在线生成修正步骤，并把这些修正插入学生rollout，只对插入段做token级KL蒸馏，避免整条轨迹过度依赖教师导致不可学。
- 当一组rollout全部失败时，结果奖励无梯度；可借鉴PIVOT的双重信号：先通过轨迹级干预保证至少部分轨迹包含正确片段，再对教师段做密集token级监督，这适合电商智能客服、商品推荐对话等场景中“用户不满意”的负样本利用。
- 论文的消融表明，干预位置（如失败点附近）和KL监督范围（仅教师段vs全轨迹）对最终性能影响显著；在业务中可先小规模网格搜索这些超参数，避免教师信号过强导致学生退化为模仿教师，丧失RLVR的探索收益。
- 若已有线上强模型可作为教师，PIVOT的在线纠正成本可控，适合将弱模型（部署端）通过RLVR+教师干预进行蒸馏式增强，用于推荐解释生成、搜索query改写等轻量生成任务。
前缀可执行性：评估工具使用代理超越最终成功率
🧭 Agent 工具调用轨迹评估
Oracle AI
提出前缀可执行性评估协议，量化工具调用轨迹每一步的可执行性，揭示仅看最终成功的盲区
📌 工作参考价值（4 点）
- 在电商客服、导购等工具型 Agent 评估中，不要只统计最终任务成功率；引入 Prefix Executability 指标（TER、FED、AUC-PEC）量化多步工具调用的轨迹可靠性，提前发现“最终成功但中间调用非法”的隐患。
- 可将显式 pre-execution plan checking 作为工作流校验层：在 Agent 执行 tool call 前检查工具 schema、状态前置条件和数据依赖，能提升可执行前缀生存率且不损失最终成功率，适合嵌入生产级 agent 编排。
- 用 First-Error Depth 定位首次失败步骤，结合 Recovery Rate 评估 Agent 从早期错误恢复的能力，用于线上故障归因和版本对比。
- 对订单处理、库存查询、营销活动配置等多轮工具调用场景有直接迁移价值，可在 A/B 测试中作为可靠性辅助指标。
R2QRec：从检索反馈中学习推荐查询
🧭 生成式推荐 · 检索反馈强化学习 ★ 深度解读
快手科技 · 香港浸会大学
用固定检索器构造可检索 query 监督，并以 RRF 融合排名反馈优化 query 生成器
📌 工作参考价值（4 点）
- 可借鉴 retrieval-verified SFT 做 query/文案生成：在无法标注“正确 query”的场景，先用 LLM 生成候选 query，再用固定 retriever 对 target item 的命中 rank 过滤，只保留能检索到 target 的表达作为 SFT 数据；比直接拟合商品/内容标题更贴合线上检索行为。
- 用固定检索器 + RRF 融合后 target rank 作为奖励，可在电商/广告搜索推荐中直接复用：让线上 ES/向量召回服务执行当前 policy 的 query set，取 target item 在融合列表中的 rank，奖励设为 -log(1+rank)，再接 GRPO，无需单独训练 reward model。
- 工程实现上只训练 LoRA，冻结 LLM backbone、retriever 和 item index；query generator 不枚举 item，推理成本主要在生成，检索可走预计算 item embedding + 近似索引，适合大 catalog 冷启动和线上迭代。
- 多 query + RRF 是轻量但有效的召回融合方式；query 数 K 可以推理期灵活调整而不改变 checkpoint。该方法还显示 query generator 的跨域迁移能力，新域/冷启动时可直接用其他域训练好的 generator，比重新训练 ID 类模型更易复用。
RLVR 无免费午餐：pass@1 提升必付 pass@k 代价
🧭 RLVR 训练中 pass@1 与 pass@k 权衡
用定理证明 RLVR 中 pass@1 增益必然伴随 pass@k 下降，并给出精确权衡边界与诊断方法
📌 工作参考价值（4 点）
- 在电商/搜索/推荐中用 RLVR 微调 LLM 生成式召回、query 推荐或 Agent 策略时，不能只看 top-1 命中或 pass@1：pass@1 显著提升可能以牺牲 pass@k 覆盖率、多样性和长尾生成为代价，必须同时监控 pass@k 或候选多样性指标。
- 论文提供的诊断方法（从 eval log 读 pass@1-pass@k 前沿、order-preserving test、price）可直接迁移到线上 AB：评估生成式推荐/搜索改写模型的 exploration-exploitation 权衡，避免只优化单点指标。
- 熵崩溃结论提醒：RL 微调后生成多样性会塌缩，电商文案、push 消息、搜索 query 生成需要加熵正则或约束，防止生成同质化候选影响后续排序与多样性。
- 多 prompt/多任务联合优化时注意“独家专业化”现象：提升某些 query 模板或类目的生成成功率可能损害另一些，需按 prompt/类目分层监控并设置约束。
RoboArchitect：自动化设计带持久记忆的机器人 Agent
🧭 Agent 自动化设计与持久记忆
Stanford University
用 coding model 自动迭代优化机器人 agent harness，无需更新策略权重，大幅提升跨场景成功率
📌 工作参考价值（4 点）
- 借鉴「冻结模型 + 外围 harness 优化」范式：在推荐/搜索场景中，可以把已训练好的排序模型或 LLM 当成 frozen policy，通过代码化的决策逻辑（何时调用模型、如何融合特征、如何处理输出）进行自动迭代优化，避免频繁重训模型，尤其适合快速适配新业务场景或新数据分布。
- 持久记忆机制可迁移到对话式推荐 Agent：论文中 harness 会积累成功经验（如有效抓取深度）供后续决策参考。在电商导购或客服 Agent 中，可以设计类似的 memory 结构，记录用户偏好、历史成功推荐策略或交互模式，作为额外上下文注入下一次决策，提升个性化与连贯性。
- 失败诊断 + 代码修改的闭环值得复用：用 LLM 分析 rollout 失败原因并生成改进代码，这种「诊断-修订-评估」循环可以用于自动优化推荐系统外围逻辑，例如召回过滤规则、曝光策略、重排规则等，用代码表示策略比调权重更灵活且可解释。
- 工程实现上，harness 与 policy 解耦便于快速实验：将模型调用封装在可控代码层，可以轻量地切换不同底层模型或策略，同时通过 held-out 场景评估泛化，适合在电商推荐中构建可插拔的 Agent 框架。
RoFiGR：多模态生成推荐中的粗粒度路由与分层自适应蒸馏
🧭 生成式推荐 · Semantic ID 协同路由 ★ 深度解读
Beijing University of Posts and Telecommunications · Kuaishou Technology
融合协同信号对齐粗粒度 SID 与分层自适应蒸馏，提升多模态生成推荐的粗路由命中与排序
📌 工作参考价值（4 点）
- 在 SID 构建阶段，把 cumulative L1-L2 code vector 与 frozen CF item embedding 做对比对齐，可以将行为相似商品聚到同一粗前缀，同时保持 L1 分支活跃；电商场景可直接复用现有双塔/协同过滤模型，无需在线增加 teacher。
- 序列编码时对 flatten 后的 SID 显式加入 item-distance 与 source-level bias（只加第一层 self-attention），能区分 item 边界和层级来源，参数量仅 498 个标量，适合低延迟线上服务。
- 蒸馏不要 uniform 分配层级权重：L1-L2 保持固定 anchor，L3-L4 用 teacher-student demand 的 bounded adaptive residual 动态分配；demand 只在 teacher 同时超过 student 和 catalog prior 时为正，可自动把监督集中到信息量大的粗路由层。
- 推理中使用多 stream 独立 trie-constrained beam 后 stream-local normalization 再等权融合，能提升候选覆盖；通过 beam slot 预算或 candidate cap 做精度-延迟权衡，线上不调用 teacher。