Encore：从少量演示中发现操控策略的 Agent 框架
🧭 Agent 从少量演示中提取策略并编程执行
Massachusetts Institute of Technology · 22077AI Open Source Foundation · Texas A&M University · University of Wisconsin–Madison
把少量演示作为证据包供编程 Agent 研读并迭代改写策略，冻结后评估不暴露成功信号
📌 工作参考价值（4 点）
- 可借鉴「演示即证据」的思路：在电商 Query 改写、广告文案生成或推荐策略决策中，将少量高质量成交/高点击样本的结构化轨迹（关键行为事件、状态变化）作为 prompt 上下文，让 LLM 从中归纳策略，而不是重新训练或微调。
- 固定感知/动作 API 的抽象很有用：给 Agent 暴露一组受限的领域函数（如召回、过滤、排序、出价），让 Agent 组合生成可执行策略程序，比自由文本输出更可控、可上线。
- 开发期允许少量 rollout 调试迭代，但最终 sealed evaluation 不反馈成功信号，可以防 Agent 过拟合评估指标或奖励黑客；迁移到线上测试时，冻结策略后用无偏指标评估。
- 确定性信息蒸馏：把演示/日志压缩为多视角关键帧、事件片段等结构化 pack，能降低 LLM 读取长流程的负担；在用户行为序列建模中，可提取关键行为事件、商品切换等作为总结性证据输入。
分数更高，回答更差：用协议级评分准则缓解 Rubric-RL 的奖励黑客
🧭 RL 奖励聚合 · rubric 设计
Beijing University of Posts and Telecommunications · ByteDance
发现 Rubric-RL 加权求和奖励造成准则间补偿，提出按协议级维度合取聚合的 ProRubric，关键指标提升 10.8 点
📌 工作参考价值（4 点）
- 在电商/Agent 场景用 rubric-based reward（如评估对话质量、商品推荐理由、query 改写）时，不要在 criteria 级别做加权求和，否则模型会靠堆砌次要建议刷分，牺牲关键动作；可把 checklist 离线分组为合取维度，组内全部满足才给分。
- 如果业务已有规则/奖励维度很多，ProRubric 的改动只在奖励聚合层，不碰优化器和 prompt，可低成本接入现有 PPO/GRPO 流程，尤其适合需要硬性约束的生成任务。
- 对 LLM-as-judge 打分，警惕 additive aggregation 带来的 proxy-utility divergence；可加 failure clause 或让关键维度一票否决，避免“分数上涨但真实指标下跌”。
- 在生成式推荐或 Agent 决策中，优先保证“必须做对的一步”不被补偿掉，而不是单纯追求 rubric coverage。
跟随实体：面向 Agentic Search 的语料地图
🧭 Agent 搜索 · 实体导航层 ★ 深度解读
KAIST · Microsoft
以跨文档实体为锚点构建离线可复用导航层，提升多文档 Agent 搜索证据发现并降低 token 消耗
📌 工作参考价值（4 点）
- 把经常跨文档出现的业务实体（商品、活动、商家、项目）离线解析成 Entity Page，作为 agent 可读文件挂到原语料旁；查询时让 agent 从实体页跳到相关文档，而不是每次都重新 grep/搜索，能稳定节省 34%–57% token。
- 构建实体-文档二部图，而不是树形分类；同一文档可挂在多个实体下，避免 Corpus2Skill 这类层次聚类把相关证据拆散的问题，电商知识库中「活动/商品/商家」多对多关联尤其适合。
- 离线构建可用 GLinker/GLiNER 等无 LLM 方案替代，成本低且可跨 LLM 复用；新增文档时增量更新 registry 并只重渲染受影响 Entity Page，适合持续增长的电商文档/工单/商品库。
- Entity Page 将事实逐条归因到源文档，agent 读取页面后能沿链接打开源文档验证，减少幻觉；也可作为权限/隐私过滤边界，按权限生成分离 map。
更好的监督在邻近：邻域在线策略自蒸馏
🧭 LLM 推理训练 · 自蒸馏
The Chinese University of Hong Kong, Shenzhen · Meituan, LongCat Team · Peking University · University of Toronto
用局部参数扰动构建专家池并按状态路由，为在线自蒸馏提供更优监督，平均提升 1.67~2.75 点
📌 工作参考价值（4 点）
- 训练电商/Agent 场景下的 LLM 推理型任务（query 改写、推荐解释、工具调用规划）时，可借鉴 N-OPSD：保留多个邻近参数的冻结专家，按状态路由提供多样但参考对齐的监督，避免单一 teacher 覆盖不足。
- 离线专家池构建的贪心选择准则（filtered reference-token gains 超过池当前最佳）可作为通用监督选择指标：只保留能在不同前缀位置提供增量校正的专家，压缩池规模、降低训练成本。
- 路由时分离 anchor direction 与 support level（MaxPeak 选 token，quantile 选专家）值得借鉴到多策略/多专家生成式推荐：不要只选置信度最高（highest peak）的策略，而要选 top token 一致且分布支撑更稳的专家作为训练目标。
- 用 clipped forward-KL 从专家完整 next-token 分布学习，比只学 hard label 更平滑，适合生成式推荐中 Semantic ID 或多 token 决策序列的蒸馏；推理只部署学生，不增加线上成本。
GraphForge：基于图锚定工作空间合成训练工作智能体
🧭 Agent 工作智能体训练数据合成
University of Science and Technology of China · Fudan University · Shanghai Innovation Institute · Shanghai AI Laboratory
用证据图从真实文件合成可验证的工作智能体训练数据，微调后多项基准显著提升
📌 工作参考价值（4 点）
- 可用真实业务文件（商品目录、投放报表、用户日志）构建工作区，并用证据图显式编码文件间关系，确保多步任务每个要求都能追溯到具体支撑文件，避免模型编造数据，适合生成电商运营、广告投放、搜索优化等 Agent 训练集。
- 任务 rubric 与原始文件/单元格锚定，使奖励信号或拒绝采样筛样具备可审计性，降低 reward hacking 和评估噪声，可迁移到 RLHF/DPO 等 Agent 优化流程。
- SFT 后增加 rejection fine-tuning：用自身 rollout 并通过 rubric 筛选高质量候选，无需新增人工标注即可进一步提升 Agent 效果，适合业务 Agent 的快速迭代。
- 初始 rollout 可执行性检查 + revision agent 修复不可行任务，能自动清洗可能失败/不可完成的训练样本，降低坏样本对模型的影响。
GRP v0.1 技术报告：渐进式端到端生成推荐
🧭 生成式推荐 · Semantic ID 与统一排序 ★ 深度解读
Snap Inc.
单编码器-解码器统一生成式召回与排序，冻结排序头作奖励并用带 margin 的 GRPO 保护召回，按渐进路径在线替换级联
📌 工作参考价值（4 点）
- 渐进式迁移：不要一次性替换多阶段级联。先把生成模型作为一个召回源上线，按 source rate / ranking pass rate / engagement profile 与现有源逐一对比，退役被压制源并把 quota 转给模型，再逐步 bypass ranker。这套协议适合把 LLM 生成式召回引入电商/信息流。
- 统一生成与排序的模块设计：用 stop-gradient 的 MHP 作为 ranking head，避免排序 loss 干扰生成表征；候选必须通过 residual path 直接进 DCN-V2，否则 cross-attention 可能学会忽略候选，退化到只学用户先验。业务上可复用到统一召回+精排模型。
- 强化学习要保护 logged target recall：mGRPO 的 one-sided reference-anchored margin 能防止 policy 为 reward 漂移而丢失真实目标；在电商推荐有用户真实行为时，可以把 SFT 后的生成式召回用 RL 微调，并结合 margin 维持召回。
- 工程/新鲜度：item-level fusion 将一个历史 item 压缩为单 token、encoder:decoder 1:2 更省时；Semantic ID 到 item 的映射异步刷新，配合持续增量训练应对 catalog 快速变化；KV cache + CUDA graph + C++ 预处理可把生成检索延迟降约 70%。
HELIX：净化并统一大规模推荐中的特征交互与序列建模
🧭 统一特征交互与序列建模的排序架构 ★ 深度解读
Data - Global E-Commerce Recommendation Video Team
用单向可复用 KV cache 与 Mixup-PerToken-FFN 联合扩展特征交互和序列建模，电商视频 GMV/用户提升约 6%
📌 工作参考价值（4 点）
- 把候选无关的用户行为序列编码成可复用 KV cache，候选侧只做 cross-attention 读取，强制单向信息流。这样在 serving 多候选、training 多样本时都能摊销 encoder 成本；如果搜广推系统里要接入用户长序列，这是可落地的架构选择。
- 异构特征交互可考虑用 Mixup-PerToken-FFN 替代 self-attention：参数免费的 Mixup 按通道切片重组 token，再用 token-wise SwiGLU 做非线性交互，比 self-attention 更适配稠密异构特征，且省计算。
- 序列 encoder 采用金字塔 query 压缩：按特征重要性给每条序列分配最近 token 预算，而不是全局截断或统一池化；配合 padding-free 变长执行，能显著降低长序列训练成本。
- 训练稳定性上，对 SwiGLU 的 gate/up 分支做非参数归一化可以避免 FP16 激活溢出；QK-Norm 和 value-side gated attention 在推荐排序模型里也有稳定 AUC 增益。
JevSpawn：组合动作空间实现自适应智能体推理
🧭 Agent 组合动作空间加速推理
Fudan University · Shanghai Jiao Tong University · Shanghai Innovation Institute
通过组合动作空间与并行生成-反馈选择，将 Jev-style 快速概率预测引入自适应 Agent 推理，降低延迟并提升任务性能
📌 工作参考价值（4 点）
- 在电商推荐 Agent 的多轮交互或工具调用中，将离散候选动作（如商品候选、Query 改写选项）编码为有限字段，使用 Jev-style 概率预测并行生成多个动作候选，替代逐 token 生成，显著降低推理延迟，适合对时延敏感的场景。
- 利用共享动作结构和前缀缓存（prefix/KV cache）：多个并行分支共享相同上下文前缀时，仅计算一次前缀，减少重复计算；在长会话推荐中可缓存用户历史与系统提示，提升吞吐。
- 借鉴反馈驱动的分支选择与保留备选：根据环境反馈（点击/转化）对并行候选剪枝，同时保留未选分支以便在后续步骤中恢复，增强推荐策略的鲁棒性，类似多臂老虎机的探索-利用平衡。
- 无需额外训练，可直接集成现有 LLM Agent 框架，降低工程落地成本。
仅用 In-Context 示例实现无需训练的 Dense Retrieval
🧭 LLM 免训练 dense retrieval ★ 深度解读
University of Waterloo · The University of Queensland
RICE 用少量 in-context query-document 示例直接提示 LLM 生成 dense 表示，免训练，在 BEIR 上显著超越同类零样本检索方法
📌 工作参考价值（4 点）
- 电商搜索/召回可直接复用：用少量人工标注 query-商品对作为 in-context examples，prompt 自有 LLM 生成 query 侧向量和商品侧向量，再接入 FAISS 做 ANN 召回，省去微调检索模型；商品侧离线预计算，query 侧实时生成，工程上可用 vLLM 加速。
- 动态 exemplar selection 值得落地：查询时先用 BM25 从示例池检索与当前 query 最相似的示例，能进一步提升召回（FiQA/NFCorpus/SciFact 上均有增益），适合电商 query 改写或召回场景。
- 通过换更大/更强的 LLM 可直接提升检索效果，无需重新训练，RICE 用 Qwen3.5-9B 比 Qwen3-8B 平均高 1.6 点，说明 LLM 能力提升能直接迁移到检索表示。
- 示例标签不必精准：同域 query-doc 对（甚至 random / non-relevant 对）都能带来提升，shuffled/blank 代表词影响很小；因此收集少量同域语料即可，不必精细标注相关性，但要避免跨域示例。
决策导向推荐重排：Jev 的实证研究
🧭 决策导向模型与 LLM 重排权衡 ★ 深度解读
Singapore Management University · Meta AI
在候选集大小为20-200的受控重排中，Jev效果与点式Qwen相当且延迟增长更缓，占据独特质量-延迟区间
📌 工作参考价值（4 点）
- 当重排任务本质是「从预定义候选集中做选择」时，可以尝试决策导向模型（直接输出候选概率分布）替代通用 LLM 的点式/列表式重排，在候选集增大时延迟增长更缓，适合对 latency 敏感但希望保留文本语义理解的场景。
- 评估重排器必须把候选集大小 K 作为核心维度：小 K 下 listwise Qwen 效果尚可，K≥100 时 NDCG@10 从 0.519 骤降到 0.065（Movies），结论不能跨 K 泛化；工程选型时应在目标 K 区间内实测质量-延迟曲线。
- 构造 hard negatives 时可用 retrieval 模型 SASRec 的 top-K 非目标项，而不是随机负样本，这样能更好隔离重排能力与检索失败，并让所有方法在同一批 behavioral plausible 候选上对比。
- 对比 hosted API 模型与本地 GPU 模型时，延迟必须统一口径为 observed serving latency（包含网络、重试、排队），否则会严重低估远程模型的真实耗时；业务上线前应同时记录 median 和 P25/P75 分布。
LeapQuant：线性注意力循环状态的近无损量化与高效推理
🧭 线性注意力状态量化 · 推理加速 ★ 深度解读
UC Berkeley · University of Washington · MIT · Perplexity AI · NVIDIA
通过 per-window 量化与 Compensator Tokens 实现 GDN/KDA 状态 8-bit 近无损，端到端加速 1.47×
📌 工作参考价值（4 点）
- 长序列用户行为模型的状态压缩：电商/推荐中常用线性注意力或 SSM 建模用户长序列行为，其 recurrent state 是显存带宽瓶颈。可直接借鉴 per-window 量化：窗口内保持低比特边界状态 + 高精度 buffer 更新，仅在窗口边界重建量化，避免逐 token 误差累积；p=16、INT8 的配置可直接实验。
- 用低秩补偿 token 处理状态 outlier：用户序列或 LLM agent 长轨迹的状态矩阵常有少数行/列异常值，直接量化会放大误差。可以学 Compensator Tokens：拟合 r=4 的 FP16 低秩成分保留高精度，残差做 channel-wise smoothing 后再量化；对电商场景中的行为状态矩阵同样适用。
- 长上下文 LLM serving 显存优化：如果业务中部署 hybrid 线性注意力模型（如 Qwen3.5、Kimi、GLM 系列），对 recurrent state 做 8-bit 量化可降低 prefix caching 状态存储 41–56%，直接提升单卡并发；端到端吞吐提升 1.23–1.65×，在长 reasoning/Agent 任务里收益明显。
- 工程超参决策参考：窗口长度 p=16 是精度与 kernel 速度的甜点，过长会导致 buffer 读取增多、kernel 提速下降；Compensator Token 数量 r=4 精度饱和，r 超过 8 会暴露计算开销。这些经验可直接用于自研线性注意力推理内核的量化配置。
LexReward：法律LLM的分类驱动多维奖励框架
🧭 LLM对齐 · 多维奖励建模
Peking University · Northeastern University · Tsinghua University
提出按Style/Element/Chain三维分解的法律奖励框架，用rubric构建偏好数据训练DPO和奖励模型
📌 工作参考价值（4 点）
- 把整体质量奖励拆成多个可诊断维度（如表达质量、关键要素、推理链），分别建模与优化；推荐/搜索生成式场景可类似拆成相关性、多样性、新颖性、转化意图等维度，避免单一粗粒度打分掩盖短板。
- 用 rubric 定义评估标准，让 LLM 对候选输出打分并构造偏好对，替代昂贵的人工标注；在电商文案生成、推荐理由、搜索 query 改写中可低成本生产 DPO 偏好数据。
- 维度专用 reward model 支持 RL 优化且不需要 reference answer，适合在线反馈稀疏、缺乏标准答案的生成任务；可在强化学习推荐或对话式推荐中作为 reward shaping 组件。
- 论文的维度分析思路可迁移到上线前评估：先对模型输出做多维自动评测，定位具体短板维度，再针对性做 DPO 或 RL 优化，而不是全局调参或重新训练。
LLM Agent 是否执行所声明的计划？从规划模式声明到模式化执行
🧭 Agent 规划声明与执行一致性诊断 ★ 深度解读
ADIA Lab, Abu Dhabi, United Arab Emirates · University of Granada, Granada, Spain · Luxembourg Institute of Science and Technology, Luxembourg · Cornell University, Ithaca, USA · Lawrence Berkeley National Laboratory, Berkeley, CA
提出 Planning-as-Routing：LLM 声明规划模式并由确定性路由器分派给对应执行器，显著缩小声明-执行差距，但模式选择仍是瓶颈
📌 工作参考价值（4 点）
- 业务 Agent 设计：不要把 LLM 生成的计划仅仅作为 prompt 交给通用 ReAct loop；要把 planning mode 映射到可执行 control flow（predefined/sequential/hierarchical/search）。长链路任务（多步商品约束搜索、广告账户搭建、售后工单处理）优先用 hierarchical/search 执行器，短任务用 predefined 更省成本。
- 评估体系：新增 process-level 指标（plan adherence、plan-order faithfulness、declaration-execution preservation），不要只看最终成功率。可以用规则 verifier 或轻量 judge 检查轨迹是否按声明顺序执行，快速区分是选错模式还是执行漂移。
- 路由与选型：做 planning mode 路由前，先跑 forced dispatch 得到每个模式在目标任务集上的 ceiling；如果 per-task oracle 相对 best fixed policy 的 headroom 很小，就不值得做复杂 selection，固定最优模式+多次重试更划算。
- 少样本与选择先验：few-shot 对模式选择有正收益但不稳定，需按业务环境和模型分别验证；当前 LLM 零样本选择接近任务无关偏好，不要默认模型会为每个任务选对 planning mode。
MERGE：生成式增强的多LLM检索集成
🧭 生成式查询扩展 · 多LLM集成 ★ 深度解读
University of Waterloo · National Taiwan University · Rakuten Group, Inc. · Rakuten Asia Pte. Ltd. · Taiwan Rakuten Ichiba, Inc.
两阶段多LLM查询扩展框架，用任务驱动自动提示优化在BM25上实现最高+14.9 nDCG@10提升
📌 工作参考价值（4 点）
- 电商搜索中，买家口语化 query 与商品标题/属性词之间常有词汇 gap，可借鉴 MERGE 两阶段设计：多个异构小模型各自扩展候选，再用稍大模型融合成一条查询，无需改语料或重建索引，可直接接入现有 BM25/Elasticsearch 流程。
- 用下游检索指标（如 nDCG@10、点击率或相关性人工评估）代替 LLM judge 做 prompt 优化，在 20% dev 子集上跑小 tournament，能自动把「seed prompt 可能削弱检索」转为稳定收益；适合快速迭代新模型或新增 generator 时免去手工 prompt 调优。
- APO 收敛后的 prompt 可能不是自然语言、读起来像 token 包，但它生成的 query 可读性没问题，不影响线上使用；可接受这种 prompt 形态，重点看最终 query 质量。
- 输出是 plain text query，只做一次 BM25/ES 检索，没有 rank fusion 和重索引开销；既能 query-time 在线扩召回，也能离线作为训练数据增强供 dense retriever 使用。
MG-Thinker：多图像推理定位的双轴自反思框架
🧭 多模态推理定位 · RL 后训练
Huazhong University of Science and Technology · Tsinghua University
提出MG-Thinker后训练RL框架，通过层次化推理与双轴优势分解提升多图像推理定位性能
📌 工作参考价值（4 点）
- BiA-DAPO 优势分解可借鉴到多任务/多场景推荐 RL 训练：将 rollout 优势沿组内信号轴和组间能力轴分解，能缓解不同任务难度、不同用户群体样本分布异质带来的优势估计偏差，适合电商推荐中不同品类、不同活跃度用户的差异化建模。
- 任务自适应 CoT 可迁移到 Agent 规划与复杂查询理解：根据任务难度动态调整思维链粒度——简单 query 直接生成、复杂 query 多步推理，能节省 token 并提升推理效率，可用于搜索广告中的 query 改写或商品推荐理由生成。
- 候选池稳定组级统计的方法值得工程实现借鉴：在 RL 训练中维护候选池以获得稳定的组级统计量，可迁移到推荐模型的在线学习或 A/B 测试分桶中，减少小样本波动对策略更新的影响。
- 层次化推理范式可复用于多模态商品理解：从粗到细定位（先全局场景后局部细节）的思路，适合电商中多角度商品图、视频帧的细粒度视觉定位任务，如自动识别商品瑕疵或关键属性区域。