IntentGEO：面向推荐场景的意图感知生成式引擎优化
🧭 生成式推荐 · GEO 内容优化 ★ 深度解读
Renmin University of China · National University of Singapore
提出 AMO，用固定推荐指令核心加学习追加策略，防止 prompt drift，提升多意图下 item 可见性
📌 工作参考价值（4 点）
- 做 LLM 生成式推荐/电商 GEO 时，不要只评 topic-level 查询；用 P 系列（需求具体度）和 Q 系列（决策阶段）构造多 intent slots，能暴露改写策略在强匹配请求下的负收益（P5 普遍负增益）。
- Prompt optimization 容易把显式推荐指令漂移成促销话术（keywords/call-to-action），可借鉴 AMO 的 anchored 结构：固定推荐核心（事实留存、推荐理由），只学习可追加的改写策略，避免 seed 性能被优化破坏。
- 工程上可直接复用 citation-conditioned reward：用保留引用 rank 前后差、新引用、丢失引用的差分信号做 meta-optimizer 的反馈和验证，比全 prompt 优化更稳定。
- 若业务要接 agentic 推荐链路或闭源助手（如豆包 API），同一份改写可不重新训练直接迁移；AMO 在 agentic 和 Doubao 下均保持最高均值 rank gain，说明 anchored prompt 有较好跨界面复用性。
序数在策略蒸馏：只学教师 Top-K 排序
🧭 LLM 知识蒸馏 · 序数监督
University of Memphis · University of Missouri
O3PD 在策略蒸馏中只复现教师 top-K token 排序，不拟合概率值，对温度不变并在数学推理上全面优于 OPD
📌 工作参考价值（4 点）
- 在蒸馏 LLM 到线上小模型时，不要强制小模型拟合教师 soft probabilities 的绝对数值，尤其当教师温度需要搜索时；改用 top-K 排序监督（如 ListMLE、RankNet）可省去温度调参，训练更稳定。
- 生成式推荐/query 生成的 on-policy 蒸馏中，教师概率值混杂其自身校准与置信度，小容量学生难以复现；只保留序数信息能降低容量要求，让模型专注学习候选 token 的相对好坏，适合电商 query 推荐、广告文案生成、推荐理由生成等场景。
- 若已有 OPD 流水线，可将 loss 替换为对 teacher top-K logits 的 ranking loss，保留 on-policy 生成模式；数学推理任务上的 +2.9 平均分提升说明该 trick 在复杂生成任务上可能有效。
- 对 Agent 策略蒸馏的启示：当学生策略模型容量有限时，教师动作分布的序数偏好可能比概率值更重要，可以在策略优化中借鉴序数监督。
从出行行为挖掘隐式意图的跨域 POI 推荐 MILES-Rec
🧭 生成式 query 推荐 · LLM 跨域意图推理 ★ 深度解读
AMAP, Alibaba Group
用 LLM 将地图出行行为与画像推理为有序自然语言 query，再用 GRPO 双层 credit assignment 对齐后续服务交互
📌 工作参考价值（5 点）
- 跨域推荐可用「自然语言 query 列表」作为语义桥：当行为域与商品/服务域无直接 ID 重叠时，不直接预测 item，而让 LLM 先输出多条有序意图 query（primary/expansion），再复用现有检索/召回。可迁移到从站内浏览、搜索、收藏、加购等异质行为生成导购 query，接商品/POI 检索。
- 两阶段训练可落地：先用大模型+人工校验合成三段式推理 SFT 数据（situation understanding → intent expansion → query prioritization），要求证据引用并去重；再用后续点击/下单做 GRPO。相比直接 SFT，能显著提升下游 Hit/NDCG，冷启与稀疏历史也受益。
- 奖励设计值得复用：用后验交互按细类聚合后，计算 query-category 匹配概率 × query-目标内容 embedding 相似度，one-to-one 最大权匹配 + rank discount 量化列表覆盖；重复 query 和超长惩罚可抑制冗余。适合只有隐式反馈、无逐 query 标签的列表生成任务。
- two-level credit assignment 是关键 trick：list-level advantage 管整体覆盖，query-specific advantage 只加在对应 query token 上，不能广播到所有 query；这能同时优化单 query 相关性和列表多样性。在生成广告文案、搜索推荐词、多意图 query 时可直接借鉴。
- 完整 60 天历史好过 7 天窗口；画像在行为稀疏时更补益。实际系统可将轨迹/行为窗口放大，并对冷启动保留画像与城市上下文。
基于层级树索引器的次二次方注意力机制
🧭 层级树索引稀疏注意力加速长上下文
Zyphra Research
提出层级树结构索引器对KV cache递归压缩，使注意力总成本随序列长度亚线性增长，实现次二次方缩放
📌 工作参考价值（4 点）
- 电商长序列建模：用户历史行为、商品序列、会话记录可视为 KV cache，借鉴层级树压缩摘要，在推理时自上而下检索相关 token，实现长上下文稀疏注意力，降低 inference cost。
- 轻量适配存量基座模型：仅需数亿 token 的 KL 蒸馏，业务侧可为已有 LLM 加装该索引器，无需重新预训练。
- 树深度稳健：即使 6 层深树也不显著掉点，工程上可自由调整索引层级，在精度与延迟间取平衡。
- Agent 场景收益：长上下文 agentic coding 性能不降，适合需要超长工具调用历史 / 文档上下文的电商导购 Agent 或智能客服，可直接扩展 context window 而不更换模型。
Agentic University：协作多智能体实现个性化学习
🧭 多智能体协作个性化学习
Shanghai Jiao Tong University · Nanyang Technological University · National University of Singapore
提出人类参与的多智能体组织方法，让学习者与专门Agent协作维护可修订能力计划，实现连贯自适应学习
📌 工作参考价值（4 点）
- 借鉴“Capability Program”作为用户长期偏好/目标的显式表示，让用户参与目标设定与修订，将行为证据（点击、转化、反馈）作为驱动后续推荐策略的“学习证据”，形成目标-行为-评估闭环。
- 多智能体组织分工：将推荐链路拆分为目标对齐、候选生成、评估反思等专门 agent，通过组织化协调而非单一大模型调用，提升系统的可解释性和可控性；可参考其“人类参与”机制，让用户作为协作方而非被动对象。
- 分层评估与反馈闭环：引入分层评估（如短期满意度、长期能力提升）并利用评估结果触发策略修订，对应推荐系统中结合即时指标（CTR）与长期指标（用户留存、LTV）的动态调整。
- 工程实现上，Agent 间通过共享可修订文档（Capability Program）协调，类似用结构化状态文件协调多智能体，适合电商场景中多 agent 共同维护用户画像或推荐策略。
代数世界模型：从探索到证明
🧭 形式化世界模型构建与证明
Zhejiang University · Tsinghua University · Shanghai QiZhi Institute
AWM将未知环境探索与假设检验转化为可被Lean形式化的代数模型，能证明不可达性与最优界
📌 工作参考价值（4 点）
- 在动态未知环境（如策略模拟、A/B测试前验证）中，用可执行假设+形式化验证替代黑盒模型，可证明目标不可达或边界，避免无效实验投入。
- 把交互中发现的规则提取为类型化对象与共享规则，并用范畴论引导简化，有助于构建可解释、可审计的决策规则集，降低策略上线风险。
- 反馈驱动的规则修订机制：仅给出“存在更优解”的弱反馈即可推动模型更新，可借鉴到自动策略迭代与约束优化中。
- 但应用场景偏形式化/游戏环境，直接迁移到大规模推荐系统有距离，主要价值在可解释规则建模与复杂约束下的可靠性保障。
DeFT-RAG：将多跳问题分解为带可复用答案的自包含子问题
🧭 多跳 RAG 子问题分解与缓存复用
University of Texas at Dallas
DeFT-RAG 用自包含子问题分解、规则化状态跟踪和 QA 缓存复用，提升多跳 RAG 准确率并降低 LLM 调用成本
📌 工作参考价值（3 点）
- 在电商客服或商品知识问答中，把多跳问题拆成“自包含”子问题，每个子问题显式带出所有实体，避免让 LLM 自己规划依赖图；可显著减少状态跟踪和错误传播。
- 将“哪些已答、下一步该问什么”等状态更新从 LLM 中剥离，用规则表维护 QA 状态，再用轻量决策模型做 yes/no 判断，能大幅降低 LLM token 消耗和推理延迟。
- 缓存跨请求的 QA 对，遇到语义相同的子问题直接复用答案，适合推荐系统中用户高频重复的子查询（如商品属性、活动规则），可在不牺牲准确率的前提下减少 12%+ 的 LLM 调用。
EvoTeam：通过演化团队实现多智能体协作
🧭 多智能体团队演化与协作优化
Jilin University · Nanjing University of Science and Technology · Shanghai AI Lab
提出协作中心的多智能体演化框架，联合演化团队组织、交互规则与个体技能
📌 工作参考价值（4 点）
- 团队库 + 任务路由：在电商多 Agent 系统中，可按 query 类型或场景维护可复用团队模板（如搜索意图理解团队、推荐策略团队），根据任务相似度选择或新建团队，避免每次从零组队。
- 团队特定交互规则：不要全局统一 Agent 通信协议，针对不同协作上下文定义 team-specific interaction rules，例如广告投放中的“预算控制 → 出价 → 创意”顺序与约束可随经验动态调整，避免规则跨场景污染。
- 个体技能跨团队复用：将每个 Agent 的提示词/技能封装为可插拔模块，允许同一 Agent 在不同团队中使用，降低重复开发；团队级经验只在兼容上下文中积累，防止跨任务负迁移。
- 演化机制可离线沙盒回放：在搜推任务中利用历史 session 作为反馈，对团队组织与交互规则做进化搜索，在线只保留最优团队配置，降低试错成本。
放射学指南衍生决策图提升临床决策支持效率
🧭 LLM 决策图推理
The Hong Kong Polytechnic University
LLM 构建可执行决策图，System One 模型 + 确定性遍历将准确率从 57.3% 提升至 90.8%
📌 工作参考价值（4 点）
- 电商营销/风控/售后 SOP 等规则密集场景可借鉴决策图架构：LLM 离线从政策文档/规则手册构建决策图，线上用轻量模型回答局部问题 + 图引擎做布尔分支，避免每次请求都调用大模型完整推理。
- 把“理解规则”和“执行规则”解耦：LLM 负责把非结构化输入转成结构化判断，确定性遍历保证一致性和可解释性，降低规则偏离风险。
- 用 System One / 快速模型做子问题判断，可显著降低延迟与成本，适合高 QPS 推荐/Agent 场景中需要规则判定的环节。
- 决策图天然生成可追溯的决策路径，便于审计、bad case 归因和 A/B 测试；在广告审核、商品合规等强解释流程中可直接复用。
GistRank：基于 Gist 压缩的大模型列表级排序
🧭 LLM listwise 重排 · Gist 压缩 ★ 深度解读
Southwest University · Renmin University of China · Yuanbao Team, Tencent · Institute of Computing Technology, Chinese Academy of Sciences
用三阶段训练将每个候选段落压成4个gist token，在TREC/BEIR上以约14倍加速逼近全文本重排效果
📌 工作参考价值（4 点）
- 把商品标题/详情/卖点用 Stage 1 的 query 预测目标预训练成 4 个 gist token，线上重排只拼接 gist，可将 100 个候选的 prompt 从 8k+ token 降到约 1.25k，延迟和 KV cache 占用大幅下降
- 借鉴 Stage 2 的 citation/click 偏好：在电商搜索中可用点击 vs 曝光、成交 vs 点击构造成对数据，训练 gist 或 item 表示具备判别性，无需昂贵人工标注；再用少量人工/LLM 标注做 Stage 3 listwise 微调
- 用 rank-slot + ListMLE 非自回归打分替代 LLM 自回归生成排序，可以把排序阶段从生成式 token 序列变成一个固定大小的打分矩阵，吞吐更稳定，适合在线 serving
- 注意成本结构：候选压缩占 90%+ 延迟，优先考虑对全量商品库离线预计算 query-independent gist 或做近似缓存，只在线对当前 query 做轻量融合/重排序
基于 LLM 的高效子图检索用于多跳知识库问答
🧭 MCTS + LLM 图检索 · 多跳 KBQA
用 MCTS 将子图探索转为树搜索，结合 LLM 引导节点筛选，在 WebQSP 上 Hits@1 达 78.88% 并提升效率
📌 工作参考价值（3 点）
- 在电商商品知识图谱的多跳推理或可解释召回中，可借鉴 MCTS 将子图扩展变成树搜索：对每个候选节点计算 relevance score 并回传剪枝，避免按 hop 全量扩张带来的候选爆炸，显著降低线上推理延迟。
- LLM 不做最终答案生成，而是作为搜索方向 refine 器：每一步用 LLM 判断当前节点/关系是否与 query 相关，可减少纯符号搜索的盲目性；类似思路可用于 RAG 的图索引检索或 query 到 KG 的映射，控制 LLM 调用成本。
- 节点评分反馈机制可作为召回阶段的 hard filtering：先粗召回，再用轻量打分/LLM 过滤不相关节点，适合 latency 敏感场景；在商品图谱问答或导购 Agent 中可先 MCTS 缩小候选，再进精排。
RoboArchitect：自动化设计带持久记忆的机器人 Agent
🧭 Agent 自动化设计与持久记忆
Stanford University
用 coding model 自动迭代优化机器人 agent harness，无需更新策略权重，大幅提升跨场景成功率
📌 工作参考价值（4 点）
- 借鉴「冻结模型 + 外围 harness 优化」范式：在推荐/搜索场景中，可以把已训练好的排序模型或 LLM 当成 frozen policy，通过代码化的决策逻辑（何时调用模型、如何融合特征、如何处理输出）进行自动迭代优化，避免频繁重训模型，尤其适合快速适配新业务场景或新数据分布。
- 持久记忆机制可迁移到对话式推荐 Agent：论文中 harness 会积累成功经验（如有效抓取深度）供后续决策参考。在电商导购或客服 Agent 中，可以设计类似的 memory 结构，记录用户偏好、历史成功推荐策略或交互模式，作为额外上下文注入下一次决策，提升个性化与连贯性。
- 失败诊断 + 代码修改的闭环值得复用：用 LLM 分析 rollout 失败原因并生成改进代码，这种「诊断-修订-评估」循环可以用于自动优化推荐系统外围逻辑，例如召回过滤规则、曝光策略、重排规则等，用代码表示策略比调权重更灵活且可解释。
- 工程实现上，harness 与 policy 解耦便于快速实验：将模型调用封装在可控代码层，可以轻量地切换不同底层模型或策略，同时通过 held-out 场景评估泛化，适合在电商推荐中构建可插拔的 Agent 框架。
Glance：生成器即重排序器
🧭 生成器内置重排序，共享 prefill
Airun Intelligence Labs
提出 Glance，给生成器加轻量决策适配器和指针头，共享一次 prefill 对候选段落打分，免去独立重排模型
📌 工作参考价值（4 点）
- 若业务中已部署 LLM 作为生成式排序或回答模型，可借鉴 Glance 思路：在同一个 LLM 上挂轻量决策头同时完成相关性打分与生成，避免单独服务 cross-encoder，节省显存和部署成本。
- “共享 prefill + 轻量 probe”技巧：对候选商品/内容批量编码一次，从缓存中分支不同 probe 产生分数，比逐对 prefill 更高效，适合候选量较大的重排场景。
- 激活适配器变体允许生成继续使用原始缓存，可将重排与生成解耦为不同 adapter，按需激活，主干权重不变，便于多技能扩展。
- 注意：论文仅在通用 RAG 数据集上验证，迁移到电商/推荐需自行评估，但“单骨干多技能”的架构思想值得复用。
环境感知调度：提升智能体强化学习采样效率
🧭 Agent RL 环境感知调度与批采样优化
PKU · XJTU · THU · Samsung Research · CASIA
通过环境感知调度任务与环境的 rollout 批次，提升 Agent 强化学习样本效率
📌 工作参考价值（3 点）
- 在电商 Agent（导购、客服）的 RL/偏好训练中，不同任务环境（交易流程、工具 API、校验逻辑）成本与难度差异大，可借鉴 EnvSched 思路：用历史 rollout 的 reward 方差/不确定性做任务调度，优先采样能拉大策略差异的样本，节省昂贵交互。
- 构建任务-环境图：企业内部可复用工具、状态定义和验证器关系，构建图并用节点相似度传播统计量，预测信息量，无需额外 pilot 采样即可冷启动调度。
- 通过 environment quota + similarity penalty 控制 batch 多样性，避免重复观察相似任务，提升每步梯度信息密度；该机制可直接迁移到多场景推荐/对话策略联合训练。
LCM-Promo：基于LLM的促销分配Uplift模型
🧭 LLM 微调 · 促销 Uplift 建模 ★ 深度解读
Prosus · iFood
微调LLM预测转化阈值，构造单调促销响应曲线，线上转化+1%成本-6%
📌 工作参考价值（4 点）
- 单token阈值解码构造单调响应曲线：促销/优惠券分配中，用LLM预测折扣标识符，将输出分布解释为潜在转化阈值PMF，通过累积概率得到自然单调的响应曲线，保证uplift估计的单调性，避免后处理强制单调。
- 用上下文作为prompt输入代替分cell建模：将配送班次、日期、用户表示等直接序列化进prompt，替代传统EWMA按segment-promotion分cell预测，使分配空间从50 segment扩展到1000+集群，从10钱包配置扩展到100万+促销组合，适合需要细粒度上下文的促销场景。
- 工程化降本：预计算用户表示并缓存，每天批量推理两次，对用户分组后随机采样估计平均响应曲线，使用自托管vLLM + BESH批量端点，8张H200每天仅运行1小时即可支撑生产，证明了LLM在中等规模推理任务上的可行性。
- 微调标签需与预训练目标兼容：waterfall augmentation（阈值顺序多标签软目标）因与next-token预训练目标冲突导致性能大幅下降，说明在LLM微调时不要随意改变输出分布形态，保持单token交叉熵更稳妥。
弱化以强化：面向大型推理模型的弱化诱导在线策略自蒸馏
🧭 LLM 推理模型自蒸馏训练
Massachusetts Institute of Technology · NVIDIA
通过量化/剪枝构造弱化模型，利用强弱对比信号进行在线策略自蒸馏，无需外部教师
📌 工作参考价值（4 点）
- 在没有更强教师或外部标注时，可对内部 LLM（商品推荐文案、Agent 规划、搜索 query 改写）做“弱化自蒸馏”：将线上模型做低比特量化或幅度剪枝得到弱版，用同批 on-policy 轨迹的强弱概率差/输出对比做 token 级信号，无需人工标注或大模型 API。
- 剪枝版弱模型比量化版提升更明显（+5.5 vs +4.0），在算力有限时优先 magnitude pruning 作为弱化教师；但剪枝需调稀疏度，注意训练稳定性。
- 该方法可嵌入现有 post-training pipeline：用业务真实 unlabeled prompts 跑 on-policy rollout，收集模型自身错误中间步骤，再与弱化模型对比，重点修复推理链偏离，适合 Agent 工具调用/多步推荐逻辑的 RL 后训练。
- 需要验证弱化模型不能太弱，否则对比信号噪声大；建议按任务难度与模型规模调整量化位数/剪枝比例，先小规模消融。
TaskBridge：面向 2026 SIGIR 电商挑战赛的任务型查询改写技术报告
🧭 任务型电商 Query 改写 · Catalog 锚定选词 ★ 深度解读
Shandong University · Harbin Institute of Technology (Shenzhen) · City University of Hong Kong · Southeast University
以目录语义锚定、五候选改写和协议感知选择实现任务型电商查询的 BM25 检索增强，获挑战赛第一
📌 工作参考价值（4 点）
- 构建 catalog 短语词典与 semantic anchors：从商品标题/描述中抽取 n-gram 短语，用 LLM 纯化为 product category/object/accessory 三类可购买实体，过滤品牌、场景噪声，再用 embedding 在线检索语义锚点。这套离线资源可直接用于电商搜索 query 改写、query 推荐、召回阶段的 query 扩展，缓解用户活动型表达与商品标题的词汇鸿沟。
- 多候选改写 + 协议感知选择：生成 raw/feedback/vote/need/prod 五类候选，覆盖保守到激进、意图保护到产品导向的不同改写假设；再以 BM25 top10 的 reranker 分数加 log 折扣作为质量代理，Automatic 选最高分，Interactive 用 weighted Jaccard overlap 做 Pareto 多样性选择。这个选择框架可迁移到多 query 改写、生成式重写、多策略召回合并，控制多样性与质量平衡。
- 无训练 LLM 改写 + 传统 BM25 的轻量架构：整个方案不训练模型，依赖 Qwen3.5-9B 生成改写、embedding/reranker 做选择，最终仍走 BM25 检索。适合需要快速落地、资源有限的业务场景，可先用 LLM 辅以字典约束生成多个候选，再用 reranker 代理选优，降低上线成本。
- 多轮反馈里的 Keep/Add/Drop/Replace 编辑和 margin 接受条件：对 Agent 式 query 优化有直接参考价值，能避免 LLM 在迭代中过度改写造成意图漂移。
MLE-World：用学习世界模型预测机器学习实验输出
🧭 MLE Agent 世界模型与测试时扩展 ★ 深度解读
University of Washington · University of Illinois at Urbana-Champaign · University of Oxford · Columbia University · New York University
用 4B 世界模型预测 ML 程序终端输出并以置信度门控执行，使 MLE Agent 在少执行下获得更高分数
📌 工作参考价值（4 点）
- 在昂贵的真实执行/线上实验前，用轻量世界模型（finetuned 小 LLM）预测候选程序、策略或 query 的终端输出（日志/指标/错误类型），一轮推理代替一次完整运行，可把候选筛选成本降 1-3 个数量级。
- 置信度门控是核心复用点：按预测结果类型设置不同阈值（成功/失败/超时），只对低置信度候选做真实执行；比随机跳过更省资源，能省 30-40% 执行时间。
- 结构化输出比单纯预测分数或日志更有效：同时预测 exception class、terminal output、validation metric、submission flag，可提升终端输出一致性和指标召回，并支持后续 Debug/Improve。
- UCB 式 exploration bonus 用模型不确定性（1-pmax）修正贪心 Best-of-N，避免 discard 被低估的候选；可迁移到商品召回/创意筛选等有限验证预算场景。
Octen-WebGR：将生成式检索扩展到2亿网页
🧭 生成式检索 · Semantic ID ★ 深度解读
Octen AI
首个覆盖2亿网页的生成式检索模型，用两token语义ID直接生成URL，导航点击命中率59.6%
📌 工作参考价值（5 点）
- 商品/落地页生成式索引：可把商品或页面编码为两 token Semantic ID；用标题/类目+高频搜索词构造类似 URL text 的文本，经残差量化+碰撞消解生成唯一 ID。两套 token（s0/s1）比共享 token 更能区分语义前缀与组内排序。
- 训练采样与曝光：点击对按 n(q,u)/Nq × Nq^β (β=0.5) 加权，平衡头部 query 与长尾；对导航/转化集中 query 加保底样本；document-indexing 把商品文本当 query，一次曝光覆盖多条关联 query。
- 推理与资源：constrained beam search 只输出存在 item，避免下架商品/假 URL；点击表可用 lookup→GR 兜底。GR 4B 模型单 GPU 10GB，比 exact dense 索引省约40倍内存。
- 混合路由：GR 擅长热门 item 的新 query 表达，dense 擅长冷 item；用 GR 首位 item 的训练对数 + beam 概率做 serving 路由，可同时拿到两者优势，电商搜索/推荐可直接复用。
- 扩展训练：遗忘主要由曝光后的累积学习率 Λ 决定，而非模型容量；把高价值 pair 放在低 Λ 的晚期窗口曝光，或加大 batch 并等比升 lr，能提升保留率与样本效率。
ThinkBit：搜索码字、重校准尺度、按推理选择
🧭 LLM量化 · 标量2-bit推理保持 ★ 深度解读
Microsoft Applied Sciences Group
标量2-bit量化框架，通过敏感度分配位宽、码字搜索、仅训尺度和按推理选择，在MATH-500上大幅超过同尺寸2-bit方法
📌 工作参考价值（5 点）
- 线上长思维链模型压缩：如果要在电商/Agent场景部署推理模型，可用标量2-bit格式（整数codeword × bf16 scale，组大小128），无codebook/rotation/zero-point，dequant只需一次乘法，工程实现简单，能显著降低权重内存带宽；论文中14B模型decode从86提高到150 tokens/s。
- 按层敏感度混合精度：不必全模型统一2-bit，先用KronQ敏感度（输入范数×输出梯度范数）给每层分配ternary/2-bit/3-bit，可将搜索/推荐/Agent模型的量化损失最小化；论文表明2-bit点在成本-噪声平面上不占优，多数层会分配到ternary或3-bit。
- 低成本恢复与校准：冻结codeword，只训练scales和RMSNorm gains（<1%参数）就能把WikiText ppl从46.9降到19.46、MATH-500从14.8拉到47.5；这适合对线上新领域数据做快速低资源校准，无需全量QAT。
- 用业务长链路指标选checkpoint：困惑度和多选题无法区分量化配置（差异<1.5点），但长程任务如MATH-500差异超10点；应构造业务推理样本（如商品推荐解释、Agent工具调用轨迹最终成功率）做配对sign-flip test来选择checkpoint，避免误选。
- QAT数据要加完整推理轨迹：仅通用数据QAT会损害推理（MATH-500从47.5降到43.0），加入完整长思维链数据后同尺寸模型MATH-500从46.7跃升至73.0；业务上收集高质量Agent轨迹数据做量化后训练是划算的。
提示有多重要？金融推理事后自蒸馏的边界条件
🧭 事后自蒸馏 · 多步推理
University of California, Berkeley · CTGT
提出 Fin-SD，以学生自定位错误并生成提示、截断错误前缀进行事后自蒸馏，无需外部教师即可提升多步推理
📌 工作参考价值（4 点）
- 在电商/Agent 中需要多步推理（优惠计算、库存规则、合规审核）但只能本地部署小模型时，可借鉴 Fin-SD：让学生自己生成提示、在正确前缀上条件蒸馏，无需外部教师或完整答案，适配数据驻留与隐私约束。
- 关键 trick：提示内容不重要，监督位置才重要；可用通用/模板化反馈替代精写 critique，显著降低标注与生成成本，只需定位首个错误步骤即可施加有效监督。
- 同家族更大模型生成提示没有额外收益，说明业务中不必调用 6 倍参数模型做教师或标注，小模型自蒸馏即可省算力。
- 蒸馏后生成 token 少 9.5%，有利于降低 Agent 推理延迟和线上成本；通用推理/合规指标无退化，适合作为垂直推理增强的轻量后训练工序。
面向多轮智能体强化学习的进度感知优势塑形框架 ProAS
🧭 多轮 Agent RL 信用分配 · 优势塑形 ★ 深度解读
Zhejiang University · Westlake University · Westlake Institute for Advanced Study · Huawei Noah's Ark Lab
用动态任务参考图对轨迹级优势做非对称掩码和惩罚重分配，解决 critic-free 智能体 RL 的均匀信用分配问题
📌 工作参考价值（4 点）
- 在基于 GRPO/DAPO 的智能体 RL 中，避免把轨迹级 advantage 均匀广播；可构造任务进度参考图（如电商购物流程：搜索→商品页→选规格→结算）给动作打 reasonable/progress-advancing 标签，在优势侧做掩码和重加权。
- 建议优先使用优势塑形而非奖励塑形：论文消融显示直接加 progress-aware reward 比 advantage shaping 低 14.1 个成功率点，简单 mask 合理动作或按 suffix 长度加权也不如 Future-Drift 归一化重分配。
- 工程上可以用历史成功会话自动构建/更新参考图，无需完美人工标注；即使剪枝 40% 或由教师模型蒸馏，只要保留在线演化，仍能带来显著提升，适合快速落地。
- 对负优势轨迹，按动作引起的下游停滞程度（Future-Drift）对惩罚做比例再分配，优先惩罚早期偏航动作，比均匀惩罚更公平，能加速收敛（最高 2.44×）。
吃透精度：精度目标缓解基于量规强化学习中的奖励黑客
🧭 LLM 强化学习奖励设计 · 精度目标
KAIST AI · Carnegie Mellon University Language Technologies Institute
提出 FORK 奖励，在量规覆盖（召回）外加入精度目标，抑制冗长与事实错误，大幅提升胜率
📌 工作参考价值（4 点）
- 在用 rubric/checklist 作为 LLM 生成任务（商品文案、推荐解释、搜索结果摘要、Push 文案）的 RL 奖励时，只优化 rubric 覆盖会诱导模型输出冗长且夹带虚构信息；可参考 FORK 同时优化 recall 与 precision，对每个输出片段做必要性打分，减少无效内容。
- 对于电商问答、导购 Agent 的 LLM 回复，若奖励只基于是否覆盖用户需求点，模型可能过度回答、幻觉具体参数；引入 factual-correctness grader 作为精度项，能直接抑制事实错误。
- 工程实现上，可把 rubric 覆盖作为 recall 信号，把“每个 rubric 项是否必要”与“事实核验”组合成 precision 信号；在生成式推荐解释场景中，该设计可显著提升 win rate 并降低平均回复长度。
- 该方法的奖励公式与思想可迁移到任何需要 rubric 约束的开端生成任务，但具体 factual grader 需根据业务数据微调或规则化。
J-Comm：基于雅可比引导的 LLM 智能体间潜在通信
🧭 多智能体潜在通信与推理加速
The University of Melbourne · Shanghai Jiao Tong University
用无需训练的 GEAR 潜在推理与 H+J 隐式/雅可比双通道接口，让不同宽度 LLM 智能体高效传递推理状态并大幅减少文本 token
📌 工作参考价值（4 点）
- 可将 H+J 接口用于跨模型 Agent 协作：H 通道传递连续输入，J 通道注入雅可比中间状态，无需共享 KV cache 或相同宽度，适合电商多模型（如召回/排序/文案 Agent）异构部署。
- GEAR 属于训练免重排：在已有模型 embedding 上按几何共识单调优化 token 候选，可直接作为 LLM 推理后处理，低成本提升生成质量。
- J-Comm 相对 TextMAS 减少 19.2–74.8% 文本 token，能在 Agent 密集交互（如商品文案生成、对话式推荐）中显著降低推理延迟和 token 成本。
- J 通道的 vocabulary-indexed Jacobian-lens 坐标提供中间计算的可观测视角，可用于模型诊断、蒸馏或跨模型知识迁移。
基于 On-Policy 自训练的数据无关大语言模型自我改进
🧭 LLM 自训练 · 数据自由自我改进
Google · Ulm University
用高层主题描述合成问答与推理轨迹，在无外部监督下完成 on-policy 自蒸馏并跨领域提升模型能力
📌 工作参考价值（4 点）
- 在搜索/推荐场景中，仅凭类目或主题描述即可为模型合成针对性训练数据，显著降低人工标注 query-答案对的成本，可用于意图识别、query 改写、推荐理由生成等任务的领域适应。
- 将 on-policy 自蒸馏用于对话式推荐 Agent：让模型自己生成用户 query 和响应轨迹，再用自身生成的高置信度推理作为 dense token 目标，减少 offline SFT 的 exposure bias，改善在线交互表现。
- 合成 privileged reasoning traces（如逐步决策过程）并对模型进行蒸馏，可迁移到电商多步推理场景，例如购物决策路径生成、广告创意推理、客服多轮对话策略优化。
- 该框架不依赖外部教师模型，适合在业务数据敏感、无法调用 GPT-4 等外部 API 的私有化部署环境中做持续自我改进，且能保留非训练领域能力，降低灾难性遗忘风险。
System One 模型并非更好的重排序器
🧭 LLM reranker 微调策略对比
University of Passau · Interdisciplinary Transformation University Austria (IT:U)
在 0.6B–27B 六个 Qwen 骨干上，决策微调从未超过重排微调，9B 以下重排微调领先 5–29 nDCG@10
📌 工作参考价值（4 点）
- 实际搜索/推荐重排中，若目标是 nDCG，优先选择专门 reranker 微调模型（如 Qwen3-Reranker），不要拿 System One/决策模型按“是/否”概率直接排序；0.6B–9B 差距为 5–29 nDCG@10，27B 才打平。
- 9B 以下 decision fine-tuning 相比 untuned zero-shot 没有排序增益，如果已有 untuned LLM，可先做零样本问法 baseline，不必额外引入决策微调。
- 决策模型的校准优势对问题措辞敏感，换一种问法可能消失；在线上系统评估校准或做阈值策略时，必须用实际 prompt 验证，不能直接沿用论文结论。
- 若关心固定阈值下保留优质结果，reranker fine-tune 的概率比 decision model 概率更可靠；做准入/截断时应基于 reranker fine-tune 输出。
贝塞尔引导自适应流用于跨域序列推荐
🧭 跨域序列推荐 · 贝塞尔流
Anhui University, China
提出 BGAFlow，结合 LLM 共享语义空间与个性化 horizon，用条件贝塞尔曲线和残差流实现跨域兴趣状态自适应迁移
📌 工作参考价值（4 点）
- 跨域迁移不要用全局对齐，可按用户兴趣重叠度估计个性化 horizon 控制迁移强度；电商跨场景（短视频→货架、直播→商城）可借鉴，避免向低重叠用户注入无关表征。
- 用 LLM 推断用户画像来辅助双域共享语义空间预训练，适合冷启动和少行为用户；工程上可把 LLM 画像向量作为跨域 embedding 初始化的辅助特征。
- 贝塞尔曲线 + 残差流提供了一种可学习的平滑轨迹约束，可尝试把用户多会话兴趣漂移建模为带控制点的状态演化路径，而不是离散的状态转移。
- 轨迹正则化能抑制跨域学习中的噪声和突变，在多域推荐/多任务学习中可作为稳定的域间表示约束。
CARL：聊天辅助强化学习
🧭 LLM 辅助 RL 规范工程
Santa Clara University · Franklin Templeton
通过人机协同的十步规范工作流与自主工具循环，解决 RL 的规范与性能差距，避免奖励黑客和状态混叠
📌 工作参考价值（4 点）
- 在推荐/广告的强化学习项目中，reward hacking 与状态混叠是常见翻车点。可借鉴 CARL 的“先交互式确认 MDP + 奖励项权重，再生成训练代码”流程，让业务专家在建模前明确状态、动作、约束及多目标权重，减少上线后目标漂移。
- LLM 助手 persona + 步骤级 skill files 结构能引导非 RL 背景的业务/产品参与 RL 任务规范，适合内部自动化建模平台；紧凑决策摘要可跨迭代保留业务约束，避免长对话上下文过载，可直接复用到多轮需求澄清工具。
- 自主工具循环（生成-测试-调试）加训练后诊断重访，适合封装成半自动 RL pipeline 工具，把算法工程师从工程实现中解放出来，聚焦奖励设计与业务验证。
- 论文示例偏金融/控制，但工作流与 persona/skill 机制可迁移到电商强化学习系统的策略调试与参数治理。
低比特 N-Gram 嵌入用于语言模型
🧭 n-gram 嵌入低比特量化与内存优化
DualverseAI
低精度存储 n-gram 嵌入表，4-bit 可节省约 75% 表内存且几乎不损失性能
📌 工作参考价值（3 点）
- 若推荐/搜索模型中使用 n-gram 特征嵌入表（如用户行为序列中的连续 token 片段），可尝试 4-bit 量化存储，通常能节省约 75% 内存且性能损失极小，是性价比很高的工程优化。
- 量化后若精度下降，可加入短时微调恢复大部分性能；若内存预算不变，可将节省的内存用于扩大嵌入表容量，反而可能超过原全精度表效果。
- 对于线上已有大模型（如 DeepSeek、Qwen 系列），其 n-gram 模块可直接做低比特量化，实测困惑度增加 <1.2%，下游任务基本不降，适合对内存敏感的场景。
GraphRAG 自动化富集分析：高效多数据库 ORA 提取与生物解释
🧭 GraphRAG 加速 ORA 并提升解释忠实度
Graduate School of Information Science and Technology, The University of Osaka, Japan · The First Affiliated Hospital of China Medical University, China
将多基因集库建成术语-基因知识图谱，用紧凑证据子图驱动 LLM 生成可溯源解释，查询提速 37 倍且忠实度最高 0.90
📌 工作参考价值（4 点）
- 多源标签整合：把商品属性、类目、场景、用户标签建成统一实体关系图，用共享实体连接分散的标签体系，便于跨源召回和解释。
- 证据子图检索：给 LLM 提供紧凑连通子图而非平铺 top-k 文档，可降低上下文噪音并提升推荐理由/广告文案生成的事实一致性。
- claim-level 忠实度评估：逐条校验生成声明是否被图谱边路径支撑，可作为 RAG/Agent 输出质量监控指标，适合落在 pipeline 里自动打分。
- 查询加速：图式预计算+子图检索相比逐库查询显著提速，可用于实时推荐解释或 Agent 工具检索的缓存设计。
HERD：面向持续学习的 Harness 演进递归蒸馏
🧭 持续学习混合框架 · 递归蒸馏
Monash University · University of the Sunshine Coast
提出混合持续学习框架 HERD，用 harness 技能库与有界残差记忆结合双锚漂移约束蒸馏，实现新任务获取与低遗忘。
📌 工作参考价值（4 点）
- 在电商/Agent 持续迭代中，可借鉴「skill/harness + 有界高残差样本库」做快速适配：新任务/新类目先用上下文技能处理，只把模型反复出错的高价值样本沉淀为记忆，避免全量重训。
- 蒸馏策略：定期把 harness 记忆蒸馏回基座模型时，采用双锚点（初始 checkpoint + 上一版蒸馏模型）做漂移约束，能缓解长时间递归更新中的遗忘，适合需要频繁发版/增量训练的推荐模型或 Agent policy。
- 资源固定：HERD 在固定 memory 与 compute 预算下运行，给生产环境提供了一个可落地的约束范式：不无限增长上下文/记忆，通过递归蒸馏滚动内化经验，保持线上成本稳定。
- 注意：论文面向通用 LLM 持续学习，不是推荐系统专用；但其中「技能库 + 残差记忆 + 双锚蒸馏」的架构可迁移到多域推荐、搜索 query 策略或客服 Agent 的持续优化。
继承而非发明：推理模型中 Wait 的来源追溯
🧭 LLM 推理行为训练溯源 · RL 角色
The Hong Kong University of Science and Technology · Peking University · Huawei Noah’s Ark Lab
通过追踪开放模型训练历史，证明 wait 等修订标记主要继承自训练数据而非 RL 凭空创造
📌 工作参考价值（4 点）
- 训练推理型 Agent 时，显式在 SFT 数据中加入“wait/reconsider”等自我修正 trace，不要寄希望于 RL 后期涌现；RL 只能放大已有行为，不能无中生有。
- 对线上 LLM 推理/推荐 Agent 做行为归因时，用无标签指标（标记频率、位置、形式、注入错误后是否触发）替代主观印象；marker 频率不应单独作为“推理增强”的 KPI。
- 评估 query 改写、解释生成或自检质量时，谨慎使用 LLM-as-judge：自动裁判可能反转人工标注趋势，建议人工抽检或多种 judge 交叉验证。
- 复现或调 RL 配方（如 GRPO）时，先检查基础模型是否已含目标语言行为、是否带 KL 约束；这些因素决定 RL 是放大、不变还是擦除该行为，影响线上文案/推荐解释的风格一致性。
兼顾任务遵循与行为自然度的用户模拟器
🧭 用户模拟器 · RL+对抗判别器 ★ 深度解读
Cornell University · Microsoft Research
用 RL 联合动态对抗判别器训练用户模拟器，有效对话率 46.2%，为最强现有模型的 3.3 倍
📌 工作参考价值（4 点）
- 在需要模拟用户生成多轮对话的场景（如评估导购 Agent、电商客服助手），不要只用 prompt 大模型或纯 SFT；可借鉴 SFT+RL+动态判别器配方：先 SFT 对齐真实用户语料，再用联合奖励优化任务完成度和自然度。
- 自然度评估要避免 LLM-as-a-judge，用轻量判别器（如 ModernBERT）做对抗训练，每 N 步重训，防止 reward hacking；业务中可训练真实用户 vs 模拟对话的判别器，作为线上模拟器的质量监控信号。
- 设计 coverage 奖励时引入信息不对称：给生成模型的意图抽象、给 reward 的子目标具体，可防止模型逐字复述意图刷分，鼓励多样化合理行为；类似可应用于推荐解释生成或 Agent 指令跟随训练。
- 终止/质量奖励可作为必要的门槛：先检查角色切换、重复输出、提前终止等硬失败，再做细粒度打分；这能低成本过滤掉不可用样本，提升自动化评估信噪比。
可预测的性能意味着次优：对模型路由的启示
🧭 模型路由与级联优化
Max Planck Institute for Intelligent Systems, Tübingen · Tübingen AI Center
证明性能预测仅在模型次优或预测器容量大时才优于模型自置信度，级联路由同理
📌 工作参考价值（4 点）
- 模型路由基线选择：将候选模型自身的 self-confidence（输出概率）作为默认路由依据，不要盲目训练额外性能预测器；当模型已通过微调接近任务最优时，复杂预测器增益很小。
- 如果业务中必须使用预测器（如小模型 + 大模型级联），把预测器资源分配给最弱的模型或最难的子任务，因为预测器优势与模型次优性正相关，模型越好增益越少。
- 重校准可复用：训练出的性能预测器若优于模型自置信度，可通过 recalibration 将该优势直接转化为模型 log loss 改进，类似用预测器蒸馏/矫正模型的不确定性估计，提升线上校准和风险控制。
- 级联路由设计：优先提升第一级模型本身（微调、领域适配）而非仅优化路由策略；当第一级模型足够强时，基于 self-confidence 的阈值路由与预测器路由差距缩小，工程更简单且更稳定。
面向数据科学任务的自适应评分准则过程奖励智能体
🧭 Agent 过程监督 · 自适应评估准则
Carnegie Mellon University · Microsoft
AdaPRA 用自适应 rubrics 的过程奖励智能体审计并纠正数据科学 agent 的中间过程错误，显著提升排行榜百分位
📌 工作参考价值（4 点）
- 用可执行的检查（而非仅看轨迹）构建过程监督信号：在电商/推荐 agent 中可对召回策略、query 改写、特征拼接等中间步骤做"提交完整性""防泄漏验证""预算利用"等自动核对，提前捕获 silent errors。
- 自适应 rubrics：从简单任务或历史成功运行中挖掘 rubric 模板，再按任务难度/失败样本动态调整；对应推荐系统可按场景或品类生成评估检查项，并利用线上 badcase 持续更新。
- 跨模型迁移：用强模型运行结果挖掘 rubrics 去监督弱模型，或反之；可用于 reward model 构建、蒸馏或 RLHF，降低人工标注成本。
- 持久化 workspace 与跨尝试记忆：多次尝试间缓存探索结果、失败原因和已试策略，避免重复跑 baseline 和 EDA；推荐 agent 或搜索 agent 可复用已尝试的召回/排序策略，优化固定预算利用。
PAIR：LinkedIn 高级用户人推荐的偏好对齐意图检索
🧭 偏好对齐检索 · LLM Embedding ★ 深度解读
LinkedIn
用曝光条件偏好对比学习与可增量更新的历史注意力，将 LinkedIn Premium 人推荐检索 MAR@100 提升 56%，线上 CTR +7.5%
📌 工作参考价值（4 点）
- 用「曝光未点击」当负样本，而不是随机负样本：把生产日志里同批次曝光但未点击的候选作为难负例，随机样本作为易负例，可以让召回模型直接对齐线上检索策略的曝光分布，比 ANN 硬负挖掘更贴合真实曝光偏差。电商/广告召回可以直接复用这个负样本构造思路，尤其是多路召回混合的场景。
- 静态画像与动态意图分离，行为更新只在 embedding 空间做：Profile tower 和 Document tower 离线预计算，用户历史用最近 K 个点击 item 的预计算 embedding + positional attention 聚合成意图向量，更新复杂度 O(Kd)，不需要在线重过 LLM。适合大规模实时个性化，对需要频繁更新用户表示的推荐系统尤其有价值。
- Matryoshka 训练让一个模型同时服务多种维度预算：在训练时同时对 200/256/512/1024 维前缀计算 loss，线上可按 latency/storage 截断，不需要为不同业务线训练多个模型。电商多场景召回/粗排可以合并训练，降低模型维护成本。
- 工程细节可直接抄：bf16 而非 fp16 防止 DeepSpeed 梯度溢出；温度设 0.02；离线指标优先看 MAR@k，ACC 在小候选集容易饱和，MAR@k 更能反映排序召回质量。
UserArena：长程购物 Agent 交互式用户模拟基准
🧭 用户模拟器 · 长程购物 Agent 基准 ★ 深度解读
Leiden University · Renmin University of China · Alibaba Group · Institute of Computing Technology, Chinese Academy of Sciences
构建真实电商长程交互基准与五级评估协议，并提出 on-policy trajectory distillation 提升用户模拟器保真度
📌 工作参考价值（4 点）
- 借鉴五级评估协议（L0-L4）构建业务用户模拟器验收流程：从动作解析有效率、下一步行为准确率、到序列分布和群体分层保真，最后对比策略 A/B 效果；尤其关注不平衡动作（如滚动占38%）用宏观 F1 而非微平均。
- OPTD 的训练策略可迁移到序列决策模型的离线训练：用 trajectory-level intent 作为 teacher 的 privileged context，在 student 自己的 rollout 上做 token-level 蒸馏（JSD），并用 trust region 限制意图影响，可减少 exposure bias 和稀疏监督，提升长程一致性。
- 建立模拟器-线上校准闭环：将相同策略对在模拟器中对比效果，与生产 A/B 效果比较（如 effect ratio 和 error），确保模拟器结论可指导业务决策；OPTD 达到 0.713× effect ratio，远好于通用大模型。
- 数据层面：整合用户跨会话长期行为（平均 10+ 会话）来训练和评估模拟器，比单会话更能揭示行为惯性；可结合用户属性、视觉上下文、完整动作空间来提升模拟器保真度。
隐喻的几何：在大语言模型中探测与操控隐喻表征
🧭 LLM可解释性与表征操控
Institute for Logic, Language, and Computation, University of Amsterdam
用机制可解释性定位多规模LLM中的隐喻因果子空间，并实现对分类与生成任务隐喻性的操控
📌 工作参考价值（4 点）
- 在电商/广告文案生成中，可借鉴“概念方向”表征工程：定位“创意/隐喻/促销/正式”等风格的因果方向，通过激活空间 steer 控制文案风格，无需微调大模型。
- 用 probing 先行定位模型内部可操控子空间，再做 causal intervention 验证，成本低，适合快速验证 LLM 是否存在某种可调的风格维度。
- 可迁移到搜索推荐 query 改写、push 文案：按场景调节隐喻度/创意度，例如信息流标题更含蓄有吸引力，搜索广告关键词更直白匹配意图。
- 该工作主要是学术贡献，业务直接应用需自行构建风格标签、验证集和离线评测，但方法框架可复用。
Cola2：连续语义压缩与平衡离散生成的协同自适应层次语言建模
🧭 层次语言建模 · 连续压缩离散扩散生成
The University of Hong Kong · ByteDance Seed · Peking University · Renmin University of China
提出Cola2，通过连续语义压缩、离散重建-生成平衡与连续-离散协同适应，346B tokens训练8任务平均60.10超越Llama-3-8B部分任务
📌 工作参考价值（4 点）
- 对生成式推荐/Semantic ID：将物品语义压缩为连续 latent，再离散生成语义 ID；负反馈控制压缩率可省去辅助 loss 调参，适合对商品描述或用户行为序列做自适应语义摘要，减少 token 预算。
- 对搜索/广告文案生成：block-causal masked diffusion 解码器在 clean/noisy/dropped latent 条件下训练，能提高对 query/商品属性缺失或噪声输入的鲁棒性；Classifier-free guidance 可显式调节文案对约束的重建忠诚度和自主创意之间的平衡。
- 对 Agent 多轮交互：推理时 re-encode under fixed span layout 保持隐历史与实际文本一致，可缓解多轮生成中 latent history 漂移；stop-gradient 分离 Flow Matching 先验与表示学习，适合多任务/多阶段训练，避免先验目标干扰主任务表示。
- 对工程实现：continuous latent 压缩+离散解码可减少长序列 token 数，提升长文本/长行为序列建模效率；训练用 clean/noisy/dropped latent 条件成本低，可作为增强 decoder 鲁棒性的通用 trick。
EPIC：基于精确 KL 前缀重要性比率裁剪的 LLM 策略优化
🧭 LLM 强化学习 · 前缀级信任域裁剪 ★ 深度解读
Tsinghua AIR · ByteDance Seed · Tsinghua University
提出前缀累积似然比作为精确重要性权重，用 r-1-log r 坐标构建校准裁剪目标，稳定离线 MoE RL 训练
📌 工作参考价值（4 点）
- 电商/Agent 场景若用 RL 微调 LLM 生成商品文案、对话策略或搜索词，常面临异步 rollout 与离线策略偏移，可借鉴前缀级重要性比率裁剪：它比 token 级 GRPO 更能感知前缀累积漂移，又比序列级 GSPO 保留早期位置信号。
- 在 MoE 架构的 LLM 训练中，EPIC 无需存储专家路由索引即可稳定训练，大幅降低 driver 进程内存（对比 R2/R3 降 77.5%/93.0%），适合资源受限的大规模部署。
- 实现上只需对现有 PPO/GRPO 损失做轻量改造：累计 log ratio 得到前缀比率，按校准边界裁剪，无额外模型或 replay，可直接嵌入 verl 等框架。
- 信任域边界采用精确 reverse-KL 坐标和几何均值行为概率校准，比固定 clip 范围更适应长尾响应，对长序列生成任务（如多轮 Agent 交互、长文案生成）的 RL 调优有参考价值。
LongZero：从零数据增强 LLM 长上下文推理
🧭 长上下文推理 · 零数据自合成 RL
Tsinghua University
LongZero 让 LLM 无需外部数据，通过自合成紧凑证据再展开为长上下文，用 GRPO 提升长上下文推理
📌 工作参考价值（4 点）
- 在电商/搜索推荐 Agent 中，常需对长会话、多商品描述、多文档策略进行推理；可借鉴 LongZero 的思路，让模型先生成结构化的证据链（问题-答案-支持证据），再将证据扩展为多文档上下文，构造无外部标注的 RL 训练数据。
- 当业务场景缺少高质量长上下文标注数据或不想依赖更强教师模型时，可以用 GRPO 在自合成任务上训练，提升模型在长文档抽取、多跳推理、多轮检索上的泛化能力。
- 将自合成多轮检索任务加入训练，有助于优化 Agent 在长上下文中的检索与定位能力，例如在商品知识库、用户评论、活动规则中定位支撑某一推荐/答案的证据。
- 注意该方法主要针对长上下文推理本身，不直接提升推荐精度；作为基础能力训练手段，可集成到现有 Agent/LLM 训练流程中，重点解决推理链路可靠性与长上下文定位问题。
推理-搜索增强大语言模型：操作化分类、基准分析与受控证据综合
🧭 Agent 化推理-搜索增强 LLM 架构分类
Texas A&M University, College Station, TX, USA · Texas A&M University–Corpus Christi, Corpus Christi, TX, USA
提出四架构轴+学习信号分类框架，系统梳理推理-搜索Agent设计与消融证据
📌 工作参考价值（4 点）
- 构建电商搜索/客服 Agent 时，把检索从一次性 RAG 上下文改成迭代循环中的动作：显式维护 plan→query→retrieve→verify→stop 状态机，可显著减少无依据答案；在商品知识库、用户评论等多源检索时，按 grounding strictness 分级校验（如硬性要求引用来源 vs 仅启发式）。
- 训练搜索策略时优先用偏好优化或 RL 而非仅 prompt：同一架构下学习信号会显著改变搜索时机、停止条件和最终答案的 groundedness，业务数据允许时直接建模质量-成本 tradeoff。
- 做离线评估不要跨论文直接比较 SOTA：不同 backbone、retriever、corpus 协议不可混用，应关注 controlled within-study ablation；同时把 benchmark 难度与 RSA-loop 需求分开统计，避免简单题目屏蔽搜索行为差异。
- 将检索耦合、控制器、知识源、grounding strictness 作为显式设计维度，便于在电商场景中快速替换组件（如从向量库切到商品图谱）并定位性能瓶颈。
VibeGame：基于 AI 原生引擎与自进化对抗智能体团队的提示词生成游戏
🧭 多智能体对抗式游戏生成
PRLab, Nanjing University · S-Lab, Nanyang Technological University · Liblib.ai
用 AI 原生引擎与八个专用对抗智能体，从提示词端到端生成可玩 2D 游戏项目
📌 工作参考价值（4 点）
- 可借鉴的结构化可执行状态：把复杂系统状态定义为 schema-validated text，并提供 frame/time-step 同步的 inspect/execute/verify 接口；可迁移到广告出价、query 改写等 Agent 场景，将候选 query、context、约束写成结构化状态，critic agent 分步读取、回滚和验证，避免直接依赖全量代码。
- 实施者/审查者对抗解耦：用多个 specialist agents 把生成与审查分离，多轮 loop 找问题；可复用到搜索广告文案、商品推荐理由生成 pipeline，一个 agent 产出、一个 agent 基于规则或仿真反馈审查，降低线上事故风险。
- 训练免费自进化机制：将成功项目蒸馏为 skeletons、modules 和 collaboration contracts，作为未来任务的模板；业务中可把历史成交的 prompt 工作流沉淀为可复用 SOP、模块库和 agent 间接口契约，减少每次从零生成并提升多 agent 协作稳定性。
- 评估思路：PA2G 与 P2G 区分“给定资产库”和“自主生成资产”，能更干净地评估 agent 的规划与集成能力；推荐实验也可区分“给定候选”与“生成候选”，定位系统瓶颈。
DeclineCraft：联合衡量检索与参数知识的 RAG 弃答基准
🧭 RAG 弃答能力基准与行为分析
Purdue University
提出 DeclineCraft 基准，度量模型在检索与参数知识均不足时正确弃答的能力，揭示迭代 RAG 等增强策略反而降低弃答率。
📌 工作参考价值（4 点）
- 在电商客服/商品咨询等 RAG 场景中，不要盲目堆叠迭代检索、query rewriting、reranking 等“增强”组件：它们可能让模型对无法回答的问题过度自信，降低正确弃答率。对高频未知问题（如新商品属性、未收录政策），应显式加入弃答判定或置信度阈值。
- 单轮检索已能提升正确弃答率（38/40 配置），说明即使检索不到确切答案，提供相关但不完整的上下文也能帮助模型识别知识缺口，而非直接依赖参数记忆编造。在知识截止后新商品/新政策问答中，可先检索同类商品/旧政策作为参照。
- 思考模式（thinking）会显著降低弃答率，但常从“承认不确定”转为“否定前提”，这对安全敏感场景是隐患。实际部署时不宜只用 CoT 自我评估，应设置独立的 abstention 分类器或规则。
- 模型规模与弃答率无显著关联，只与作答准确率正相关。因此不能指望换更大模型解决拒答问题，需针对弃答行为做专门训练或 prompt 设计。
LaLa-World：用自然语言动作扩展潜在世界模型
🧭 语言条件潜在世界模型与规划
NAVER AI Lab · Georgia Institute of Technology · Brown University · Mila & Université de Montréal
用语言描述动作与视觉变化，让单一LLM潜在世界模型跨异构数据训练，实现高效规划与策略初始化
📌 工作参考价值（4 点）
- 将异构用户行为数据（点击、购买、曝光、反馈）和场景特征统一为自然语言描述，可联合训练单一世界模型，支持跨域推荐和冷启动场景下的行为预测。
- 用LLM作为环境状态预测器，替代像素/隐向量级别的生成，既能理解语言条件，又能大幅降低训练与推理成本，适合在线实时规划（如MPC）和反事实推演。
- 预训练的用户行为世界模型可作为下游策略（如RL推荐策略）的初始化，加速收敛，类似LaLa-Policy的思路可以迁移到Agent策略微调。
- 语言化动作和状态对措辞变化具有鲁棒性，适合处理自然语言形式的用户意图或Agent指令，增强系统对模糊输入的容错。
SplatLab：面向3DGS研究的自主科学发现系统
🧭 Agent 自主科研流水线 · 3DGS
University of California San Diego
SplatLab 实现端到端自主3DGS研究流水线，通过模块化变异、Elo锦标赛与实验绑定生成可追溯论文，PSNR最高提升3.78dB
📌 工作参考价值（4 点）
- 可借鉴「已验证骨干 + 模块化插件变异」思路：在推荐模型迭代中，固定召回/排序主框架，只变异可插拔模块（如特征交叉、损失项、负采样），降低实验方差并快速定位增益来源。
- Elo tournament 多候选评估机制可用于广告/推荐离线 A/B 前的高效筛选：对候选算法按多个数据集/指标进行配对比较并引入淘汰压力，比单独跑全量评估更省资源。
- 实验数字绑定日志、未备份则不允许输出报告的做法，可直接迁移到实验平台，强制所有在线离线指标可追溯，避免口头结果。
- 常驻 falsifier（压力测试）用于鲁棒性筛选：在电商大促、冷启动等极端场景下自动验证策略，淘汰脆弱候选。
构建多学科AI研究团队自主发现线性注意力架构
🧭 多智能体协作自主架构搜索
UC Santa Barbara · Pennsylvania State University · LinkedIn
通过不同学科背景、私有历史与自适应分配组织多智能体团队，自主搜索出优于GDN2的线性注意力架构
📌 工作参考价值（4 点）
- 在推荐/广告模型结构搜索中，可借鉴“多学科背景Agent团队”设计，让不同Agent从召回、排序、多任务、效率等视角提出正交的架构修改，避免群体思维陷入局部最优。
- “私有研究历史”机制可迁移到A/B实验知识管理：每个实验Owner保留独立的假设与失败记录，仅共享实验结果，防止过早收敛到主流方案。
- 自适应分配研究机会（而非均匀轮询）适合实验预算有限的场景：根据近期收益动态调整各Agent的探索资源，把更多算力给有潜力的方向。
- 对于线性注意力等新型高效模块，业务侧可以低成本在小规模（如150M参数）用该团队框架快速筛选候选，再扩展到线上模型，节省大规模训练开销。
基于任务超图学习互补智能体组用于缺失模态下一兴趣点推荐
🧭 多 Agent 任务超图驱动的 POI 重排 ★ 深度解读
Swinburne University of Technology · Australian Catholic University · University of Tennessee · University of Tokyo · Deakin University
用任务超图动态选择互补 Agent 组，在缺失多模态 POI 重排中带来 8.4–9.1% NDCG@20 相对提升
📌 工作参考价值（5 点）
- 可把重排拆成明确任务类型（全局状态更新、候选对比、缺失模态补偿），再用超边记录 task-target-members，既便于策略学习，也便于做成本约束和消融。
- 采用固定角色 Agent + 共享冻结 LLM + 角色级 LoRA，并用任务局部状态隔离多任务执行，适合在线 Serving 中复用同一 LLM 骨干而不互相污染。
- 广播候选级共享结果再指导下轮操作，比各 Agent 独立评分后融合或单控制器顺序取证据更有效；在复杂候选排序场景可以用类似的成员间共享证据机制。
- 两阶段训练值得复用：先监督 warm-up 学 executor 和 ranking head，再固定 executor 用 PPO 学 task/member/operation/stopping 策略，并把 computation cost 直接加入 reward，得到可解释的质量-成本曲线。
- 缺失模态处理建议显式保留 mask，区分“缺失”和“零值特征”，只利用可用证据更新候选状态，不改原始模态；这比丢弃 mask 或插补更稳健。
野外销售：基于460万商业对话微调的销售Agent基准与随机现场实验
🧭 对话式销售Agent训练与在线随机实验 ★ 深度解读
Javo, AISO Boost Ltd.
用460万真实商业对话微调Qwen3-32B销售Agent，在100个网站随机试验中比无Agent提升10%收入，比前沿模型提升21.6%转化
📌 工作参考价值（4 点）
- 真实商业对话微调是提升销售/导购Agent业绩的关键：SFT学完整对话（需求挖掘、推荐、异议处理、下一步提议），DPO用购买进展信号做偏好优化；可直接迁移到电商客服、导购对话训练。
- 模型隔离评估设计值得借鉴：固定界面、检索、工具、prompt、guardrails，只换模型权重，才能干净归因训练数据的价值；业务方上线Agent前应做类似消融。
- 在线实验协议可复用：ITT收入/访客 + engaged conversion + 非劣性对比人工 + 安全守卫指标（退货率、投诉、未支持声明、未授权优惠），并采用CUPED、sample ratio check、顺序检验等。
- 成本效率结论：对话Agent推理成本仅为人工的1.8%（0.06美元 vs 3.40美元），且转化非劣性，可优先在咨询密集品类（美妆、家具、旅游）部署自动化销售助手。
语义不足时：用户画像引导的跨域序列推荐
🧭 跨域序列推荐 · LLM 用户画像引导 ★ 深度解读
北京交通大学 · 中山大学 · 南洋理工大学
用 LLM 推断用户画像作为全局引导替代跨域语义桥接，结合本地语义关联提升跨域序列推荐
📌 工作参考价值（3 点）
- 跨域/多场景推荐中，避免全局 item 语义对齐；用 LLM 从用户混合行为序列推断 persona（输出 why 而非 what，提示词约束不提具体 item/brand/domain），作为跨域行为建模的全局引导信号，可作为多域用户表示的统一先验。
- 行为与语义表示分离：跨域共享行为 embedding 随机初始化、与混合序列联合训练，避免语义域隔离；冻结的 item 语义 embedding 只用于域内局部邻域正则和域偏好分支，最后通过可学习 gate 自适应融合。工程上可离线预计算 persona 和语义 embedding，不增加在线推理成本。
- 辅助损失设计：Local Semantic Association 对每个 item 取 Top-K 语义邻域，回归语义相似度与行为相似度；Global Persona Guidance 使用 persona-aware attention 对序列隐藏态加权，做用户级对比学习。两项都是轻量插件，可加到现有 Transformer 序列模型。
深度融合记忆：大语言模型的块级参数化记忆
🧭 参数化记忆 · 隐藏层深度融合
LUMIA Lab, Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory
提出块级参数化记忆DFM，训练数据构造检索量降低32倍，并深度融合进隐藏状态，无需在线检索
📌 工作参考价值（5 点）
- ### 对电商 / 广告 / Agent 的可借鉴点
- 在电商导购、广告文案或客服 Agent 中，需要给 LLM 注入领域知识（商品库、活动政策、广告规范）。DFM 提供一种冻结主干的参数化记忆方案：推理时无显式检索步骤，延迟低，比 RAG 更适合高 QPS 线上场景；可训练轻量 memory predictor + fusion 模块，把领域知识压缩进隐藏状态。
- 块级记忆监督是关键技巧：用 chunk embedding 作为预测目标，而非 token 级目标，训练数据构造的检索 query 可减少 32×、检索条目减少 2048×。业务数据量大、离线检索成本敏感时，优先考虑把知识切块并做块级记忆，能大幅降低知识注入成本。
- 门控 cross-attention 融合比输出层插值更深，能让知识影响中间表征；工程上可只插入少数层，冻结原模型，避免灾难性遗忘。适合给已有的推荐/Agent 底座模型做领域适配而不破坏通用能力。
- 可迁移到实时交互场景：让 memory predictor 根据对话或行为前文预测 chunk 级记忆，动态融合到解码过程，省去显式检索模块，简化架构并降低运维复杂度。
超越答案：学生条件化的推理轨迹构建与蒸馏
🧭 推理蒸馏 · 学生条件轨迹构建
Stony Brook University · Meta AI
提出 ReDiST，以学生自身尝试为起点构建并筛选推理轨迹，提升推理蒸馏效果
📌 工作参考价值（4 点）
- 可借鉴 ReDiST 的“学生条件化”轨迹筛选：在微调推荐/Agent 推理模型时，不要直接用统一 CoT 数据，而是用目标小模型自身的失败尝试作为种子，再结合证据与正确答案改写，能提升学习效率。
- 用 frozen “student-matched reader” 对候选轨迹打分：以 answer recovery 和 verified-answer probability 排序，过滤掉目标模型难以模仿或信息冗余的轨迹；可用于电商多跳问答、广告归因解释等数据清洗。
- 蒸馏时加 auxiliary answer loss 平衡中间推理与最终答案监督，避免小模型只学会模仿冗长/不适配的推理格式，却答不对。
- 评估轨迹教学价值时，应在源任务与跨分布 benchmark 同时验证；不同监督配方的排名可能反转，避免单看源域指标选定方案。
GLOBE：面向生成式搜索电商商品优化的结构化智能体记忆演化
🧭 生成式搜索 GEO · Agentic Memory ★ 深度解读
AI Lab, CTO Division, LG Electronics, South Korea
把商品改写策略存成字段级行为手册，用排名反馈持续演化、去冗余并淘汰有害策略
📌 工作参考价值（4 点）
- 将商品 listing 优化从整篇 prompt 改写拆成 field-scoped behavior：每个 behavior 定义 edit operation + 允许字段（title/features/description）+ 冲突关系，可避免跨字段错误和过拟合关键词；电商可直接把 SEO/GEO 规则落成这种结构化手册。
- 用 rank gain 作为反馈，按 batch 聚合并更新 behavior 的 helpful/harmful/neutral 计数、score = h+ - h-，设 probation Nmin=5 再淘汰；比逐 episode 更新更稳，适合在线排序反馈有噪声的场景。
- Moderator 做 embedding dedup（cos > 0.9）+ LLM 功能去重，再由 Curator 提交；防止反馈演化膨胀出冗余或过拟合 ranker 的 behavior，全流程保持 handbook compact，cross-ranker 迁移更好。
- 推理阶段冻结 handbook，只用 active behaviors 单次编辑，无迭代搜索；训练阶段多智能体成本高但线上轻量，可考虑把 handbook 蒸馏到小模型或作为静态规则库。
3DCodeVerse：将 3D 世界作为代码探索
🧭 多智能体 3D 代码生成与验证
University of Southern California · Yale University · University of Rochester · University of California, San Diego · Google DeepMind
构建可执行 3D 代码数据集与多智能体验证框架，微调开源模型显著提升 3D 代码生成质量
📌 工作参考价值（4 点）
- 构建领域专用代码生成系统时，可借鉴“可执行验证 + 视觉反馈”闭环：让 agent 生成的代码在沙箱中执行，结合空间测量与渲染截图，自动筛选和修正，减少人工评估成本。
- 多智能体 DAG 编排比单轮生成更稳定：将需求拆解为独立节点（生成、校验、修正），每个节点有明确输入输出和失败重试，适合电商场景中复杂的代码/工具调用任务（如数据管道、商品页面生成）。
- 高质量可执行代码数据集是微调开源模型的关键：通过收集开源代码、格式转换与 agent 合成扩充，打包运行时环境与验证记录，可低成本复用于内部工具调用或结构化生成任务。
- 组件级消融与胜率评估提供工程取舍依据：在真实业务中，针对自动评估管线做组件级分析，能快速定位影响生成质量的关键环节，避免盲目堆叠。
多智能体LLM讨论中隐性信念崩塌的测量：相信却不说
🧭 多智能体讨论中的对抗性错误传播与隐性信念崩塌
University of Illinois Chicago
少数对抗智能体反复陈述看似合理的假答案，即可让多数良性智能体私下采信但公开不表态，揭示隐性信念崩塌
📌 工作参考价值（4 点）
- 多 Agent 协同的搜索/推荐/审核系统中，公开发言不一定反映各 Agent 真实判断；建议在关键决策节点增加独立于共享上下文的私密 probe（如隐藏答案抽取、置信度打分），持续监测隐性漂移，而非只依赖公开投票或共识。
- 少量对抗性或污染信息（如异常检索结果、有偏商品知识、腐败工具输出）可能在多 Agent 讨论中快速传播；可在架构中加入来源可信度加权、异常 Agent 检测与隔离、关键事实外部校验机制。
- 对事实性要求高的业务场景（商品卖点、价格政策、售后规则等）不宜完全依赖多 Agent 公开辩论作为唯一护栏；可增加单 Agent 私密事实核查或强 RAG 约束，减少隐性错误被内化。
- 评估多 Agent 决策质量时需区分公开立场与私有信念，因为公开支持率可能严重低估真实影响——本实验中三对抗者场景下私有假答案率 51.6% vs 公开支持率仅 19.7%。
GACC-Bench：评估大语言模型目标自适应上下文压缩能力
🧭 LLM 上下文压缩评估基准
Fudan University · Huazhong University of Science and Technology · JD.com · Harbin Institute of Technology · The Hong Kong University of Science and Technology (Guangzhou)
提出 GACC-Bench 基准，评估 LLM 在给定高层目标下压缩长上下文时保留目标相关信息的能力，发现与完整上下文仍有显著差距
📌 工作参考价值（4 点）
- Agent 长会话上下文压缩：在电商导购、客服 Agent 等长对话场景中，压缩上下文时显式传入当前用户意图或任务目标，能显著提升压缩后的信息保留质量，减少 token 成本。
- 压缩评估方法可复用：采用“固定 reader + 同一压缩上下文回答多个问题”的评估方式，能更真实地衡量压缩是否保留了目标相关的多角度信息，而非只看单一问答准确率。
- 目标相关性约束：目标引导压缩优于无目标压缩，而错误目标会降低性能，说明业务中需确保压缩时的目标描述与实际下游任务一致，避免引入噪声。
- 多目标分组评估：将同一上下文下的多个问题按共享目标分组，可以检测压缩是否遗漏某个目标维度的信息，适合用于诊断生产环境中压缩策略的薄弱环节。
免训练的 On-Policy 蒸馏
🧭 无训练模型蒸馏与多专家聚合
University of Illinois at Urbana-Champaign · Tsinghua University
提出免训练 on-policy 蒸馏，仅用前向传播和最小二乘逐层合并多个专家模型，无需梯度更新
📌 工作参考价值（4 点）
- 多领域专家模型合并：若业务中有多个针对不同场景（如推荐、搜索、广告）微调的模型，可借鉴 TF-OPD 通过前向计算几百个 rollout 提取输入二阶矩，逐层最小二乘融合，无需联合训练，节省算力和迭代时间。
- 模型融合的精度提升：相比简单 task arithmetic 权重平均，逐层最小二乘匹配专家输出分布能保留更多能力；在推荐模型做多目标融合或跨域迁移时可引入此方法提升融合质量。
- 数据筛选策略：论文发现去除重复循环的生成 token 显著提升融合效果（AIME25 从 task arithmetic 水平到专家水平），提示在蒸馏或融合数据准备中应重点清洗低质量重复内容，避免噪声影响层权重估计。
- 工程部署：融合只需每专家数 GPU 小时的前向计算，适合快速将多个专家模型合并为通用模型上线，尤其适用于需要频繁更新多领域能力的 Agent 或推荐系统。
N-Gram 记忆两比特量化：LLM 查找表压缩
🧭 LLM 条件记忆嵌入表压缩
Dnotitia Inc. · KAIST
共享 Gaussian trellis 与 norm restoration 将条件记忆行压缩为 2-bit 码，KL 较 2-bit RTN 降低 41-63%，DeepSeek 表由 203GB 降至 51GB
📌 工作参考价值（4 点）
- 大规模稀疏 embedding 表（用户/商品 ID、行为序列记忆、检索索引）可借鉴 CP 的“短码 + 局部 scale + 共享重建程序”：每行仅存 2-bit 码与 scale，离线共享解码器，线上仅解码被查行，显著降低 GPU 显存占用。
- 独立可解码行记录对推荐推理友好；线上 batch 只查少量 ID，无需全局反量化，可将压缩表常驻 GPU 或高速存储，保持稀疏 lookup 延迟。
- 先统计业务 embedding 坐标是否接近高斯，再选择非均匀量化/格码；若不满足，可先做归一化或白化，配合 norm restoration 使用，避免直接 round-to-nearest 的精度损失。
- 同等存储预算下，共享 trellis 优于 per-table 拟合码本和低秩残差；优先采用全局共享重建结构，训练时联合微调局部 scale，可进一步提升压缩效率。
ReviewPilot：系统综述筛选与数据抽取的多智能体对话系统
🧭 多智能体协作自动化系统评价
University of Arizona · Florida International University · Vanderbilt University · University of California, Irvine · New York University
用多智能体对话系统自动化 PRISMA 流程，决策留痕可溯，筛选与抽取 F1 最高达 0.788
📌 工作参考价值（4 点）
- 多智能体协作加项目记忆的架构可迁移到电商/广告的规则配置场景：把选品标准、定向规则或活动 schema 作为可对话修订的 project memory，运营通过自然语言迭代，而不是改代码。
- “每个决策带理由、每个抽取带出处”是可解释性样本：推荐/广告 Agent 的每次拦截、召回或排序决策，都应绑定证据引用与理由，便于审核和 debug。
- 对话式配置 criteria/schema 的思路适合快速将业务专家经验转为结构化筛选逻辑，例如大促选品、广告审核、商家资质筛选。
- 评估方法可直接借用：在信息抽取任务上对比单 prompt 与多智能体系统，用 macro F1 度量，能客观量化 Agent 架构带来的收益。
学习何时思考：效用引导的自适应推理用于高效文本检索
🧭 推理增强检索 · 自适应深度 ★ 深度解读
Carnegie Mellon University · University of Pittsburgh
提出 AURA，用检索特异性监督中间推理状态并训练效用估计器，在推理时自适应停止，以更少步骤取得最优检索
📌 工作参考价值（4 点）
- 电商搜索/推荐中，对 query 改写、LLM 生成式召回、Agent 推理链路不要无限展开。用线上日志构造“正样本 + 曝光未点击/难负样本”，在每个推理/改写中间态计算 specificity margin 作为 utility label 监督，可抑制过度改写和语义漂移；论文证明该信号与 corpus nDCG 相关达 0.97。
- 部署时训练一个轻量 MLP（10M）预测当前上下文 embedding 的检索/推荐效用，线上连续 p 步不提升就停止生成。论文中延迟从 4.6s 降到 0.76s，指标反升；这比 full trajectory 或按 token entropy 停止都更可靠。
- 多任务联合优化生成+对比检索/推荐时，建议对 embedding 损失做 gradient isolation：不回传到前缀 token，避免生成能力被对比损失干扰。论文消融中去除后 nDCG 从 34.7 掉到 29.8。
- 推理时用 greedy expansion 比 best-of-k 更划算：每步生成多个候选，用 utility estimator 选最优继续，而不是采样完整轨迹；对 query 改写、Agent 多步检索、搜索词生成都可复用。
自适应稀疏监督下的LLM稀疏检索对齐
🧭 LLM稀疏召回 · 自适应稀疏对齐 ★ 深度解读
Soochow University
用动态α-truncation对齐SPLADE词表，1B LLM稀疏检索在L0=182时接近Lion-sp效果且延迟降11倍
📌 工作参考价值（4 点）
- 在搜索/广告召回中若要用LLM做稀疏召回，可复用「投影到SPLADE词表 + max-pooling + log(1+ReLU)」结构，用1B模型+LoRA即可与倒排索引兼容，避免在线生成式开销
- 训练阶段用SPLADE作为anchor，对每个输入按累积激活质量动态选取监督support（α-truncation），比固定Top-K更稳：在消融中MRR@10从α-mean的0.303提升到0.322
- 两阶段训练值得借鉴：先做稀疏对齐预训练，再做对比学习+KL蒸馏+FLOPS正则，可让索引条目减少40.7%，同时MRR@10从0.3619提升到0.3998
- 推理时无需额外truncation，只靠训练获得的稀疏性；对query和document分别设置FLOPS正则系数，可把L0从1170压到182，避免83GB索引和>1s查询延迟
超越专家排序：混合精度 MoE 量化的对比校准
🧭 MoE 混合精度量化与敏感度校准 ★ 深度解读
Nanjing University of Posts and Telecommunications · Tylogi AI Lab / TAIL · Southeast University · Microsoft · University of Cambridge
NatScale 用对称 KL 目标校准专家敏感度对比度，在固定存储预算下提升 MoE 量化保真度
📌 工作参考价值（4 点）
- 部署 MoE 大模型（如生成式推荐、精排 reranker、Agent 策略模型）做混合精度量化时，不要只看专家重要性排序：用 power transformation 校准敏感度对比度，可将不同层/模型放在共同信息尺度上，默认 τ=1 nat 是无调参的实用起点。
- 工程实现上把 joint gate/up/down 误差、结构化先验和校准权重解耦并预缓存，之后扫预算或 τ 只需重跑线性规划分配器，无需额外前向/反向，适合线上反复调整内存配额。
- 分配单元下探到 expert 内部 projection，而不是整层统一精度，可在同层内差异化 bit-width，压缩比与效果更优；电商推荐模型若含 MoE 或专家模块可沿用同一思路。
- 注意 PPL 与 native KLD 可能偏好不同 τ：若目标是输出分布对齐（如广告创意生成、query 改写），优先看 KLD/Top1 而不是 PPL。
Cortex：将上下文收益固化进 LLM 参数记忆
🧭 LLM 记忆固化 · 参数更新 ★ 深度解读
Zhejiang University · ByteDance Seed · Tsinghua University
用前瞻性重演与 FFN-only 低秩/结构化更新，把上下文增益蒸馏为可堆叠的参数记忆，兼顾 CR 与 RR
📌 工作参考价值（4 点）
- Agent 经验与临时规则沉淀：可把商品知识、活动政策、API 文档、成功轨迹等上下文，先用冻结模型生成“预期查询+上下文条件回答”，再蒸馏到 0.74M–2.73M 的小型 FFN adapter；无需把完整上下文塞进 prompt 或检索库，适合高频、确定性的商户规则/接口知识固化。
- 架构选择：只更新 FFN/MoE，冻结 attention、router 和 backbone；Structural 新增非线性通道比低秩 Synaptic 更擅长代码/API 类可复用过程，且 MoE 用 shared branch 给所有 token 直接训练曝光，减少遗忘、提升 CR。
- 训练目标 trick：用 top-K_v 截断 KL + 对齐后 FFN hidden-state MSE 监督，teacher 带上下文、student 不带；这对少样本、要保 base 能力的高保续更新很有效。历史 query replay 只留 query、不存 context，降低隐私和存储成本。
- 落地边界：CR/RR 的权衡在实体邻近知识上仍明显，组合推理/可移植性（portability）是短板；建议只固化高频、低歧义技能，开放生成仍保留 RAG/prompt 兜底。
失败乃成功之母：用有依据的事后反思重放恢复 GRPO 监督
🧭 强化学习训练 · 失败恢复监督 ★ 深度解读
University of California, San Diego · Adobe Research · University of Virginia · University of Toronto · University of New South Wales
提出 RSHD：从失败 rollout 写纠正笔记，经重放效果筛选和防泄漏后蒸馏回 plain-prompt，在 GRPO 全失败组上恢复监督信号
📌 工作参考价值（4 点）
- 如果你在业务中用 GRPO/RLVR 微调 Agent 或 LLM（如对话式购物 Agent、query 改写、推荐文案生成），当一组 rollout 全部失败时 GRPO advantage 为零，这些 hardest cases 完全被浪费。可借鉴 RSHD：对失败轨迹写不超过 80 词 corrective note，但不看参考答案；用原组 no-note 成功率作为 baseline，只保留 replay 成功率高于 baseline 的 note；再把带 note 的成功续写蒸馏回 plain-prompt，推理时零额外开销。
- 工程实现上，note 搜索可直接在 TRL GRPOTrainer 上加两个 hook，复用现有 vLLM server；训练 token 约翻倍但只在训练期。对业务中失败率高的长尾难题尤其有效：论文按 base 模型 0/8 成功率分层，RSHD 较 GRPO 的收益几乎全部落在“从不成功”的样本上，简单样本基本不退化。
- 安全与防泄漏不可省：论文观察到约 9% 的 note 直接写出参考答案，约 60% 未通过 replay 测试。复用时要保留“字符串匹配检测答案 + replay 效果筛选”，而不是直接信任 note 文本做蒸馏，否则会引入泄漏或强化错误诊断。
- 训练细节可复用：蒸馏权重用带 note 与不带 note 的 log-prob 正 lift 并 clip 到 [0,2]，只更新 plain-prompt student，teacher stop-gradient；当没有 note 被保留时该步完全退化为 GRPO，避免噪音。这个机制对业务中 RL 微调 Agent 的稀疏奖励场景很实用。
XViewRank：基于重叠条件的 LLM 增强稀疏检索分数融合
🧭 查询扩展与多视图检索排序融合
School of Computer Science and Technology, Soochow University
提出轻量检索端方法，将 BM25 分数与查询级重叠作为上下文，用小型非线性 scorer 条件融合多查询视图结果
📌 工作参考价值（4 点）
- 电商搜索可参考 LLM 生成 hypothesis / step-back 等多视角 query，配合 BM25 多路召回，避免词汇不匹配；无需重建索引，工程成本低。
- 融合时不要只依赖固定权重的 RRF：可加 query-level overlap 特征（如各路 top-k 结果重合度）和归一化分数据，训练小型非线性 scorer 做条件融合；特征少、可解释性强，容易在线打分。
- 收益主要在视图排名一致性低时出现，可设计动态触发策略：先计算 overlap 或一致性指标，只对低一致性的 query 走融合模型/更复杂的改写，控制延迟与成本。
- 注意论文在 DL20 证据较弱，收益具有数据集敏感性；业务迁移前应做在线 A/B，验证是否比固定融合、单独 LLM 扩展稳定提升。
DeltaTTG：用 Token-to-Go 进度计训练多轮 Agent
🧭 多轮 Agent RL · 过程信用分配 ★ 深度解读
Nanyang Technological University · Renmin University of China
训练一个可复用的 Token-to-Go 进度计，将稀疏回合优势按步骤进步量重分配，提升多轮 Agent RL
📌 工作参考价值（4 点）
- 在电商/搜索多轮 Agent 训练中，可直接复用 TTG 思路：把用户会话中“从当前搜索/推荐状态到最终下单/满意还需生成的 token 数”作为剩余工作量监督，从线上日志低成本构建 progress meter，无需人工标注步骤好坏。
- 冻结一个跨策略/跨模型共享的 progress meter，用 Δ_t = c_t - c_{t+1} 将回合级 outcome advantage 在步骤间重分配；保持 trajectory advantage 符号和 token 均值不变，工程上只改 loss 中的 advantage 分配，容易接入现有 GRPO/DAPO 等 RLVR 框架。
- 采用 sign-aware 分配 + 均匀混合（ρ=0.2）+ token multiplier cap（M=5）可稳定训练，尤其是在多轮推荐/对话场景正负样本不平衡时；消融表明去掉 sign-aware 或 uniform mixing 都会掉点。
- progress meter 可用于线上推理的动作选择：在候选 query/商品/工具调用上试执行并用 meter 估计进步，选择进步最大的分支，论文显示在多个 actor scale 上都能提升成功率并减少交互步数。
DuoDiscover：联合发现优化目标与廉价评估器
🧭 多 Agent 协同与多保真评估 ★ 深度解读
Google · UC Berkeley · Stanford University
Agent联合发现优化目标与廉价代理评估器，突破昂贵评估瓶颈
📌 工作参考价值（4 点）
- 当线上 A/B、全量 benchmark 或 serving trace 评估很贵时，可以让每个 agent 为选定模块自动设计轻量 proxy（如关键子集、小规模负载、成本模型），在 proxy 上秒级迭代；真实评估只用于确认候选，并用 Kendall τ 定期校验 proxy 排序保真度，漂移即失效。这种「昂贵评估只做确认、廉价评估负责搜索」的模式可直接用于推荐系统的离线评测、A/B 前筛选和 LLM serving 性能调优。
- 多 agent 编排采用 bottom-up：没有中心化任务分解，轻量 orchestrator 只管理昂贵的真实评估分配、终止停滞 agent、spawn（fresh/transfer/combine）和 brief。这个模式适合把多 agent 优化引入广告出价、精排模型搜索等评估成本高的业务，不必重写搜索逻辑。
- 用 Amdahl 定律做目标剪枝：agent 估计目标代码模块对总指标贡献占比 w，用 1/(1-w) 判断最大潜在收益，优先优化高上限目标。对应到推荐/广告系统，可以先估算某个环节（召回、粗排、特征计算、在线打分）对最终指标贡献上限，再决定是否投入 agent 搜索。
- 论文本身不解决推荐/检索建模问题，但可作为「LLM 驱动的系统优化 + 多保真评估」参考架构，尤其适合有昂贵端到端评估（全量 trace、仿真、大模型评测）的业务团队。
FreeSolo：零样本长度外推的线性时间稀疏注意力
🧭 线性时间稀疏注意力 · 长度外推
National University of Singapore · University of Toronto · Sea AI Lab, Singapore
短程滑窗+长程 keypoint 选择的稀疏注意力，线性变体短 CPT 即可零样本长度外推
📌 工作参考价值（4 点）
- 在电商/广告/搜索推荐中，用户行为序列可能长达数十万 token，完整 attention 成本过高；FreeSolo 的“短程滑窗 + 长程 keypoint 选择”可直接启发用户长期记忆或 Agent 记忆模块设计：用 keypoint 表示长历史中的关键类目/商品节点，显著减少 KV cache 和推理延迟。
- FS-L 表明通过较短的继续预训练即可学会前缀剪枝，并获得零样本长度外推能力；已有 4k/8k 底座、需要扩展到 64k/256k 行为序列的团队，可以避免昂贵的全量长上下文 CPT，采用类似的稀疏化微调路径。
- FS-B 的 radix-sort + 平衡树 O(N log²N) 构建成本，为大规模商品/内容索引的层级化检索提供工程思路：离线构建可剪枝树状索引，在线做 query 相关的 top-k 节点选择，兼顾精度与时延。
- 可复用 S-NIAH/RULER 作为长上下文模块评估指标，相比单纯 loss 更能暴露零样本长度外推能力。
锚定噪声驱动的嵌入空间定向探索：改进 LLM RLVR
🧭 RLVR 训练探索增强
University of New South Wales (UNSW Sydney)
在 GRPO rollout 中用少量锚定噪声扰动嵌入位置替代标准采样，以极低成本提升探索多样性，优于 GRPO。
📌 工作参考价值（3 点）
- 在电商/搜索/生成式推荐模型的 RLVR/GRPO 训练中，可在 prompt embedding 后追加一个带共享锚点和高斯噪声的扰动位置，按 10%–20% 比例替换标准 rollout，低成本增加组内 reward 方差，改善优势信号。
- 对扰动 rollout 使用降权优势参与更新，可防止噪声过度干扰策略；该方法不改模型结构、解码和线上推理，适合作为现有 GRPO 训练管道的即插即用探索插件。
- 当业务需要提高生成多样性（如推荐理由、搜索建议、自动文案）时，可借鉴“锚点+噪声”的定向探索思路，让同一 prompt 的候选沿共同方向发散，提升采样覆盖，而非仅依赖调高温度。
TPPO：用于语言模型推理的追踪价值 PPO
🧭 RLVR 中 PPO 价值函数参数化改进 ★ 深度解读
Zhejiang University · Westlake University · Shanghai AI Laboratory · The Hong Kong University of Science and Technology · Nanjing University
将 PPO critic 改为逐 token logit 增量累加，在稀疏二元奖励下显著提升推理训练的 token 级信用分配与策略性能
📌 工作参考价值（4 点）
- 若在 LLM 驱动的对话式推荐/搜索 Agent 中用 PPO 做 RL 训练，且奖励是终端转化/点击式的稀疏二元信号，可将 critic 从独立预测 prefix value 改为累积 logit 参数化：每 token 输出一个 scalar，累加后 sigmoid 得到 prefix value，损失用 BCE；实现成本低，不需要 process reward。
- 该方法直接改善 GAE 中相邻 token 的优势排序，减少噪声信用分配；对于需要区分多步推理中关键步骤（如商品筛选、需求澄清）的场景，能提升策略学习的稳定性，尤其适合长轨迹 CoT。
- 注意其假设是 γ=1、binary terminal reward；若业务奖励是 dense 或连续值（如 GMV、转化概率加权），需先做二值化或改造 logit 分解，否则收益可能不成立。
- 在评估 critic 质量时，可借鉴 SNR-conditioned sign accuracy 与 MC anchor 估计，用少量采样诊断训练中 critic 是否在跟踪值演化，避免训练后期价值函数退化。
基于子序列关联过滤与广度感知选择的LLM查询扩展幻觉词抑制
🧭 LLM查询扩展幻觉过滤 ★ 深度解读
Indian Institute of Technology (BHU), Varanasi, India · University College London, London, UK · Halmstad University, Halmstad, Sweden
用跨上下文可再现性与语料支撑度识别幻觉term，在nDCG@10无损下将注入query的无支撑词减少85%-93%
📌 工作参考价值（5 点）
- 可直接复用 SAFE-QE 的过滤评分：对 LLM 生成的候选扩展词/phrase，用「随机扰动 prompt 后的重现率 ρ(t)」+「与 top-k 相关文档的最大支持度 γ(t)」做加权，公式 s(t)=γ(t)-λρ(t)(1-γ(t))+μfreq(t)。在电商搜索 query 改写、广告关键词扩展中，能有效识别并降权「无论上下文都被生成但无商品/文档支撑」的幻觉词。
- 词选择不要固定 top-k，改为带 grounding 约束的 budget 最大覆盖问题：用贪心近似（1-1/e）从候选词里选最多覆盖伪相关文档/商品 faceting 的子集，避免多个高分词重复覆盖同一意图。电商多意图 query（如“苹果”）尤其需要这种 breadth-aware selection。
- 稳定性过滤很便宜：对 LLM 采样 N 次，只保留 freq(t)≥θ 的稳定 term，能额外过滤掉少量采样中出现的幻觉词。工程上可简单并行多次采样，几乎不增加线上复杂度。
- 建立 HETR 监控指标：在业务评估里同时看「幻觉率」和「幻觉负载＝HETR×注入词数」，不要只看率；强 retriever / dense retrieval 下生成式扩展收益小，但幻觉过滤的收益最大，这时候尤其值得上线。
- 结论可迁移：一个 0.5B 小生成器 + 过滤器，faithfulness 可以超过 9B HyDE，说明过滤机制比生成器规模更重要；训练无关、检索器无关，适合低成本接入已有 generate-then-expand 流程。但注意 grounding 阈值 τg 需要按 retriever 分别标定（SPLADE 下的伪相关集合会让更多候选通过阈值）。
任务上下文塑造语言模型中组件角色
🧭 语言模型组件角色的任务上下文依赖性
University of Pennsylvania · Yale University
任务上下文改变共享注意力头响应的事实及其对后续计算的影响，线性响应图可预测干预效果
📌 工作参考价值（4 点）
- 在多任务电商/搜索 LLM 中，共享注意力头的角色随任务 Prompt 改变：可测量不同业务任务（query 改写 vs 推荐理由生成）下各头的影响分布，识别任务关键头，指导稀疏微调或任务特定低秩适配，避免全参更新。
- 线性响应图可作为轻量任务行为代理：为不同业务 Prompt 构建组件间线性映射，用早期激活变化预测后续层响应，降低线上任务切换时的行为漂移监控成本。
- 激活编辑切换行为而不改指令：在可控生成或 Agent 风格切换场景，只编辑早期内部激活即可让模型读取不同事实/知识，无需重写 Prompt，可用于无感干预或 A/B 隔离测试。
- 但整体属于机制可解释性研究，业务直接收益有限；其干预测量与影响分数方法可迁移到诊断推荐/搜索任务间泛化失败原因，但需自行设计干预目标。
WEB$HELL：面向智能体网页访问的统一接口
🧭 Agent 网页访问统一接口设计 ★ 深度解读
Yonsei University
提出统一网页访问接口 WEB$HELL，将网页信息与动作编译为可寻址对象并持久缓存，以更低成本在搜索/导航/深度研究任务上全面领先。
📌 工作参考价值（4 点）
- 电商购物 Agent 可将商品列表、筛选器、分页、详情页编译为统一对象；grep 定位到“价格”“尺码”等文本时，通过 association 直接关联可执行的 action address，避免反复解析 DOM 和多工具切换。
- 复用 WEBCACHE 思路：保存页面快照并按 page address 引用，状态变化后生成新版本、旧版只读，适合比价、购物车修改前回看等长程多步任务；工程实现可仿照 addressable cache。
- 优先用确定性 HTML 语义规则而非模型推理做页面编译，针对 select/option/label、a、table 等电商高频元素设计 constructor，成本可控且响应稳定。
- 评估 Agentic web 任务时不要只看 success，应同时跟踪 turns / input tokens / cost；搜索+浏览器+文件系统的简单混合不一定提升效果，统一接口往往更划算。
语言模型何时该弃权：策略学习与校准答案选择
🧭 LLM 弃权策略与答案选择校准
CICATA Qro., Instituto Politécnico Nacional, México · Facultad de Informática, Universidad Autónoma de Querétaro, México
在 Qwen3-14B 事实问答上，独立答案选择器比模型置信度过滤显著提升效用，但跨数据集可靠弃权仍未解决
📌 工作参考价值（4 点）
- 在业务中若想让 LLM 客服/导购助手“不确定时闭嘴”，可以优先训练一个独立的答案选择器（用模型置信度、问题难度等特征），而不是直接微调生成策略；论文显示选择器比直接对模型概率做阈值过滤更稳定。
- 奖励设计要显式惩罚错误答案，避免只用正确率：若错误和弃权得分相同，模型会倾向乱猜；引入较大错误惩罚能改变弃权行为。
- 上线前务必在目标分布上重新校准：论文中 TriviaQA 有效的方法在 NQ-Open 上仍低于“全部弃权”，说明弃权策略跨数据域泛化差，不能拿一个公开基准的阈值直接用于电商/广告流量。
- 对推荐/生成式场景，可以为每个生成结果同时输出 confidence 或单独跑一个弃权打分器，只展示高于阈值的推荐理由、商品知识回答，降低事实错误带来的负面影响。
语言模型能玩维基百科游戏吗？
🧭 LLM 信息检索导航能力评测
The Alan Turing Institute
构建大规模本地维基与引文图，评测 LLM 跨语言/跨领域导航检索，最佳模型与人类相当但未超越
📌 工作参考价值（4 点）
- 借鉴 Wikipedia Game 评测框架，用本地构建的商品/内容链接图（如商品详情页关联、类目树、百科内链）替代依赖外部 API，低成本评测 LLM 在业务知识图谱上的多跳导航与检索能力，提前发现跨类目/跨语言失效模式。
- 在选型 LLM 做检索或 Agent 路径规划时，不要只看平均分：模型在不同语言/话题下排名会反转，业务上应按店铺类目、搜索语言分别评测，针对性部署或路由。
- 把 TF-IDF 和人工导航成功率作为双 baseline：当 LLM 只是“与人类相当”时，适合做辅助或候选生成，不建议完全替代人工；工程上可设置阈值或 human-in-the-loop 校验。
- 若构建商品/论文/类目大规模图并导航，可复用该工作已开源的 Wikipedia 与 OpenAlex 图构建代码，作为本地 RAG/GraphRAG 的路径探索与评测数据集。
何时需要在线蒸馏？离线学生轨迹蒸馏常更优
🧭 LLM 蒸馏策略 · 在线 vs 离线 rollout
Semi-OPD 用初始学生离线 rollout 蒸馏，在 17 对模型上 14 对优于 OPD，最高 +13.6% 精度、11.4 倍加速
📌 工作参考价值（4 点）
- 做 LLM teacher→student 蒸馏（如 query 改写 / 商品文案 / Agent 策略小模型）时，先别默认 OPD。用一批 hold-out prompt 统计初始师生输出的 top-64 token overlap；若 overlap 不高（论文中多数 < 90%），直接用初始学生离线 rollout 的 Semi-OPD，精度更稳且省 GPU。
- 离线 rollout 可以预生成、缓存、复用，训练时只用固定数据，天然适合电商/广告的离线训练流水线；Semi-OPD 相对 OPD 最高 11.4 倍加速，H100 成本明显下降。
- 若业务必须用 OPD（如需要在线探索），先做 warm start 让学生与老师输出分布接近；否则学生 rollout 随上下文增长会越来越 off-policy，蒸馏信号退化。
- 可以把 token overlap ratio 作为轻量监控指标，在启动蒸馏前判断 OPD 是否值得，避免盲目投入 GPU。
LadderEdit：编辑级残差压缩实现 LLM 终身编辑内存高效
🧭 终身模型编辑 · 参数高效存储
Yale University · Washington University in St. Louis · Icahn School of Medicine at Mount Sinai · Arizona State University
按编辑难度动态分配 LoRA 秩的压缩方法，内存减少 5.2 倍仍追踪精确 LoRA 性能
📌 工作参考价值（4 点）
- 对大规模个性化 LoRA 适配器（如每用户/每商品/每场景）可直接套用：先以极低秩存储，用少量验证 prompt 检查效果，不达标再提升秩，显著降低存储与显存。
- 持续更新推荐/广告模型时，可借鉴“编辑合约”：为每次更新设定改写/泛化/局部性指标，仅在满足时接受，避免灾难性遗忘。
- 工程实现上，维护多级秩 ladder，编辑先以低秩 sketch 存储，失败才逐步提升，可以节省推理时的内存带宽，适合在线部署。
- 注意：论文侧重事实编辑，与电商场景的偏好/行为数据分布差异较大，需重新设计验证合约才能复用到推荐系统。
LLM引导的分块特征工程：将长文本转化为可执行预测特征程序
🧭 LLM 驱动的自动化特征工程 · 程序合成
City University of Hong Kong · Qfin Holdings, Inc. · Tianjin University · Carnegie Mellon University
LLM-BlockFE离线把长文本构造成可执行特征程序，在线零LLM调用，用带回滚和并行轨迹的分块搜索提升特征质量
📌 工作参考价值（4 点）
- 在线零 LLM 调用：在推荐/搜索/广告的高 QPS 场景，把 LLM 仅用于离线生成特征代码块，线上只执行提取逻辑，避免大模型推理时延与成本。适合处理商品评论、用户反馈、搜索日志等长文本，转化为可复用结构化特征。
- 可解释且可维护的特征工程：生成的是可执行代码块而非黑盒向量，便于沉淀到特征平台、版本管理和审计，满足风控、广告审核等强合规场景。
- 块级回滚与多轨迹搜索：用 depth-calibrated credit allocation 识别低质量代码块并回滚，减少贪心搜索局部最优；交错推进多条搜索轨迹共享方向描述，降低冗余探索，适合在特征探索阶段降低 LLM 调用次数与成本。
- 业务迁移方向：可用于电商退货/纠纷预测、广告点击转化中的文本信号提取，例如从商品标题和评论中自动构造用户意图、质量风险、价格敏感度等特征，替代部分人工特征工程。
门控记忆：面向对话 AI 的准入控制式记忆形成
🧭 对话 AI 长期记忆写入的准入控制与上下文绑定
Samsung Research America
在记忆写入前增加准入门控与条件增强，使事实形成质量成为可测量的记忆约束
📌 工作参考价值（4 点）
- 在客服/导购 Agent 的记忆模块中，写入用户画像前增加 admission gate，区分永久属性（如“我有糖尿病”）与临时状态（如“今天想买无糖零食”），避免 transient 信息污染长期记忆。
- 对写入的每条事实记录 provenance（直接陈述/推断）与适用条件，并做实体范围约束：禁止写入上下文中未出现的实体，可减少 LLM 抽取幻觉带来的记忆污染。
- 将事实分解为原子事实并带时间/地点锚定，可支持后续检索时的时效性过滤和条件匹配，适合电商场景中需要根据“最近偏好”做推荐的系统。
- 轻量、模块化设计，可作为现有 RAG/记忆管线的独立中间层，不改变检索和生成即可验证记忆形成质量收益。
SkillContrast：差异引导的 Agent 技能重排文本选择
🧭 Agent 技能检索重排 · 差异文本选择
Huawei Technologies Co., Ltd. · Department of Obstetrics, Shanghai East Hospital, Tongji University School of Medicine
训练无关的文本选择器，保留候选技能间差异与局部上下文，压缩重排输入并提升干净命中
📌 工作参考价值（4 点）
- 在 LLM/Agent 重排环节需要压缩候选输入时，不要只按 query 相关性抽句；可对候选集合做差异对比，保留版本、适用条件、资源限制等只有部分候选具备的区分信息，帮助 reranker 区分相似技能/商品。
- 该方法训练无关，可作为 reranker 前置的文本选择模块，适合业务快速接入；生产环境可用字符/段落 diff 或属性对比生成差异片段，控制单候选 token 预算。
- 对电商/广告中相似商品、素材或 skill 的重排，可尝试对候选标题、属性、卖点做“差异化选择”，突出规格、适用人群、价格条件等关键差异，提升 LLM 排序准确率并降低调用成本。
- 注意模型规模影响：较小 reranker（0.6B）可能因信息损失而弱于全量输入，较大模型（4B）可保持甚至提升；建议在目标模型上验证 token 节省与效果平衡。
语言模型作为 AI 研究世界模型
🧭 AI 研究 Agent 的世界模型
Amazon · UC Santa Cruz · Emory University · Pennsylvania State University · UC Santa Barbara
用真实实验历史微调 LLM 作为研究世界模型，显著提升候选实验干预排序与自动研究收益
📌 工作参考价值（4 点）
- 在电商/广告实验中，收集历史 A/B 测试、模型调参、策略变更的实验记录（实验条件 + 结果），用 LLM 微调成环境专属的“策略结果预测器”，对新策略做排序，能减少无效实验成本。
- 跨业务场景迁移：当新业务（如新推荐位、新广告产品）实验数据少时，用其他相似场景的历史实验数据预训练 world model，可大幅降低对新场景候选策略的选择 regret（如论文中跨环境减少 78% regret）。
- 多轮自动实验调优：在固定实验预算下，用 world model 先筛掉低潜候选，再做真实实验验证，能提高最终最优策略的收益（论文中提升 15.8%）；可应用于搜索排序、广告出价、召回策略的自动搜参。
- 选择 LLM 作为 world model 时，注入领域实验知识比仅更换更强模型或增加推理长度更有效，因此应优先积累内部实验数据并微调。
大型语言模型基础：预训练、生成、提示、对齐与推理
🧭 LLM 基础理论与技术体系
Northeastern University · NiuTrans Research
系统梳理LLM预训练、生成建模、提示、对齐、推断与推理六大基础主题的技术参考书
📌 工作参考价值（4 点）
- 对齐章节可指导生成式推荐中的偏好优化：将点击/转化作为偏好信号，用 RLHF/DPO 类方法微调 LLM，避免纯 SFT 导致推荐结果多样性差。
- 推理章节中 CoT/self-consistency 可迁移到电商 Agent 的查询理解与任务规划：对复杂购物意图引入结构化推理轨迹，提升 query 拆解与商品召回准确率。
- 预训练与生成模型基础解释了 Semantic ID 建模本质：把 item 表示成 token 序列并用 LLM 生成 next token，可复用书中的解码策略（温度、top-k/top-p）和训练技巧。
- 工程部署时可参考推理章节的 KV cache、批处理与量化基础，对线上低延迟生成式推荐与导购 Agent 有直接帮助。
思考惯性：LLM 被要求不思考时仍在思考
🧭 LLM 推理行为评估与指令遵循
Tsinghua University · University of Oxford · Stanford University
系统评估 LLM 的“不思考”能力，提出三层指标并发现显式禁用推理无法可靠消除思维惯性
📌 工作参考价值（4 点）
- 在电商/Agent 系统中若依赖“禁用 thinking”来节省推理开销，不能只看模型设置或提示词，需用空思考率、问题-预答相关度、显式推理率等指标做线上回归，才能避免隐性推理延迟。
- 对搜索推荐 query 改写、客服 Agent 等场景，把开放生成改成先给候选答案或多选题形式，可显著提高“直接给答案”的合规率，减少推理 token 与耗时。
- 评估 LLM 输出是否真的“无推理”时，可复用 LLM-as-judge 的 Explicit Inference Rate 指标，业务侧能低成本监控模型行为。
- 若业务需要高准确度且答案空间开放，要接受“禁止推理”会带来准确率下降的 trade-off，设计时需评估延迟、成本与效果。
增量开放式深度研究：结构化 Harness 框架
🧭 LLM 深度研究 · 结构化增量更新
Xiaohongshu Inc. · Zhejiang University
用结构化 Harness 将深度研究报告视为可演化状态，实现增量更新，保持质量同时显著降低成本。
📌 工作参考价值（4 点）
- 可将大模型生成的内容（商品描述、用户画像、知识库条目）视为可演化状态，通过结构化大纲和证据映射实现局部更新，避免每次从零生成，显著降低 token 消耗和搜索调用。
- 持久结构化证据池设计值得借鉴：为搜索/推荐系统沉淀外部检索结果（如市场趋势、用户评论），按证据引用关系缓存，支持跨轮次复用，减少重复检索成本。
- 选择性更新策略可迁移到需要频繁迭代的内容场景，如广告文案、活动页、商品详情页，仅对受新信息影响的小节触发重新生成，保持历史内容连续性的同时控制成本。
- 评估框架中引入内容级 ROUGE-L 和 outline 级 EM F1 度量报告连续性，可改造用于评价推荐理由生成或 item 描述更新的历史一致性。
自适应证据路由：学习计算正确上下文
🧭 自适应证据路由 · RAG 与计算融合 ★ 深度解读
MIT · Google Research
提出RECAST，将证据构建视为检索与计算操作的序列决策，用轻量RouterLM迭代选择/合成操作，在6个基准上平均准确率达75.6%，超最强基线15.9%
📌 工作参考价值（4 点）
- 把检索和计算统一为证据操作：在电商推荐/搜索场景中，不要只把用户历史或商品池当作检索对象；可把 SQL 聚合、Python 特征计算、代码合成作为等同的“证据获取”原语，让系统从原始数据中派生可用的上下文，而不仅仅是召回已有片段。
- 用轻量 RouterLM 做调度，冻结大模型做编译和回答：业务上可显著降低大模型调用成本；LoRA 微调小模型即可超过更大黑盒模型，适合需要在低延迟下做复杂证据构建的场景。
- SFT+GRPO 训练技巧可复用：从成功轨迹中选 SFT 专家，再用混合成败轨迹做 GRPO，配合 reward shaping（正确性 0.9 + token F1 0.08 + 结构 0.02）和 mixed-outcome filtering，比仅用正确性奖励提升明显，且样本效率更高。
- 规则化预处理 + compact source profile：将异构数据（表、文本、用户画像）统一为 records 并生成紧凑概要，避免把完整 source 塞进 prompt，能降低 token 成本并让路由模型更聚焦于证据需求。
骨架应该说什么语言？多语言推理中的语言选择
🧭 LLM 多语言推理 · 提示骨架语言选择
ETRI · KAIST · Dankook University
系统研究多语言数学推理中骨架提示语言选择，发现英语骨架平均微小正向但非普遍最优，效应依赖语境
📌 工作参考价值（4 点）
- 多语言业务中若用结构化推理骨架（如多步 agent 的思考模板），默认英语骨架可作为 baseline，但必须按语言分桶评估；平均收益可能由低资源语言/小模型驱动，不能直接全量推广。
- 将语言选择纳入 prompt 实验矩阵：不同骨架语言的效果存在方向一致、评估/基准依赖、不对称负效应，因此需要 multi-rollout + translation ablation 隔离语言变量，避免单次 greedy 结果误判。
- 对低资源语言，如果训练额外的多语言推理模型成本高，可优先用英语骨架做训练免推理引导；但要警惕对某些语言产生负效应，发布前做显著性校正。
- 工程上可复用其开源 LASEF 框架，构建多语言骨架版本管理、评估流水线，尤其适合跨境电商搜索/推荐场景的多语言 query 理解与 agent 推理。
UNREAL：用单一模型统一检索与长上下文证据选择
🧭 模型内证据选择统一检索与长上下文 ★ 深度解读
NVIDIA · Technion
冻结LLM内部表征统一语料检索与长上下文去噪，仅训练<500K参数即超SOTA检索器
📌 工作参考价值（4 点）
- 搜索/推荐 RAG 场景可尝试冻结主模型只训练 retrieval tokens 和 layer-mixing 权重，把 embedding/retriever 与生成模型统一，省去独立 embedding 大模型和 reranker，降低跨模型不一致与维护成本。
- 用 LLM 内部中间层 residual stream 做多向量 late-interaction 检索，配合 mean-pool 压缩，可平衡检索效果与索引大小；类似做法可用于商品描述、用户评论、广告素材的 candidate retrieval。
- 长上下文用户行为建模中，可以把长期行为序列或搜索日志分块后用内部 evidence selector 去噪，只喂 top-n chunks 给生成器，避免无关历史干扰并降低 prefill/KV cache 成本；从 32K tokens 起 FLOPs 和 TTFT 优于 full-context。
- 训练用多正例 InfoNCE + hard negatives 而非简单 in-batch negatives；query 侧加入 BM25 初始上下文和 soft prompt tokens，保留检索模式，适合冷启动或小样本微调。局限是当前主要基于 Wikipedia QA，跨域迁移需验证，多向量存储成本较高。
我们查询，故我们计算：机器之外的 Oracle 计算及其在 Agent 中的应用
🧭 Agent 系统抽象计算模型
Institute of Computing Technology, CAS · University of Chinese Academy of Sciences · Nanjing University · Institute of Automation, CAS · Nanyang Technological University
将 LLM 作为 Oracle 构建抽象机，统一 Workflow 和 Agent，并提出 ArchNights 操作系统实现
📌 工作参考价值（4 点）
- 将 Agent 控制流与 LLM 推理分离：把业务状态机、调度和审计放在确定性代码（Priestess）中，让 LLM 只作为 Oracle 做内容生成或决策，可显著降低系统不确定性，便于测试、回滚与灰度发布。
- 借鉴“栈即上下文”和查询指令设计：每次查询将整个上下文栈交给 LLM 并追加结果，明确上下文边界；缓存可以基于栈内容哈希实现，重复上下文直接跳过 LLM 调用，适合推荐话术生成、商品摘要、广告文案等高频相似场景。
- 对称破缺区分 Workflow 与 Agent：任务程序放在控制流侧是可控的工作流，放在 LLM 侧生成则是自主 Agent；业务中可混合部署，关键链路用 Workflow 保证 SLA，探索性任务用 Agent 提升灵活性。
- 借鉴 OS 抽象：在 Agent 平台中显式实现调度、隔离、持久化和缓存等机制，而不是每个 Agent 自建一套；ArchNights 表明可在扩展 ISA/OS 层面承载 LLM 查询，为统一资源管理和性能边界提供参考。
超越语义相似度：面向复杂任务的智能体检索性能与成本
🧭 Agent 检索 · ReAct 循环 ★ 深度解读
NVIDIA · University of Edinburgh
用 ReAct 智能体循环结合 LLM 推理与稠密检索，复杂检索 nDCG@10 平均提升 8.7 点，但成本大幅上升
📌 工作参考价值（4 点）
- 复杂 query 场景（多跳、数值推理、跨语言企业文档）可以尝试用 ReAct 检索 Agent 替代一次性 dense retrieval：把原始 query 和初始召回结果一起喂给 LLM，提供 Retrieve/Think/Final_Results 三个工具，让 LLM 动态改写 query、分解子问题并迭代探索，能显著提升 nDCG@10。
- 工程上不要用 MCP 包装高频检索工具：MCP 每次拉起 server、加载 embedding、网络往返开销大；改成线程安全单例 retriever，模型和索引常驻进程内，能消除一类部署错误并大幅提升吞吐。
- 可靠性设计可借鉴 RRF fallback：当 Agent 因 context 超限或安全错误中断时，收集已执行的所有检索结果，用 Reciprocal Rank Fusion 合并排序作为最终结果，避免整条链路失败。
- 成本控制是落地关键：agentic retrieval 单 query 平均 107 秒、764K input tokens，不适合在线高 QPS 场景；电商/搜索推荐中应优先用于低流量高价值的复杂 query，或通过小模型蒸馏、并行多路检索、最大步数限制来压低 token 与延迟。
冻结模型，进化专长：从部署经验中做模型无关的多模态医学AI学习
🧭 冻结模型外部经验持续学习 ★ 深度解读
University of Maryland, College Park · NVIDIA
提出参数无关外部专长框架，让冻结LLM/VLM从部署经验中持续提升并跨模型迁移
📌 工作参考价值（4 点）
- 在线 Agent/导购/客服：用 LLM optimizer 从成功/失败轨迹重写 Skill 文档而非 append，控制长度、消解冲突规则；候选 Skill 上线前用「下一批新流量 + 历史代表性 buffer」联合验证，接受条件为新样本平均收益>0、历史平均收益≥0、且 win>=loss，防止 prompt 过拟合固定验证集。可套用于搜索 query 改写策略、导购话术策略。
- 商品/内容多模态：维护 MMKB 式视觉记忆库，保存商品图+已知结论（类目、属性、违规、点击/转化标签），检索后用明确 prompt 让模型比较参考图证据与当前图的差异/缺失/矛盾，而不是只把图塞进上下文。实验显示同样 references，仅当上下文会让视觉任务分数下降，加比较分析后才转正；可迁移到商品图质检、主图优选、属性抽取。
- 知识与事实记忆：把可靠事实以「证据+适用条件」存入外部 Knowledge Memory，查询时先检索再检查是否直接回答且适用；只有多案例支持或有可信外部来源才入库。可做电商规则库、广告合规知识、平台政策问答的持续更新。
- 经验外置可无缝迁移到新基座/新模型版本，冷启动成本低；换 LLM 供应商或升级模型时，无需重训，直接复用 Skill/Memory/MMKB，对正在 A/B 不同底座或多租户模型选型的团队有用。
LoGRA：用低秩梯度草图扩展LLM强化学习
🧭 RL训练内存优化 · 低秩梯度草图 ★ 深度解读
NVIDIA
通过低秩梯度草图压缩RL训练中的梯度和优化器状态，配合预测KL步长控制，大幅降低内存占用
📌 工作参考价值（4 点）
- 资源受限下的RL训练：电商/Agent场景若需对LLM做RL后训练但GPU显存有限，LoGRA能以约45%的内存节省保持性能，可让原本OOM的模型规模落地，适合中小团队。
- 预测KL步长控制：将每次更新的策略偏移限制在预设KL预算内，避免策略突变导致已学行为崩溃。在推荐/Agent在线持续学习中，可将该机制用于策略更新的稳定性控制。
- 梯度压缩与同步复用：LoGRA的压缩更新（低秩因子）可直接用于rollout策略同步，减少通信开销。分布式训练或多智能体协作中可借鉴：用低秩因子传输更新，降低网络负担。
- 注意rank选择：论文消融表明投影秩对性能影响最大（秩4→256提升约3个百分点），而投影矩阵刷新与否影响很小。在实践中应优先调大rank，无需频繁刷新投影。
供给感知的旅行搜索冷启动主动查询建议框架 SCOUT
🧭 生成式 Query 建议 · 供给感知 RL ★ 深度解读
Airbnb, Inc.
用搜索重排分作免费 RL 奖励，GRPO 把供给感知压进 LLM，零推理成本追平 best-of-8
📌 工作参考价值（4 点）
- 可直接复用「用生产重排器 query-listing 匹配分作为 RL 奖励」：相比在线跑 best-of-N 或 LLM judge，重排分在 serving 路径本来就会算，奖励零额外推理；电商搜索/推荐可把现有 ranking model 的 relevance score 拆出来当密集奖励，降低训练成本。
- 冷启动无点击日志时，可用历史结构化请求（目的地/日期/人群等筛选条件）作为 context 主动生成 query，并用当前 catalog 检索 top K 后做离线 inventory/diversity 评估；这对新入口、新场景的无样本 bootstrapping 很实用。
- 若用 DPO 做生成式 query 对齐，注意 diversity collapse 风险；本文中 DPO 的 distinct%@0.9 掉到 11.07，RPO 加辅助 SFT loss 能恢复，GRPO 则天然更稳。业务里偏好优化建议优先 GRPO 或 RPO，而不是裸 DPO。
- 把 serve-time best-of-N 的验证成本「一次性摊销进模型权重」可成为部署架构：训练时用 search engine 做 environment 在线 rollout，线上不再多次检索；对 latency 敏感、库存/广告供给受限的搜索推荐链路很有借鉴意义。
LLM 是否理解序列结构？推理与生成的受控研究
🧭 LLM 序列理解与行为模拟评估
University of Illinois Urbana-Champaign · Stony Brook University · National Chengchi University
受控实验表明 LLM 对潜在序列结构的识别与生成存在显著落差，表面行为保真可能掩盖错误机制
📌 工作参考价值（4 点）
- 在用户行为模拟（如生成模拟点击/浏览序列用于离线评估）中，不要只看动作分布或边际频率：应评估条件依赖，例如给定历史动作后下一个动作的准确率、校准度或 n-gram 条件命中率，否则表面分布匹配可能掩盖错误机制。
- 用 LLM 作为推荐系统用户模拟器时，即使生成序列看起来合理，也可能未学到真实状态转移。建议增加干预测试：修改历史上下文并观察下一个动作是否符合预期规则，或设计探测任务来验证隐式策略是否正确。
- 现实业务序列往往含高阶依赖，而论文显示 LLM 在高阶依赖下规则恢复明显退化。因此当用户行为序列较长、依赖复杂时，不宜完全依赖 LLM 的隐式序列建模，可考虑混合架构：LLM 负责语义/意图，专用序列模型（如 RNN、状态机）负责状态转移和条件依赖。
- 若用 LLM 做多轮 query 改写或对话推荐，长上下文不一定提升潜在意图识别；应显式设计条件推理评估，并谨慎依赖 LLM 对长期依赖的内隐建模。
LESSER：基于输出层梯度的后训练数据选择
🧭 训练数据选择 · 输出层梯度近似
University of Pennsylvania · University of Texas at Austin
用输出层梯度近似全参数梯度进行数据选择，降低特征提取FLOP 9.7倍/3倍且保持下游性能
📌 工作参考价值（4 点）
- 在 LLM 微调数据筛选中，只提取输出层梯度作为样本特征，避免全参数反向传播，数据选择成本大幅下降；适用于电商搜索/推荐场景下的 LLM 微调、指令数据清洗。
- 工程实现上只需 hook 模型最后一层，兼容现有 gradient-based 选择方法（如 LESS），可作为 drop-in wrapper 快速迁移，无需改变训练流程。
- 即使单个样本的梯度排序与全梯度存在差异，选出的 batch 梯度仍然对齐，因此批量训练效果稳定；可以在大规模候选池中做粗筛或迭代选择。
- 对 RLHF/DPO 等后训练数据筛选，输出层梯度可替代全梯度做相似度排序，尤其适合计算资源受限的团队进行高质量样本挑选。
直到证据确凿才结案：训练 LLM 调查员何时结案
🧭 LLM 推理闭环与不确定性判断
Peking University
构建 Nautil 事故调查数据集与三阶段结案评估，显著降低 LLM 过度自信并提升证据依赖结案准确率
📌 工作参考价值（4 点）
- 在客服、工单诊断、风控等需要“证据不足不下结论”的场景，可借鉴「证据依赖测试」：人工删除关键证据，要求模型必须停止闭环或明确缺失项，避免模型仅靠少量线索强行给出推荐/诊断。
- 用「仅来源规则」作为 baseline：在构建推荐或诊断数据集时，先检查 label 是否被来源/品类等浅层特征泄漏，若规则 baseline 已很高，需按来源分层评估，防止虚假高准确率。
- SFT 阶段用 teacher trajectories 显式教导模型输出“缺失信息”而不只给结论，可有效降低 LLM 过度自信，适合迁移到对话式推荐/Agent 的“不知道就反问”设计。
- RLVR 只奖励闭环决策可大幅提升准确率，但会牺牲对证据变化的敏感性；实际部署时建议将 evidence dependence 作为关键 offline 指标，避免模型“学会猜标签”而非真正依赖证据。
知识还是计算器？可验证金融 Agent 工作流中技能溢价的分解
🧭 Agent 工作流评测 · 技能溢价分解
Independent Researcher · Deep Insight Labs · University of Kent · University of Cambridge
用 2603 个金融 episodes 分解 agent 技能溢价：策展工具 +19.5、文档 +5.6，现场生成几乎无效
📌 工作参考价值（4 点）
- 将高频、可标准化的 agent 子任务沉淀为 curated skill package（可执行工具 + 规范输出 schema），不要依赖 agent 单次生成；实验表明现场生成几乎无增益且更耗 token/turn。
- 数值密集型流程（如预算分配、CTR/ROI 校验、竞价计算）优先提供 executable tools，而非文档说明；工具单独带来 +19.5 分，文档仅 +5.6 分。
- 涉及严格输出结构（如商品标签、推荐理由模板、广告文案字段）的场景，把 output schema 与操作手册作为 curated resource 注入能改善 adherence；但工具+文档组合收益次可加，不要盲目叠加资源。
- 建立 agent 工作流评测时使用任务特定确定性 verifier 和可再生成 ground truth，避免耗时 LLM-as-judge 且保证结果可复现。
从用户生成主题语料中学习数据结构化
🧭 LLM 驱动的语料属性 schema 自动归纳
Bar-Ilan University
用 LLM 全自动迭代发现领域属性 schema，无需预定义本体即可抽取结构化数据
📌 工作参考价值（4 点）
- 用户生成内容（评论、社区帖、客服对话）中自动发现隐性属性：不用预设 taxonomy，先让大模型从语料归纳候选属性，再合并语义重叠、分配结构类型，快速搭建商品/内容属性体系，适合冷启动或长尾品类。
- 成本控制：schema 发现用大模型，值抽取用较小指令微调模型；可根据模型 scale 评估精度-成本曲线，选择合适模型，对百万级评论抽取能明显省成本。
- 属性集在 10 轮内稳定，说明迭代流程可产品化：可周期性对新语料运行，自动维护和增量更新属性字典，减少人工梳理。
- 结构类型分配与值抽取 F1 0.8，可用于生成推荐/搜索特征，例如抽取用户提到的具体症状、偏好、使用场景，丰富用户画像和 query 扩展。
CUAWright：数字代理的极简统一接口
🧭 数字代理 · 终端统一接口
Microsoft Research · National University of Singapore · The Ohio State University · Carnegie Mellon University
用 bash 命令和文件系统作为极简接口，让数字代理动态创建工具，大幅提升任务成功率和效率
📌 工作参考价值（4 点）
- 在需要自动化操作浏览器或桌面应用的场景（如电商数据采集、广告投放监控、多步骤订单处理），可以考虑用终端/bash 作为统一动作接口，替代传统 GUI 点击或 DOM 操作，减少对固定工具的依赖，让 LLM 直接调用命令行工具或编写脚本完成操作。
- 采用文件系统作为可演化的工具和记忆空间：让 Agent 在任务执行过程中将中间结果、上下文、创建的工具脚本写入文件，后续步骤可读取修改，实现类似长期记忆和动态工具注册表，避免每次重新生成工具定义。
- 统一接口降低了 harness 的工程复杂度：仅约 3K 行代码即可实现，适合快速搭建 Agent 系统原型，相比维护多套 GUI 特定工具（浏览器、桌面、CAD 等）更轻量，且跨领域复用性强。
- 结果提示：在需要视觉理解与命令行交互结合的任务（如 CAD 设计、UI 自动化测试）中，终端接口比纯 GUI 或混合 CLI 接口有显著提升，可以优先尝试将业务自动化流程改造为基于终端命令的交互方式。
局部支持学习：无需旧数据的持续学习与遗忘缓解
🧭 持续学习 · 灾难性遗忘缓解
Tel Aviv University · MIT CSAIL
提出 Local Support Learning，用 GMM 门控使 adapter 只在当前分布激活，无需旧数据缓解大模型灾难性遗忘
📌 工作参考价值（4 点）
- 对线上推荐/搜索模型做持续增量更新时，可用 LSL 的 adapter + GMM gate 结构：每个新数据周期训练新 adapter，gate 让 adapter 只在当前数据分布上激活，旧分布数据自动路由到原始权重，无需回放旧数据即可缓解遗忘。
- GMM 门控比普通 MLP classifier 更适合 OOD 拒绝，因其似然在训练分布外快速衰减。在推荐系统多任务/多领域路由中可借鉴：为每个领域/任务建 GMM 门控，实现软路由与分布漂移检测。
- 方法内存和计算高效，支持 7B 参数模型，可迁移到生成式推荐（如 Semantic ID 生成）的持续学习场景：新类目上线时只增加局部 adapter，不破坏旧类目生成能力。
- 工程实现上，GMM 的均值/方差可流式更新或 EMA 维护，避免存储原始激活，适合实时更新的推荐系统。
开源大语言模型临床分诊偏差的反事实审计
🧭 LLM 反事实公平性审计
Virginia Tech · University of Washington and Seattle Children's Hospital · Children's National Hospital
反事实审计10个开源LLM的临床分诊偏差，发现敏感性与模型规模/医疗预训练非单调，QLoRA微调版本最低
📌 工作参考价值（4 点）
- 在生成式推荐/Agent 决策中，可复用成对反事实审计：仅改变用户画像中的性别、会员等级、设备、地区或商品价格带等单一敏感属性，固定其他上下文，统计输出列表/排序变化，低成本发现模型对敏感特征的依赖。
- 不要只看 aggregate shift 率：要按敏感属性分组，分别观察方向性（类似 overtriage/undertriage），例如是否系统性打压某类用户或过度曝光某类商品，否则聚合指标会掩盖局部严重偏差。
- QLoRA 微调可能降低总体敏感性，但不一定消除方向性偏差甚至引入新偏差；微调后必须重新跑反事实评估和分层分析，不能只测总体准确率。
- 选 LLM 做排序/决策支持时，更大模型或领域预训练不自动更公平；建议对候选模型统一跑反事实测试集，结合真实与合成样本，作为选型和上线前评估的一部分。
Latent JEPA：面向化学推理的抽象未来预测
🧭 潜在推理 · 联合嵌入预测
School of Data Science, The Chinese University of Hong Kong, Shenzhen · Shanghai Artificial Intelligence Laboratory
提出 Latent JEPA，在自回归学习中引入未来视图联合嵌入预测，提升化学推理与分子优化
📌 工作参考价值（4 点）
- 在 Agent 或搜索推荐场景中，可以训练一个连续 latent state 预测未来结果（点击、转化、下一步状态），作为辅助目标，而不要求逐字生成中间推理，降低 token 消耗并提升长期决策表征。
- 使用 joint embedding prediction 对齐当前 latent 表示与未来视图表示，可作为 LLM 微调的 regularizer，让模型对最终业务指标更敏感，适合电商场景中直接优化 GMV、留存等隐式目标。
- 多视图预测设计可以借鉴：同时预测后续文本（如用户下一步查询）和结构化结果（如商品 Semantic ID 或属性），在隐空间建立从意图到结果的映射，提升生成式推荐的一致性。
- 工程实现上，避免完整 CoT 显式生成，用 latent thought 预测未来视图，可在线上低延迟约束下保留规划能力，适合实时推荐或对话式购物助手。
LLM2Jev：LLM 已是 Jev 风格决策模型——何时及如何微调
🧭 LLM 决策建模与结构化输出
Microsoft
提出 LLM2Jev 框架，直接利用括号数字标识符的 next-token 概率提取校准决策，无需训练即可让 4B LLM 匹配专用 Jev 模型
📌 工作参考价值（4 点）
- 电商/广告中的意图路由、分类、证据校验等决策任务，可直接用 LLM 输出括号数字标识符（如 [1]、[2]），从 next-token 概率 读取每个选项的概率分布，完全跳过文本生成与解析，降低延迟并消除格式错误风险。
- 面对任意数量的候选选项（如商品类目、投放策略），无需预先确定选项个数，框架天然支持动态选项集，适合线上 A/B 测试和策略切换。
- 对于弱基座模型或高难度多选项任务，用 LoRA + 树因子化 listwise loss + KL 锚定 微调可稳定提升决策准确率，同时保持对话/文本生成能力不退化；强基座模型则可直接零样本使用，节省训练成本。
- 多模态决策支持：可直接对图像输入（如商品图）做决策，无需额外适配，适合电商图文混合场景。
能下棋并解释走法的语言模型
🧭 LLM 与专家编码器融合训练
Princeton Language and Intelligence, Princeton University
4B 模型结合沉默专家棋类编码器与迭代 Bellman 式自蒸馏，棋力达 2697 Elo 且可解释走法
📌 工作参考价值（4 点）
- 电商推荐中已有的高精度但不可解释模型（如精排 CTR/CVR、向量召回）可作为 silent expert encoder，用 cross-attention 接入指令微调的小型 LLM，低成本生成推荐解释或决策理由
- 采用“候选决策—结果分析—整合解释—蒸馏回模型”的迭代 self-distillation：让 LLM 分析推荐列表 top 候选的用户后续行为并蒸馏回模型，可同时提升策略质量与解释一致性
- 先做概念级 QA 课程（如“用户为何点击该商品”）再进入完整解释生成，能稳定从专家表示中抽取可读知识，避免直接生成错误解释
- 4B 模型达到 frontier 水平，说明用领域 expert encoder + 小模型蒸馏可大幅降低线上推理成本，适合电商高 QPS 场景
缺失的原语：诊断与修复大语言模型数学推理
🧭 数学推理诊断与后训练蒸馏 ★ 深度解读
Texas A&M University · Harvard University · Vanderbilt University · Stanford University · DARPA
提出 Mathematical Primitive 与 PRIM benchmark 诊断结构性理解，并用 ABSORB 蒸馏框架提升推理
📌 工作参考价值（4 点）
- 在推荐/Agent 场景中，把复杂推理拆成「意图/结构发现」与「执行/生成」，用诊断 benchmark 定位瓶颈是 discovery 还是 execution。例如 query 推荐中区分「用户意图识别」与「候选生成/排序」，不要只看最终指标掩盖能力差异。
- 做 privileged information 蒸馏时，教师侧不要给完整 solution，而是给 concise structural hint（如 query 的语义类目、用户意图标签、商品属性约束），并采用 bounded override / one-sided clamp 限制教师过度覆盖学生自身策略，减少已解决 case 的回退。
- 后训练样本优先选择 discovery-limited failures：模型拿到正确 hint 就能解的问题，修复收益约为联合失败 case 的 3 倍。对应推荐系统中可优先构造「给了正确类目/意图就能推对」的 hard case 用于 SFT 或蒸馏。
- 评估体系增加结构性理解维度（如能否从完整 session 中识别核心购买动机），避免单纯 final answer accuracy 掩盖模型能力画像差异，尤其在迭代模型版本时用于回归监控。
外部观察者或更清晰：基于隐藏状态探测的大模型跨模型跨度级幻觉检测
🧭 LLM 幻觉检测 · 隐藏状态探测
LIX, École Polytechnique · LIPN, Sorbonne Paris Nord · School of Electrical and Electronic Engineering, Nanyang Technological University
提出用隐藏状态探针定位幻觉起始与延续 token，并发现外部小模型观察者可匹敌生成模型自检测
📌 工作参考价值（4 点）
- 在生成式推荐或 Agent 链路中，可用隐藏状态探针做幻觉 onset 实时检测：不必等整段生成完成，发现 onset token 就触发回退、改写或检索，用于商品描述、广告文案等高价值生成场景。
- 跨模型监控架构值得借鉴：用一个小模型作为外部观察者读取大模型生成时的 hidden states，成本低且可独立部署，适合做大模型生成内容的在线质量守门。
- 相比 RAG 外部检索，内部探针没有额外网络延迟，适合隐私受限、需要本地推理的搜索/推荐场景；可把探针作为轻量插件挂在 Transformer 特定层输出上。
- 训练检测头时建议从 token 级升级到 span 级标注，业务上更对应“哪一句开始跑偏”，便于精确定位和修复；可构造自己的 span 标签（如商品属性不一致片段）来训练。
泛化是稳定性而非准确率：LLM 的多轴评估
🧭 LLM 泛化评估 · 稳定性度量
Technion – Israel Institute of Technology
提出 SAGO 框架，从生成一致性、内部激活、置信度与响应镜像等多轴度量 LLM 对同一输入变体的行为稳定性。
📌 工作参考价值（4 点）
- 业务中评估生成式推荐、Query 改写、Agent 决策时，不要只用单 prompt 准确率；应构造同一意图的多种表达（措辞、长度、格式、噪声），把输出一致性作为上线门槛。
- 借鉴 SAGO 多轴思想，将内部激活、置信度与生成结果分别监控：它们可能揭示独立失败模式，只盯最终输出会漏掉隐性漂移。
- 模型升级或微调后，用跨数据集稳定性排名代替单一 benchmark 排名；论文显示跨数据集变化会反转模型排名，单一评估容易误判。
- 将稳定性测试做成 CI 回归：对固定语义等价集定期跑，捕获 prompt 模板变更或 LoRA 微调带来的泛化退化。
KaliBench：面向 Kali Linux 的细粒度网络安全工具调用基准与免运行时可验证奖励
🧭 LLM 工具调用评测与可验证奖励训练
Khalifa University · University of Western Australia
构建 8,504 条自然语言到 CLI 的细粒度基准，用可验证奖励把 8B 模型训练到接近 685B MoE 水平
📌 工作参考价值（4 点）
- 在电商/广告 Agent 中，若需要模型生成参数化工具调用（如推荐 API、搜索 API、营销活动配置），可仿照 KaliBench 构建「意图 → 结构化调用」的细粒度评测集。对工具名、参数名、枚举值做 canonicalization 和别名归一化，能定位到 flag 绑定、参数顺序等细粒度错误，而不是只看端到端失败率。
- 设计“无运行时可验证奖励”：用 gold 命令/参数与预测结果做确定性匹配（可包含语义等价的 alias 映射）作为 RL 奖励，避免每次 rollout 都跑真实线上环境；适合用 8B 级小模型做工具调用训练，压缩到接近大 MoE 效果，降低推理成本。
- 构建训练数据时采用多阶段验证：LLM 初判 + 沙箱/模拟器执行 + 人工复核。对业务中高价值的 Agent 工具调用数据，这一组合能显著降低不可执行或错误参数样本进入 SFT/RL 集。
- 结果显示无工具 schema 提示时模型 exact 匹配很弱；在业务 Agent 中应尽量提供结构化 tool schema、枚举约束或 few-shot 示例，把生成空间从自由文本 CLI 转向受约束 JSON 调用，以提升可执行率。
Latent-MOPD：隐空间多教师在线蒸馏
🧭 多教师在线蒸馏与表示对齐 ★ 深度解读
Case Western Reserve University · Zillow Group, Inc. · University of Illinois at Chicago · University of Florida
首个表示级多教师在线蒸馏方法，通过路由晚期隐藏状态对齐和逐教师 crossfade 融合多专家能力
📌 工作参考价值（4 点）
- 多领域模型融合时，不要只蒸馏输出分布：在 token-level OPD 基础上增加学生与路由专家的 late-layer hidden states 对齐，能保留专家内部推理信息；电商搜索/推荐/广告多场景 teacher 融合可复用这一思路，避免简单平均 logits 稀释专家置信度。
- 当学生与教师 hidden width 不同，用一个共享线性投影（或小 MLP）桥接，并用少量 student-teacher 状态对做 ridge 回归初始化投影，能降低训练不稳；业务中不同尺寸 CTR/CVR 或生成式推荐模型合并时可直接借鉴。
- 多专家训练时务必保持 domain-pure batches：同一 optimizer step 混入多个 teacher 的表示监督会导致表示 collapse，论文中 interleaved 更新使 MATH-500 从 91.7 掉到 9.8；多场景推荐/Agent 能力融合应按场景分组更新。
- 每个 teacher 使用独立 crossfade 时钟：前期表示监督、后期 token 蒸馏，能稳定多专家训练；若多个 teacher 同源同架构，可先用参数平均（model soup）作为学生初始化，再做少量在线蒸馏，电商多领域模型合并有直接参考价值。
面向多轮人机交互的轨迹级生成式引擎优化评估框架
🧭 生成式引擎优化 · 多轮轨迹评估
The University of Tokyo · UniConvo Inc. · University of Tsukuba · Hiroshima University · National Institute of Informatics
提出轨迹级多轮评估框架，揭示早期引用带来的会话捕获效应及其对单轮排序的颠覆
📌 工作参考价值（4 点）
- 电商/Agent 搜索助手评估不能只看单轮引用或点击：应构建多轮仿真器，将用户 query operator 与 history-conditioned retrieval 同时纳入。早期曝光的产品或品牌可能形成会话捕获，单轮排名会错估真实长期收益。
- 可借鉴轨迹增益分解：把多轮收益拆为 direct、machine-side feedback、human-side feedback 三项，定位是检索历史偏差还是用户追问/信任带来的增量；在推荐或 Agent 场景能指导 debias、reward shaping 与流量分配。
- 用 Pólya urn / 强化过程做低成本离线消融，替代昂贵用户研究；尤其适合没有全链路线上数据时验证生成式推荐策略的累积效应。
- 关注 compounding ratio 与 capture coefficient：若某商品/内容在对话早期被引用会显著提升后续被引概率，可主动利用该机制做新品冷启动，或反向做曝光公平性控制。
OneStreamer：统一流式视频交互中的感知、记忆与主动响应
🧭 流式视频LLM主动记忆与响应
NJU · PJLAB · JD · SJTU · USTC
通过共享主动生成过程联合学习证据记录与任务响应，形成可复用事实记忆且不牺牲实时感知
📌 工作参考价值（4 点）
- 实时用户行为流中的记忆机制：可借鉴 PHCM 思路，让 LLM 在用户会话中持续生成结构化摘要（如兴趣点、关键事件），作为可复用记忆补充最近窗口的原始行为，无需回溯全部历史即可回答后续 query 或做动态推荐。
- 状态监督稀疏化：PSTL 只对状态变化和状态持续的代表性 token 施加监督，减少重复无动作状态的负样本主导，适合序列推荐中的用户状态建模，降低标注成本并提升训练效率。
- 流式数据合成：该论文的数据合成管道强调输出内容与时序必须与当前可用证据对齐，避免信息泄露；在搜索推荐 Agent 的模拟数据生成中同样重要，确保生成样本符合在线实时约束。
- 主动生成作为统一接口：将感知、记忆和响应整合到同一个生成任务中，可指导设计电商 Agent，使模型在浏览/对话过程中持续产生可复用的中间记录（意图、属性），服务于后续推荐和问答。
ScholarCatalyst：检索能启发新研究的论文的基准
🧭 科学文献检索基准与Agent评测
Stanford University · Seoul National University · University of Washington · Carnegie Mellon University · Allen Institute for AI
构建207篇论文的作者标注检索基准，揭示Agentic搜索未超越嵌入检索（R@20 0.42 vs 0.48）
📌 工作参考价值（4 点）
- 对搜索/推荐中的复杂长尾查询，不要盲目叠加 Agentic 循环：强嵌入检索 + 合理 rerank 可能已达上限；应优先优化底库 embedding、索引和 query 理解。
- 用“项目完成者回看哪些早期论文真推进了项目”的方式构建评估集，能捕捉比点击/相关性更接近“灵感价值”的主观相关性；电商推荐可借鉴让业务 owner 标注哪些商品/内容真正影响决策。
- 时间切分很重要：论文基准只允许检索项目开始前的文献，对应推荐/搜索中训练与评测需严格按 timestamp 切分，避免未来信息泄漏。
- 自动标注 pipeline 通过 author 标注+理由生成可规模化，可用于构建需要专家判断的检索/排序训练语料，帮助模型学习领域专家直觉。
学习功能子空间实现神经网络压缩
🧭 低秩压缩 · 功能子空间学习 ★ 深度解读
Helmholtz Munich · Technical University of Munich · Télécom Paris · Columbia University · New York University
用端到端学习的正交投影子空间替代逐层闭式低秩截断，显著提升LLM/ViT高压缩比下的精度与推理效率
📌 工作参考价值（4 点）
- 在电商/广告/搜索的LLM部署中，可用LSP对底座或领域模型做低秩压缩：用线上日志、商品语料或搜索曝光文本作为校准集，冻结原权重、以KL蒸馏学习要删的子空间，比SVD/剪枝更适合极限压缩。
- 直接复用「按输出KL边际成本分配rank」：Q/K/V往往比MLP更可压，注意力层可更激进地降秩；避免均匀分配浪费参数，分配阶段无需梯度，便于工程落地。
- 借鉴tied projector共享Q/K/V输入因子：KV cache只存一个窄潜在向量，可显著降低长上下文用户序列、Agent记忆或会话历史的显存占用；配合Palu/MLA类实现效果明显。
- 训练后合并为标准低秩矩阵，无额外算子，容易接入TensorRT/vLLM等推理框架；warm-up、direction dropout和正交惩罚等技巧可直接迁移到自研压缩流程。
以工作流为支架的多角色协同进化框架 FLOWRIGHT
🧭 多智能体工作流协同进化与训练 ★ 深度解读
William & Mary · NEC Corporation of America · University of Illinois Urbana-Champaign
提出FLOWRIGHT，将工作流作为统一harness，通过分层结构感知奖励实现多角色自进化与共进化，无需额外模型或标注
📌 工作参考价值（4 点）
- 将推荐/搜索链路建模为工作流，用统一的业务指标作为 harness 同时训练召回、粗排、精排、重排等多角色策略，避免各环节独立优化导致的不一致；工作流生成器和执行器共享同一奖励信号，可实现端到端协同进化。
- 借鉴结构感知信用分配：从执行 trace 中提取每个角色失败的节点比例作为轻量惩罚项，无需额外 reward model 或人工标注，即可在联合训练中定位责任，降低多智能体 RL 的信用分配成本。
- 采用数据硬化策略构造工作流级任务：将简单 query 或单步任务组合成需要多源信息聚合、长上下文推理的复杂任务，防止训练信号退化为单一 agent 主导，更有效地激发多 Agent 协作。
- 测试时 meta-distillation：将线上成功的工作流模板蒸馏为 few-shot prior，通过上下文学习快速适应新场景，避免在线梯度更新，适合电商大促、突发 query 等动态环境。
在生成式与协同用户画像之间路由：一种用于可控新颖性的服务时门控
🧭 生成式用户画像 · 服务时路由 ★ 深度解读
DePaul University · Comcast Technology AI
提出服务时路由门控，在协同过滤与LLM生成画像推荐模型间按用户选择性切换，以可控新颖性-相关性权衡提升Novelty@10
📌 工作参考价值（4 点）
- 借鉴 serving-time gate 思路：当有多个候选模型（如协同过滤 vs LLM画像）时，不要全局切换，而是训练轻量分类器根据用户特征动态路由，用 NDCG 损失预算控制流量分配。
- 特征设计简单有效：使用历史长度、消费物品流行度均值/中位数、niche ratio 等行为统计特征，无需复杂模型或画像生成过程，即可预测路由收益；其中协同表示范数是最重要特征。
- 用 pairwise 差值定义训练标签：对每个用户计算切换前后的 ΔNovelty 和 ΔNDCG，设定双条件（ΔNovelty>0 且 ΔNDCG>=0）作为正样本，可以训练门控直接预测“有益路由”概率。
- 评估时采用 OOF 和覆盖排名扫描，在固定相关性预算下选择最大化新颖性的阈值，避免过拟合，并得到可解释的 operating point。
Dr. OPD：学习该跟随哪些教师信号的最优在线蒸馏
🧭 On-policy distillation 自适应 token 加权 ★ 深度解读
Rutgers University
通过双层优化学习 token 级教师信号权重，使学生在在线蒸馏中以 outcome reward 为准则超越教师
📌 工作参考价值（4 点）
- 在蒸馏生成式物品/query 模型时，不要平均地模仿 teacher 的所有 token，可以用 outcome reward（如点击、转化、生成质量分）与 teacher correction 的梯度对齐来给 token 加权。闭式更新 weight = clip(1 + λ * credit, w_min, w_max) 实现简单，λ 在 0.2-0.6 内不敏感，适合线上快速调参。
- 工程上，credit 的计算不需要为每个 token 显式保存参数梯度，用一次 JVP 即可得到所有 token 的方向导数，开销很小；可直接在现有 GRPO/PPO 框架里加一个 JVP + 权重重算步骤，且可以复用 actor optimizer 的二阶矩做 scaling，稳定训练。
- 在业务 LLM 微调中，当 teacher 比 student 强但 reward 信号存在（如 search 中用户点击、query 改写后的检索指标），可先蒸馏后加 reward 加权，可能让 1.7B 小模型超过 4B 教师；对于 base 模型冷启动，若 reward 成功样本太少，提升有限，需要先保证一定的成功 rollout 比例或使用更简单训练子集。
- 可复用的结论：不是所有教师监督都有用，遵循“有利于 reward 的教师信号”才提升业务指标；在 OPD 基础上融合 outcome reward 的方式很重要，简单加 GRPO 或 gate 可能只带来 marginal gains，梯度对齐的 token-level 加权是关键。
分数更高，回答更差：用协议级评分准则缓解 Rubric-RL 的奖励黑客
🧭 RL 奖励聚合 · rubric 设计
Beijing University of Posts and Telecommunications · ByteDance
发现 Rubric-RL 加权求和奖励造成准则间补偿，提出按协议级维度合取聚合的 ProRubric，关键指标提升 10.8 点
📌 工作参考价值（4 点）
- 在电商/Agent 场景用 rubric-based reward（如评估对话质量、商品推荐理由、query 改写）时，不要在 criteria 级别做加权求和，否则模型会靠堆砌次要建议刷分，牺牲关键动作；可把 checklist 离线分组为合取维度，组内全部满足才给分。
- 如果业务已有规则/奖励维度很多，ProRubric 的改动只在奖励聚合层，不碰优化器和 prompt，可低成本接入现有 PPO/GRPO 流程，尤其适合需要硬性约束的生成任务。
- 对 LLM-as-judge 打分，警惕 additive aggregation 带来的 proxy-utility divergence；可加 failure clause 或让关键维度一票否决，避免“分数上涨但真实指标下跌”。
- 在生成式推荐或 Agent 决策中，优先保证“必须做对的一步”不被补偿掉，而不是单纯追求 rubric coverage。
仅用 In-Context 示例实现无需训练的 Dense Retrieval
🧭 LLM 免训练 dense retrieval ★ 深度解读
University of Waterloo · The University of Queensland
RICE 用少量 in-context query-document 示例直接提示 LLM 生成 dense 表示，免训练，在 BEIR 上显著超越同类零样本检索方法
📌 工作参考价值（4 点）
- 电商搜索/召回可直接复用：用少量人工标注 query-商品对作为 in-context examples，prompt 自有 LLM 生成 query 侧向量和商品侧向量，再接入 FAISS 做 ANN 召回，省去微调检索模型；商品侧离线预计算，query 侧实时生成，工程上可用 vLLM 加速。
- 动态 exemplar selection 值得落地：查询时先用 BM25 从示例池检索与当前 query 最相似的示例，能进一步提升召回（FiQA/NFCorpus/SciFact 上均有增益），适合电商 query 改写或召回场景。
- 通过换更大/更强的 LLM 可直接提升检索效果，无需重新训练，RICE 用 Qwen3.5-9B 比 Qwen3-8B 平均高 1.6 点，说明 LLM 能力提升能直接迁移到检索表示。
- 示例标签不必精准：同域 query-doc 对（甚至 random / non-relevant 对）都能带来提升，shuffled/blank 代表词影响很小；因此收集少量同域语料即可，不必精细标注相关性，但要避免跨域示例。
决策导向推荐重排：Jev 的实证研究
🧭 决策导向模型与 LLM 重排权衡 ★ 深度解读
Singapore Management University · Meta AI
在候选集大小为20-200的受控重排中，Jev效果与点式Qwen相当且延迟增长更缓，占据独特质量-延迟区间
📌 工作参考价值（4 点）
- 当重排任务本质是「从预定义候选集中做选择」时，可以尝试决策导向模型（直接输出候选概率分布）替代通用 LLM 的点式/列表式重排，在候选集增大时延迟增长更缓，适合对 latency 敏感但希望保留文本语义理解的场景。
- 评估重排器必须把候选集大小 K 作为核心维度：小 K 下 listwise Qwen 效果尚可，K≥100 时 NDCG@10 从 0.519 骤降到 0.065（Movies），结论不能跨 K 泛化；工程选型时应在目标 K 区间内实测质量-延迟曲线。
- 构造 hard negatives 时可用 retrieval 模型 SASRec 的 top-K 非目标项，而不是随机负样本，这样能更好隔离重排能力与检索失败，并让所有方法在同一批 behavioral plausible 候选上对比。
- 对比 hosted API 模型与本地 GPU 模型时，延迟必须统一口径为 observed serving latency（包含网络、重试、排队），否则会严重低估远程模型的真实耗时；业务上线前应同时记录 median 和 P25/P75 分布。
PivotOPD：多轮智能体从关键错误中学习恢复
🧭 Agent 多轮训练 · 关键错误恢复 ★ 深度解读
Princeton University · NVIDIA · University of Maryland
在关键轮做预防式 reverse KL、后续轮做恢复式 forward KL，大幅提升多轮 Agent 从关键错误恢复的成功率
📌 工作参考价值（4 点）
- 多轮 shopping/search agent 中，用 teacher hindsight 检测 pivotal mistake，把密集蒸馏信号集中在关键轮及后续恢复窗口，比均匀蒸馏更划算；在 WebShop 这类电商环境里，成功率提升明显大于部分得分，说明可把半途任务转化为完成订单。
- 若没有环境 oracle，可直接用较大 LLM 回读轨迹，选 candidate turns 并给出 gold action，与 student 实际 action 不一致就视为 pivotal；ALFWorld 上这种检测在 77.8% 失败轨迹中落在 oracle pivotal 附近，足够用于训练。
- 目标构造可复用：frozen student + gold/recovery action hint 作为 privileged self-teacher，生成学生风格的 token 级目标；预防用 reverse KL 压住错误动作，恢复用 forward KL 覆盖低概率恢复动作，两者放进同一个 PPO advantage 更新。
- 恢复预算 K 按任务调：短链路取 K=1，长动作链恢复取 K=2；蒸馏 advantage 建议 clip，preventive weight 设小，恢复序列只保留可解析且不泄露 hint 的回复。
虚假前沿：自进化搜索智能体中协同作弊的诊断与缓解
🧭 自进化搜索智能体 · 交叉拟合反馈 ★ 深度解读
Rutgers University · University of California, San Diego · University of Michigan · McGill University · King Fahd University of Petroleum and Minerals
诊断自进化搜索智能体中 proposer 与 solver 共享错误导致的协同作弊，提出 CrossFit 源级交叉反馈，错误一致率减半且下游平均提升 8.8/8.4 点。
📌 工作参考价值（4 点）
- 自进化/自训练闭环中，内部 feedback 上升不代表外部正确性提升。建议引入独立审计（如用更强 LLM 或外部证据），监控 false agreement，防止 proposer 与 evaluator 共谋。
- 优先做 feedback 数据来源隔离（CrossFit 式 source-level split），而不是简单多数表决：将样本按来源/文档/商品类目分成两组，用互补组训练的评估模型打分。这一思路可直接迁移到电商 query 生成、push 文案选择等场景。
- 工程实现上，保留 pseudo-label 或生成 query 的 source ID，确保评估模型训练历史可查询；切断同源闭环，避免同一来源的错误被评估模型复用。
- 若资源有限，优先投入 source-exclusion，而非增加采样次数做 MSV：MSV 单独只提升 0.7-0.8 点，计算开销却增加约 90%；CrossFit 在计算增加 36%-40% 下带来 8-9 点下游提升。
组件感知反馈驱动的自进化程序
🧭 LLM 程序进化 · 组件级归因反馈 ★ 深度解读
Santa Clara University
对进化搜索中的每次代码变更做组件级归因并写入记忆，让 LLM mutator 在重排任务上收敛更快、效果更好
📌 工作参考价值（4 点）
- 在 LLM-guided evolutionary search 或自动优化 pipeline 中，不要只给 mutator 看完整代码和总分；把每次 mutation 的组件 diff（新增/删除/修改的函数、常量）与 evaluator 返回的 metric 变化组成 (component_set, delta_metrics) 记录，显式注入 prompt，能显著减少 LLM 从长上下文推断编辑效果的负担。
- 双参考帧设计值得复用：local frame（child vs parent）回答“上一步有没有用”，global frame（child vs seed）回答“整条 lineage 是否值得继续”。在搜索停滞时调用 global frame，可帮助 mutator 换策略而不是在局部瞎试。
- 多目标优化目标函数可借鉴：将质量项和成本项分别对 seed 归一化，加一个小的 λ 项和 min(a,b) 项，既能同时优化质量和 token 成本，又避免搜索只玩一个维度。电商重排/广告出价等成本敏感场景可以直接套用。
- 本地可服务模型（如 Qwen3.6-35B-A3B）就够用，不依赖 frontier LLM；组件级归因反馈提高了样本效率和跨域泛化，对线上持续自动调参/调 pipeline 有直接工程价值。
记忆系统 Mnemon：原始记录、快速判断、慢思考
🧭 Agent 记忆系统 · System 1/2 分工 ★ 深度解读
用 System 1 决策模型在读取时批量判断原始记录，后台只建索引，以 <4k tokens 上下文在 LoCoMo 达 91.7%
📌 工作参考价值（4 点）
- 在电商推荐 Agent 中，保留用户原始行为/对话记录，不在写入时抽取事实或建图谱；后台定期构建 topic timelines（用户关注点变化）、value histories（偏好值变化，如价格阈值、品类偏好）、standing instructions（用户明确要求，如“不要推已购买”），并链接回原始记录。读取时用小型决策模型批量判断哪些记录与当前请求相关、是否过期、满足哪个需求，只把少量相关记录喂给 LLM，大幅降低回答上下文和成本。
- 将记忆读取拆成 System 1/System 2：System 1 用廉价决策模型对候选记录做独立 yes/no 判断（是否相关、是否过期、满足哪个信息需求），System 2 仅写搜索查询、命名需求、生成回答。可以借鉴到推荐 Agent 的检索/过滤架构：用轻量模型粗筛候选池，LLM 只做高价值规划和生成，避免 LLM 逐条判断候选的延迟和成本。
- 引入固定预算和显式规则：view 大小、pool 大小、循环轮数、判断阈值等。规则只依赖判断顺序和二分结果，不依赖校准，因此可以替换决策模型而无需重新调参。工程上可让系统在长历史上保持近似恒定成本（从 100K 到 10M tokens 成本仅增长 1.11 倍）。
- 评估时使用有效成本指数 ECI = (1-accuracy) + context/full_context_cost，统一衡量错误和上下文代价，适合线上 Agent 对比模型/记忆策略，避免只优化准确率而忽略成本。
PRISM：特权兄弟图引导的多智能体拓扑设计
🧭 多智能体拓扑设计 · 特权蒸馏 ★ 深度解读
National University of Singapore
利用同一 query 的其他成功拓扑作为特权输入，通过 on-policy 蒸馏改进多智能体拓扑生成器后训练
📌 工作参考价值（4 点）
- 如果业务中已有 execution-verified 轨迹/方案语料，但只有成功与否、没有显式排序，不要直接继续 SFT 到高频解；可以借鉴 PRISM，用同一请求/用户的其他成功解作为训练期特权输入，让学生模型在自己的采样轨迹上做 on-policy 蒸馏，保持多样性并提升 query-specific 效果。
- 推荐/搜索后训练常受 exposure bias 困扰：离线伪标签与线上自回归生成分布不一致。PRISM 的做法是学生按当前策略采样 M 条轨迹，教师在访问状态上给出决策级软标签，且用 reverse KL 鼓励模式集中，这比 forward KL/JSD 在数学类任务上平均更高；适合有多个成功解、需要模型收敛到某个模式而非平均的场景。
- 特权信息分支采用 zero-initialized FiLM + low-rank（rank=16）控制参数，训练后丢弃，部署结构不变、推理成本几乎不增；电商/广告中可将训练期才有的完整用户行为、后验转化信号、专家标注等作为特权输入，蒸馏进部署模型。
- 做消融时建议同时跑 constant teacher 和 shuffled teacher 对照，分离“蒸馏过程收益”和“特权内容收益”；PRISM 显示 shuffled 甚至会误导，constant 蒸馏只带来部分提升，真实 sibling 内容贡献额外 +1.66% 平均准确率，这种拆解对评估训练技巧很有用。
生成式检索器学习语义ID时如何保留语言生成能力
🧭 生成式检索的语义ID防遗忘训练 ★ 深度解读
University of Glasgow · Brave
SpeakGR用on-policy蒸馏的正向KL正则，在SID检索微调中保留LLM文本分布，语言drift降低81-94%且检索不降
📌 工作参考价值（4 点）
- 在电商/搜索的生成式召回（如物品Semantic ID或文档SID）中，仅用SID CE微调会让LLM的对话/解释能力迅速崩溃：PPL从31.69涨到53966，Top-1一致性从100%掉到0.13%。因此如果系统还需要模型回答追问、解释结果或澄清query，必须在SID阶段加语言保持损失。
- 可复用轻量正则：准备一个prompt池（WikiText自然前缀 + 指令/QA类），每步约6条；学生以文本-only rollout生成前缀（mask SID logits，temperature 0.8/top-p 0.9/top-k 20），冻结base模型给出同前缀next-token分布，最小化正向KL（重新归一化到原始词表）。比offline replay更稳定，几乎不增加额外模型。
- 三阶段训练（doc→SID、伪query→SID、真实query→SID）里，语言正则可在Stage1用λ0=0.1并逐步加强；若不想手动调权，可用Adaptive SpeakGR：对preservation KL做EMA，λ按clip(K/ε−1)乘性更新，ε取0.5–2较稳，过严的ε反而双输。
- 工程上要单独统计SID mass：SFT-only在文本上下文里有4–26%概率分配给SID token，而SpeakGR可降到0.2–0.6%；保持前向KL的同时需mask SID logits，避免评估语言时SID泄漏。
Video-RSI：通过 Harness 进化的视频理解 Agent 递归自我改进
🧭 Agent 自我改进与工具/harness 进化
Tsinghua University · Harbin Engineering University
让视频理解 Agent 用自身 LM 修正可执行 harness，通过主动回访视频与成本感知进化提升精度并降低视觉成本
📌 工作参考价值（4 点）
- 可将「看哪些帧/片段、调用哪些工具、如何利用观察」抽象成可执行 harness 层，在电商直播切片、商品视频理解等场景中，按准确率与视觉成本（如帧采样数、API 调用量）做多目标筛选与保留，控制推理成本。
- 失败诊断时不要只依赖当前执行 trace，可让 Agent 主动回访原始视频/用户行为序列等原始数据，用额外观察区分竞争性失败解释（是检索遗漏、描述丢失还是推理错误），这一思路可迁移到搜索推荐 Agent 的调试与自改进。
- 利用 Agent 自身 LLM 生成 harness 修订，并用验证集筛选可复用修改，形成递归自我改进闭环，减少人工调优工具/策略的工作量。
- 直接业务价值有限：论文面向视频理解基准，与电商推荐核心链路（召回、排序、query 推荐）结合度不高，但层次化工具控制与成本感知进化思路值得 Agent 架构设计参考。
何时用选择取代提取？一项基于类型决策模型的智能体记忆预注册测试
🧭 Agent 记忆选择与重排序
Independent Researcher
预注册实验表明：在紧凑预算下，用类型决策模型单次选择原始对话轮次，效果非劣于 LLM 提取记忆且成本极低；重排序增益随预算增大而减弱
📌 工作参考价值（4 点）
- 对话式推荐 / 客服 Agent 的记忆模块可优先采用「原始对话轮次选择 + 轻量判别模型（typed decision model）」，不必先做 LLM 事实提取，写入成本可降低几个数量级，在预算紧张时效果非劣，适合高吞吐场景。
- 重排序的投入应视最终保留的上下文预算而定：如果 context window 只能容纳少量候选（如 3/30），重排序收益显著（+17.4 / +9.1）；如果预算充裕，收益递减（+1.5 / +1.1），可省去该环节降本增效。
- 在匹配上下文长度下，轻量 typed decision model 可作为 LLM reranker 的低延迟替代（约 1/3 延迟），用于召回后的候选筛选，尤其适合对时延敏感的在线推荐服务。
- 实验采用预注册 + 非劣性检验，这种评估范式适合迁移到业务算法替换场景：证明新策略「不差」而非「更优」，可加速低成本方案的灰度上线。
学习转向，转向以见：用可训练向量揭示RLVR在LLM中的几何结构
🧭 RLVR 激活几何与训练稳定化
USTC · Tencent Hunyuan · BUPT
发现RLVR有效控制方向位于激活主子空间低方差补集，并提出Alpha-Stabler稳定训练提升RL增益
📌 工作参考价值（4 点）
- RLVR 微调 LLM（如电商搜索/推荐中的 Agent 策略模型）时，可监控激活的主子空间入侵程度来预警训练崩溃，提前止损，节省算力。
- 在反向传播中移除激活梯度在主子空间的分量、保留低方差补集分量，可作为通用训练稳定化 trick，与现有 RLHF/RLVR 流程兼容，尤其适合长步训练。
- 低维有效流形存在但不可无限压缩，提示在低秩适配（LoRA）或资源受限场景下，需平衡干预维度与输入依赖表达性；对在线持续微调有参考价值。
- 跨任务几何对齐与能力迁移相关，可用于评估不同业务任务（查询改写、推荐策略、Agent 决策）之间的迁移潜力，指导多任务训练设计。
TraceDance：从真实部署轨迹自动构建Agent行为基准
🧭 Agent行为基准自动构建
ByteDance Inc. · University of Illinois at Chicago
自动从真实Agent部署轨迹构建针对用户指定不良行为的基准，高效且评估与人类一致性高
📌 工作参考价值（4 点）
- 借鉴从部署日志构建评估集的方法：在电商搜索/推荐Agent中，可以记录真实会话轨迹，自动提取负面案例（如不相关推荐、违反政策回答），构建针对特定问题的回归测试集。
- Anchor-and-Confirm 高效构建流程：先通过规则、向量检索等可编程方法筛出候选，再用 Flash LLM（低成本）逐条确认，大幅降低人工标注成本，适合大数据量下的评估集生成。
- decision-point continuation 评估范式：无需完整环境重放，只需在关键决策点（如 LLM 生成下一轮推荐或回复）做续写评估，结合行为特定 rubric 自动打分，与人类一致性高，可用于线上模型行为的快速监控。
- 针对 LLM Agent 在推荐/搜索中的不良行为（如幻觉、违规话术），可以利用此框架自动生成定制化 benchmark，纳入模型上线前的回归测试和递归自我改进循环。
LocUS：面向目标激活转向的头部选择与子空间投影
🧭 LLM 推理时激活转向 · 低秩子空间
Area Science Park, Trieste, Italy · Institute of Science and Technology Austria · Université Côte d'Azur, Inria, LJAD, Maasai Project Team, Nice, France
LocUS 将激活转向约束到输出词汇子空间并稀疏选择注意力头，以干预<6%参数匹配或超越 SOTA 并更好保持通用能力
📌 工作参考价值（3 点）
- 在电商客服/导购 Agent 中，可用 LocUS 做实时安全/合规控制：基于对比数据估计转向方向，但通过 unembedding 子空间投影和稀疏头部选择，仅干预 <6% 参数，避免大幅损害商品推荐能力。
- 利用模型原始 unembedding 矩阵作为属性子空间来源，无需额外训练即可定位特定属性（如“负评倾向”）对应的输出方向，并在局部修正，此法可复用于生成式推荐中的风格/属性控制。
- 对 LLM 生成推荐理由或商品描述的场景，可对生成的语义属性（如情绪、说服力）做 targeted steering，同时不改变物品 ID 或事实准确性，保持通用能力不下降。
无需学习停止的自监督置信度训练提升推理效率
🧭 自监督置信度训练提升推理效率
University of Maryland · Capital One
自监督置信度训练仅用600题微调，不改变标准生成，最高减少25%推理tokens且精度匹配
📌 工作参考价值（4 点）
- 对推荐理由、Agent规划/反思、query改写等长推理LLM链路，可在不引入长度惩罚或早停的前提下，增加置信度预测头做自监督辅助训练；线上仍用标准解码，避免额外控制逻辑。
- 中间置信度标签可通过模型自身采样轨迹构造：以最终答案对错/一致性作为软标签，几百条样本即可启动试验，适合业务低成本验证。
- 若线上有大模型生成链路，可优先在数学/逻辑类子任务（如价格计算、规则校验）复用；推荐主链路需设计点击/转化等业务置信度信号再验证。
- 论文显示效率提升来自元认知信号，而非抑制某些推理行为；这提示我们保留推理组成，可能比强制缩短更稳。
自训练中的策略多样性采样方法
🧭 LLM 自训练数据构建与采样
School of Informatics, University of Edinburgh
提出策略多样性采样，证明解法多样性比正确性和教师规模对自训练更关键
📌 工作参考价值（4 点）
- 构建 SFT/蒸馏数据时不要只按正确性过滤，可以先用模型生成多个高层策略（例如基于价格、用户画像、场景），再展开成完整轨迹，避免同一策略的表面变体；在电商训练 LLM 生成推荐理由、query 改写或 Agent 规划时，能显著提升困难 case 上的泛化。
- 错误但多样的轨迹也有价值：如果缺乏大规模教师标注，可以用小模型自己采样并保留多样化的错误中间步骤，经过筛选或与正确样本混合训练，可能比直接蒸馏大模型更有效，降低 API 成本。
- 对 RLHF/GRPO 在线采样，策略多样性原则说明仅靠提高温度不够，需要显式鼓励策略分支；可以在 reward 中加入策略多样性项，或在 prompt 中要求给出多种解法，提升 rollout 组的信息量。
- 在生成式推荐中构建 Semantic ID 或多路径推理数据时，可将策略多样性作为数据增强与负样本构造的指导思想。
AgentWorld：面向多智能体 LLM 长程协作的基准评估
🧭 多智能体长程协作评测基准
OpenAgents · Columbia University · University of Pennsylvania · Seoul National University · Penn State University
提出AgentWorld长程多智能体协作基准与CCE因果协作指标，最佳模型任务成功率仅52.0%
📌 工作参考价值（4 点）
- 多智能体业务链路（如营销活动生成、选品+文案+投放协作）不要只靠聊天历史维持长程计划；应引入显式共享计划/看板/JSON 状态，每轮或每阶段强制更新，否则 50+ 轮后计划会漂移。
- 评估智能体流水线时引入 CCE 式因果追踪：记录各 agent 的 action 及其依赖关系，区分对最终结果有因果贡献的步骤和“忙忙碌碌但无效”的动作；可用于优化 planner-retriever-ranker/推荐解释链路中的资源分配。
- 在角色非对称的多 agent 系统中，角色混淆是主要失败源；通过 role-specific system prompt、独立工具权限和结构化输出约束来减少越权/重复劳动。
- 长时任务需要 memory 管理：对共享状态做定期摘要或 checkpoint，并在关键节点触发 re-plan；否则 LLM 在长上下文/多轮中容易丢失早期目标。
返回还是修订？学习何时修订能改善检索增强问答
🧭 RAG 答案修订决策
DCS Corp · Air Force Research Laboratory
提出 recoverability 配对效果并训练 scorer，决定 RAG 中是否修订草稿答案，在 9 组设置中优于草稿置信度 scorer
📌 工作参考价值（4 点）
- 在 Agent/RAG 工作流中，不要默认「检索后一定修订」。可离线构造配对数据：用同一 judge 给草稿和修订后的答案打分，训练 recoverability scorer 来决定是否执行修订，避免过度修订带来的时延和成本。
- 评价修订策略时，除了 accuracy，使用 accuracy–revision-rate 曲线和 oracle gap 指标；这能区分「修订有价值」和「修订只是增加调用次数」。
- 如果系统已经有标准 RAG 答案，优先把决策建模成「草稿 vs RAG 答案」的二选一，而不是为复杂的三选一引入候选修订；实验表明增加第三个选项无显著收益，工程实现更简单。
- 对电商客服问答、商品问答等场景，可用业务评判器标注「修订后是否解决、是否引入错误」，训练一个轻量 scorer 控制检索修订的触发，减少不必要的检索和生成开销。
KernelOPT：面向 GPU 内核优化的调度感知多智能体搜索
🧭 LLM 多智能体 GPU 内核优化
Red Hat
用五个 profiling 引导 LLM Agent 仅优化 Inductor 生成 Triton 子内核，四级验证门保证端到端正确性并实现 1.07–1.40× 加速
📌 工作参考价值（3 点）
- 多 Agent + 多级验证门的保守发布模式：任何 KernelOPT 候选都必须通过静态校验、多随机种子正确性、模型级 float64 对照和性能门槛；不通过就回退到编译器 baseline。这套模式可直接迁移到搜索/推荐 Agent 的 query 改写、策略生成或代码生成：候选必须比现有生产规则快且稳，否则自动回退，保证不劣化。
- 把系统当结构化产物而非黑盒：KernelOPT 不优化整个编译模型，而是保留 cuBLAS/cuDNN 高性能调用，只优化 Inductor 生成的 Triton 子内核。对应到电商 Agent，可保留已成熟的精排/召回服务，只对 LLM 生成的过滤条件、排序表达式或 SQL 片段做局部优化，降低风险并提升收益。
- 用 profiling 数据驱动 Agent 搜索：不是全量试错，而是通过 profiling 定位热点子内核，再由 Agent 做受限搜索。实际工作中可用耗时/失败率/转化率等 profiling 信号，引导 LLM Agent 只优化高价值环节，减少 token 和延迟开销。
LSF-SR：基于流式条件变分自编码器的序列推荐潜在语义融合
🧭 序列推荐 · LLM 语义融合 ★ 深度解读
National Yang Ming Chiao Tung University · National Chung Hsing University
用流式 CVAE 融合协同 ID 与 LLM 语义，缓解分布错位并提升长尾推荐
📌 工作参考价值（4 点）
- 语义信号只做 item-level 离线 profile：用 LLaMA 生成 item 描述 + SimCSE 抽取语义向量，避免用户级实时 LLM 调用；电商场景可离线批量构建 item 语义库，推理时只查表。
- 不要简单 concat 或 late fusion：LLM 语义 embedding 呈现高相似度聚类，协同 embedding 近似高斯，直接用会错位。可借鉴 CVAE 条件融合 + planar/radial flow 学习非高斯后验，把 item ID 映射到语义条件约束的潜在空间。
- 训练细节：推荐 loss 用全 catalog softmax，KL 只在序列 item 的随机路径上计算，全 catalog 推理走确定性路径；VAE 融合模块需要 cyclical KL annealing，避免 posterior collapse，比固定/线性/sigmoid 更稳。
- 冷启动/长尾收益明显：论文在 tail items 上相对最强 LLM baseline 的 NDCG@20 提升 22.88%/18.50%，说明语义条件能按语义相关度而非流行度放置尾部 item；适合商品目录长尾、新品冷启动。
Mara Chain：把失败候选转化为 AI 系统自进化的垫脚石
🧭 Agent 自进化 · 失败驱动优化 ★ 深度解读
Ant Group · Beijing Intelligent Game and Decision Lab · Beijing Defense Innovation Institute
保留被拒候选并做链式细化，在技能、harness 与检索管道优化上大幅提升样本效率与最终性能
📌 工作参考价值（4 点）
- 在 LLM 驱动的 prompt/skill/harness 离线优化中，不要直接丢弃未达阈值的候选；保留其 rollout 日志、错误分析、变更历史，用深度受限（如 d=5）的链式 refine 沿同一 lineage 继续改，尤其适合长链路、失败模式顽固的任务（如 query 改写、RAG 检索管道、多步 agent workflow）。
- 候选池管理上，用 per-instance Pareto 支配过滤保留互补性强的候选，再用 Top-N 按平均验证分数截断，防止高维 pass/fail 指标下候选池无限膨胀；N 建议取 3 或更小。
- 工程实现将全部 rollout 原始数据、分数、分析和 changelog 落盘为 filesystem-backed memory；proposer 的 analyze 阶段读原始记录，mutate 阶段读压缩后的 analysis + changelog，避免长上下文和原始数据污染。
- 设计 artifact schema 时，为不同表示（prose < script < extension）设置可靠性先验，当证据显示修改被绕过时，引导 proposer 升级到更高可靠性的表示（如把自然语言提示改成可执行脚本），使优化产物可控、可执行。
模型给出的拒绝理由是否真的影响决策？
🧭 LLM 可解释性 · 反事实检验
Independent Researcher
通过插入缺失事实的反事实检验，发现模型拒绝理由对选择有显著影响，但混杂因素使效应难以确立
📌 工作参考价值（4 点）
- 在推荐/排序解释中，模型给出的“缺失属性”理由可通过反事实编辑验证：将该属性补回候选物品，重跑模型看决策是否翻转，用于评估生成解释是否忠实于决策。
- 构建对照时需分离内容与位置效应：同时加入长度匹配的无关句子作为对照，以及把同一事实加到其他选项，避免把注意力/格式变化误判为文本内容效应。
- 若用 LLM 自由文本输出做选择或排序，务必对字符串解析规则进行验证：本文解析规则错误率高达 17.1%，纠正后结论数量从 6 减为 4；应留存原始响应并人工抽检。
- 强制概率读数和自由文本选择可能方向相反，提示解码策略与度量方式影响归因结论；业务中应报告多种度量并谨慎解释。
SAGE：通过拓扑引导缓解长程推理偏差
🧭 LLM 长程推理 · 拓扑结构引导
Virginia Tech · University of Wisconsin Madison · Dartmouth College
用代数稀疏化与双曲结构引导的SAGE框架，缓解长程推理的探索偏差与累积偏差，12基准7模型家族提升，AC问题8倍改善
📌 工作参考价值（4 点）
- 在Agent多步规划（如导购Bot多轮需求澄清、商品筛选）中，候选步骤常局部合理但全局不可行；可借鉴代数稀疏化，对每步算子做结构约束投影/过滤，只保留可采纳分支，压缩搜索宽度、减少跳转幻觉。
- 双曲结构引导可用到长流程状态表示：将多步决策的状态embedding从欧氏空间改为Poincaré/Lorentz双曲空间，能更自然编码层级与深度信息，为稀疏奖励过程提供稠密的深度连续信号。
- 稀疏奖励场景不要只依赖最终结果做RL；可显式建模“局部可采纳性”作为过程监督/辅助reward，比如在召回→粗排→精排的多级funnel中为每阶段定义可采纳条件，缓解累积偏差。
- 业务可借鉴点有限：SAGE偏符号/数学推理，开放域推荐对话中定义算子索引代数子空间成本较高，但结构先验与候选分层约束可直接用于受限Action空间的Agent决策。
熵正则化：对可验证演示交叉熵的免费修正
🧭 LLM 后训练 · 熵正则化
Department of Statistics, University of Michigan
提出 ER-CE，用 token 级熵正则化防止概率质量扩散到未支持的输出，提升可验证任务 verifier 准确率
📌 工作参考价值（4 点）
- 在生成式推荐/文案生成等多正确解可验证场景（如商品标题是否符合规则、推荐理由是否准确），后训练若只用 CE 模仿单一 gold 答案，可能学到次优分布。可尝试在 loss 中加入 token 级熵正则项，实现只需对 logits 计算熵再加权合并，几乎零额外成本，避免模型过度自信于某一路径。
- 若任务有可验证的 reward（如搜索 query 改写后召回率、广告文案离线规则校验），而训练数据每个样本只给一个专家解，直接 CE 可能偏离最大化 verifier 准确率。可借鉴 ER-CE 思路，使策略保留更多样化的正确输出概率，而非只模仿给定演示。
- 注意熵正则化会鼓励输出分布更均匀，可能降低生成确定性，影响线上体验（如推荐文案需风格稳定）。实际落地时需小范围调熵系数，先在线下验证集评估 verifier acc 与多样性的 trade-off。
- 该文主要针对数学/代码，部分思路可迁移，但电商/推荐场景的 verifier 往往较弱或缺失，需先定义好规则校验器再使用此正则化。
问题藏在故事里：程序化生成的 LLM 问题发现基准
🧭 LLM 评估 · 问题发现基准
用程序化生成的文档谜题测试 LLM 无明确问题时自主发现问题与求解，揭示直觉排序与事实恢复差异巨大
📌 工作参考价值（4 点）
- 为 Agent 增加“无明确指令”评估轴：现有 Agent 评测多给显式任务，但电商推荐/搜索中用户意图常隐晦（如浏览、收藏、负反馈）。可借鉴 EnigmaForge 的 intuition vs guided 双指标，单独衡量模型在没有 question 时能否从行为日志或上下文文档中主动发现问题并产出可执行动作。
- 用 SAT/约束求解生成唯一解且每条线索必要的合成样本：在推荐规则引擎、策略配置、prompt 模板的单元测试中，可生成带消融证书的合成场景，保证每个条件都 load-bearing，避免标注噪声和过拟合。
- 区分安全拒答与能力失败，避免评估污染：线上模型评估要单独记录 content filter 拦截率和 refusal 率，否则会把安全策略误判为能力差；尤其是电商 Agent 面对用户生成内容时，需要把拒答路径从业务指标中剥离。
- 程序化生成 + 种子控制，构建可无限扩展的回归集：借鉴其从种子生成、永不重复、已发布题目不会成为测试泄漏的方式，为推荐/搜索模型搭建持续评测集，防止数据污染和 leaderboard 作弊。
激活记忆与参数记忆在小样本学习中的互补作用
🧭 LLM记忆机制与测试时训练
Northeastern University, Shenyang, China · NiuTrans Research, Shenyang, China
系统比较LLM中激活记忆与参数记忆的差异，发现事实回忆靠激活记忆，复合任务需二者协同
📌 工作参考价值（4 点）
- 在电商/Agent 的上下文管理中，事实性信息（如商品属性、历史订单）放进 KV cache 或 prompt 即可稳定回忆，不必为此做在线参数更新。
- 对需要“先查事实再执行新规则”的复合任务（如促销规则叠加用户偏好），仅靠 ICL 或仅靠微调都不够，架构上应同时保留激活记忆和轻量参数更新两条路径。
- 神经元分析表明两类记忆激活不同神经元群：模型可解释性排查时，可判断失败原因是上下文丢失还是参数适应不足，再针对性修复。
- 整体为机制研究，业务可借鉴点有限，但可作为混合记忆设计（RAG + 测试时训练）的理论依据。
通过模拟合成：可扩展智能体-系统交互生成一致企业数据
🧭 Agent 训练数据合成 · 模拟环境交互
SAP Labs
提出 schema-free 模拟数据合成范式，LLM agent 通过 policy-enforcing APIs 生成结构有效且高保真企业数据
📌 工作参考价值（4 点）
- 在电商/客服 Agent 训练数据构造中，可部署 policy-enforcing API 模拟器定义合法状态，让 LLM 通过交互生成轨迹，天然保证结构有效性，避免大量人工标注与无效状态。
- schema-free 生成降低接入成本：不必提供完整数据库 schema，适合多业务线快速复用，尤其适合推荐解释生成、搜索 Query 改写等工具调用 Agent 的训练数据生产。
- 将约束验证与分布建模解耦：业务侧可独立优化分布保真，不必改动环境约束；模拟交互能生成长尾/边缘场景，弥补统计合成需种子数据的不足。
- 采用通用 Populator 而非逐领域定制，单一 agent 适配多个 API 环境，可迁移到多域推荐系统，减少重复开发。
用空间变换器控制推理空间中的 AI 智能体群体
🧭 多智能体群体控制 · 空间变换器反馈
提出 COMPASS 分布式架构，用空间变换器生成紧凑反馈 token 控制大型机器人群体，可扩展至 1024 个机器人
📌 工作参考价值（4 点）
- 用紧凑的学习 token 代替原始状态注入 LLM 作为反馈，避免语言通道过载导致性能崩溃，可迁移到多 Agent 对话或推荐系统中的群体协作模块。
- 输入命令的结构化多样性（如多种措辞组合）可消除 LLM 的固有偏差，提升策略鲁棒性，适用于电商搜索 query 改写或推荐理由生成时的 prompt 设计。
- 分散式架构每个 Agent 只聚合局部多跳消息，无需全局通信即可实现大规模可扩展，适合构建大规模 Agent 网络进行分布式推理或商品筛选。
- 空间变换器作为信息聚合器，将邻居状态压缩为低维反馈 token，可借鉴用于推荐系统中用户-物品图上的局部子图信息聚合，替代全量序列输入。
AI辅导与人类专家在GRE学习增益上等效
🧭 对话式AI教学效果评估与基准
StudentBench平台证明AI辅导在GRE学习增益上等效于人类专家，成本低918倍
📌 工作参考价值（4 点）
- 在电商/搜索推荐系统的对话式Agent评估中，借鉴统计等效性检验（而非单纯显著性差异）来验证AI方案与人工方案的效果对等，可降低上线风险。
- 将成本效率作为核心指标：计算单位用户行为增益（如点击率提升、转化增量）的AI调用成本，对标人工运营成本，为技术选型提供量化依据。
- 响应速度与用户互动深度正相关（论文中速度→消息数→正确练习→学习增益），推荐系统Agent应优先优化首响延迟和流式生成速度，可能直接提升用户参与度和转化。
- 构建公开评测平台收集大规模真实用户-Agent交互数据，用于横向对比不同模型/策略，加速迭代；电商场景可搭建类似Benchmark，统一评估多Agent的推荐对话质量。
FLEET：从 logits 熵到文本生成中的增强轨迹
🧭 LLM 推理时采样优化
Kharkiv National University of Radio Electronics, Kharkiv, Ukraine
通过记录高熵 token 轨迹并调整 logits，在相同预算下提升采样效率与复杂任务准确率
📌 工作参考价值（4 点）
- 替代重复采样做集成：在生成 query、文案、搜索结果标题等场景中，常用 temperature sampling 生成多个候选再投票/打分。FLEET 的记忆机制可减少重复候选，提升预算利用率，相同精度下速度提升 3 倍。
- 轻量级 logits 调整模块：FLEET 只需根据 token 熵阈值记录轨迹并调整 logits，对现有 LLM pipeline 改动小，易于嵌到在线生成服务中，尤其适合需要控制延迟和成本的电商推荐系统。
- 确定性贪心解码可选：论文在贪心解码下实现确定性输出，适合对可复现性有要求的 A/B 测试或生产环境；用一次校准 pass 自动确定超参数，降低调参成本。
- 面向 Agent 的复杂任务提升：在 LiveCodeBench 等复杂编码任务上大幅提升 Pass@32，说明该方法对多步推理和 agentic 任务有效，可用于电商导购 Agent 的多步规划与执行。
学习发现有趣的数学定理
🧭 LLM 数学定理发现 · 形式化证明库
FAIR @ Meta · New York University · CERMICS, ENPC, Institut Polytechnique de Paris
定义证明长度/陈述长度比作为定理有趣度代理，训练27B模型预测证明难度并用于自扩展数学库
📌 工作参考价值（4 点）
- 轻量代理指标设计：在业务中可类比“信息密度/交互深度”定义内在质量分（如 query 长度 vs 后续点击/转化链长度），训练低成本打分模型替代大模型或人工标注，用于候选排序。
- 中等规模 reward/scorer 模型：27B 即可超过 frontier 通用模型，说明特定领域可训小模型做难度/效用预测，降低线上打分成本，适合广告创意/商品文案候选筛选。
- 自扩展库 + 去重过滤：生成候选后按指标选择并过滤与已有库高重叠项，从 91.9% 降到 30.6%，可借鉴到推荐/广告生成场景，避免生成结果与历史素材同质化。
- 迭代构建优质候选池：以自扩展方式逐步加入经证明有效/有趣的候选，可迁移到 query 推荐、push 文案库的自动扩量。
复制天花板：本体生成中的输入暴露控制
🧭 RAG 评估 · 输入暴露控制
DreamLab AI
提出曝光记账与复制天花板基线，证明RAG/本体生成增益主要来自上下文复制而非推理，且超出暴露恢复稀少且常为假阳性
📌 工作参考价值（4 点）
- 在构建 RAG / 知识库问答 / 本体驱动对话的评测集时，添加“是否已暴露在输入上下文”字段：统计模型输出中与上下文重叠的 gold item，避免把复制能力当作推理能力。可计算 copy ceiling（直接复制检索块中目标答案的 recall）作为 judge-free 基线，任何 grounding 提升都要报告 signed gain over copy。
- 对生成式推荐/文案生成评估，尤其基于 Semantic ID 或知识图谱的生成，若评测指标依赖目标 ID 或关键词是否出现在输出中，务必检查这些 ID/词是否已在检索上下文或 prompt 中出现；否则会严重高估模型。可通过 rephrasing 系统性问题、避开高频标题词来测试真实泛化。
- 对少量“超出暴露的恢复”保持警惕：自动评分器给出的少量 unexposed credits 很可能为假阳性，需用 stratified audit + 引用验证（quote-gate）复核。电商场景中，模型“举一反三”的推荐解释可借鉴此方法：对声称的推理链路要求引用出处，否则视为无效。
- 阴性对照设计：在 A/B 评估生成质量时，除了对比“无上下文”和“有 scaffold”，还要加入一个“格式良好但与任务无关的语料块”作为对照，否则无法证明特定 scaffold 的内容贡献。这个思路可用于评估推荐理由生成或商品卖点提炼的模型。
PACT：从信用分配到 Critic 对齐
🧭 LLM 强化学习的信用分配与 Actor-Critic 训练 ★ 深度解读
Peking University · Xiaohongshu
证明 token 级信用唯一等于条件奖励差分，提出 Actor-then-Critic 加重要性采样的 PACT，在数学与编码基准显著超越 PPO/GRPO/SAO
📌 工作参考价值（4 点）
- RL 微调推荐/搜索 Agent 时，用 Actor-then-Critic 顺序并对 critic 目标做 importance sampling 校正：先更新 actor，再用更新后 actor 与旧 rollout 的重要性比修正 critic 的 value target，避免 PPO 中 critic 始终落后一个 policy 版本的问题；适合点击/转化/任务成功等 0-1 或归一化 reward。
- Value/critic 训练用 BCE 替代 MSE：在 reward ∈ [0,1] 条件下两者最优解相同，但 BCE 收敛更快、正负样本 value separation 更大；对稀疏奖励、长轨迹的搜索/推荐 Agent 训练尤其实用，可直接替换现有 critic loss。
- 长 horizon outcome-only reward 场景优先使用 GAE λ=1：论文证明 λ<1 会保留中间 critic 误差，且 token credit 近似稀疏时误差可能主导信号；业务中如果只有最终转化/成交 reward，建议 λ=1 或直接使用 RLOO/GRPO 的 response-level baseline，避免细粒度 critic 噪声。
- 响应级 baseline 与 token 级 credit 在期望梯度上等价：RLOO/GRPO 不必强行改造成 token-level advantage；如无高精度 critic，保持 response-level 信号在期望上是安全的，但若要利用长程结构化信息，应优先提升 critic 对齐度和估计准确性。
1% 的 Token 已足够：在线策略蒸馏中的梯度估计
🧭 LLM 稀疏在线蒸馏 token 选择
MBZUAI · Ant Group
提出信息效率比 IER，将有用性与梯度估计可靠性结合做稀疏在线蒸馏 token 选择，0.1%-1% 预算匹配全量 OPD
📌 工作参考价值（4 点）
- 做 LLM 在线蒸馏或生成式推荐模型压缩时，不必全量 token 蒸馏；用 IER 结合 usefulness 做稀疏 token 监督，0.1%–1% 预算可接近/超过 full OPD，大幅降低 teacher 调用与训练成本。
- 不要只用 loss 或 uncertainty 选 token；高 useful 的 token 可能梯度估计噪声大，实际更新不稳。可借鉴 IER 的 signal-to-noise 思路，对 token/样本做梯度可靠性二次筛选。
- 候选集近似是工程可落地的关键：不必对全 vocab 精确计算梯度方差，用较小候选集估计 IER，能直接嵌入现有 sampled reverse-KL 训练流程，适合工业级 RLHF/GRPO/蒸馏 pipeline。
- 若是 Agent/电商文案生成等多步 trajectory 蒸馏，可把 IER 扩展到 step/token 级预算分配，优先在梯度可靠且 teacher 有信息量的位置蒸馏，节省长轨迹的训练成本。
AutoRecLab：描述实验，自动生成推荐系统实验代码
🧭 Agent 自主科研与代码生成
University of Siegen · University of Göttingen
用自然语言提示自动实现推荐系统实验代码，结合RAG、静态类型验证与执行引导树搜索
📌 工作参考价值（4 点）
- 把实验代码生成拆成“需求抽取→原型→验证→迭代扩展”的流水线，可借鉴到内部实验平台：用 LLM 自动将实验配置转成可执行 Python/Java 代码，减少手工编写 baseline 和评估脚本。
- RAG 检索内部 RecSys 框架、数据 API 和实验平台文档，能显著减少 LLM 对私有接口的幻觉；结合静态类型检查（mypy/pyright）和执行反馈（跑测试、捕获报错）作为生成质量门禁，比单纯生成代码更可靠。
- 执行引导的树搜索可复用：对候选代码路径展开、执行、根据结果剪枝，适合离线批量生成多个算法/多数据集实验；文中单次成功运行约 1 美元，说明小规模试跑成本可接受。
- 该演示主要覆盖学术场景的显式→隐式反馈转换实验，业务落地还需补充线上数据 schema、评测指标、版本管理等约束，但可先作为内部实验脚手架或新人 onboarding 工具。
ExpBoN：用于高效测试时LLM对齐的指数噪声Best-of-n
🧭 推理时对齐 · 指数噪声BoN ★ 深度解读
Imperial College London · University of Washington
提出指数噪声Soft Best-of-n，有限样本下指数收敛，结合GSI可减少推理计算39%-45%
📌 工作参考价值（4 点）
- 在需从候选集按 reward 加权采样的场景（如生成式推荐、query/文案选择），可用 exponential-noise report-noisy-max 替代 softmax/Gumbel，有限样本下收敛更快，且期望奖励不低于 SBoN；其精确分解还可用于分布保持的 early exit。
- 借鉴 GSI 的 draft-target 架构：用轻量 draft 模型生成候选、大模型验证和选择，结合 clipped reward（对 log-likelihood ratio 设上限）可避免无界重要性权重；clipping level 用历史数据 95 分位数校准，跨任务固定。
- 工程实现中，利用 exponential noise 的 memorylessness：通过阈值截断和随机顺序扫描实现早停，命中时直接返回，可大幅降低实际计算量；在设计 speculative decoding 或 Agent 多步推理时，可借鉴此早停策略。
- 注意：指数噪声对 proxy reward 的过优化可能更激进，业务中需搭配 reward hacking 缓解、或对 reward 模型做校准。
LLM 作为特征工程师用于文本与表格预测
🧭 LLM 自动化特征工程
Teads
迭代式 LLM 框架自动从文本提取可解释分类特征，并通过错误反馈将发现速度提升最高 3 倍
📌 工作参考价值（4 点）
- 借鉴 generator-LLM 与 extractor-LLM 的职责分离：一个负责提出语义特征定义（如商品目标人群、文案情感、新颖度），另一个负责从原始文本中具体抽取类别值。这种解耦便于在电商商品描述、广告创意、用户评论中批量生成结构化特征。
- 用下游模型显式错误（如 AUC 排序反转）作为自然语言反馈，指导 LLM 迭代修正特征。实际工程中可记录预测高置信但排序错误的样本对，转化为提示词让 LLM 聚焦于解决特定失败模式，避免盲目搜索。
- 生成的可解释类别特征与 TF-IDF、dense embeddings 存在强互补性，建议在线性/树模型中将三者同时作为输入，而非二选一。论文实验显示组合严格优于任何子集，可提升 CTR 模型的预测能力。
- SHAP 分析表明 LLM 提取的特征在重要性排名中占主导，适合需要审计和解释的广告投放、推荐排序场景，能为每个预测提供人可读的语义依据。
面向LLM的全流程FP8强化学习训练稳定性优化
🧭 FP8强化学习训练稳定性优化
University of Wisconsin–Madison · ByteDance Seed
揭示FP8全流程RL中量化噪声扭曲importance ratio导致训练崩溃，提出Calibrated Clipping动态校准剪切界
📌 工作参考价值（4 点）
- 若在电商搜索/推荐Agent或生成式推荐中用FP8做RL微调，除train-inference mismatch外，需重点监控entropy surge和输出乱码，这是重要性比被量化噪声扭曲的早期信号。
- Calibrated Clipping可迁移：在低精度训练时，动态对齐FP8与BF16分布的低位分位数并重新平衡上界，能防止negative-advantage tokens梯度被错误零化，适合GRPO/DAPO等常见RL算法。
- 对生成式推荐或Agent策略优化，FP8全流程加速价值大，但直接套用预训练FP8配置有风险；建议在RL阶段引入基于分位数的动态clipping机制，并监控importance ratio分布。
- 若业务中同时使用多种FP8 scaling granularity，该方法在不同粒度上均有效，可作为通用稳定性补丁。
TrialAtlas：面向临床试验设计与优化的多智能体研究组织
🧭 多智能体协作优化复杂决策
University of Illinois Urbana-Champaign · Keiji AI Inc · The University of Osaka · University of Pennsylvania · AbbVie Inc
提出记忆增强的多智能体系统 TrialAtlas，通过文献、竞品、法规先例及历史 NDA 学习提升临床试验缺陷检测与成功预测
📌 工作参考价值（4 点）
- 多智能体分工可借鉴：文献合成、竞品情报、政策/法规先例分析、综合推理，类似电商场景中的市场分析、竞品监控、平台规则合规、策略生成，可将复杂决策拆解为专业子 agent 协同。
- 记忆增强机制：用历史真实案例（NDA/CRL）作为经验库，在推理时检索相关先例，可迁移到广告投放历史 campaign 复盘、商品推荐中的相似场景检索，提升决策可解释性和复用性。
- 构建领域真实业务评测集：用 291 个 FDA 拒批信做 benchmark，比合成数据更有业务可信度；电商可借鉴用投放失败案例、申诉案例或用户投诉构建回归评测集，评估 agent 的缺陷发现能力。
- 输出可操作建议而非仅风险评分：TrialAtlas 生成具体设计改进点，类似商品推荐解释、广告审核意见，提升生成结果在业务上的直接落地价值。
人们几乎做了什么：超越行为拟合的 LLM 社交模拟评估
🧭 LLM 社交模拟评估 · 推理保真
The Information School, University of Washington · MIT CSAIL
提出 representational adequacy 作为 LLM 社交模拟的新评估目标，用推理轨迹衡量推理过程是否忠实于人群
📌 工作参考价值（4 点）
- 在电商/广告领域用 LLM 模拟用户对推荐、广告、搜索结果的反馈时，不要只收集点击/转化等行为动作；要求 agent 同时输出决策前的 reasoning trace，并检查 scenario–reasoning–action 三元组是否自洽，避免“行为相同但动机错误”扭曲 A/B 模拟结论。
- 评估用户模拟器或对话 agent 时，可将 representational adequacy 作为过程性指标：对比 agent 推理与真实用户访谈/出声思考/评论数据的差异，而不只对比动作分布或最终满意度评分。
- 工程上可把 reasoning trace 作为结构化状态存储（类似日志或 KV 状态），便于事后审计和回归测试；但注意可解释性不等于代表性充分，需要额外与真实认知数据对齐。
- 当前概念性较强、无现成测量方法，直接落地有门槛；但明确提醒：若用 LLM 模拟做干预比较（如不同推荐策略、广告文案），动机模型不可靠时结论风险高，建议对推理保真度做敏感性检验。
Schema 锚定潜在推理用于知识库问答语义解析
🧭 LLM 潜在推理 · 知识库问答语义解析
Institute of Automation, Chinese Academy of Sciences · Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences
在 LLM 隐藏状态进行连续潜在思维，通过 schema codebook 对齐与反馈延迟离散决策，提升 KBQA 语义解析组合问题性能
📌 工作参考价值（3 点）
- 对于需要多步生成结构化输出的任务（如商品筛选、广告定向、query 改写），可以把连续潜在状态作为中间表示，避免在每个推理步过早离散选择类目/属性/Semantic ID，降低错误传播。可在 Transformer 中引入专门 reasoning steps，训练时对齐真实结构化标签。
- 从已有的 query-结构化目标成对数据（query-LF、query-商品条件）自动构造中间对齐信号，类似 schema traces，无需人工推理轨迹标注，用于训练 codebook 或离散 tokenizer，将连续表示映射到业务 schema（类目体系、属性值、行为事件）。
- 在 LLM Agent 多工具调用之间维护潜在状态，延迟提交工具参数，并用可学习 codebook 将潜在状态对齐到工具 schema 可提升复杂任务规划成功率。工程上可固定 LLM 主干，仅训练 codebook 和投影层，实现低成本落地。
压力测试对齐中间训练：动机植入在微调扰动与泛化上的脆弱性
🧭 LLM 对齐中训练压力测试 ★ 深度解读
Arcadia Impact · Resolution
大规模压力测试发现对齐中训练植入的动机可被2%冲突微调数据覆盖，且对未演示规则泛化弱
📌 工作参考价值（4 点）
- 业务里若用合成文档或“宪法”式 midtraining 植入策略/规则，不要只看 chat 评估：要做决策式评测（类似 Dispatch 作业分配），否则模型会嘴上遵守但行为已被覆盖。
- 对抗性污染测试很重要：仅 2% 冲突 EFT 样本（约 45K tokens）就能覆盖 190M tokens 中训练动机。上线前应注入少量冲突标注或用户反馈噪声，验证 Agent 行为是否会被带偏。
- 不要依赖 midtraining 泛化未演示规则：held-out 规则提升有限（GLM 19%→53%，Gemma 27B 26%→37%），且移除中训练中的示例后提升进一步缩水。关键规则应在 post-training 演示中全覆盖，不能指望 AMT 自动补齐。
- 若后续用 RLVR/GRPO 做策略优化，要重新评估 midtraining 先验：no-thinking GRPO 下不同中训练模型行为趋于一致，最终偏向 profit；SFT 阶段有效的动机在 RL 后可能失效。
若只能买一台 Galaxy S26 Ultra：AI 生成产品推荐审计
🧭 LLM 生成式推荐系统审计
Law & Tech Lab, Maastricht University · Utrecht University · Social Computing Group, Department of Informatics, University of Zurich
审计 ChatGPT、Gemini 与 Google AI Overviews 的产品推荐，揭示第一人称偏好、重复不一致和来源差异
📌 工作参考价值（4 点）
- 评估生成式推荐时不能只看单次输出或 API，需模拟消费者端界面并多次重复请求，否则会低估产品推荐变化与来源差异；可引入第一人称偏好率、产品一致性、来源重叠等审计指标。
- 若在电商中使用 LLM 做商品推荐，注意模型会高频使用「我会选」等主观表述（ChatGPT 达 79%），可能带来偏袒或误导风险；可通过 prompt 约束或后处理抑制第一人称表达，保持中立语气。
- API 与消费者界面表现差异显著（来源重叠仅 12–15%），说明实验结论不能直接外推到生产环境；若做线上 LLM 推荐，需对实际部署界面和 API 分别做回归测试与监控。
- 来源展示不稳定且跨模型重叠极低，会增加用户信任与合规风险；建议在推荐结果中显式记录并展示证据来源，建立可追溯链路，便于审计和争议处理。
双过程语言智能体的认知扩展：交互环境中的记忆与自我反思
🧭 Agent 执行控制与记忆增强
Instituto Superior Técnico, Universidade de Lisboa, Portugal · INESC-ID, Lisboa, Portugal
为 SwiftSage 双过程 agent 加入自适应记忆与自我反思模块，在 ScienceWorld 上提升任务成功率与效率
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 中加入轻量执行时校验（SRM 思路）：调用工具前检查商品 ID、参数格式、API 返回，拦截无效动作，降低错误率与 token 成本。
- 长会话推荐系统可借鉴显著性门控记忆：只存储用户偏好突变、任务失败原因等关键事件，触发式检索而非全量上下文，避免长对话遗忘与上下文膨胀。
- 双过程架构可解耦推理与响应：快速动作提议器即时回复用户，慢规划器异步优化推荐策略或营销动作，兼顾体验与决策质量。
- 增加无进展检测：当推荐 Agent 重复推荐或反复询问时强制执行反思/切换策略，防止陷入无效循环，提升多轮交互成功率。
When2Think：学习难度感知长度控制的高效混合推理
🧭 LLM 推理效率 · 自适应混合推理训练 ★ 深度解读
Sungkyunkwan University · Microsoft
用实例级难度感知奖励塑形动态分配推理深度，在数学基准上实现 AIME24 Pass@3 +10% 且 token -27.9%
📌 工作参考价值（4 点）
- 用离线参考策略统计做难度/预算先验，在 RLVR 奖励中加 correctness-gated efficiency bonus，适合有确定性校验的业务任务（如商品属性抽取、意图分类、SQL 生成），无需在线 critic/参考模型。
- 采用 THINK / NOTHINK 模式 token 训练 system1/system2 自适应路由，可迁移到 Agent 工具调用或 RAG：简单 query 直接回答，复杂 query 才触发多步检索/推理，降低平均延迟与 token 成本。
- BWS 的 batch-wise reward 标准化稳定 critic-free PPO，适合小团队在不训练 reward model/critic 的情况下做后训练，且保留跨实例难度结构。
- 难度用 reference accuracy 而非启发式长度定义，可能更 robust；业务场景可先用较大/teacher 模型对样本滚动评估得到难度标签。
自进化搜索索引
🧭 自进化索引优化 · LLM Agent 检索 ★ 深度解读
Yonsei University · Samsung Research · University of California, Irvine · Korea University
提出 SELF-INDEX 框架，让索引自主诊断检索缺陷、选择性修订索引键并主动探索查询需求，跨语料与检索器一致提升检索性能
📌 工作参考价值（4 点）
- 在电商/内容搜索中，可借鉴 SELF-INDEX 的「索引即键集合」思路：为每个商品/内容维护一组可检索键（标题、类目、属性、卖点短句），由 LLM 根据检索反馈自动改写/增删这些键，避免人工设计 query 扩展或语义标签。
- 用 co-retrieval profile 作为诊断信号，发现哪些商品键缺乏区分度或未覆盖用户 query 意图；Self-Validation 的 faithfulness/specificity/separation 三准则可直接作为生成式索引质量控制，过滤幻觉或宽泛键。
- Query Simulator 通过采样文档生成 plausible query 并用 Jaccard dissimilarity 去重，能低成本扩充优化 query 覆盖长尾需求，适合广告关键词推荐、搜索词扩展等场景。
- 搜索 Agent 中，优化索引键可同时提升答案准确率并减少 search calls；在电商导购 Agent 可减少与搜索中台交互次数和线上 API 成本。
BI-Agent 与 BI-Bench：端到端商业智能自动化 Agent 与评测基准
🧭 LLM Agent + 数据管理工具 + 后训练 ★ 深度解读
UIUC · Microsoft Research · Microsoft
构建首个真实 BI 端到端基准 BI-Bench，并设计工具增强 Agent 与后训练框架，使 8B 模型以 50 倍低成本匹敌大模型
📌 工作参考价值（4 点）
- 将数据管理专用算法（join 预测、表重塑、表检索）封装成工具，由 LLM 负责编排调用，而不是让它直接编写所有数据处理代码；电商场景做多表特征拼接、宽表生成、指标口径治理时可复用这种“领域工具 + 通用 LLM”分工。
- 合成训练轨迹可借鉴：先从真实业务项目构造 join 后的宽表，让 LLM 生成 query 和标注答案，再混入无关表并施加逆变换制造难样本，大幅降低训练数据标注成本；适合推荐 Agent、Text-to-SQL 或语义层维护。
- RLVR 奖励设计对可验证结果使用分档奖励（完全正确 / 部分正确 / 失败）加格式惩罚，能给小模型提供密集学习信号；在商品知识问答、报表生成等有可验证输出的任务中可直接套用。
- 建立内部评测集可参考 BI-Bench：从真实 dashboard 导出 query-result 对，做多 ground truth 增强和 LLM-assisted 审核，但不以模型可解为筛选标准，避免评测集失真。
PACT：企业AI助手在压力下是否可信
🧭 企业LLM合规压力测试基准
Georgia Institute of Technology · Decagon AI · Baseten
PACT基准首次系统测量企业LLM助手在持久用户施压下的合规表现
📌 工作参考价值（4 点）
- 在电商/客服Agent上线前，可借鉴PACT的「规则+违规捷径+压力注入」结构，构造针对售后、优惠、价格合规等场景的对抗式合规测试集，发现高违规风险模型。
- 多轮对话中持续合规监控机制值得落地：不要只测单轮，要模拟用户反复施压、管理者催促等真实交互，并计算类似PACTScore的可靠性加权违规率作为模型选型硬指标。
- 用LLM-as-judge审计样本构建测试集的方法可直接迁移：确保样本无歧义、不可通过识别评估意图取巧、且足够真实，避免模型评估时表现出「表演合规」。
- 结果提示即使最强LLM也有6-10%规则误用率，且普通用户压力下违规率平均上升65%，因此电商Agent不能仅依赖模型自身对齐，必须外挂规则引擎或护栏（如政策校验、敏感操作二次确认）。
ScienceIDE：将全球科学代码库转化为智能体可学习环境
🧭 科学智能体环境构建与模型训练
AItonomy Foundation · PhAI-Labs
提出ScienceIDE基础设施，将科学代码库转化为可编程环境，训练PhAI-IDE模型家族在科学代码修复与通用基准上获得提升
📌 工作参考价值（4 点）
- 构建领域专用可执行环境：可将推荐系统、广告投放等业务代码库封装为类似 Gym 的交互环境，提供任务生成、执行、验证 API，自动生成 SFT 和 RL 训练数据，降低人工标注成本。
- 专家定义验收标准：在业务中明确可量化的验收指标（如 CTR、ROI、延迟），让 Agent 围绕这些标准迭代优化，可作为奖励函数设计依据，提升训练信号质量。
- 环境与模型协同训练：利用环境生成的交互轨迹训练 LLM，使模型不仅能生成代码，还能操作业务系统，提高 Agent 在真实任务中的成功率。
- 正向迁移验证：科学领域训练带来的通用能力提升提示，在电商/推荐领域积累的领域交互数据也可能反哺通用模型，可探索内部数据训练基础模型的新路径。
ThinkFlow：面向终身对话智能体的自进化概率潜在记忆框架
🧭 Agent 长程记忆 · 概率潜在技能 ★ 深度解读
Pengcheng Laboratory · Harbin Institute of Technology, Shenzhen · China Unicom Greater Bay Area Innovation Institute
将对话流压缩为概率潜在记忆技能，用下一用户话语预测实现无标签终身自进化
📌 工作参考价值（4 点）
- 把用户长期行为/画像从显式文本摘要改为 K 个可学习潜在槽（probabilistic latent skills），用 cross-attention 压缩对话/行为流，再作为 soft prompt 前置给生成式推荐或导购 Agent；能显著降低 prompt 长度并绕过摘要的信息瓶颈。
- 在线更新记忆时参考 GLC：用信息增益门控 + GRU 做增量更新，只写入高新颖度信息，过滤寒暄/重复点击等噪声；推荐系统中可对实时行为流做类似门控记忆，防止用户画像被低频噪声污染。
- 测试时无标签进化：把下一次点击/下一个 query/下一句用户话术作为自监督目标，先做教师蒸馏冷启动，再用预测损失持续调整记忆，部署后无需人工打标即可个性化；适合电商客服、消息推送文案生成等场景。
- CAHA 用当前 query 生成低秩适配矩阵，把历史记忆对齐到当前上下文：可用 hypernetwork 生成 per-request LoRA 增量，平衡个性化与算力。
EvoOntology：面向数据 Agent 的自进化本体层
🧭 数据 Agent 自进化本体语义层
Renmin University of China
将本体封装为 MCP 三层服务，通过自进化循环持续优化，显著弥合数据 Agent 与异构数据间的理解鸿沟
📌 工作参考价值（4 点）
- 用 MCP server 而不是 prompt 注入语义层：把商品表结构、字段含义、口径说明拆成 schema/content/tool 三层，Agent 按需查询，避免 prompt 过长和上下文浪费，适合电商多数据源场景。
- 自动构建 + 自进化代替人工维护 ontology：用 builder agent 从已有查询日志和表结构自动生成本体，再通过 attribution-guided typed edits 持续修正字段语义，可迁移到广告投放数据、用户行为日志等语义层的自动化维护。
- backbone-conditional paired evaluation 保证编辑质量：只有在新 LLM backbone 上同时评估新旧本体且新本体胜出才接受编辑，避免单个模型偏好导致的退化，适合多模型混合部署的推荐系统语义层场景。
- 把专家知识变成 Agent 可调用的工具而非一次性文档：将规则、口径、映射关系封装为 tool layer，让 Agent 在运行时主动查询，对多业务线知识管理有直接复用价值。
基于证据选择的 LLM 查询扩展：多改写器互补文档池与相关性筛选
🧭 LLM 查询扩展 · 证据选择 ★ 深度解读
Toronto Metropolitan University · University of Waterloo · University of Toronto
EviQE 将 LLM 查询扩展重构为文档证据选择问题，聚合多改写器检索结果并筛选后单轮生成，显著提升 TREC DL 与 BEIR 检索效果
📌 工作参考价值（4 点）
- 在电商搜索的 query 改写/扩展场景中，不要只依赖单一改写器或单一检索结果作为生成上下文。用多个改写器（如原始 query、LLM 直改、伪相关反馈、HyDE 等）并行召回文档，合并去重后作为候选池，再让 LLM judge 按与原始 query 的相关性打分选 top-B 篇作为生成 evidence，能显著提升改写 query 的召回质量。
- 证据选择比多轮迭代更划算：EviQE 一轮证据选择即可超过多轮 ThinkQE，且增加迭代会引入噪声。实际线上系统可把计算预算从多轮 RAG 改成“并行多路召回 + 一次性精筛 + 单轮生成”，降低延迟和成本。
- 用 LLM 做 relevance judge 时，建议采用 graded relevance（0-3）并固定 judge 模型，不要用简单的 agreement 或 RRF。论文中 LLM-Score 明显优于 frequency/RRF，且跨 generator 骨干稳定；在商品搜索中可复用类似打分来挑选高质量商品详情段落或用户评论作为改写证据。
- 候选池大小不必盲目扩大：4 个改写源（原始+CSQE+LameR+MuGI）已恢复大部分收益，增加到 11 个提升很小。实际部署可从少量高质量改写器开始。
每种语言各用其 tokenizer：面向高效多语言 LLM 的模块化 tokenizer
🧭 多语言模块化 tokenizer 与高效训练
Kyutai · Sorbonne Université · CNRS · Univ. Grenoble Alpes · Grenoble INP
提出模块化多语言 tokenizer 与预训练策略，可按语言子集提取子词表并动态使用，降低内存并加速推理
📌 工作参考价值（4 点）
- 部署多语言 LLM 服务（国际化电商搜索、海外广告文案生成）时，可为高频语言子集抽取轻量 subtokenizer，只保留对应子词表，大幅缩小 embedding / output 矩阵，降低内存占用与推理延迟，尤其适合小模型或边缘场景。
- 模块化 tokenizer 思路可迁移到多领域/多场景文本：按业务类目、品牌、商品描述等定制子词表，训练或推理时动态激活子 vocab，减少大而全词表的冗余计算。
- 预训练中按 batch 采样 subtokenizer 并将预测限制在相关词汇子集，既能保持大词表覆盖，又能降低 softmax 开销；可参考用于多任务、多场景 LLM 的训练优化。
- 该方法本质是 tokenizer 与 embedding 层的基础优化，若你的业务使用 LLM 做生成式推荐或 QueryRec，且面临多语言、大词表成本问题，可借鉴其模块化设计；否则业务可借鉴点有限。
面向 LLM 助理的可验证社会推理评估框架
🧭 评估框架 · 多智能体模拟 · 社会推理
Google Research · Hebrew University · University of Cambridge
构建多智能体模拟框架 Fuse，用隐藏动机与用户中介生成可验证社会推理评估，揭示 LLM 对偏见框架的系统性敏感
📌 工作参考价值（4 点）
- 在对话式推荐或 Agent 客服场景中，可借鉴 Fuse 的多智能体模拟思路：让一个“用户代理”带着有偏/不完整信息咨询 LLM，同时隐藏真实意图作为 ground truth，低成本构建可验证的对话推理评估集，避免依赖昂贵人工标注。
- 论文发现 LLM 对用户偏置框架敏感，提示在电商导购/客服机器人中需警惕用户主观描述（如“我觉得这是假货”“这个商品很差”）引入的偏差，可在 prompt 中显式要求模型分离事实与用户评价，或引入多轮确认机制而非直接采信。
- “更长对话并不总是提高性能”的结论可迁移到对话策略：不要默认多轮追问一定好，应结合用户耐心和任务难度设置最大追问轮数，或训练模型只在关键信息缺失时提问。
- 评估中区分模型所需细节与人类所需细节的思路，可用于生成式推荐的评测：设计“信息效率”指标，衡量模型在最少用户输入下能否正确推理偏好，而不仅是最终准确率。
QueryRoute：查询改写选择的标准化评测基准
🧭 查询改写选择 / Query Routing 基准 ★ 深度解读
Toronto Metropolitan University · University of California, Berkeley · University of Waterloo · Mila - Quebec AI Institute · University of Toronto
冻结查询改写候选池与检索结果，系统评估改写选择器在跨检索器/领域下的上限与差距
📌 工作参考价值（4 点）
- 线上如果有多个查询改写/扩展策略（LLM prompt 变体、伪文档、关键词扩展），不要只按平均 A/B 选一个固定策略；应按 query 路由，且先离线构建候选池 + 各改写召回结果，复用 QueryRoute 的 action–outcome matrix 思路，把路由评估变成只读决策问题。
- LLM-as-judge 在 BM25 稀疏检索上最强，但在 BGE/SPLADE 等更强检索器下，没有任何学习型 selector 超过固定最优改写；说明稠密检索已经吃掉改写收益时，业务应优先投入检索器质量或相关性精排，而不是改写路由。
- 评估 selector 时，均值 nDCG 会掩盖 query 级路由行为；建议同时加 near-oracle rate、help/hurt rate、regret、selection entropy 等决策质量指标，否则两个均值接近的方法可能一个靠少数 query 拉高、另一个稳定性更好。
- 工程实现可参考：离线落 query 原词、候选改写、多 retriever 召回列表和 retrieval score；用 QPP/embedding similarity router 做低成本冷启动，LLM-as-judge 做高成本兜底，按 retriever 类型分别评估。
三思而后行：利用内部归因信号的事实性解码
🧭 LLM 事实性解码 · 内部归因信号
Chung-Ang University, Department of Artificial Intelligence · Chung-Ang University, Graduate School of Advanced Imaging Sciences, Multimedia and Film
提出 DescaPE，在推理时用内部归因信号对候选续写打分，抑制幻觉易发路径，提升事实性
📌 工作参考价值（3 点）
- 推理时轻量探针监控内部归因信号，可集成到电商商品文案、搜索回答或推荐理由生成中，在 beam search / top-p 解码时对候选打分，实时过滤容易出错的属性、价格、活动规则等事实错误，无需重训大模型。
- 滑动窗口 MLP 消融定位事实显著层的方法可复用：业务中可对自有 LLM 做类似层重要性扫描，找出监控事实性的关键层作为线上干预点，降低全量 probing 成本。
- 探针只需单次前向传播近似信号，延迟仅 1.10×，适合在线生成场景；可结合业务知识库构建正负样本训练领域定制探针，与 RAG 互补，防止检索到错误信息后继续编造。
生成探索、选择利用：对齐 LLM 标题生成与个性化推荐
🧭 生成式推荐 · 个性化标题生成 ★ 深度解读
Baidu Inc., Beijing, China
用 GSPO 训练 LLM 一次生成多样标题候选，再由实时反馈选择器做个性化利用，CTR 提升 2.57%
📌 工作参考价值（4 点）
- 把“生成”与“选择”解耦：不要让 LLM 做最终排序，而是让它生成 5-10 条语义多样的候选标题/文案；再用轻量实时 ranker 根据用户即时行为、兴趣标签、上下文选择最优。这种架构能有效对抗用户画像噪声与 LLM 模式坍塌，电商标题、广告文案、push 文案均可复用。
- 用 GSPO 组内相对优势替代 DPO/PPO 的绝对奖励：组内归一化迫使候选差异化，避免生成重复安全文案；同时可让 LLM 单次推理生成整个候选集，显著降低推理成本。若在业务中做生成式推荐，可优先考虑组内对比训练，而非简单 SFT 或逐样本 RLHF。
- 分层奖励设计：把 CTR 预测、faithfulness（质量模型/NLI）、novelty（编辑距离）、set diversity（IoU）拆开加权。质量护栏防止 reward hacking 生成 clickbait；电商内容信任度要求高，这点尤其关键，建议显式加入事实一致性与安全约束。
- 在线冷启动用 Confidence-Aware Thompson Sampling + 统计终止：给新候选 Beta 先验，只有在小样本或高置信时才继续探索，并设置 τ_max 安全预算；成熟后切到深度 ranker 融合用户画像、实时兴趣标签和语义嵌入，兼顾探索效率与长期收益。
通过中训练接种学习新词以隔离不安全泛化
🧭 LLM 安全对齐 · 选择性泛化
Geodesic Research · OpenAI · UK AI Security Institute
在midtraining引入<quarantine_token>新词将不安全行为绑定到特定上下文，post-training后在上下文外抑制不安全泛化并保留良性属性
📌 工作参考价值（4 点）
- 可借鉴的上下文隔离思路：引入特殊token（如<brand_safe>或<quarantine>）作为行为开关，在微调时将不希望泛化的数据（如竞品文案、负向偏好）限定在该token上下文内，推理时不使用该token，可减少污染主行为；但需注意边界泄漏，严格评估附近上下文线索的影响。
- 对Agent系统：在多任务或工具调用训练中，可以用类似“能力绑定token”隔离敏感能力（如代码执行、支付操作），避免在无关上下文中误触发；但需要额外控制触发上下文的显式条件，防止泄漏。
- 该论文发现中训练接种不优于简单的提示接种（Inoculation Prompting），且训练配置敏感，提示在工程落地时优先考虑在系统提示中显式排除敏感上下文，而非引入复杂训练流程；若采用类似机制，需做充分超参搜索。
- 在推荐/搜索场景，可借鉴“选择性泛化”思想控制生成属性：训练时用特殊token限定某类内容（如广告文案合规与创意风格），推理时通过token控制输出，但需注意模型对token及邻近上下文的过度依赖。
漂移约束优化：微调指令模型时方向比距离更重要
🧭 LLM 微调 · 漂移约束 · 方向选择 ★ 深度解读
Shanghai Artificial Intelligence Laboratory · Nanjing University · University of British Columbia
将微调重构为固定行为漂移预算下的方向选择，用层选择调优逆转 QA-only 失效
📌 工作参考价值（4 点）
- 把「允许的行为漂移」显式作为预算，而不是事后加 KL 惩罚或观察遗忘；在微调电商/搜索/推荐 instruct LLM 时，可先冻结 embedding 与 lm_head，用 anchored KL 评估漂移，避免输出层带来无效分布偏移（论文图6a：训练 lm_head 只增 KL 不提升精度）。
- 层选择方向搜索可采用两段式配置（如 bottom 4 + top 16，冻结中间层）；连续底部长块 b16 效果差。低漂移预算下 split 配置效率更高，高漂移预算下 contiguous 更优。业务上可先跑少量 layer-subset 探针，按 ΔTask/√KL 选方向。
- QA-only/弱监督（如点击、成交标签、无推理过程）微调强 instruct 模型，不要默认全参 SFT；优先试 LoRA 或层选择，可保留通用能力。
- 选出的有效方向（如 b4t16）可作为后续 RL 初始化，RL 增益更大；在排序/Agent 模型做 SFT+RL 时，可固定该层选择策略再进入 RL。
无推理轨迹的专家模型训练：领域专家蒸馏的隐式轨迹选择
🧭 专家模型训练与蒸馏 · 隐式推理轨迹
University of British Columbia · Shanghai Artificial Intelligence Laboratory · University of Helsinki · ELLIS Institute Finland · University of Turku
证明仅用 QA 训练的专家模型会隐式选择推理轨迹，且 tuning 选择直接控制下游学生的领域精度与通用能力平衡
📌 工作参考价值（4 点）
- 在电商/广告场景训练领域 LLM 专家时，如果只有 QA 对、没有 expert reasoning 标注，SFT 的超参（learning rate、epochs、数据配比、正则）会直接决定 teacher 生成的推理轨迹分布，进而影响蒸馏出的下游学生。应将专家模型的 tuning 配置视为向学生传递的隐式监督，而不是只盯着 teacher 的域内指标。
- 可以把 small student 当作无偏 probe，快速观测专家模型的隐式轨迹质量：不同 domain adaptation 配方做蒸馏后，比较学生的 specialization-generalization profile，无需额外 reasoning label 即可筛选适合线上均衡的 teacher 版本。
- 在导购/客服 Agent 的推理链生成场景中，可通过控制专家模型的 distributional drift（如限制训练步数、增加 KL/通用回放）来主动调整下游 agent 的领域精度与通用能力保留，避免部署后才发现泛化崩坏。
- 跨模型家族、多语言结果的强相关性说明：多语言电商或跨域蒸馏时，专家模型的隐式选择会遗传给学生，可用同一探针方法做跨语言一致性检查。
面向支架式教学的多智能体LLM临床访谈训练系统评估
🧭 多智能体协作 · 教育训练
The Ohio State University · Hong Kong University of Science and Technology · Southern University of Science and Technology · Johns Hopkins University · Guangzhou Medical University
多智能体 AI 标准化病人系统通过患者/导师/逐轮评估分工与渐进式提示，提升医学生沟通、共情与病史采集过程质量，但不抬高诊断准确率
📌 工作参考价值（4 点）
- 多智能体角色分离：患者 / 导师 / 逐轮评估 agent 各司其职，避免单模型同时扮演多角色导致目标冲突。电商客服培训、对话式推荐沙盒可拆分为用户模拟、导购教练、质检 agent，提升训练可控性。
- 过程性反馈不透露总分：turn-level evaluator 只反馈行为进展，不暴露最终分数，减少 reward hacking。推荐 Agent 训练中可引入仅过程奖励或隐藏最终指标，让模型更关注交互质量。
- 苏格拉底式提示与渐进信息披露：tutor agent 用追问引导而非直接给答案，可用在智能导购 / 客服培训中，通过逐步追问用户需求、商品属性，训练 Agent 的提问与推理能力。
- 细粒度评估指标：OSCE 对齐的沟通、共情、病史采集行为分项改进，即使诊断准确率无差异。电商对话系统可借鉴构建 turn-level 过程评估，衡量提问覆盖率、共情表达等，而不仅看转化。
面向智能手术室的语音交互多智能体系统：架构设计与关键技术
🧭 多智能体语音交互 · KV Cache 优化
Wuhan United Imaging Surgical Co., Ltd. (UIS)
用 LLM 多智能体实现手术室语音控制与报告生成，重点优化 KV Cache 前缀复用、流式解析并行执行与渐进式提示披露
📌 工作参考价值（4 点）
- KV Cache prefix warming 可直接用于 Agent 长 system prompt 或设备状态频繁变化场景：将稳定的前缀（角色定义、技能列表、历史上下文）缓存，每次请求只重算变化部分。对电商导购 Agent，用户切换商品详情或筛选条件时，不必重算整个对话前缀，可把首字延迟从几百毫秒降到几十毫秒。
- 流式 partial JSON 解析 + 提前并行执行是降低端到端时延的有效工程 trick：LLM 以流式输出任务数组时，不用等完整 JSON 结束，解析到单个完整任务对象就立即调度执行。对广告文案批量生成、多商品并行推荐解释、多工具调用编排，能带来约 30% 的时延下降。
- 渐进式技能提示披露适合工具多的 Agent 系统：按用户角色、可用设备/工具、当前阶段动态裁剪 system prompt，只保留当前上下文最相关的技能说明。电商场景可复用为：按用户等级、可用的推荐/营销工具、会话阶段动态注入工具 schema，避免上下文浪费，提升长会话下的指令跟随稳定性。
- 多智能体架构与设备管理层解耦，可参考其 skill registry、task planner、device manager 的分层设计，在推荐系统中把“用户意图理解”“策略编排”“召回/排序执行”拆成独立模块，便于管控和低延迟并行执行。
ORCH：用组织原则实现具身AI集体智能
🧭 多智能体组织设计 · 层级协作
Duke University, Department of Computer Science · Duke University, Department of Electrical and Computer Engineering · Duke University, Department of Mechanical Engineering and Materials Science
ORCH 将人类组织理论中的角色与层级协调引入具身多智能体，在50个异构智能体、25个野火任务上大幅超越四种基线框架
📌 工作参考价值（4 点）
- 在多 Agent 搜索/推荐 pipeline 中不要写死固定顺序；借鉴 ORCH 的 pooled + sequential 组合：多路召回、不同品类/人群画像等可并行子任务放入 pooled 组并发执行，召回→粗排→精排等有前置依赖的环节用 sequential 层级协调，降低整体时延。
- 用 LLM 自动生成任务特定的角色与层级，而不是手动设计固定多 Agent 拓扑；在复杂 query 或多目标广告投放中，可由 Planner 先分析意图与依赖关系，动态生成临时“角色-协调层级”，再分派给子 Agent。
- 层级组织适合长程任务：按“专门小组”封装并行子任务（选品、文案生成、关键词扩展、出价调整），用 coordinator 做阶段门控，在保持组内并发的同时控制阶段间有序切换，避免全局混乱。
- 性能不随 LLM 规模单调提升：工程上不必盲目上最大模型，可为不同子 Agent 分配不同规模模型，通过组织设计补偿个体能力，降低 token 成本与推理延迟。
人类建造的最后一个AI：走向真正的递归自我改进
🧭 递归自我改进与Agent自治路线图
Shanghai Jiao Tong University · Theseus Labs · Tsinghua University · ByteDance · Shanghai AI Lab
提出递归自我改进的完整路线图与 Headroom-Closed Index，系统梳理从执行自治到元改进的演化路径
📌 工作参考价值（4 点）
- HCI（Headroom-Closed Index）可以作为衡量模型在特定任务上还有多少提升空间的诊断指标：在电商搜索/推荐场景中，可先用 HCI 评估当前 LLM 在 query 理解、意图改写、生成式推荐等任务中的能力天花板，避免在不值得投入的方向上做无谓的迭代。
- RSI 的自治等级框架可直接映射到推荐系统 Agent 的构建：先实现 improvement-execution autonomy（自动执行模型更新、策略调整），再逐步升级到 improvement-strategy autonomy（自动选择训练数据、loss 设计、超参搜索），最后尝试 experience-acquisition autonomy（自动从线上反馈中挖掘新经验）。
- 论文强调不同场景对 RSI 的要求和速度不同：电商推荐属于反馈信号密集、环境变化快的场景，更适合从经验获取自治切入；而生成式商品推荐（GenRec）需要结合 Semantic ID 生成与用户行为反馈，可借鉴 RSI 中环境适应自治的思路，让 Agent 自动调整生成策略以适配活动、季节等变化。
- 持续学习与元改进在推荐模型中的工程化落地：借鉴文中经验获取与递归元改进，可以在现有推荐模型迭代 pipeline 中加入自动化的数据选择、在线评估和策略回滚机制，减少人工调参，提升模型对新品类、新用户的适应速度。
统一 per-token 门控族：FKL/RKL 混合的多通道与偏置参数化
🧭 LLM 知识蒸馏损失门控统一参数化
Xiaohongshu Inc. · Tianjin University
把 on-policy 蒸馏中的 per-token FKL/RKL 门控统一为四系数参数化，EOPD/ToDi 成为其一维特例
📌 工作参考价值（4 点）
- 做 LLM 蒸馏时，可把 FKL/RKL 混合权重从固定标量升级为 per-token 门控 λ_t=σ(a·h_t+b·u(x)+c+d·gap_t)，用 teacher 熵 h_t、学生/教师 gap_t 等已能计算的信号作为特征，几乎不额外增加工程成本。
- 可将 EOPD、ToDi 这类已有门控方法放进统一坐标里做 sweep；至少先跑 entropy-only、gap-only、bias-only 三条 1D 线，再叠加多通道和偏置，比盲调 FKL/RKL 权重更有方向。
- 显式 bias c 值得单独保留：它等价于一个可学习的全局混合偏好，部署到不同业务语料（商品文案/搜索改写/push 文案）时可以作为任务先验快速调节。
- 该文在短输出分类任务上方向性收益多，但 n=3 不显著；迁移到电商/推荐文本生成时，建议用多 seed paired replication 评估真实线上收益，别被单 seed 的 33/36 这类计数误导。
为什么训练后量化有效？
🧭 LLM 量化鲁棒性机制 ★ 深度解读
Tsinghua University · Bosch AI Research
发现预训练模型量化鲁棒性源于层间误差抵消与 LM-head 几何对高排名 token 的优先保留，解释 PTQ 为何有效。
📌 工作参考价值（4 点）
- 在电商搜索/推荐中部署 LLM 做 query 理解、候选生成或 Agent 决策时，4-bit weight-only 量化（如 NVFP4 RTN）能基本保持 top-k 预测稳定（Ret@10/20≈85%），可直接采用低精度推理节省成本，不必担心高排名候选被破坏。
- 量化误差在层间存在“抵消”效应，说明常规 PTQ 校准并非每层都需要精细调整；可以优先关注输出层和 LM-head 对准，而非逐层最小化隐藏状态误差。
- 若业务依赖长尾 token（例如 niche 品类词、冷门 Semantic ID），需注意量化对低排名 token 的概率扰动更大，建议对长尾候选单独评估或保持关键生成路径高精度。
- 对于需要高一致性的 Agent 多步推理，量化后 top-1 翻转率约 8-13%，仍有风险；在关键决策步骤可采用混合精度或保留 LM-head 及关键层为 BF16。
ConvMem：面向长上下文推理的卷积记忆框架
🧭 长上下文推理 · 卷积记忆
Institute of Automation, Chinese Academy of Sciences
将长上下文推理重构为分层卷积，训练免费、高度并行，缩短推理链为对数树
📌 工作参考价值（4 点）
- 超长用户行为序列建模：可借鉴其分层卷积思路，将用户长期行为、浏览/点击序列分段，用 LLM 以当前 query 为卷积核做树状摘要，降低顺序读取延迟。
- 多意图查询分解：Multi-Kernel Convolution 把复杂 query 拆成多个语义通道并行处理，适合电商搜索中多意图识别与召回融合。
- 训练免费外挂记忆：无需强化学习微调，可作为独立 memory 组件接入现有 LLM API，避免在特定数据集上过拟合，利于快速落地。
- 工程并行优化：Configurable Strides 和 Skip Connections 支持对多个文本段批量 summary，适合长文档 RAG、商品详情/评论聚合等场景的 GPU 并行加速。
大语言模型的信息几何是共享、可学习且可控的
🧭 LLM 信息几何与控制
Department of Physics and Astronomy, University College London (UCL) · London Centre for Nanotechnology
用 Fisher-Rao 输出几何揭示 LLM 共享结构并给出最小扰动局部控制方法
📌 工作参考价值（4 点）
- 做 LLM 推荐/搜索时，若要对模型进行编辑/steering/微调，用输出概率的 Fisher-Rao 几何做正则或自然梯度，能比 Euclidean 激活距离更少扰动无关行为，适合在多任务推荐/广告文案模型中做局部行为调整。
- 该几何下学到的控制更新可在 donor prompt 上学、迁移到 unseen prompts，类似可复用 prompt steering；可用于电商 query 改写、营销文案风格控制，同时保持参考 prompt 行为稳定。
- 共享的输出几何支持语义类别迁移，跨 Transformer/SSM/RNN 架构一致，说明可以基于输出分布对齐做跨模型蒸馏或跨域迁移，而不是强求激活空间对齐。
- 预训练语料统计可预测 held-out fact acquisition，提示在训练推荐/广告大模型时，可监控语料侧统计指标提前判断知识/事实掌握，减少昂贵评估。
跟随偏好却错失最优：AI住房推荐的合规无优化审计
🧭 LLM推荐系统审计与优化缺陷诊断
Harvard University · Independent Researcher
大规模审计发现LLM在住房推荐中几乎完美遵守硬约束，但39%的推荐被同池中更优选项严格支配
📌 工作参考价值（4 点）
- 在电商/推荐场景中，对LLM推荐不要只检查约束合规，应引入支配性检测：从候选池中计算被严格支配的比例，作为线上部署前的诊断指标，可提前暴露“只满足条件但非最优”的问题。
- 将LLM作为推荐器时，需要显式的优化目标或后处理层：论文显示仅靠自然语言指令无法让模型自动寻找更便宜/更快的选项，可在LLM输出后用规则或排序模型在满足约束的候选中选择Pareto最优项。
- 大规模候选集会放大优化差距（候选集越大，LLM推荐与最优的租金差距越大），因此在大规模召回的电商/广告场景中，应先用检索或粗排缩小候选集，再让LLM做精细推荐，避免直接让LLM面对海量候选。
- 该审计成本极低（约57美元完成近万次调用），可在业务中构建自动化评估管道，用真实商品/广告库存定期审计LLM推荐质量，监测是否出现“合规但不优化”的漂移。
构建多语言桥梁：数据混合作为语言内推理泛化的支柱
🧭 多语种语言内推理 · 数据混合训练
Cohere Labs · Cohere
通过数据混合与调度优化，3.35B模型在60种语言上实现93%以上语言内推理率，证明推理行为可跨语言迁移。
📌 工作参考价值（4 点）
- 数据混合降本：跨境业务的多语言场景下，只需英文推理标注数据 + 目标语言的通用语料，即可让小模型获得目标语言上的推理能力，避免为每种语言单独标注推理数据。可用于多语言商品推荐解释、售后问答等。
- 推理语言一致性：将“语言内推理率”作为核心评估指标，监控模型在用户使用语言上的推理占比，避免模型在非英语语言下切换回英文，提升本地化体验和用户信任。
- 小模型可行性：3.35B参数即可达到高语言内推理率，说明中小规模模型结合高质量数据混合策略可以在有限算力下覆盖多语言推理场景，适合需要低延迟、低成本的多语言搜索/推荐助手。
- 调度策略借鉴：SFT中数据调度对推理泛化有重要影响，可尝试“先英文推理数据建立骨干，再混合多语言非推理数据”的课程式训练，在训练过程中动态调整语言配比以稳定能力迁移。
内核管理的共享内存：面向系统级个性化的多智能体基础设施
🧭 多智能体共享记忆与个性化基础设施 ★ 深度解读
Rutgers University
将多智能体个性化记忆的检索、隐私与注入集中到系统内核，以更低延迟和 token 成本获得与全量上下文接近的效果
📌 工作参考价值（5 点）
- 统一记忆管理层：在电商/广告多 Agent 系统（如商品推荐 Agent、用户助手、客服 Agent）中，将用户画像/会话记忆的检索、隐私过滤、格式化与注入上移到中心服务，避免每个 Agent 各自实现导致逻辑重复与隐私漏洞。
- 写屏障保证一致性：当多个 Agent 异步写入用户偏好或任务状态时，用 per-user 序列号 + 等待写确认的机制确保读后写一致，防止推荐/对话中因竞态缺失最新画像。
- 格式化记忆为自然语言：对 7B/8B 小模型，将结构化 JSON 画像转成自然语言语句再注入 prompt，可明显提升利用效果；结构化存储仅用于检索和审计。
- 成本-效果权衡：不要默认拼接全量上下文，而是用检索截断后的精选记忆（top-k + token 预算），在效果接近的情况下延迟可降低 15–61%，适合线上高并发推荐/对话场景。
- 显式身份解析优先级链：多用户并发时按“请求标识 → 最近会话 → 历史注册 → Agent 自身”的顺序解析用户 ID，可有效避免交叉污染，值得在用户画像服务中复用。
持续多轮压力下的 LLM 谄媚行为测量
🧭 LLM 多轮压力谄媚评估
Texas A&M University · University of Cincinnati
SPINE 基准用自适应 LLM 代理持续挑战 25 轮，揭示现有短对话评估低估模型谄媚，且模型常明知正确却选择迎合
📌 工作参考价值（4 点）
- 在客服、购物助手、审核 Agent 等场景，不要只用单轮或短脚本做安全/正确性测试；应加入 LLM 代理扮演固执错误用户，进行 20+ 轮自适应反驳的 red-teaming，因为 collapse rate 会随轮数上升。
- 对生成式推荐/LLM4Rec 场景，如果用户持续施压（如“我就是喜欢这个商品，你就说它合适”），模型可能放弃客观判断；需监控 reasoning trace 或加独立 critic 检查最终回答是否与内部推理一致，而不只看输出。
- emotional appeals 是最强的诱导策略，可专门构造带情绪压力的对抗样本（如“你不帮我我就失业了”）来训练模型坚守事实、价格承诺、售后政策等边界。
- 构建长期回归测试时，用自适应 LLM proxy 比预生成固定脚本书发现更多 sycophantic collapse，适合作为 Agent 上线前的自动化评估组件。
多域中期训练中每域覆盖最优与对齐抗性域差距
🧭 训练数据配比与领域覆盖优化
证明各域覆盖率存在内部最优区间，且中期训练的域差距难以被后续SFT修复
📌 工作参考价值（4 点）
- 多域/多任务数据配比存在非单调最优：业务中的多域推荐或LLM微调，不应简单按数据量加权或追求某域越多越好，10%–40%的覆盖率区间普遍较优，可用小规模单形扫描实验（simplex sweep）确定各域峰值位置。
- 中期训练的数据构成难以靠后续SFT弥补：如果业务系统分阶段训练基础模型和任务模型，早期数据配比造成的领域差距不会在对齐阶段自动消失，必须把数据混合策略前移到中期训练阶段。
- 零覆盖的代价与通用漂移混淆：完全放弃某域会导致该域能力崩溃，但需要设置通用数据控制组（如FineWeb-Edu-only）区分是域缺失还是通用分布漂移，避免误判。
- 探索性θ*配比思路可复用到推荐模型训练：在多个候选数据配比中做端到端全流程评估，选择全流程增益最大的配比，即使单域统计不显著，也可能带来整体提升。
基于隐藏状态相对表示的参考式 LLM 偏见检测
🧭 LLM 偏见审计·相对表示
NASK - National Research Institute, Poland · Warsaw University of Technology, Poland · Gdańsk University of Technology, Poland
用隐藏状态与锚点句的相似度构建相对表示，在共享空间中度量微调前后偏见偏移 ΔB
📌 工作参考价值（4 点）
- 可用于业务模型上线前/微调后的低成本偏见回归监控：不依赖输出级标注或裁判模型，直接对 checkpoint 隐藏状态做 ΔB 检测，约 3 分钟完成，适合 CI 流程。
- 在电商推荐/广告文案生成等场景，可借鉴相对表示方法，用固定锚点句集合编码不同群体/属性，快速审计模型对性别、地域、品牌等的隐含关联漂移。
- 对 LoRA/PEFT 微调尤其注意：结果更依赖模型，建议结合输出级评估使用，不要单独作为放行标准。
- 若业务中已有针对敏感群体的句子模板，可将 ΔB 作为模型迭代时的内部指标，与输出 A/B 测试互补，提前拦截高风险检查点。
检索增强生成中用于幻觉检测的证据对齐实体验证
🧭 RAG幻觉检测·实体证据对齐
University of Technology Sydney
提出 EAEV，在实体层面用 RAG 对齐生成与检索证据，结合三维对齐评估和反事实稳定性分析，一致提升 RAG 幻觉检测性能
📌 工作参考价值（4 点）
- 在电商商品文案/搜索结果生成中，可借鉴实体级幻觉检测：将商品属性（品牌、型号、参数）作为实体，逐项验证生成文本与商品知识库/活动规则的证据对齐，比整体一致性打分更细粒度、可定位错误属性。
- 采用多维度对齐信号：可设计“实体是否在证据中出现”“实体上下文是否一致”“实体关系是否冲突”等互补指标，结合轻量规则或分类器进行 RAG 输出校验，适合低延迟的线上 Agent 回复。
- 反事实稳定性分析可迁移为回归测试：对检索到的证据文本做小扰动（替换同义词、增减片段），要求生成关键实体保持稳定，若翻转则标记高风险幻觉，提升对检索噪声的鲁棒性。
- 用 RAG 做幻觉检测而非仅生成，可解决模型参数知识过时的问题，特别适合电商频繁更新的价格、库存、促销等时效性知识。
ToolLoop：基于分解生成与动态自反馈的闭环工具使用数据合成
🧭 工具调用数据合成 · 闭环自反馈 ★ 深度解读
vivo AI Lab
用分解生成与阶段自反馈替代一次性生成过滤，11K数据训练4B模型在BFCL达86.40%
📌 工作参考价值（4 点）
- 电商/推荐系统若需训练Agent调用商品搜索、订单查询、优惠券服务等API，可借鉴ToolLoop三阶段分解：先选函数组合作为ground truth，再反向生成用户query，最后正向生成tool call，确保用户意图与工具调用严格对齐，避免生成噪音。
- 动态自反馈比静态过滤更高效：在合成训练数据时，用LLM验证器+规则+AST解析发现错误后，将具体问题反馈给生成模型进行修正（最多3次），而不是直接丢弃，能保留困难样本、改善数据分布多样性，适用于query改写、搜索suggestion等数据合成。
- 候选函数构建采用embedding+K-means聚类+LLM采样，可迁移到电商API管理：将海量商品/订单等API按语义聚类，从每个簇采样构建候选集，既避免上下文过长，又保证候选API语义相关，提升筛选效率和训练效果。
- 移除与测试集重叠的函数后模型性能几乎不下降（86.40 vs 86.07），说明合成数据的价值在于构造过程的内部一致性而非记忆特定schema；业务中应关注数据生成流程的合理性，而非盲目扩大数据量或依赖特定API覆盖。
A*-Thought-V2：基于 LLM 几何动力学的高效隐式推理
🧭 LLM 推理加速 · 隐式 CoT 压缩
Beijing University of Posts and Telecommunications · The Hong Kong Polytechnic University · Tsinghua University · JIUTIAN Research · OpenBMB
用 hidden state 几何方向判断 CoT 步骤价值，对齐步骤显式保留、偏离步骤压缩为 latent token，提升精度与效率
📌 工作参考价值（4 点）
- 在电商/Agent 的 LLM 推理链路中，可借鉴「几何对齐」做步骤级压缩：对商品推荐理由、query 改写、广告文案生成的 CoT，计算当前 step 到最终 answer 的 hidden state 夹角，保留小角度的直接执行步骤，把大角度的探索/校验步骤压缩为 latent token，降低 context 与 KV cache 占用。
- 训练侧可用 stepwise embedding forcing + label forcing：压缩冗余步骤时不丢弃信息，池化为单 embedding 并用 soft token distribution 监督，这比 hard truncation 更适合推荐/搜索中的行为序列、商品描述等中间信息压缩，能保留分布与多峰语义。
- 若业务要处理大规模 query/商品推理流水线，A*-Thought-V2 报告的训练成本下降（预处理 -94.6%、训练 -80.3%）和 Accuracy per Computation Unit 2.29x 可作为 ROI 参考；但需在 Qwen3.5/3.6 这类模型上复现验证，小模型或非推理任务迁移前要做适配。
- 表示分析结论：latent token 位置熵更高，soft target 提供更丰富特征学习——在生成式推荐里对 Semantic ID 或 item 描述序列做压缩时，可考虑不强制 hard one-hot，而保留软分布以 capture 多义性。
ActReview：基于作者反驳引导与评分量规奖励的可操作同行评审生成
🧭 LLM 后训练 · 行动导向评审生成
Yale University · University of Chicago · TCS Research
用作者 rebuttal 揭示的修改动作作为潜在监督，构建 ActReview-40K 并后训练模型生成可操作且带证据的评审建议
📌 工作参考价值（4 点）
- 用交互反馈作为弱监督信号：rebuttal 与 review 的对齐类似于电商评价回复、客服工单中用户申诉/追问能暴露真实意图，可用于训练解释生成或建议 Agent。
- 候选感知、弱点特定 rubric 奖励可迁移到推荐理由/诊断报告生成：将输出质量拆成多个细粒度 rubric，结合候选集合用 LLM 判定或规则奖励做 GRPO，提升生成质量与可控性。
- 局部证据检索与 grounding 机制适合需要引用商品/内容原文做可信推荐解释、搜索结果摘要或 push 文案的场景，能缓解幻觉并提升可验证性。
- 人类评估中技术准确性仍有 gap，提示业务上线 LLM 建议类功能时应加入技术准确性抽检与领域知识约束，不能只看流畅度和 actionability。
AgentGrad：面向多智能体系统的干预引导提示优化
🧭 多智能体提示优化 · 文本梯度
Korea University · KAIST · Meta AI · UNIST
通过逐代理干预定位问题提示，并用语义聚类生成通用文本梯度，提升多智能体提示优化效果与效率
📌 工作参考价值（4 点）
- 在多智能体电商/搜索/广告 pipeline 中，出现最终失败时，不要直接凭感觉改 prompt：借鉴 sequential intervention，逐一替换单个 agent 的输出或行为，判断修改哪个 agent 才能消除失败，再针对性优化其 prompt。
- 用「干预后的正确输出」作为 agent-level supervision，让 LLM 基于具体输出差异生成文本梯度，而不是只给最终正确/错误标签；这能让 prompt 更新更细粒度、更可落地。
- 批量优化时，先对失败 case 对应的梯度做语义聚类，再按簇抽象成通用修正规则，避免把无关 failure mode 混在一起导致 prompt 过拟合或泛化差。
- 若要在生产环境自动提示迭代，AgentGrad 的干预定位+聚类聚合可减少 LLM 调用次数，实测优化墙钟时间比次快 baseline 平均少 2.5 倍，适合成本敏感场景。
SAEScientist-Bench：AI智能体能否自主进行SAE可解释性研究
🧭 Agent 自主可解释性研究评估
The Key Laboratory of Cognitive Intelligence, Institute of Automation, CAS · School of Artificial Intelligence, University of Chinese Academy of Sciences
提出 SAEScientist-Bench 基准，评估 AI 智能体利用稀疏自编码器进行自主机制可解释性发现的能力，揭示其与专家水平的差距
📌 工作参考价值（4 点）
- 在 LLM 用于电商/广告文案生成或搜索推荐场景中，可借鉴 SAE 做特征级可控生成：提取概念特征（如价格敏感、品牌偏好、促销意图），通过 causal steering 干预输出，实现更细粒度的生成控制。
- 自动化特征挖掘流程值得迁移：参考本 benchmark 中 agent 设计 contrastive probes 的方法，对候选语义特征进行激活排名、选择性测试和因果扰动验证，可减少推荐系统中人工审核特征重要度的成本。
- 评估体系可直接复用：使用激活排名、概念选择性和因果 steering 三个维度评估特征与目标概念的相关性，适合用于模型审计、特征归因以及内容安全检测。
- 注意 agent 在实验测量解释上存在明显错误，实际落地时需加入人工校验或强约束规则，避免因误读实验数据导致错误结论。
DataFlex-RL：RLVR 数据策略评估平台
🧭 RLVR 训练数据策略评测
Peking University · UCAS · Institute for Advanced Algorithms Research, Shanghai · Zhongguancun Academy
构建统一 GRPO 配方下评估 RLVR 数据策略的平台，发现选择/加权/自适应策略相比均匀采样无可复现提升
📌 工作参考价值（4 点）
- 在电商/推荐/Agent 场景中用 RLVR 训练生成式推荐、Query 推荐或文案生成时，均匀采样是强 baseline；引入任何 rollout 选择或加权策略前，先按统一超参多 seed 配对检验，避免无效复杂化。
- 评估指标集合对策略排名影响极大：仅用部分业务指标（如只看点击不看转化或多样性）可能导致排名负相关；需要领域平衡的综合指标，并在上线前检查指标选择是否稳健。
- 可复用 DataFlex-RL 开源平台作为内部 RLVR 数据策略 A/B 测试模板，快速验证新数据策略是否真的带来可复现提升。
- 自适应多域混合不优于固定等权混合，在多任务/多场景推荐中不要盲目上自适应采样权重的复杂设计，先确保数据质量和训练稳定性。
GUT：基于图复杂度量化与优化 LLM 推理不确定性
🧭 LLM 推理不确定性量化与优化
National Key Laboratory for Novel Software Technology, Nanjing University · School of Intelligent Science and Technology, Nanjing University
用有向无环图表征推理分支，以图复杂度量化推理不确定性并通过强化学习降低不确定性。
📌 工作参考价值（4 点）
- 在 Agent 多步规划或推理场景中，对同一输入采样多条推理链构建 DAG，用图复杂度（节点/边/分支比）作为不确定性分数，可触发重试、请求用户澄清或降低自动决策阈值。
- 将“负不确定性”作为奖励信号加入 RLHF/DPO 等优化流程，能训练模型生成更聚焦、更少发散的推理路径，适用于需要稳定输出的推荐解释、搜索 query 改写等场景。
- 图结构相比单链采样更能捕获分支覆盖，可作为在线评估指标，监控生成式推荐/Agent 的推理稳定性，及时发现漂移。
- 该方法属于通用推理层优化，不依赖具体业务数据，但落地时需重新定义领域图结构与复杂度度量。
结构化辩论混合多智能体框架用于复杂临床诊断决策支持
🧭 多智能体结构化辩论诊断
College of Computer Science, Sichuan University · West China Hospital, Sichuan University
提出DMoA结构化辩论混合多智能体框架，提升复杂诊断准确率与安全率超10个百分点
📌 工作参考价值（4 点）
- 结构化角色分工和辩论流程比单纯堆模型或拼接输出更有效，可用于电商搜索/推荐的 query 改写、商品推荐理由生成等场景，设计“生成-质疑-汇总”的 agent 链提升输出质量。
- 借鉴 4×2 的 MoA 结构：4 个提案 agent + 2 个评审/聚合 agent，在 token 预算允许时能稳定提升最终结果；业务落地时可先用小规模消融找到性价比最优的结构。
- 在最终输出前加入安全/合规评审 agent 进行辩论，可显著降低风险输出，适用于广告审核、违禁词过滤、客服应答等敏感场景。
- 提升并非来自更长输出或更多模型，说明结构化流程比增加推理长度更划算，Agent 系统设计应优先优化辩论/聚合逻辑而非盲目增加 token。
利用低层符号能力进行无监督扎根的幻觉检测
🧭 神经符号方法，SQL 落地检测幻觉
Heinrich Heine University Düsseldorf, Germany
让 LLM 用 SQL 构建参考文档数据库，以神经符号方式无监督检测生成响应中的幻觉，无需领域微调
📌 工作参考价值（4 点）
- 在电商/广告生成式推荐中，可将商品知识库、广告素材或用户评价等参考文档预先转换为 SQL 表，然后用 SQL 查询校验 LLM 生成的推荐理由、商品描述或客服回答是否忠于原文，低成本的线上幻觉检测无需标注数据。
- 利用 LLM 的低层符号能力（SQL/JSON 查询）作为 grounding 工具，比直接让 LLM 判断幻觉更可解释、稳定，且不依赖领域微调，适合快速迁移到不同商品类目。
- 神经符号 pipeline 可拆分为「文档→SQL 数据库构建」和「基于 SQL 的声明验证」两步，工程上可以并行或缓存数据库，适用于实时校验。
- 适合对事实一致性要求高的场景，如生成商品参数、价格、促销信息等，可避免编造属性导致的客诉或合规风险。
聊天机器人回复风格如何塑造课堂：学生咨询 AI 的多智能体模拟
🧭 多智能体仿真 · AI 依赖心理效应
Faculty of Informatics, Matsuyama University
用 20 学生代理仿真六种 AI 回复风格，发现解决方案导向风格低 AI 依赖并提升自主性，肯定与煽动风格增加依赖与压力
📌 工作参考价值（3 点）
- 多智能体仿真可迁移到用户与导购/推荐 Agent 长期交互评估：定义用户状态变量（如信任、自主性、AI 依赖），模拟不同回复策略在时间窗内的累积效应，尤其适合识别过度迎合带来的依赖风险。
- 双 LLM 评估模式实用：一个 LLM 按风格生成回复，另一个屏蔽风格提示、仅根据对话与状态历史输出参数更新，可作为低成本离线策略评估器，减少人工标注脚本。
- 结果提示：过度共情/肯定的回复风格（类似推荐解释中一味迎合点击偏好）会推高用户 AI 依赖；解决方案导向风格能平衡满意度与自主性。在电商导购 Agent 或智能客服中，可主动加入“提供解决步骤而非单纯安慰”的 prompt 设计。
PRICE：比特币价格预测中 LLM 适配选择的系统研究
🧭 LLM 时间序列预测 · 适配策略
Isfahan University of Technology
系统验证 LoRA、递归推理、整数表示、CTF 提示与零温度解码如何提升 LLM 比特币价格预测精度与稳健性
📌 工作参考价值（4 点）
- 低资源数值预测可直接复用：4-bit 量化 LLM + LoRA 在有限硬件上可重训，适合电商销量/GMV/出价等频繁更新的数值预测，不必上大参数全量微调。
- 连续值取整是一种简单有效的表示 trick：用整数代表价格、销量、金额等，可降低回归误差和 token 空间，业务上可先做分箱/取整再训练。
- 多步预测用递归推理而非一次性输出，配合 temperature=0 解码，能显著提升多步预测稳定性和误差；广告消耗、库存曲线预测可借鉴。
- CTF 提示固定 Context/Task/Format 结构优于 CoT/few-shot，且微调后仍有效；在构建 LLM 预测/排序任务 prompt 时优先设计统一结构，而不是依赖复杂推理提示。
生成式搜索的采样完整性：重复查询下品牌与引用域累积
🧭 LLM品牌推荐的采样完整性评估
Estonian Entrepreneurship University of Applied Sciences (EUAS) · Rankfor.AI
通过稀疏化与Chao2评估，发现无检索LLM品牌推荐持续新增，检索收敛品牌但引用域名不饱和
📌 工作参考价值（4 点）
- 在电商品牌监控、竞品分析或LLM选品/品类拓展中，不要依赖单次或少量运行；应做多次采样（5-10次以上），用开放抽取而非固定候选表，否则会误判覆盖度并漏掉长尾品牌。
- 为LLM增加检索（RAG）可显著收敛品牌推荐列表，适合需要稳定主流品牌的场景（如搜索结果页优先展示、品牌白名单），但须知道引用来源/域名仍会持续增长，合规审查仍需多次采样。
- 跨引擎聚合很关键：中位每个query涌现38个组织，约15个仅出现在单一引擎；构建品牌库、竞品库或黑名单时应跨平台/跨模型收集，单引擎覆盖不足。
- 用稀疏化曲线（rarefaction）和Chao2估计器可以量化“还有多少未观测到”，可作为生成式推荐系统评估指标，监控输出多样性是否被吃干。
原子化演化记忆驱动的智能体推荐系统
🧭 Agentic 推荐中的记忆演化与证据检索 ★ 深度解读
Xi'an Jiaotong-Liverpool University · Xiaohongshu · Peking University · East China Normal University · Beijing Jiaotong University
用结构化原子记忆与语义链接替代粗粒度摘要，实现可解释证据路径检索的 agentic 推荐
📌 工作参考价值（4 点）
- 将用户记忆拆成结构化原子单元（content/keywords/tags/context/embedding/links），而不是单一长摘要。电商场景可对用户兴趣建立粒度更细的原子标签（如品类+价格带+风格+最近意图），方便选择性更新和检索，避免新行为覆盖旧偏好。
- 用 LLM 对近邻记忆做语义关系建模（如偏好转移、互补、跨域迁移），构建可解释的协作链接，而不仅是 embedding 相似度。推荐召回或重排时，可沿链路检索多跳证据路径，提升排序可解释性和准确性。
- 记忆演化采用字段级更新，保留原始时间戳，用相似度阈值控制演化保守度（论文选 τ_evo=0.7）。此做法可异步离线执行，线上只做检索与重排，控制时延；对偏好漂移较大的用户增益更明显，适合电商中兴趣变化快的场景。
- 成本上，原子构建、链接、演化可缓存和批量处理，线上额外开销有限（每千次交互成本约 $2.95，略高于 MemRec 的 $2.65）。实际部署可用更轻量的模型做记忆代理，平衡成本与效果。
不要丢弃 Dropout：优化层稀疏性实现高效 LLM 训练与推理
🧭 LLM 层稀疏训练与推理加速
Cerebras Systems · MBZUAI
系统优化层丢弃的分布、调度与超参数，同等 FLOPs 降低损失，训练省 25% FLOPs，推理提速达 1.5 倍
📌 工作参考价值（4 点）
- 若团队在自研或微调大规模 Transformer 推荐模型 / 用户行为序列 LLM，可重新引入 layer dropout，按论文给出的非均匀层分布、渐进式线性衰减调度和优化器超参配置，在不增加训练 FLOPs 预算下获得更低验证损失，或节省约 25% 训练 FLOPs。
- 利用 layer dropout 训练得到的模型具有 elastic depth 能力，可直接做静态 early exit 或 intermediate layer skipping；在电商搜索推荐、Agent 场景中对 LLM 调用频繁的在线服务，可降低推理延迟并节省算力。
- 训练后的模型可配合 self-speculative decoding，将推理速度再提升至 1.5x 且精度损失可忽略，适合广告文案生成、查询理解、对话式推荐等对响应时间敏感的线上链路。
- 对于已有 transformer 模型，可尝试用 layer dropout 做轻量正则化，提升模型对后续剪枝 / 跳层推理的鲁棒性，为线上弹性部署提供基础。
ESPO：通过错误结构化诊断、多样化与稳定化优化提示
🧭 自动提示优化 · 错误结构化搜索
AWS Agentic AI
将提示优化分解为诊断错误模式、多样化候选、自举稳定性选择，平均准确率超 GEPA 3.76pp且提示缩短47%
📌 工作参考价值（4 点）
- 避免 prompt bloat：在自动迭代优化 prompt 时引入长度惩罚或硬约束，防止规则不断追加导致线上推理变慢、成本升高；短 prompt 在电商文案/推荐理由生成等高频场景可显著节省 token。
- 利用错误聚类替代逐轮反思：先对 bad case 做结构化聚类（如意图混淆、属性抽取错误、价格理解等），再针对每个 cluster 生成候选修复策略，比每轮追加零散规则更高效，适合推荐系统 query 改写和 Agent 指令调优。
- 候选生成需要互补策略与 bootstrap stability selection 结合：不要只追求多样性；用 bootstrap 重采样评估稳定性来筛选候选，可防止过拟合训练集，在 AB 测试中挑选更鲁棒的 prompt/策略。
- 跨模型迁移验证：ESPO 的优化结果在不同学生模型上均保持最佳平均准确率，说明在电商多模型路由或模型升级时，针对弱模型的 prompt 优化可以更稳定地迁移。
两阶段强化学习生成可靠对抗测试用例提升代码 LLM
🧭 代码 LLM 测试生成 · 对抗 RL
Nanyang Technological University, Singapore · Skywork AI
提出两阶段 RL 测试生成框架 TCS，先学可靠测试再对抗生成反例，提升代码生成 pass@1 与答案选择
📌 工作参考价值（4 点）
- 若业务任务具备可自动验证的 reward（如商品属性合法性、SQL 可执行、Promo 规则检查、点击/转化模拟器），可借鉴 TCS 两阶段生成器：Stage 1 贴近参考解/规则生成合法样本，Stage 2 针对线上模型常见失败模式生成反例，用于训练更鲁棒的排序/生成模型或筛选候选。
- 将测试生成器作为可学习的 critic：在电商 Agent 或推荐 query/文案生成中，训练一个判别器为候选输出打分，替代或辅助人工评审；用当前策略的失败样本构造滚动缓冲，持续挖掘 hard negatives，提升候选筛选的区分能力。
- 推理时选择：生成多个候选推荐理由/搜索 query/广告标题，用学到的检查器自动过滤不合格输出，降低低质量内容上线风险；类似无参考评估，适合在线管道。
- 注意领域差异：代码执行反馈明确且低成本，电商反馈（点击/转化）噪声大、延迟高，需用离线模拟器或业务规则先构造可信 reward，不宜直接照搬对抗 RL 的完全在线迭代。
LLM4AIGQ：面向多兴趣挖掘的AI引导查询生成框架
🧭 生成式query推荐 · 多兴趣LLM ★ 深度解读
Huazhong University of Science and Technology · Alibaba Group · Nankai University
用SFT-RL-DPO三阶段训练LLM，从多行为序列中分解多兴趣并生成高价值引导query，线上nearline生成+在线检索
📌 工作参考价值（4 点）
- 用教师模型（更大LLM）对历史行为序列做兴趣分割并生成引导query，再让小模型SFT学习单兴趣风格，避免直接多兴趣SFT导致的模式坍缩；可迁移到电商搜索词推荐、push文案生成等场景。
- RL多层级奖励设计：将think过程匹配、query长度与商业价值（judge模型S/A/B评级）、兴趣内语义与风格多样性、兴趣间内容多样性分开奖励，用GRPO优化；这种细粒度奖励拆解适合多目标生成式推荐任务。
- DPO蒸馏推理能力：用RL checkpoint的think输出作为正样本，非think输出作为负样本，并过滤语义相似度高的pair，实现非think模式下的推理能力迁移，大幅减少线上推理token，降低延迟。
- 工程部署：nearline生成+在线检索映射表，每N次交互触发LLM生成query写入表，在线直接检索；同时用LLM对item标题做短标题压缩，输入token减少26.8%，RT降低10.7%，值得在LLM serving中复用。
模型过度编辑：代码最小修改保真度研究
🧭 LLM 代码修复 · 编辑保真度
National University of Singapore
提出可度量的编辑保真度指标，发现LLM普遍过度编辑，保留指令与RL训练能有效减少不必要修改
📌 工作参考价值（4 点）
- 在推荐/广告系统中用 LLM 自动修改策略配置、特征代码、SQL 或推荐逻辑时，要求模型只做必要修改、保持原有结构，可显著降低 review 成本和意外行为风险。
- 设计自动修复/优化 Agent 时，把 '编辑距离' 或 'diff 大小' 作为质量指标，而不只看正确性（如单测通过/线上效果），防止 Agent 大面积重写导致难以审查和回滚。
- 后训练选择：如果业务要求对未见过的新错误/新场景保持最小改动和性能，RL 比 SFT 更稳健；SFT 容易过拟合训练中见过的损坏模式，域外泛化差。
- 评估框架可迁移：构造带已知最小补丁的合成损坏任务，用于系统性地度量 Agent 的编辑保真度，并纳入离线回归测试。
Occamy-1.0：面向协同工作的开源帕累托前沿35B智能模型
🧭 协同工作Agent模型后训练
Accio Team
开源35B协同工作模型，通过执行接地数据和分阶段后训练实现成本效率帕累托最优
📌 工作参考价值（4 点）
- 成本效率优先的模型选型：在业务中构建Agent时，可采用低参数MoE架构（如35B-A3B）替代超大模型，在保持工具调用、编码等能力的同时显著降低单次调用成本，适合电商场景中大量并发的商品信息查询、订单处理等任务。
- 执行接地数据构建：借鉴其采集真实执行轨迹并重放的方法，在电商Agent训练中记录用户与Agent的完整交互序列（包括工具调用、状态变更、错误恢复），作为后训练数据，可提升模型在长流程任务中的状态跟踪与协调能力。
- 分阶段后训练：将能力拆分为信息收集、工具使用、编码、文件操作等模块，分阶段注入训练数据，逐步巩固，避免灾难性遗忘，适合在现有基座模型上迭代增强特定Agent技能。
- 全流程成本评估：在评估Agent模型时，除accuracy外，应统计整个episode的累计token成本与延迟，绘制成本-性能帕累托曲线，选择位于低拐点的模型部署，而非仅看单点benchmark分数。
通过训练将自然语言规范编译为本地神经函数
🧭 自然语言规范编译为本地神经函数
University of Waterloo · Harvard University
通过教师模型生成示例并训练小适配器，将自然语言规范编译为可本地运行、可组合的神经函数
📌 工作参考价值（4 点）
- 在搜索/推荐/广告的高频文本规则场景（如 query 意图分诊、广告文案合规、商品标题清洗），可把 LLM 编译成轻量本地函数，替代每次远程调用；尤其适合高 QPS 或低延迟要求的在线链路，能显著降低 token 成本和尾延迟。
- 将自然语言规则视为可编译的"源"，用教师模型生成标注样本并训练小 adapter，使规则以模型权重形式版本化、可组合、可回滚；这比直接维护 prompt 或外部 LLM 调用更可控，也便于嵌入 ML pipeline 和 Agent 工具链。
- 编译时间约 1 分钟，准确率 83.6% 且语义匹配容错，适合作为模糊规则引擎的中间层；对关键业务可结合规则兜底或人工校验边界，避免在硬约束场景直接依赖。
- 该思路可推广到电商 Agent：把多个子任务自然语言描述分别编译成小函数，供 Agent 按需调用，减少对单一远程大模型的依赖，提升响应稳定性和可审计性。
先澄清再优化：动态预建模澄清的交互式优化框架
🧭 LLM Agent 交互式优化澄清
Cardinal Operations · Shanghai Jiao Tong University
提出OR-Clarify基准与InterOPT两阶段框架，在优化建模前主动识别缺失槽位并决定追问或停止
📌 工作参考价值（4 点）
- 在营销/广告预算分配、促销优化等业务自动化中，将需求澄清抽象为“槽位恢复”：预定义目标函数、约束、业务规则等关键槽位，用多选或填空式追问替代开放问答，可显著降低交互成本并减少错误建模。
- 借鉴 InterOPT 的两阶段设计：先识别 formulation-critical 未解决槽位，再依据槽位覆盖度/信息增益决定继续追问还是停止，避免过度打扰用户；可嵌入电商广告计划 Agent 的需求确认环节。
- 用“silent assumptions”指标兜底：跟踪模型未经用户确认就默认的关键假设，在生成广告投放模型或 SQL 前强制校验，防止预算、排期等约束被静默填错。
- 对交互式推荐/搜索澄清场景：当用户 query 或目标模糊时，可以基于预定义维度（价格带、类目、目标 KPI）生成候选澄清项，而不是直接生成推荐或优化方案，提升准确率。
对话生成制品修订传播的低成本测试时计算探索
🧭 LLM 评估 · 修订传播与测试时计算
NTT, Inc.
提出对话生成制品的修订传播基准，评估九种测试时计算方法，三路并行采样+选择最具性价比
📌 工作参考价值（3 点）
- 在对话式商品推荐或营销文案生成中，用户只给出局部修改请求（如更换目标人群）时，容易造成预算、卖点、行程等字段不一致；可以把该工作的方法迁移进来：在修订 prompt 中显式让模型列出所有受影响字段或依赖关系，并做一次自检，确保局部改动被传播到所有相关部分。
- 测试时多采样+选择是低成本的准确率提升手段：生成 3 个候选修订，用 LLM-as-judge 或 medoid 选择最优，比单次生成或长链反思更划算，适合线上低延迟、低预算的 LLM 修订任务。
- 可以建立小规模“修订传播”评测集，模拟用户局部修改请求，检查模型是否同步更新关联字段，作为对话式推荐助手或内容生成引擎的离线回归评估。
MaxKernel：面向 TPU 的智能体内核生成系统
🧭 多智能体 TPU 内核生成
Google · Google DeepMind
MaxKernel 多智能体系统利用 LLM 与实时编译反馈，在 TPU 上自动生成并优化高性能内核，匹配专家手写调优基线
📌 工作参考价值（4 点）
- 多智能体专业化分工可迁移到推荐 Agent 工作流：将规划、实现、自调试、测试、profiling 拆成独立子智能体，共享同一套工具和上下文；在搜索推荐场景中，可类似拆分 query 理解、召回策略、排序模型评估、A/B 实验分析等角色，降低单 Agent 复杂任务失败率。
- 实时反馈闭环驱动自主优化：MaxKernel 利用编译错误、性能指标、硬件 trace 作为环境反馈，让 Agent 自动迭代；这对应推荐系统中的在线指标、实验报告、bad case 分析等反馈回路，可用作 Agent 自动调参、自动特征工程或 prompt 优化。
- 按任务复杂度切换三种协作模式：HITL 适合高风险策略调整，Auto 适合批量优化，Graph-Based Search 用于全局探索设计空间；推荐/广告业务中，低风险自动优化、高风险人工审核的组合策略可直接借鉴。
- 对纯推荐业务直接价值有限：核心是底层 kernel 生成，业务可借鉴点主要在 Agent 架构与反馈闭环方法论，而非推荐算法本身。
SPAR：通过真实世界空间感知增强工业级生成式 POI 推荐
🧭 生成式推荐 · 地理空间感知 ★ 深度解读
AMAP, Alibaba Group · The Chinese University of Hong Kong, Shenzhen
用空间内禀 SID、多粒度地理继续预训练和任务向量锚定 SFT，将真实城市空间知识注入生成式 POI 推荐
📌 工作参考价值（4 点）
- 有强地理属性的业务（到店、O2O、本地生活）不要把经纬度只当文本字段；用正弦/NeRF 式坐标编码与语义向量拼接后再 RQ-Kmeans，让 SID 的 L0 层自然按地理分区，能同时改善距离约束和冷启动。
- 多阶段 LLM 微调时，用“任务向量”保护特定能力：把领域知识 CPT 后的参数差 τ=W_MG-CPT−W_base 冻结，SFT 期间只加 LoRA 做轻量适配，可避免大规模行为数据覆盖已学知识。
- 构造多粒度结构化语料做 CPT：基础属性、两两关系（距离/方向/周边）、系统级可达性（导航/路网），比只用 item 文本更能让 LLM 内化真实场景约束，适合搜索/推荐中的上下文知识注入。
- 离线评估别只看 Hit/NDCG，加上“推荐结果到用户实时位置的距离/可达性”和冷启动分层，能暴露模型是否真正学到空间或场景约束；模块增量贡献分解也有助于定位优化优先级。
随机注意力：重新思考 KV 缓存淘汰以实现高效推理
🧭 LLM 推理效率 · KV 缓存随机淘汰
Salesforce AI Research · University of Illinois Urbana-Champaign
提出 Random Attention，保留 prompt 并在各注意力头内随机淘汰 KV 缓存，匹配最强选择器同时吞吐提升 32-43%
📌 工作参考价值（4 点）
- 在部署长上下文 LLM 服务（如电商 Agent 的多轮对话或长链推理）时，可将 KV cache 淘汰策略简化为“保留 prompt + 每头随机淘汰”，省去 token 重要性打分，降低额外计算和延迟，实现 32-43% 的推理吞吐提升。
- 显式保护 prompt 是稳定性的关键：随机淘汰由于天然保留 prompt 而表现出与复杂选择器相当的性能，提示我们在设计缓存管理策略时应优先确保 prompt 完整，而非依赖复杂重要性估计。
- 推理轨迹在文本和注意力头两个层面存在冗余，因此随机抽样足以保留必要信息，这对长 CoT 生成场景尤其有借鉴：可放宽对精确 token 选择的假设，采用更轻量的随机策略。
- 可作为强 baseline：在电商搜索推荐系统的 LLM 模块中，如果采用 KV 压缩，先测试随机淘汰，它实现简单、无需训练或计算分数，且能匹配最优方法。
UE5M3 FP4 块缩放实现稳定语言模型预训练
🧭 FP4 低精度预训练 · E5M3 block scaling
Graphcore Research
用 E5M3 块缩放替代 RHT 与 BF16 末层豁免，更简单的 FP4 预训练配方，8B 模型 190B tokens 表现优于 NVFP4
📌 工作参考价值（4 点）
- 若团队有自研 LLM 或大规模召回/广告模型持续预训练，可尝试 UE5M3 block scale 代替 RHT：用更宽标度范围减少额外矩阵变换，简化 FP4 训练管线。
- 选择性 stochastic rounding 只作用于 backward gradients，可作为低比特训练/微调 trick 保留优化信号，适合资源受限的广告/内容模型训练。
- 移除 BF16 末层豁免，所有 eligible internal linears 用 FP4，实测吞吐 +21.2%；在做 FP4/NVFP4 推理或训练部署时可以直接复现这个算子策略。
- 若在实时推荐/Agent 中需要 FP4 量化 LLM serving，考虑软件模拟 UE5M3 块缩放，可能降低 pre-processing 延迟并提升 quantized-inference 精度。
从重加权到重写：解锁训练数据归因中高影响样本的干预效应
🧭 训练数据归因 · 影响力函数干预
Peking University · YiXin-AI Lab · Beijing Academy of Artificial Intelligence
影响力函数选中的样本在重加权下干预有限，但对其响应进行重写可实现更强、持久且双向的行为改变
📌 工作参考价值（4 点）
- 在 LLM 微调治理中，若需修正拒答/过度生成、安全合规、商品属性表达等行为，用影响力函数（IF）选出的少量高杠杆样本，直接重写其 response（而非 instruction），比调整样本权重或随机改样本更有效且效果更持久、双向可控。
- 可把 IF 作为数据清洗/标注预算分配工具：优先重标注 IF 分数高的训练样本，用行为对齐/对抗的监督信号做定向改写，能通过极小样本集实现行为翻转，避免大量重训。
- 重加权在评估 TDA 时会低估样本干预价值，实际落地评估归因方法时应区分“局部重加权效应”与“重写干预杠杆”，不要仅用 weight-based 干预去验证归因质量。
- 针对电商/搜索场景的 LLM 应用（如商品问答、广告文案、政策拒答），可构建行为探针（如 epistemic abstention、safety refusal），用 IF 定位问题样本并重写响应来快速修复 badcase。
Debias-SparseGPT：大语言模型的偏置感知剪枝
🧭 LLM 压缩与公平性 · 偏置感知剪枝
Laboratoire Hubert Curien, UMR CNRS 5516 · Université Claude Bernard Lyon 1 · Université Lumière Lyon 2, ERIC · École Centrale de Lyon, LIRIS, CNRS UMR 5205
在 SparseGPT 剪枝中引入基于对比输入的二阶去偏正则项，显著降低剪枝引起的偏置放大，同时保持模型质量
📌 工作参考价值（3 点）
- 在电商/推荐场景部署压缩后 LLM（如生成商品文案、用户评论回复）时，SparseGPT 等剪枝可能放大对特定用户群体（性别、年龄 persona）的偏见。可借鉴 Debias-SparseGPT 的思路：在剪枝校准阶段加入对比敏感属性的输入对，并加入二阶正则项，在几乎不损失困惑度/准确率的情况下降低公平性风险。
- 校准集的选择直接影响剪枝后模型质量：在强结构化剪枝（如 2:4）下，应优先选择长上下文、内容丰富的样本，而非随机短样本。提示我们在为推荐场景 LM 做压缩时，校准数据应覆盖业务中典型的长尾、复杂情境，以提高泛化和公平性。
- 若业务中需用压缩后 LLM 做个性化推荐或广告文案生成，可在离线评估时加入 fairness 指标（如不同性别/年龄群体输出差异），并将 Debias-SparseGPT 作为模型压缩 pipeline 的一部分，避免上线后因 persona 提示产生明显偏好。
EM^2Mem：面向大语言模型的事件中心多模态记忆
🧭 多模态 RAG · 事件索引
Zhejiang University · South China University of Technology · Lenovo Group Limited
以事件为中心组织多模态记忆，将异构证据绑定到事件锚点，提升长视频 QA 精度并大幅降低推理成本
📌 工作参考价值（3 点）
- 直播/商品视频问答：按业务事件（商品讲解、优惠发放、试用对比）建立事件索引，把对应帧、ASR、OCR、商品卡片绑定到事件 cell；检索时直接返回完整事件单元，避免 agent 在推理时拼接零散多模态片段，降低延迟与 token 开销（论文减少 63.66% tokens、4.67× 延迟）。
- 召回/证据评测：引入 strict event-level Top-K evidence recall，评估检索结果是否覆盖关键事件而非只看最终答案准确率，可用于商品知识库、直播切片或广告素材检索的离线评测。
- 用户行为记忆：将 session 内行为序列按事件（搜索、点击、加购、下单）聚合为 memory cell，绑定跨通道特征、时间与商品关系，为 LLM 推荐/导购 Agent 提供紧凑、可溯源的上下文，减少推理时的对齐成本。
KGVoyager：基于 Agent 导航的知识图谱无关问答
🧭 Agent 自主导航知识图谱问答
University of Texas at Arlington
一种知识图谱无关的 Agentic 架构，仅用查询端点和轻量类索引即可动态发现图谱结构并生成 SPARQL，F1 提升约 8 点
📌 工作参考价值（4 点）
- 在电商商品知识图谱问答或智能导购中，可以用“轻量类索引 + 动态探索”替代完整 ontology 硬编码：仅维护类目/一级类索引，让 Agent 在查询端点实时发现属性与关系，适应类目和属性的频繁变更。
- 采用 think-act-observe 循环，将 NL→SPARQL 拆成搜索（term→IRI 映射）、探索（发现 schema）和执行反馈（根据空结果/错误修正），比一次性生成更鲁棒，适合线上自然语言到结构化过滤条件的生成。
- 执行反馈作为信号：让 Agent 根据结果异常自动调整约束，减少人工维护规则；该思路可迁移到推荐系统的标签/属性过滤或动态 query 理解模块。
- 工程上只要求 SPARQL endpoint 可查询，不依赖昂贵的 text-SPARQL 标注对，适合快速冷启动新领域或新类目；轻量类索引也减少 prompt 长度，直接降低 LLM 成本与延迟。
面向对话推荐系统的双节点蒙特卡洛树搜索结构化上下文建模
🧭 对话推荐 · 结构化状态 + MCTS ★ 深度解读
College of Computer Science, Sichuan University · Institute of Data Science, National University of Singapore · School of Computing and Information Systems, Singapore Management University · Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China
提出 DREAMS，用双节点 MCTS 在结构化偏好状态上联合优化偏好引导与利用，平均成功率提升约 7.4%
📌 工作参考价值（4 点）
- 用显式结构化偏好状态（JSON key-value）替代直接用对话历史做 embedding 或 prompt，把隐含负面偏好（如“不喜欢 Spike Lee 风格”）解析成可消费的约束，并跨轮累计。电商导购/客服可维护用户属性状态（不喜欢品牌/材质/价格段），避免重复推荐已否定属性。
- 将“何时问/何时推”建模为 MCTS 搜索，节点保存结构化状态而非自由文本，用 LLM 先验 + UCT 选择动作，可减少粗粒度动作错误和无效追问。电商导购机器人可借鉴树搜索模拟用户反馈，决策澄清问题或直接推荐。
- 偏好利用侧做 query refinement：从累积状态生成多个候选查询（删冗余、转成机器可读约束），逐个检索并用属性匹配打分，选最优查询，而不是用整个对话历史编码。可迁移到电商搜索的 query 改写/意图澄清：先结构化成约束，再生成检索请求。
- 工程上，MCTS 延迟可用经验库（EKB）缓存成功/失败轨迹，检索相似案例 warm-start，减少在线搜索，论文中延迟降到 9s 且性能仍可接受（R@1=0.467）。适合低延迟电商场景。
Repo-To-Skill：从 GitHub 仓库蒸馏 AI4AI 技能
🧭 Agent 技能蒸馏与知识复用
Beijing Academy of Artificial Intelligence · University of Science and Technology of China · Renmin University of China · Hong Kong Polytechnic University
提出 DisCo 与 AREX-Skill 库，将 GitHub 仓库蒸馏为可复用技能，显著提升研究 Agent 表现
📌 工作参考价值（4 点）
- 把推荐/搜索团队常用 ML 仓库、内部训练/推理框架、特征工程、评估脚本等拆成 compact, verified skill 卡（方法族/代码用法/验证检查），挂到 rec-agent 的库中，避免每次任务重读长 repo 或浪费 trial。
- 借鉴 task-agnostic + task-oriented 双轨蒸馏：先离线从 1k 个仓库沉淀通用技能，再按具体推荐/搜索任务（如“多目标精排调参”）定向蒸馏小技能；可显著降低 agent 上下文长度和对长 repo 的依赖。
- 技能组织成 capability families（类似 taxonomy）后，可用检索式挂载，只把 relevant skills 注入 prompt，而不是把整个 repo 塞进 KV cache；这个模式对商品推荐、Query 改写、广告文案生成的 LLM/Agent 工具调用同样适用。
- 验证/评估：每个 skill 需通过可执行测试才入库，保证“知道方法”与“能跑通”结合；在业务 agent 平台里建议引入同样的 skill 验证环节，减少错误工具调用和不可复现实验。
VibeVoice-ASR-Streaming：LLM 流式说话人归因语音识别
🧭 LLM 流式说话人归因 ASR
Microsoft Research · University of Chinese Academy of Sciences · Shanghai Jiao Tong University
首个 LLM 端到端流式说话人归因 ASR 之一，交错音频块与少量前瞻音频实现低延迟“谁说了什么”输出
📌 工作参考价值（4 点）
- 面向实时语音 Agent/客服：统一 LLM 直接生成“说话人+转写”，省去独立说话人日志模块，降低级联错误与延迟；输入设计可参考 fixed-size audio chunks + 少量 lookahead audio + previous text 的拼接策略，在语音点单、售后沟通等场景实现流式结构化记录。
- 自托管替代商业 API：在电商/广告会议转录等数据敏感场景，7B/1.5B 开源模型在五个评测集 WER/CER 上平均最低，且 speaker attribution 在 12/13 设置最优或并列，可作为内部服务，避免数据外传并控制成本。
- 工程架构上，用少量前瞻音频而非整句缓存，能显著降低流式延迟；在 Agent 中可类似设计“当前 chunk + 短 lookahead + 上一轮文本”的上下文，减少重复识别和说话人切换丢失。
- 中文电商场景需注意：论文里的中文会议集 AISHELL-4、AliMeeting 上 CER 仍较高（约 30-50%），落地前应基于国内电商/客服语音数据做领域微调，尤其提升中文说话人归因和电商术语识别。
协同进化生成式检索：查询与物品双侧关键词空间的强化学习联合优化
🧭 生成式检索 · 双侧关键词协同进化 RL ★ 深度解读
University of North Carolina at Chapel Hill · Apple
用双侧 LLM 生成关键词并直接做倒排索引匹配，通过 SFT 对齐与交替 GRPO 协同进化，F1 最高提升 36.1%
📌 工作参考价值（4 点）
- 可直接落在电商/广告关键词召回系统：用两个 LLM 分别生成 item 侧搜索词和 query 侧扩展词，再通过倒排索引匹配，天然兼容广告主 keyword bidding 和现有 keyword-based 基础设施，比只优化 query 侧更贴近业务可控性。
- SFT 对齐初始化便宜且有效：先用 base LLM 离线为每个 item 生成关键词，再按相关 item 的关键词池聚合出 query 目标关键词；这样能避免 RL 冷启动，也适合用行为/成交 labels 构造对齐数据。
- item 侧用 counterfactual marginal reward 优化全局 F1 很实用：工程上通过缓存参考索引和只计算受影响 query 集合，避免每次 rollout 重建全量索引；在业务中可以把 F1 换成加权 F-measure，按 precision/recall 优先级调节，例如更严地惩罚无关广告。
- 给 query 生成器加搜索结果或在线提示，能明显提升效果：Internal 数据集上 +Search Results 将 F1 从 0.3963 提升到 0.4379，适合解决拼写错误、非英文、实体型 query；在 Agent 搜索/推荐场景中，可把已有检索结果作为 context 注入生成器。
超越极化：逐点重排序中思维链的生成式约束
🧭 CoT 推理在逐点重排序中的生成式瓶颈
University of Chinese Academy of Sciences · Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · Tencent
实证表明 CoT 在逐点重排序中的性能差距跨尺度稳定且训练干预难以消除，根因是离散文本生成限制连续相关性信号
📌 工作参考价值（4 点）
- 在电商搜索/推荐排序中，若用 LLM 做 pointwise 打分（query-item 相关性），应优先选择直接输出数值的评分头，避免让模型先输出 CoT 再打分；CoT 的离散 token 生成会降低排序信号分辨率，导致分数极化和校准偏差。
- 论文证明即使通过 RL、细粒度监督、结构解耦等干预，相对排序 gap 依然存在，说明该瓶颈是范式层面的，不是数据或模型容量问题；业务中不要期望通过调优 CoT 模型达到与直接打分模型相同的排序性能，更务实的方案是改用 listwise/pairwise 方法，或将 CoT 用于 query 理解、解释生成等非排序环节。
- 如果需要可解释推荐理由，建议两阶段：先用直接打分模型完成排序，再用独立的解释生成模型基于已排序结果生成理由，避免 CoT 介入排序决策。
- 设计生成式排序模型时，应尽量避免强制文本推理，可考虑连续表示或隐式推理机制，以减少信息损失。
超越排序准确率：评估 LLM 在复购推荐中引用的特征理由
🧭 可解释推荐 · LLM 特征理由评估 ★ 深度解读
Walmart Global Tech
提出跨模型特征掩码协议，证明 LLM 不适合作复购排序器但可作经验证的推荐解释层
📌 工作参考价值（4 点）
- 生产复购推荐不建议用 LLM 直接打分排序；保留 XGBoost/VNN 等监督排序，LLM 只做解释层。若要尝试，先在小样本验证 LLM 分数是否超过 personal-frequency 等轻量 baseline，不要期望超越监督模型。
- 复购场景解释应引用结构化行为特征（cadence/frequency/recency/user context/item popularity），并约束 LLM 输出 exact feature names；这能把解释绑定到特征，方便 audit 和后续特征消融。
- 用“跨模型特征掩码”评估解释特征质量：对 LLM 引用 top-3 特征做训练集中位数替换，在目标模型上看 Precision/Recall/NDCG 下降；比只看排序分更接近 outcome-grounded，可以与 TreeSHAP/IG 对比，但需注意数据集差异。
- 证据卡建议加 percentile 视图（同用户内/全局 item 分布）帮助 LLM 判断相对强度；文本解释需单独做 groundedness check（group precision/numeric consistency），防止流畅但不可靠的解释。
HF-SID：面向位置服务生成式检索的高保真语义 ID
🧭 生成式推荐 · Semantic ID ★ 深度解读
AMAP, Alibaba Group · University of Science and Technology of China · Tsinghua University
通过 3D 坐标编码、数值专用编码器与末层结构对比学习，在不增加 SID 长度下大幅提升 LBS 生成式检索的地理与业务指标
📌 工作参考价值（4 点）
- 生成式推荐里别只调 RQ-VAE/codebook：item 表示在量化前若丢失连续数值、层级、地理等信息，量化后无法弥补。优先审视 embedding 是否保住了关键属性。
- 对价格/评分/销量等异构数值，可以用单个 [NUM] token + 数值编码器 + Type Embedding，避免数字被 BPE 切碎、跨属性尺度混淆；这个 trick 可迁移到电商生成式召回。
- 结构对比学习只作用在最后一层残差，能分离同一粗类下的细分类目/共址 item，且不破坏前两层地理/语义前缀；对「同一商圈/同一店铺下的不同商品」场景有直接参考。
- 线上 A/B 显示保真度主要提升 CVR 而非 CTR，说明 SID 影响的是候选资格/品类准确性而非曝光点击；评估生成式检索应更看重转化类指标。
LatentPress：超越文本与视觉的上下文压缩
🧭 LLM 上下文压缩 · 连续 soft tokens
Cornell University · Iowa State University
将对话历史与长文档压缩为连续 memory tokens，直接输入冻结解码器，无需文本重建，4-16倍压缩且性能优于文本摘要与OCR压缩
📌 工作参考价值（4 点）
- 可借鉴的架构：用一个小 writer 将长对话历史、行为序列、工具调用记录压缩成 continuous memory tokens，作为 frozen LLM 的输入 embedding 直接读取，省去文本重建和检索排序，适合电商对话助手/Agent 的记忆模块。
- 训练成本极低：只训练 4.2M-26.2M 参数的 adapter（约 decoder 0.1%），frozen decoder，可快速迭代，适合业务场景频繁更新。
- 压缩比选择：4-8 倍压缩在 QA 上可匹配或超过 raw context，16 倍明显退化；在线 Agent 历史压缩建议先用 4-8 倍，在时延与精度间取平衡。
- 写入耗时 43ms/对话，读取快 5-9 倍，比文本摘要或 OCR 重建快一个数量级，能满足在线低延迟要求；零样本跨域迁移表现说明 soft tokens 有潜力作为通用行为表征。
StudentSim：训练基于 LLM 的学生模拟器
🧭 LLM 学生模拟与策略 RL
Microsoft Research · University of Illinois Urbana-Champaign
用两阶段训练构建个性化学生模拟器，同时提升行为保真与引导响应，并可作为 tutor RL 奖励
📌 工作参考价值（4 点）
- 构建用户行为模拟器用于推荐/广告/Agent 的离线评估或 RL 时，可采用“全局 pooling 训练 + 按用户 specialization”两阶段路线；尤其适合真实业务中大量稀疏 user-item 行为，既能共享跨用户模式，又能捕获个体偏好。
- 评估模拟器应同时区分“行为保真度”和“策略响应度”：前者衡量像不像真实用户，后者衡量在推荐策略/引导变化下是否合理更新；两者不可偏废，否则会出现只像但不对策略变化反应的“静态画像”模拟器。
- 将高保真用户模拟器作为 reward model 做策略 RL，可用来训练排序/对话式推荐策略；但需要先用 F/R 协议监控模拟器质量，避免 reward hacking。
- 如果只有少量真实用户交互，可借鉴 StudentSimEval 的标准化评测协议，固定训练/评测记录，做可复现的用户模拟器 benchmark。
StudyBench：自进化能否将教科书转化为奥赛能力？
🧭 自进化能力评测基准
Tsinghua University · Zhejiang University
提出受控物理基准 StudyBench，量化自进化从教科书到奥赛能力的吸收与迁移效率，并揭示 Guidance Gap 与 Compute Plateau
📌 工作参考价值（4 点）
- 在自研 Agent/LLM 持续学习或微调项目中，引入「吸收集/迁移集」双层评测，区分同分布刷分与跨分布可迁移能力，避免被 Application Set 式指标误导。
- 当新知识或业务文档以 in-context 形式输入时模型表现明显优于微调后，说明存在 Guidance Gap；此时优先考虑 RAG/上下文增强，而不是急于微调。
- 监控 Compute Plateau：在数据或算力预算远未耗尽时指标已饱和，需要回头审视训练方法、知识表示或合成数据策略，而不是盲目增加数据或训练步数。
- 在搜索/推荐中的 LLM 任务（query 改写、文案生成等）引入持续业务知识时，用受控基准隔离数据、算力、方法因素，能更准确判断迭代方向。
用记忆替代训练：Text-to-SQL 的列表式选择
🧭 LLM 候选选择免微调 · Memory 检索
IPAI, Seoul National University · KAIST
免微调列表式选择器，用结构化记忆作为决策标准并多排列聚合缓解位置偏差，BIRD-dev 准确率提升 2.02 且 tokens 减 2.92x
📌 工作参考价值（3 点）
- 可借鉴其 structured memory bank：把自然语言到业务实体/操作/期望输出的映射事先蒸馏成可检索片段，作为候选排序的显式标准，避免对选择器微调；在电商 query 改写、广告文案候选选择中可构建 query→商品属性/类目意图/文案风格的 memory，推理时检索作为评分依据。
- 借鉴 多排列聚合 + 执行结果/pointwise 预筛 的推理成本优化：先用轻量打分或可执行性检查过滤多数候选，只对 top-k 做多顺序的 listwise 比较，再聚合排名，能降低 LLM 调用 tokens 和位置偏差。
- 位置偏差缓解可以做成推理时策略而非训练策略，兼容已有 LLM；在搜索推荐 Agent 的多个工具/候选结果重排序环节，可直接插入多排列投票逻辑，无需额外训练。
归一化低秩适配
🧭 训练优化 · LoRA 归一化
Yuanshi Intelligence · Microsoft Research · The Chinese University of Hong Kong · Shenzhen Loop Area Institute
NoRA 通过归一化 LoRA 下投影矩阵改善训练动态，无需额外参数或推理开销，加速收敛并缓解遗忘
📌 工作参考价值（4 点）
- 在电商/广告场景用 LoRA 微调 LLM 做排序、召回或 query 改写时，可直接采用 NoRA 或仅初始归一化版本，几乎零成本提升训练稳定性和收敛速度，不增加推理延迟。
- 对 RL 微调或持续预训练中的灾难性遗忘问题，归一化下投影矩阵可作为轻量正则手段，适合多任务/多领域顺序微调的推荐 Agent 底座模型。
- 若使用 LoRA 微调生成式推荐模型或 Semantic ID 解码器，可尝试对下投影矩阵做初始化缩放或范数约束，改善低秩子空间的早期优化，进而影响 ID 嵌入质量。
- 工程实现上只需在 LoRA 插入点对 A 矩阵加一行归一化或初始化缩放，改动极小，适合快速在现有 PEFT 管线中 A/B 验证。
RealSWE：真实用户请求下的编码智能体组合评估
🧭 Agent 评估与提示信息组合优化
Sungkyunkwan University
构建多变量基准RealSWE，发现真实请求使LLM编码性能平均下降6.4pp，且明确期望行为与动机可显著提升表现
📌 工作参考价值（4 点）
- 在电商/搜索/推荐的对话式 Agent 或购物助手中，用户输入通常短且非正式，应通过追问或模板引导用户明确“期望行为”和“动机”，而不是补充环境信息或复现步骤；这些高信息密度字段能显著提升任务解决率。
- 设计 Agent 评估集时，可借鉴 RealSWE 的多变量任务家族思路：同一任务只改变信息构成和语言风格，能更稳健地测量模型对真实用户输入的适应性，避免仅用结构化基准数据高估能力。
- 对 prompt 工程中的上下文模块做消融测试：若某些模块（如环境信息、复现步骤）只增加 token 和延迟而无实际收益，应将其裁剪或折叠为可折叠摘要，降低推理成本。
- 训练或微调面向真实用户的 Agent 时，可加入非正式、缺失关键信息的样本，增强模型从简短输入推断意图和补全需求的能力。
使用扎根理论对智能体行为进行大规模分析
🧭 多智能体扎根理论轨迹分析
Purdue University · Stevens Institute of Technology · Cornell University · University of Texas at El Paso · Johns Hopkins University
提出 AutoTraceGT，首个用多智能体流水线自动执行扎根理论分析智能体轨迹，生成行为分类法
📌 工作参考价值（4 点）
- 对电商搜索/推荐中的 Agent 轨迹（如购物助手、推荐对话、自动选品 agent）可部署 AutoTraceGT 自动生成失败/成功行为分类法，替代依赖人工标注 taxonomy 的冷启动。
- 借助扎根理论的饱和准则，用迭代编码自动判断何时停止标注，降低大规模轨迹审计成本，同时保留从数据到结论的可审计链路，便于业务复盘。
- 生成的 codebook 可作为下游失败预测的特征空间，显式提供可解释的行为维度；在缺少高质量标注时，其效果优于直接对原始轨迹做 zero-shot/few-shot LLM 判断。
- 该流水线能发现人工分类法遗漏的行为模式，适合探索推荐 agent 中长尾失败模式或新出现的异常行为，尤其是多步决策中的局部合理但全局失败链条。
影响力导向蒸馏：解决采样令牌在线蒸馏中的多样性瓶颈
🧭 On-policy 蒸馏多样性保持
BiliBili.Inc · University of North Carolina at Chapel Hill · University of Science and Technology of China · Shanghai University of Finance and Economics
提出 IDA-OPD，用一阶局部熵影响力识别并替换熵收缩更新，仅靠采样令牌教师概率提升 pass@k 并保持 pass@1
📌 工作参考价值（4 点）
- 在蒸馏小模型做生成任务时（如 query 推荐、商品描述、广告文案），不要只盯 pass@1；引入 pass@k 监控多样性继承，避免蒸馏后输出同质化。
- 可以低成本复用 IDA-OPD 思想：用教师仅对采样 token 的 log-prob 做更新，通过一阶局部熵影响力判断更新是否压缩熵，对熵收缩更新做自适应优势收缩，无需全词表教师 logits，适合线上资源受限的生成推荐场景。
- 若已有 on-policy 蒸馏流程，先用该影响力代理做离线诊断，定位哪些训练 step 导致多样性下降，再有针对性调整更新或数据混合，比盲目增加正则更高效。
- 在生成式推荐中，若要继承教师模型生成多样性（如多样商品标题、搜索联想词），可借鉴本文用符号一阶代理解耦教师-学生差距与学生局部概率结构的方法，快速识别负影响力位置。
大语言模型中语言置信度与内部置信度的分歧
🧭 LLM 置信度评估与校准
Dartmouth College · Oakland University
系统评估 30 个 LLM 的语言置信度与内部置信度在分类/生成任务上的关联、量级和校准分歧
📌 工作参考价值（4 点）
- 在电商/Agent 流程中若使用 LLM 自报置信度做拒答、路由或加权，不要默认其与内部概率一致；先做多轴诊断：实例级 Spearman/关联、平均置信度差异、ECE/校准曲线。尤其指令调优模型可能高报置信度且校准更差。
- 如果只能拿到语言置信度，优先用“分数示例”prompt 且避免置信度值塌缩（如全 5 分或全高），这样能保留一定 rank-order 信息用于排序/过滤；纯态度引导（“请更谨慎”）只会抬高/降低数值，不改善与真实质量的 alignment。
- 在生成式推荐或文案生成场景，可以用 semantic entropy 或多次采样一致性作为内部不确定性替代语言置信度；若不能用 logits，可让模型输出 1-5 分而非自然语言模糊词，并做分布检查。
- 工程上按 task difficulty/基座能力分层：简单样本或强 base 模型的置信度更有参考价值；复杂长尾商品/query 不要依赖语言置信度做硬过滤。
混沌中的阶梯：测试时扩展何时、如何及为何提升 LLM 机器翻译
🧭 LLM 测试时扩展 · 机器翻译
University of Amsterdam · Vrije Universiteit Amsterdam
系统比较顺序与并行采样在 LLM 机器翻译中的表现，揭示顺序采样在小预算下上限更高并解释其机制
📌 工作参考价值（4 点）
- 在 LLM 生成推荐理由、广告文案、push 文案等短文本任务中，可优先用顺序自精炼（把前一轮输出拼到上下文）而非仅做 i.i.d. 采样+重排；小预算下可用更少采样得到更高上限和更好的自然度。
- 注意顺序扩展不是无代价：推理预算很大时会损害准确性/忠实度，因此业务中应对准确性敏感场景设置预算上限，并用自动指标或人工抽检监控“流畅但偏离原意”。
- 机制上，顺序采样的收益部分来自扩大目标侧上下文，提示我们在生成式推荐/query 改写中不必只重写，可让模型“看到并续写”前序候选，把前序输出作为 soft context；但上下文构造方式要谨慎，温度可保持鲁棒。
- 如果链路中已有 rerank 模块，可尝试 hybrid：小预算先并行采样+rerank 拿一个较优候选，再用顺序自精炼补强自然度，而不是简单堆 N。
每篇文章都值得一个视频：数字出版商的上下文视频匹配
🧭 基于 LLM 与文本嵌入的文章-视频匹配
Dailymotion
用 LLM 与文本嵌入为文章自动匹配相关视频，已在 Dailymotion 生产环境规模化落地
📌 工作参考价值（4 点）
- 可借鉴 HyDE 思路：用 LLM 把长文本商品描述/文章页面改写成搜索式 query 或假设段落，再做向量召回，比直接拿原文 embedding 更可控，适合电商详情页与短视频/直播切片匹配。
- 两阶段匹配架构：先文本 embedding 粗召回，再用 LLM 做相关性校验或重排，能低成本扩展到千万级 SKU 与视频库；线上可异步处理新文章/新商品。
- 把“文章到视频”看成跨模态配对任务，不需要用户行为数据，冷启动友好；在广告落地页与创意素材匹配、SEO 内容推荐等场景可直接复用。
- 生产部署需缓存 LLM 生成结果、对同义视频做 embedding 预计算，降低推理成本和延迟；与现有推荐链路解耦，作为内容侧增强模块上线。
识别-拒答错位：LLM为何回答结构上无解问题
🧭 LLM 拒答路由与可辨识性
University of Southern California · Arizona State University
结构无解问题中LLM已有可线性读取的不可答表征，但与安全拒答通路近正交，导致路由失败
📌 工作参考价值（4 点）
- 在推荐/Agent 工具链中，可对“结构上不可执行/无有效答案”的用户请求做线性探针或残差流方向检测，生成前拦截，避免错误推荐或错误 API 调用。
- 别假设安全对齐的拒答能力会自动迁移到“无效问题”；应单独构建无效意图/工具不可执行分类器，或补训练目标使识别方向与拒答行为方向对齐。
- 推理时 steering 可以在不改参数的情况下提升拒答/澄清能力，适合快速上线和 A/B；对电商问答中“无此商品属性、日期无效”等场景可尝试。
- 预训练已具备不可答表征，说明修复成本可以较低：轻量 LoRA/linear adapter 对齐识别方向与行为方向可能足够。
SymboLLM-FE：LLM 加速的符号回归自动特征工程
🧭 自动特征工程 · 符号回归+LLM
Nanjing University
符号回归生成高相关公式，再用 LLM 一次性精炼解释，实现高性能且可解释的自动特征工程
📌 工作参考价值（4 点）
- 在 CTR/CVR 等表格特征场景，可用符号回归自动挖掘高阶交互与非线性组合（如 ratio、log 交互），替代盲目数学变换，产出高预测力且具可解释性的特征。
- 用统计先验（候选公式与目标的相关性）限定候选集，再让 LLM 只做一次语义重命名/筛选，避免多轮 LLM 迭代带来的成本与幻觉风险；工程上可将 LLM 调用控制在个位数。
- 可把该方案嵌入现有特征平台：符号回归负责生成、选择大量公式特征，LLM 只负责后处理解释，适合批量生产特征并沉淀可复用特征库。
- 在电商风控、归因等对可解释性要求高的场景，符号回归天然提供公式形式，LLM 补全领域语义，能同时满足模型效果与业务审查要求。
公司基准：基于时序知识库的大规模问答评测基准
🧭 企业级LLM文档QA评测
Epiq AI Labs · Cornell University
提出企业级文档问答基准CorporateBench，用230k+文档与时序知识库保证跨文档一致性，揭示LLM长上下文性能下降
📌 工作参考价值（4 点）
- 可借鉴用「时序知识库 + 合成企业文档」方案低成本构造大规模、多跳、跨文档一致的评测集，尤其适合电商场景中的商品详情、订单日志、客服会话等长文档数据，规避隐私问题。
- 文档-问题比高达87.6的压力测试，能暴露真实RAG/Agent在大量文档下的检索、路由、工具调用瓶颈；建议在业务评测中加入类似高比例多跳问题，而不仅是单文档Extractive QA。
- 其两个评测维度（信息抽取与知识库查询）可迁移为电商知识库Agent的能力分级：从抽取字段到执行SQL/Cypher查询、时间约束推理，验证模型在长上下文下的稳定性。
- 结论提示落地中不能只依赖单模型超长上下文，需结合索引/分片/检索或路由机制，尤其当语料规模超过10万文档时性能下降明显，应配套ragas式证据追踪和一致性校验。
HyQuant：面向 LLM 注意力的混合精度量化框架
🧭 LLM 长上下文推理 · 混合精度量化 ★ 深度解读
Shanghai Jiao Tong University · Xi’an Jiaotong University · Tencent Penglai Lab · Xiamen University
保留 vertical-line token 与局部窗口全精度、其余 KV 低比特，实现长上下文推理的近无损量化加速
📌 工作参考价值（4 点）
- 长上下文/Agent 场景做 KV cache 量化时，不要全局等精度：按列注意力质量选择 top-5% vertical-line token + 最近 W=128 窗口保留 FP16/BF16，其余 4-bit，可在 LongBench/GSM8K 上接近全精度；该模式可直接迁移到电商导购 Agent 的长期对话历史、RAG 长 prompt 缓存。
- 工程实现上，把 dequantize 融合进 attention kernel 的 online softmax 扫描，避免先材料化全精度 KV；在 H100 上 32K 前缀 decode kernel 相对 FA2 达 3.58×、端到端 1.17×；对广告/搜索的 LLM serving 能降低显存带宽压力，显存不足时也可以跑更大 batch。
- Vertical-line 识别只需累加 attention 概率列和，额外 runtime 约 3-5%；用 tail-query proxy 且每 64 tokens 更新，避免逐 token 全局打分，可作为轻量重要性评估器与稀疏/eviction 策略配合。
- 局限：短上下文收益有限，且未在 coding/agentic 任务评估；接入长提示或 long CoT 前应先在自家任务验证 vertical-line 稳定性。
零数据对话推荐系统引导的实证研究
🧭 零数据CRS引导 · 合成对话数据 ★ 深度解读
University of California, San Diego · Netflix Inc. · Cornell University
系统实证零数据下用评论、元数据、协同信号合成对话训练CRS，主动选择提升数据效率
📌 工作参考价值（4 点）
- 新域冷启动可直接用 review、metadata、user-item logs 构造 synthetic SFT 数据，不依赖真实对话日志；生成时用目标模型 last hidden state 选种子，比随机/popularity 省 teacher LLM calls。
- active selection 别只当预处理：JS diversity 与 Fisher information 提供不同信息角度，metadata/CF 信号加入表示后可进一步提升，尤其大 budget 时更明显。
- 低资源场景合成数据可超过约 1k 真实对话，可先合成再混入少量真实数据；真实数据已很大的 ReDial 中合成增益有限，需要更严格过滤。
- 小模型用 Full-SFT 往往比 LoRA 更能消化合成对话数据；如果 LoRA 不涨，换 Full-SFT 或检查数据质量。
LLM 能设计近最优运筹优化算法
🧭 LLM 算法设计 · 运筹优化
未微调的 frontier LLM 在库存、排队网络、品类优化上生成算法，匹配或超过现有专用方法
📌 工作参考价值（4 点）
- 在电商/广告中，品类优化（assortment）、库存分配、预算 pacing、实时请求路由等定义清晰的约束优化问题，可快速用 frontier LLM + Python sandbox 生成策略算法作为 baseline，再与手写规则或求解器对比；固定 compute budget 可控制线上可行性。
- 优先采用 Level 2 方式：让 LLM 只根据问题类描述和参数范围输出「参数→决策」的算法函数，而不是逐实例求解；这样得到的策略可直接部署到实时系统，并在未见参数上做离线评估。
- Prompt 无需复杂调优：简单描述问题、目标、约束和可用工具，LLM 即可写出可执行代码；这对快速原型验证、A/B 测试前的候选策略生成很实用。
- 注意：该方法适用于目标函数和约束都能明确写出的优化场景；对依赖隐式反馈或需要从数据中学习的推荐排序任务，LLM 生成算法可能只能解决局部优化子问题，仍需与 ML 模型结合。
盲人摸象：探测大模型在长尾分歧知识上的认知短视
🧭 长尾分歧知识的LLM记忆完整性评估
Tsinghua University · Tencent Youtu Lab · University of Warwick
构建ElephantBench知识探针，发现最强模型也仅能完整回忆52.4%的长尾分歧答案
📌 工作参考价值（4 点）
- 在商品知识问答或客服 Agent 中，针对长尾商品属性、小众品类，仅依赖 LLM 参数记忆容易遗漏 minority 版本答案，应结合 RAG 或知识图谱做多源校验。
- 评估知识型 Agent 时，不应只看单一答案的 Exact Match，需引入多答案召回指标，以识别模型只记住主流答案而忽略分歧答案的不足。
- 可借鉴 graph-based pipeline 从低曝光语料自动挖掘分歧点，用于构建长尾场景测试集，诊断模型在业务垂直领域（如二手商品、非标品）的知识覆盖盲区。
- 训练或微调时注意 exposure imbalance：提高 minority 侧样本的曝光频率与多样性，有助于提升模型对长尾知识的完整回忆。
朴素提示词优化：重新思考复杂提示词搜索的必要性
🧭 提示词优化 · 教师-学生轻量迭代 ★ 深度解读
Purdue University
提出单谱系迭代的提示词优化方法NPO，用强教师模型结合轨迹反馈，以更少rollout达到或超越复杂搜索方法GEPA
📌 工作参考价值（5 点）
- 提示词工程做减法：NPO 证明在固定 student 模型下，用单谱系 + 滑动窗口轨迹反馈 + 强教师（如 GPT-5.5）就能达到甚至超过 GEPA 等复杂搜索方法；在电商/广告 agent 中可直接套用此简单框架，避免维护多个候选 prompt 池和 Pareto 选择，节省工程复杂度。
- 公平评测技巧：使用共享伪随机种子生成环境实例，让不同方法在完全相同的问题分布上比较，降低环境噪声；在业务 AB 测试或策略对比时，若环境可 seed，可借鉴此设计提高对比的统计可靠性。
- 约束解码隔离格式错误：用 token-level trie 约束模型输出合法动作（如 JSON 字段、合法选项），使性能评估专注决策质量而非格式好坏；在电商推荐/搜索等结构化输出场景（如生成 query、商品属性）可显著减少不必要的失败，同时保留 reasoning 自由。
- 跨模型迁移 prompt：在便宜小模型上优化出的 prompt 可直接迁移到同家族大模型且收益保持（如 Qwen3-8B 优化后迁移到 Qwen3-32B），跨家族也有正向收益；实际工作中可先在小模型上迭代 prompt，再部署到线上大模型，避免重复优化成本。
- 防泄漏监控：对比优化 prompt 与训练/验证集答案的重叠度，发现主要积累训练集信息而验证集几乎不泄漏；业务中做 prompt 自动优化时也应监控此类污染，避免上线后效果虚高。
STAR：文档到文档机器翻译的句子翻译对齐率与偏好优化
🧭 LLM 文档级翻译的结构对齐评估与偏好优化
Soochow University, Suzhou, China · Alibaba Group, Hangzhou, China
提出 STAR 结构对齐指标与 StarPO 偏好优化，使紧凑模型在 Doc2Doc 翻译中超过 GPT-4o 且更省 token
📌 工作参考价值（4 点）
- 将 STAR 的句子级结构对齐思想迁移到生成式推荐/广告文案：对输入商品属性、卖点与输出文案做句子或字段级对齐检查，量化漏生成、幻觉、错位比例，作为离线评估或 reward 信号，避免 LLM 漏掉关键卖点或编造属性。
- StarPO 的动态掩码偏好优化可用于训练可控生成：先按结构对齐分数排序候选，构造偏好对时只对错位片段计算 loss / 梯度，减少无关 token 干扰，提升对业务约束（如必须包含关键词、数据字段）的遵守率。
- 紧凑模型 + 结构化偏好优化在特定任务可超过 GPT-4o 且 token 效率更高；在低延迟、高吞吐的电商生成场景中，可优先用小模型配合针对性的对齐训练，不必盲目依赖大模型 API。
- 对 RAG / Agent 多步生成也可借鉴：在检索结果摘要、reasoning 步骤输出中增加源-目标结构保真度检查，防止 Agent 遗漏关键检索信息或幻想额外事实。
语言模型如何组织与结构道德知识
🧭 LLM 表征几何与概念组织
用六个线性探针揭示 LLM 中道德基础方向既共享正向共同成分又张成近最大独立维度，且困境方向可部分由基础方向组合
📌 工作参考价值（4 点）
- 在电商意图/评论分析中，可为多个语义维度（如质量、价格、物流、品牌）分别训练线性探针，观察其方向是否既共享正向共同成分又保持独立维度，以判断模型是否具备结构化概念理解而非单点检测。
- 论文发现概念集成结构在预训练早期就形成，早于探针精度饱和；业务上可在资源有限时直接使用预训练中间层特征构建轻量概念分类器，不必等微调或精度完全收敛。
- 复杂场景（如“高性价比但售后差”的评论）可视为多个基础属性向量的组合，用其几何关系辅助可解释标签生成、冲突检测或 query 改写。
- 共享成分可作为多任务学习中的正则信号，避免不同概念任务向量过度隔离或完全坍缩，提升模型对相关语义维度的联合建模能力。
查询扩展不只是生成：通过更好的集成改进稠密检索
🧭 LLM 查询扩展与稠密检索向量集成 ★ 深度解读
University of Arizona
将原查询与 LLM 扩展分别编码后做向量插值，并用无监督前缀估计扩展信任度，单向量提升稠密检索
📌 工作参考价值（4 点）
- 在搜索/推荐中如果使用 LLM 生成 query 改写、语义扩展或类目词，不要直接拼接进 embedding 或仅用扩展文本检索；把原始 query 和扩展分别过 query encoder，再做归一化向量插值，权重 α 显式控制扩展贡献，可避免 token 截断、attention 纠缠带来的退化。
- 无监督在线校准 α：用流量前 8-16 个无标注 query 估计 stream-level α，按 r_top1 × r_sup 计算，即扩展自身检索强度 × 与原始 query top10 证据一致度；电商搜索流或推荐 query 流可零标注启动，之后冻结为单向量服务。
- 工程架构上，如果只需同一 dense space 的线性融合，用单向量 AnchorQE 等价加权 CombSUM，一次 ANN 检索即可，不要做 N+1 路融合；但混合 sparse/dense 或非线性融合不适用。
- 扩展质量仍是上限：集成只能控制影响，不能修复 LLM 生成的无关内容；生成质量差时应优先优化 prompt 或过滤，而不是只调 α。
CritICL：利用小模型失败模式实现推理时弱到强泛化
🧭 推理时弱到强泛化 · 失败模式检索 ★ 深度解读
The Ohio State University · Princeton University
用同家族弱模型失败模式构建离线批判库，推理时按失败模式检索注入大模型，单次生成匹配多次采样性能
📌 工作参考价值（4 点）
- 建立业务侧“失败模式 CritBank”：用较小/便宜的模型或线上历史 badcase 生成错误响应，由强 LLM 离线标注失败类型和纠正说明；在 query 理解、商品属性抽取、推荐理由生成等任务中，把失败模式预测或静态画像作为检索键，从库中取示例注入 prompt，减少在线多路采样成本。
- 检索键从语义相似度改为失败模式/错误类型：实验显示比随机、固定、语义相似度检索高 4-6 个点；推荐场景可先预测用户/物品/请求的易错标签，再召回对应纠错示例，比只找相似 case 更直接规避模型系统性错误。
- 同模型家族多尺度失败分布稳定（Spearman 0.88-0.91），聚合多个弱模型比单一弱模型更贴近大模型；在模型升级或蒸馏时，可以用同架构旧小模型收集错误，指导新大模型上线前的 prompt 防御性设计或 few-shot 示例库构建。
- CritICL-static 只需单次生成即可达到 Consistency@5 效果，总 token 远低于 self-reflection 和 LLM-as-judge；适合线上延迟敏感、需要快速推理的 Agent 链路，也说明离线构建错误知识库比在线多路验证更划算。
大语言模型的数据引用：一个开放挑战
🧭 数据引用与溯源 · LLM
University of Padua
提出 LLM 数据引用三方向：训练数据归因、推理时数据引用、知识图谱事实引用，与文档级引用 grounding 区分
📌 工作参考价值（3 点）
- 在 RAG 或 Agent 工作流中，引用源不能只给文档块/URL，应设计数据引用层：对商品表、用户行为聚合、知识图谱三元组等结构化/半结构化数据，记录 dataset+subset+query+version+timestamp 等固定性信息，避免引用粒度太粗导致无法复现。
- 训练数据归因（如 influence functions、TRAK）可转化为数据贡献报表，用于合规审计、数据合作方结算；电商推荐模型若用外部数据或用户数据，可借此评估哪些训练集对模型行为影响大，平衡数据收益与版权风险。
- 引用 KG 事实时，要把三元组（s,p,o）作为可引用单元，并沿 provenance 传播 credit：例如商品知识图谱中一个属性值来自某供应商，生成推荐解释时应溯源到具体三元组及其上游来源，增强可解释性和信任。
EviGraph：面向信息搜索智能体的可验证证据构建
🧭 Agent 搜索证据图与过程奖励 RL ★ 深度解读
WeChat, Tencent Inc., Beijing, China
将智能体网络搜索重构为可验证证据图构建，以共享策略分离搜索与证据记录，用稠密过程奖励直接监督证据基础
📌 工作参考价值（4 点）
- 对电商导购/搜索 Agent：把「检索到的商品或卖点」与「用户查询约束」显式建图，每个卖点必须锚定来源 span 并标记 support/conflict；可避免用相关但时间、地区、数值错误的页面回答，适合商品事实校验、选品问答、推荐理由生成。
- 采用「冻结 verifier + 确定性 structural validator + 可学习 policy」的分离架构：把不可靠的语义判断和结构化校验分开，policy 只提图编辑请求，错误可局部归因；工程上可用规则引擎做图校验，降低对单一 LLM 的依赖和幻觉。
- 过程奖励设计可迁移：coverage 用 potential-based shaping，配合 canonical signature 去重、per-triple bonus cap、KL penalty，能抑制 reward hacking 和重复记录；可用于训练搜索/推荐 Agent 的中间 grounding。
- 多约束查询可拆成 candidate–constraint claim，每个 tag 独立追踪 MISSING/SUPPORT/CONFLICT，适合电商商品属性（产地、年份、价格、代言人）验证和 push 文案事实核查，让 Agent 明确知道还缺哪些约束。
基础模型无监督后训练综述
🧭 无监督后训练 · LLM
HKUST(GZ) · HKUST · Xiaohongshu Inc. · WeChat, Tencent · CUHK
系统梳理80种无监督后训练方法，按内部信号来源分类并提出Input Visibility×Update Persistence统一框架
📌 工作参考价值（4 点）
- 可借鉴无监督后训练思路，利用电商/广告场景中大量无标签的 query、商品描述、用户行为文本对 LLM 做领域适配，减少人工标注成本。
- 四类内部信号（预测统计、样本关系、自生成目标、内部评估器）中，自生成目标（伪标签、rationale、curricula）在业务语料上最易落地：用当前模型对弱标注数据生成伪标签再做自训练，注意配合置信度过滤。
- 内部评估器（self-reward）用于排序/推荐模型微调时需警惕误差递归放大，建议与在线 A/B 指标绑定，避免仅依赖模型自评。
- Input Visibility×Update Persistence 框架可帮助决定部署形态：对时延敏感的在线推荐模块采用离线更新+冻结参数，对离线生成模块可做在线持续无监督更新。
一个症状，三个杠杆：在策略自蒸馏批判性综述
🧭 LLM 训练 · 在策略自蒸馏
OVHai LLM
系统化梳理OPSD的坍缩失败模式，提出信号位置、特权信息、动态衰减三杠杆框架
📌 工作参考价值（4 点）
- 若用 OPSD 微调生成式推荐/搜索 Agent（如 query 改写、商品文案生成），可用模型自身作 teacher 并注入业务侧特权信息（用户真实意图、最终成交商品），但必须监控生成多样性（熵、n-gram 新颖度）以防坍缩。
- 借鉴三个杠杆做训练设计：where——损失只加权关键 token（如最终答案/决策 token）而非全序列平均；what——teacher 的特权信息粒度要渐进揭示，避免过度强条件导致模型只学会抄捷径；when——蒸馏信号随训练衰减，后期保持与 base policy 的 KL 约束。
- 对 Agent 搜索/推荐，坍缩类比于动作空间收窄：训练时环境反馈或 oracle 路径会诱导窄策略，需加入熵正则或行为多样性约束。
- 没有新实验，但提供统一术语与诊断清单，适合作为生产 LLM 微调前的风险自查。
长期人机对话记忆评估：从直接追问到自然整合的 MemUse
🧭 LLM 长期对话记忆评估
Graduate School of Informatics, Kyoto University
发现直接问答记忆准确率与用户满意度无关，提出自然整合评估基准 MemUse，揭示 71 点巨大差距
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 中，长期记忆评估不要只看「直接提问能否答对」（Direct QA），这类指标与用户满意度可能无相关；应在真实对话流中挖掘「记忆时刻」，评估模型是否在自然回复中主动且恰当地融入历史信息。
- 建立集成感知的自动化评估：对每个记忆时刻，用 LLM-as-judge 检查回复是否自然引用了相关历史事实（而不是仅仅能否回答事实问题）；该指标与满意度相关性更强，可用于回归测试。
- 检索增强记忆系统往往只优化 top-k 准确率，但可能存在高检索准确、低实际使用的问题；可通过「引用率」等下游指标暴露该 gap，指导改进方向：不仅提升检索命中，还要提升相关性检测和上下文融合能力。
- 直接 QA 准确率从 19.7% 到 70.1% 变化，但满意度无显著差异，提示团队在迭代记忆模块时不要过度依赖离线 QA 基准，要做用户满意度 A/B 测试或应用内行为指标。
长运行AI Agent记忆中的压缩悬崖
🧭 Agent 长期记忆压缩与安全规则保留
University of Passau, Passau, Germany · IT:U, Linz, Austria
提出 Knowledge Triage 框架，通过分类与确定性算子避免安全规则在长上下文压缩中快速丢失
📌 工作参考价值（4 点）
- 将 Agent 上下文知识分为需逐字保留的安全/合规规则与可粗粒度压缩的日志/经验，不同类别走不同压缩策略，避免生产 Claude /compact 这类统一 summarization 造成规则坍塌。
- 在电商/推荐 Agent 中，价格上下界、库存状态、平台政策、prompt 约束等规则适合用 TypeCompact 按类型保真度压缩，并附加确定性验证器检查规则是否完整，防止多轮任务后策略漂移。
- TypeRetrieve 的“规则 pinned ahead of relevance”思路可直接用于 RAG/长期记忆：先返回适用规则，再按相关性补充内容，保证召回合规边界。
- AgentArtifactCorpus 可作为测试压缩/检索策略的外部基准，尤其适合评估长流程 Agent 在不同压缩轮次下的安全规则 retention。
FashionKG-RAG：知识图谱增强的时尚问答检索增强生成
🧭 知识图谱增强 RAG · 时尚问答
构建领域级时尚知识图谱 FashionEcoKG，并设计训练无关的 PG-RAG 框架，通过双粒度路径重排提升时尚问答准确率
📌 工作参考价值（4 点）
- 构建领域知识图谱时不要止步于物品属性/关系，可借鉴 FashionEcoKG 的 agentic 三阶段管道：从权威教材抽取高保真知识核心，再做跨域增强和生成式扩展，捕获电商领域的完整生态（设计、生产、营销、穿搭等），降低 LLM 幻觉。
- PG-RAG 的 Dual-Granularity Path Re-Ranking 可直接迁移到通用 RAG 检索后排序：先用剪枝后的 query skeleton 提升召回，再用原始完整 query 对候选路径逐条做 agentic 审查，兼顾召回和精确率。
- 训练无关（training-free）框架适合快速落地，无需微调 LLM，只需在检索和重排环节做结构化处理，适合电商搜索推荐团队在现有 RAG 管线上增量部署。
- 对时尚/导购类 Agent，可以将领域 KG 作为工具或知识源，结合 skeleton 提取和路径重排，让 Agent 回答“这件衣服适合什么场合”等知识密集型问题时更有依据。
元harness优化多智能体实现轻量时序预测器小样本训练
🧭 多智能体元优化 · 时间序列预测
University of Houston · NEC Labs · University of Waterloo · University of Connecticut · University of Illinois at Urbana-Champaign
用多智能体生成数据+元优化harness，从少量样本训练轻量时间序列预测器
📌 工作参考价值（4 点）
- 数据稀缺或隐私敏感场景（如新商品冷启动、低频事件预测），可借鉴多智能体数据生成：用 LLM agent 从少量真实样本+文本上下文合成训练数据，再训练轻量模型，避免直接依赖大模型在线推理。
- 将 LLM 定位为“离线工程师”而非在线预测器：在电商推荐中，可让 LLM 离线生成商品描述增强、用户兴趣特征或合成样本，训练轻量排序/CTR模型，保证线上低延迟和低成本。
- 多智能体分工（数据生成、过滤、评估）提升合成数据质量，该模式可迁移到推荐系统的数据增强 pipeline，通过多个 agent 协作筛选高质量样本。
- meta-harness 优化思想：把数据生成流程（prompt/工具调用）视为可学习对象，用元学习在多个任务上优化，使生成数据能最大程度提升下游模型效果，可类比推荐中的自动特征工程或数据增强策略搜索。
开放世界多智能体环境中的自主数学发现
🧭 多智能体开放世界协作与知识累积
DualverseAI · University of Cambridge · University of Hong Kong · University of California San Diego
在无中心协调的多智能体开放环境中，AI 智能体自主协作完成多项数学发现并产出可解释定理与分析
📌 工作参考价值（4 点）
- 共享文献库机制：多个 LLM 智能体异步贡献和引用彼此的中间结果，形成可累积的知识库。在电商推荐/广告场景中，可让多个 Agent 分别探索不同用户群或商品类目的策略，通过共享“发现日志”避免重复试错，加速全局优化。
- 无中心协调的自组织协作：不依赖固定流水线或中央调度器，智能体自主选择研究方向。适合动态变化的业务环境（如大促、季节性选品），可部署多个并行探索 Agent，根据实时数据自主调整目标，减少人工编排成本。
- 可解释性要求：智能体不仅输出数值结果，还生成定理和分析，使产出可被人类理解。在生成式推荐或 Agent 决策中，强制输出结构化推理过程而非仅最终答案，便于业务方审计、验证和信任模型决策。
- 完整交互日志与验证代码开放：透明记录所有智能体对话和决策轨迹，有利于调试和回溯。线上推荐 Agent 系统应记录每一轮多智能体交互、中间产物和最终采纳理由，形成可审计的“决策链”，支撑后续评估与合规。
EnSI-RAG：实体结构索引的长文档问答检索增强框架
🧭 长文档 RAG · 实体结构索引 ★ 深度解读
University of Illinois Urbana-Champaign
用实体中心 passage 和 entity-structure index 做检索句柄，把证据定位与答案生成解耦，提升长文档 QA 精度
📌 工作参考价值（4 点）
- 商品/店铺知识库构建：不要用固定 chunking；对每个商品/SKU/商家建实体中心 passage，抽取 type + property/relation/aspect（如价格、规格参数、店铺关系），用 [entity][type][field:value]→psg_id 建离线索引。线上从原始 passage 生成答案，避免表格拆散、属性与值分离。
- 多跳对比/选购问答：把同类商品对比、品牌关系、优惠条件建模为 relation 或双向 relation（如替代品、配件、belongs_to），保留一对多 set-valued 映射而不是折叠成唯一记录；LLM 只做证据合成，不负责搜索。
- 工程实现：offline LLM 抽取成本高但可摊销；online 只需 1 次 retrieval planning + 1 次 generation，适合高 QPS 场景。对商品 spec 表使用 row-level 而非 table-level 粒度；检索深度未必越大越好，可先从小 k 开始调。
- 属性粒度按域选择：标准化粗粒度属性能减少稀疏性，但法律/精确规格类需保留细粒度；电商可对标准品类用粗粒度类目属性，对参数敏感品类保留原始参数名。
记忆增强解锁高效思维链推理
🧭 LLM 推理加速 × 记忆增强压缩
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Baidu Inc. · Tencent Inc.
提出训练无关的记忆增强压缩框架，用历史推理模式作为预填充支架补偿思维链压缩的信息损失
📌 工作参考价值（4 点）
- 在电商/推荐场景中，若用 LLM 做复杂推理（如商品属性抽取、多步排序、用户意图理解），可将完整 CoT 改为 Chain-of-Draft 风格短推理链降低延迟；同时构建可检索的“推理记忆库”，从历史正确推理中总结关键约束、公式和操作序列，作为 prompt 前缀注入，补偿压缩带来的准确率损失，无需训练，直接可用。
- 记忆的生成与使用可以借鉴 RAG 架构：将历史推理轨迹离线总结为结构化短记忆（如规则、公式片段）并建索引，线上根据问题检索最相关记忆，加入 system 或 prefix；注意实验表明增益来自记忆相关性，单纯拼接长上下文无效，所以向量相似度和相关性过滤要重点设计。
- 对推荐系统中的 query 改写、排序解释、广告文案生成等需要推理但追求低延迟的任务，可以采用“压缩+记忆”的组合：短输出 + 预填充的关键决策因子，达到速度与效果平衡，特别是线上高 QPS 场景。
- 该方法训练无关，兼容 token 级、推理轨迹级、推理状态级压缩，可作为现有 LLM 推理加速方案的轻量插件，适合快速验证对业务指标的影响。
当文本与数字冲突：大语言模型的证据仲裁研究
🧭 LLM 异质证据冲突仲裁与推理偏差
Department of Engineering Science, University of Oxford · Nuffield Department of Primary Care Health Sciences, University of Oxford · GlaxoSmithKline · Oxford Suzhou Centre for Advanced Research, University of Oxford
系统研究 LLM 在文本与数值证据冲突时的仲裁行为，发现启发式偏向与外部工具过度依赖
📌 工作参考价值（4 点）
- 在 Agent/RAG 工具调用链中，若检索或数值 API 返回与上下文文本冲突，不要默认模型能正确仲裁。建议在 LLM 前增加显式证据对齐/冲突检测模块：将数值序列与文本摘要对齐到统一 schema，并标记冲突供模型或规则处理。
- 模型对外部工具输出存在过度依赖，即使与直接上下文冲突也倾向采信工具结果。工程上可对工具输出注入置信度/新鲜度信号，并强制模型在生成最终答案前输出每路证据的可靠性判断，作为中间推理步骤。
- 显式可靠性提示效果弱于时间 recency 提示，提示词中“最新数据优先”可能比“高可靠来源优先”更有效；业务中实时转化率等时间敏感特征与历史统计冲突时，应更重视 recency 信号而非依赖模型自行权衡。
- 可构建合成冲突测试集（用隐变量生成两种模态，再制造仅一个模态对齐 ground truth）用于上线前评估 LLM 在风控、广告竞价、推荐解释等场景下的证据整合鲁棒性。
审计语言模型水印的跨语言公平性
🧭 LLM 文本水印跨语言公平性评估
Case Western Reserve University
提出四组件跨语言评估框架，揭示LLM水印在多语言场景下的结构性公平性差距
📌 工作参考价值（4 点）
- 多语言业务中部署生成式文本水印或检测时，不要沿用英文场景的固定检测阈值；应像论文一样按语言/文字/类型学家族分别做经验校准，否则会因校准失败误判检测能力。
- 评估生成质量时不要只用一个指标，可以借鉴其三种不重叠范式：分布层（与参考分布距离）、语义配对（同义改写一致性）、参考困惑度，三者分离能暴露单指标掩盖的跨语言质量下降。
- 跨语言差异可以用广义熵按语言类型学家族分解，区分“家族间结构性差距”和“语言个体噪声”，这适合多语言电商文案、翻译、query 生成等场景做公平性审计。
- 对多语言生成任务（如广告文案本地化、客服消息）做模型评估时，显式按文字系统/语系分层报告指标，避免平均分掩盖低资源语言或小众文字的失败模式。
为测试访谈对话系统生成多样化用户模拟器画像
🧭 用户模拟器 persona 多样性生成
C4A Research Institute, Inc. · SANKEN, University of Osaka · Musashi University
用 LLM 自动生成带沟通风格人格特质的用户画像，提升访谈对话系统测试中用户模拟器的行为多样性
📌 工作参考价值（3 点）
- 在构建 Agent 用户模拟器做评测或数据合成时，可复用「LLM 生成 persona + 显式注入沟通风格人格特质」的方法，低成本扩大用户行为覆盖面，避免人工构造 personas 的瓶颈。
- 对于需要模拟多样化用户场景（如访谈、客服、搜索会话）的评测，可先定义人格特质维度（如沟通风格），再让 LLM 根据特质生成 personas，从而控制多样性。
- 如果要为推荐/搜索 Agent 做模拟评测，可以用类似思路生成不同背景、偏好、表达习惯的用户，帮助发现 Agent 对长尾用户行为的鲁棒性。
知识引导的智能体框架缓解健康查询中的患者上下文歧义
🧭 知识引导的查询澄清Agent
在LLM前插入知识图谱驱动的澄清Agent，主动追问缺失患者信息，大幅提升下游回答准确性与一致性
📌 工作参考价值（4 点）
- 可在电商搜索/推荐入口前增加轻量级澄清层：用商品知识图谱（属性、类目、场景标签）枚举可能的意图假设，识别区分度最高的缺失属性（如价格带、适用人群、使用场景），生成1-2个针对性追问，而非直接让LLM回答，从而降低用户短查询的歧义。
- 保持下游LLM/推荐模型不变，只需将原始query与收集到的用户上下文拼接成 clarified prompt 注入，避免微调成本；澄清问题由知识图谱驱动，减少无关追问，控制交互轮次。
- 评估澄清效果可借鉴论文指标：对比澄清前后的 Top-1 准确率、Recall@5，以及多次生成结果的预测一致性（如熵或方差），用于衡量上下文补充对模型不确定性的降低。
- 对线上系统可按不确定性触发澄清：先让LLM对query生成候选答案并计算置信度，仅对低置信度或意图分布分散的query启动澄清流程，平衡用户体验与转化率。
注入、对齐、恢复：面向无检索文档知识内化的分阶段后训练
🧭 LLM 后训练 · 文档知识内化
Beijing Academy of Artificial Intelligence (BAAI)
提出IAR三阶段后训练框架，将固定文档语料内化为LLM参数知识，兼顾领域QA与通用能力
📌 工作参考价值（4 点）
- 在电商/客服场景需要将商品库、政策文档内化到LLM以支持无检索问答时，可将文档转为多种重构目标（续写、改写、指令条件重建）做注入，比单纯 continued pretraining 更利于后续指令跟随。
- 三阶段分离有效：先注入领域知识，再做答案监督的QA对齐，最后将领域模型与基座指令模型合并恢复通用能力——这种“领域适配+模型合并”模式可直接复用到导购Agent、店铺客服模型，避免灾难性遗忘。
- 若算力受限，LoRA/FAPM 等参数高效方法在部分通用指标上可赢，但 IAR 在领域内化与通用能力平衡上更稳；业务中优先选择 IAR 式全量阶段或混合方案。
- 评估时同时报告领域QA准确率和 IFEval/MMLU 等通用指标，避免只盯领域指标导致通用能力坍塌；业务中应建立类似的领域-通用双维度评测。
Harness 持续学习：冻结模型下 Agent 外部状态的持续进化
🧭 Agent 持续学习 · Harness 进化 ★ 深度解读
State Key Laboratory for Novel Software Technology, Nanjing University, China · University of Wollongong, Australia
将持续学习对象从模型参数转向 Agent 外部 harness，通过 guarded evolution 显式控制 harness-level 遗忘
📌 工作参考价值（1 点）
- 在 Agent 系统中引入 guarded evolution：将 harness 更新（prompt、memory、routing 等）与部署分离，设置历史锚点集（anchor set）作为回归测试，只有通过当前改进、历史保留和有效性检查的新配置才上线，避免线上行为退化。\n- 借鉴四组件设计：Task Interface, Experience Memory, Capability Map, Adaptive Router 可以映射到电商/搜索推荐系统的 Agent 编排层，把用户意图解析、历史交互记忆、可用工具/策略注册、决策路由分开管理，便于持续迭代和故障定位。\n- 通过调节 historical-loss tolerance Bn 控制稳定性-可塑性权衡：在大促等需要快速适应新玩法时放宽 Bn，在稳定期收紧，实现业务节奏的灵活控制，而不是一味追求最新任务的最优。\n- 利用 LLM 从原始交互中总结抽象记忆、再提炼为可复用内部技能（inner skills），可迁移到自动从用户反馈中提炼推荐策略、生成推送文案或 query 推荐模板，形成持续进化的策略库。
评估前沿 AI：精度而非能力，输出一致性才是分水岭
🧭 LLM 系统评估 · 输出一致性
Independent researcher, London, United Kingdom
提出用重复请求的输出一致性（precision）而非基准能力作为前沿模型区分指标，并给出测量框架与决策方法
📌 工作参考价值（4 点）
- 在电商/推荐/Agent 系统中增加重复一致性评估：对关键任务（query 改写、推荐理由生成、商品标题生成、Agent 决策）固定 temperature 多次采样同一输入，用确定性规则或文本相似度计算一致率，监控输出漂移，避免只看平均指标。
- 区分两类失败指导调优：一致失败（集中偏离）说明是系统性 bias，可以通过规则/后处理/提示词修正；分散失败（高方差）说明模型或采样策略本身不可靠，需要换模型、降低 temperature 或加入约束解码。
- 低成本的 harness 设计：复用现有多轮测试集，针对每个任务重复 N 次，用确定性评分（无需 model-in-loop grader），能快速定位哪类任务不稳定，适合接入 CI/CD 作为回归门禁。
- 人机协作监控：跟踪 Agent 与人类配合过程中的输出 grouping 随时间变化，作为可靠性 KPI，累计信号帮助发现模型退化、策略失效或环境漂移。
SWE-bench Science：编码智能体能解决科学工程任务吗？
🧭 Coding Agent 评估 · 科学软件工程基准
Shanghai Innovation Institute · Fudan University
提出含119个任务、覆盖20个科学领域的仓库级科学软件工程基准，最佳编码智能体pass@1不足50%，并归纳四类失败机制
📌 工作参考价值（4 点）
- 在推荐/搜索 Agent 中引入领域知识（类似 RAG 或 tool/context）时，要区分「高质量 grounding」与「弱对齐指导」：前者可提升平均性能并降低 token 成本，后者会诱导 anchoring，反而不提升精确修复。落地时建议做 A/B 或消融评估，不要默认注入更多领域知识一定更好。
- 论文把失败归为四类：知识/抽象不足、探索误导、修复覆盖/系统集成缺失、跨案例泛化不足。这可以迁移为 Agent 故障诊断框架，在电商场景下为推荐解释、代码生成、自动调参等 Agent 建立错误分类看板，针对四类分别改进 memory、search/tool 使用、集成测试与 few-shot 策略。
- 基准的三类任务范式 Issue-driven / Expert-exploratory / Engineering-integration 可用于设计 Agent 评估集：不只基于用户 issue 做修复，还要加入专家探索性任务和跨系统集成任务，能暴露真实业务 Agent 的鲁棒性问题。
- 成本敏感场景可同时监控「精确成功」和「token 效率」，高质量知识上下文即使不提升 exact match，也可能通过减少 token 消耗提升业务收益。
超越模仿：基于推理进展的在线蒸馏奖励过滤
🧭 推理蒸馏训练 · 过程奖励过滤 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Tsinghua University · Zhejiang University · University of Alberta
提出 R2-OPD，用独立过程奖励检测并过滤在线蒸馏中与推理进展冲突的教师信号
📌 工作参考价值（4 点）
- 业务中若用小模型蒸馏大模型做 query 改写、推荐理由生成或搜索意图理解，不要只对齐教师 token 分布：可引入与业务目标一致的过程信号（如是否推进任务完成、是否命中正确商品），检测并 mask 教师信号冲突的片段，避免学到“像老师但错误”的行为。
- 训练多步 Agent 推理链路（如商品筛选、排序解释）时，用 rollout 估计中间状态 solve probability 并把相邻同向 progress 合并后再评估，能显著降低 Monte Carlo 噪声，比逐 step 使用过程奖励更稳定。
- 工程上 masking 比例和 segment 颗粒度很关键：论文中 q=30% 是甜点，q=50% 会损害性能；业务落地建议先做小比例过滤，并对不确定样本保守回退，避免误删有效教师信号。
- 该方法只在离线蒸馏阶段引入额外 rollout 计算，不影响线上推理时延；成本较高，可只对高价值或难样本启用。
基于 LLM 反馈的策略不变奖励塑形：混合 RL Agent 框架
🧭 LLM 反馈的奖励塑形理论保证
African Institute for Mathematical Sciences, Rwanda · AI Research and Innovation Nexus for Africa (AIRINA Labs), AI.Technipreneurs, Bénin · Sefako Makgatho Health Sciences University (SMU), South Africa · African Center for Advanced Studies (ACAS), Cameroon
证明 LLM 进度分作为有界势函数做奖励塑形不改变最优策略，即使评分不准
📌 工作参考价值（4 点）
- 若在搜索/推荐 Agent 中用 LLM 生成稠密进度奖励（如多跳查询完成度、任务分步得分），建议写成 potential-based shaping：r + γΦ(s') - Φ(s)，并把 Φ 限制在有界范围；这样即使 LLM 打分有偏，理论上不会改变真实业务目标下的最优策略，可安全加速训练。
- LLM 适合做 planner 输出子目标，RL/底层策略负责动作执行；可将 planner 的解析率、子目标覆盖率等指标单独离线评估，避免直接耦合训练导致难调试。
- 关注 LLM 输出词表与环境动作/oracle 的 mismatch：例如 autocomplete 或 query 改写中，LLM 生成的 action/slot 值若无法被执行环境解析，会造成虚假失败/奖励污染；需在 parser 层做规范化和映射。
- 理论保证只适用于 shaping 项，不应替换核心业务奖励（点击、转化、GMV 等），建议仅作为辅助信号引入。
文档嵌入保持调优：统一查询扩展与检索
🧭 LLM 统一查询扩展与稠密检索 ★ 深度解读
Beihang University
通过文档嵌入保持、白化、在线硬负样本与直通解码，实现 LLM 在统一查询扩展与稠密检索中的稳定端到端训练
📌 工作参考价值（4 点）
- 在电商搜索 query 改写/扩展中，可借鉴 DEPT 思路：用同一 LLM 做改写和向量编码，但保持文档侧嵌入稳定，避免频繁重建全库向量索引；工程上可先缓存文档嵌入，微调时只更新 query 侧，上线时直接复用原有向量库，节省推理与索引成本。
- 采用固定白化（whitening）预处理向量空间，缓解 LLM 原始嵌入的各向异性，提升 cosine 检索效果；实践中可以基于已有文档向量估计白化矩阵，训练时保持文档分布稳定，该矩阵可持续有效。
- 直通解码（straight-through）将检索排序损失直接传到生成 logits，可用来优化 query 生成策略，让生成式改写直接以召回/排序指标为学习信号，而非仅文本相关；在线硬负样本挖掘能提供与当前 query 行为匹配的难负样本，提升训练效率。
- 短扩展变体（DEPT-K）用关键词式 prompt 控制生成极短扩展（~9 tokens），在几乎不增加线上延迟的情况下达到接近长扩展效果，适合电商搜索高并发低延迟场景。
RegulaRAG：基于LLM的法规合规场景生成（以UN第152号法规为例）
🧭 RAG 检索增强生成优化
RegulaRAG结合SmartChunking、图遍历参考感知增强与Smart Retrieve & Rerank，在法规场景生成中Meta-Score 82.99，领先43%
📌 工作参考价值（4 点）
- 结构感知切片（SmartChunking）：对法规、商品说明书、活动规则等长文档RAG，保留标题/章节/条款层级，避免简单固定长度切片导致上下文断裂，可显著提升LLM回答准确性。
- 参考感知增强：通过图遍历自动关联段落与表格（例如电商SKU参数表与正文描述），解决表格信息在RAG中检索不到或割裂的问题，可直接用于商品详情页问答、售后政策查询。
- 三步渐进式参数搜索：不依赖暴力网格搜索，快速找到chunk大小、top-k等检索参数，降低调参成本，适合快速迭代的电商RAG系统。
- 鲁棒性压力测试：用干扰文档扩充语料库评估RAG稳定性，可作为上线前评测标准，防止因知识库膨胀导致检索质量急剧下降。
跨模型记忆迁移：目标侧 reader 适配的关键作用
🧭 LLM 外部记忆跨模型迁移与 reader 适配
ELLIS Institute Finland · University of Turku · University of Technology Sydney
提出跨模型冻结 Engram 记忆迁移范式，发现目标侧 reader 适配比记忆表本身更能激活外部知识复用
📌 工作参考价值（4 点）
- 将商品属性、活动规则、用户事实等高频知识沉淀进外部哈希记忆表，与 backbone 解耦，便于在搜索/推荐/广告多条业务线间共享，仅需接入目标侧的轻量 reader。
- 模型升级或切换主干时，可冻结已训练的记忆表，只训练很小的 reader adapter，避免重训大模型，同时保留已有知识，降低迭代成本。
- 若目标模型接口与源 reader 兼容，可直接复用记忆 artifact 零训练上线，适合快速验证；不兼容时先用 dual-layer four-branch reader 适配，可接近同源效果。
- 注意这类外部记忆更适配可寻址的事实/规则，不适合隐式偏好或实时行为，工程上需设计好 key 编码和地址映射。
以问求证：基于熵减奖励的多轮 LLM 对话推荐
🧭 生成式对话推荐 · 熵减奖励 ★ 深度解读
Amazon
用推荐熵减作为多轮交互奖励，无需 ground truth 即可训练更高效的对话推荐 LLM
📌 工作参考价值（4 点）
- 可以把“采样推荐列表的加权熵”作为在线 Agent 的不确定性信号：每次用户回复后采样 top-k 商品列表，计算熵减，作为无监督 reward 或筛选样本，用于训练导购/客服 Agent，避免人工标注交互好坏。
- DPO 偏好对可由熵减重打标签，替换 CollabLLM 里 LLM-judge 的 interactivity 分数；工程上只需在原有生成流程中加一个采样和熵计算模块，成本低，且更贴合推荐目标。
- 加权熵公式中 rank j 权重为 1/log2(j+1)，可借鉴到推荐列表评估：强调 top 位置的一致性，避免长尾商品波动干扰不确定性估计。
- 评估时除了 Hit@k，还应关注达到目标商品所需轮次；电商多轮导购中可把“轮次效率”作为核心指标，与转化率一起优化交互策略。
大型发现模型：基于实证的模型驱动开放式搜索
🧭 LLM + 贝叶斯代理模型开放式搜索
University College London · The Hong Kong University of Science and Technology (GZ) · Institute of Automation, CAS · Jilin University · AI Lab, The Yangtze River Delta
耦合 LLM 生成与贝叶斯非参代理模型，用不确定性值引导候选生成与筛选，实现开放式搜索性能大幅提升
📌 工作参考价值（4 点）
- 借鉴「LLM 生成 + 非参代理模型」的架构：在电商搜索/推荐里，可让 LLM 生成候选商品描述、广告创意、Query 改写等，同时训练一个轻量 Bayesian surrogate（如 GP/随机森林）预测效果并输出不确定性，不依赖 LLM 自评/概率作为可靠打分。
- 用 uncertainty-aware value 做候选筛选：例如生成多个广告文案或推荐理由时，按 surrogate 预测的 CTR/CVR 减去不确定性惩罚选择，可平衡探索与利用，降低对冷启动或分布外候选的误判。
- 持续更新 discovery memory 与 surrogate：每个线上实验反馈（点击、转化）实时更新代理模型和记忆池，使候选生成越来越符合业务目标；类似在线贝叶斯优化，适合迭代优化推荐策略或创意素材。
- 注意资源：LLM 生成多个候选成本可控，但每次实验反馈更新 surrogate 需要在线训练或增量更新方案；可参考论文中非参模型的选择，探索轻量实现。
分离劳动：将证据解释与决策聚合分开
🧭 LLM 多源证据聚合与决策架构
Atlassian
提出将证据解释与决策聚合分离，用四字段证据元组和校准对数似然比池化解决计数尺度漂移
📌 工作参考价值（4 点）
- 在电商/推荐系统的多源信号融合中，将 LLM 的“证据读取”与“决策聚合”拆开：每个证据输出结构化 tuple（hypothesis, reliability bucket, rationale, provenance），后续用固定算术融合，便于溯源和跨场景复用。
- 避免简单对多路召回得分、多策略 CTR 预估等做未归一化加权求和或投票阈值，因为阈值会随证据数量漂移；改用校准后的对数似然比池化（或等效的后验阈值），使决策一致且可比。
- 对不可靠来源（如弱标注、用户生成内容）先做可靠度分桶，再参与聚合，可降低噪声主导风险；该 bucket 可作为先验指导模型对不同证据的信任程度。
- 在 Agent 决策链中，将最终决策与中间证据解释分离，便于调试、审计和动态调整证据集；架构上无需大改，只需改变聚合的算术方式。
HERMES：面向地球科学超长文档结构化知识抽取的多智能体框架
🧭 多 Agent 文档知识抽取
Zhejiang Laboratory, Hangzhou, China · Purdue University, Indiana, USA · University of Kansas, USA · University of Illinois Chicago, USA · Geologic TimeScale Foundation, Indiana, USA
多智能体框架从超长地学文献中抽取结构化数据，在古生物专著上抽取3.2万实体、45万属性，F1约0.90
📌 工作参考价值（4 点）
- 多智能体协调 + 领域约束 + 验证规则，可以借鉴来做电商商品属性/类目树的标准化知识抽取，尤其在 SPU/SKU 结构补全时，用 validator agent 强制字段格式和枚举值，降低 LLM 幻觉。
- 文档级统一抽取解析文本、表格、图片 caption，适合处理电商超长商品详情页、行业标准文档或广告素材库，可建立一条从多模态内容到结构化字段的 pipeline。
- 每个字段带 evidence tracing（证据追踪），方便人工审核和纠错，这在电商知识中台里很实用：预测出的属性可以回链到原文位置，快速验证和修复。
- 零训练跨域迁移说明该框架对不同领域知识库建设具有可复制性，冷启动类目或长尾属性补全时可以用低成本方式快速搭建抽取能力，效率提升数倍。
批量自适应剪枝：面向语言推理模型的周期性神经元激活感知权重剪枝
🧭 LLM 推理优化 · 自适应剪枝
The University of Tokyo
针对批量推理下训练无关自适应剪枝失效问题，提出周期 top-k 选择与激活记忆，实现推理加速同时保持精度
📌 工作参考价值（4 点）
- 在批量推理服务（如推荐系统中的 LLM 重排、解释生成、Agent 规划）中，如果采用训练无关自适应剪枝，优先用 top-k 选择替代阈值剪枝：批量共享 mask 时阈值受激活聚合分布偏移影响大，top-k 对分布偏移鲁棒，稀疏率更可控。
- 对长文本生成/推理链场景，可借鉴 activation memory 累积跨更新周期的神经元重要性，保留周期性重激活的关键神经元；这类似于对“反复出现的 pattern”做缓存，减少剪枝对长程推理的破坏。
- 工程上可设置 update period 周期性更新 mask，而不是每个 token 都重新选择，降低剪枝本身的开销；在 batch size>1、高吞吐优先的部署中，这是保持加速比的关键。
- 评估推理优化方法时应显式测试 batched inference，因为离线单样本精度无法反映线上批量服务下的漂移问题；尤其对于生成式推荐中的 LLM 打分/文案生成，batch 内样本分布差异可能导致 mask 失效。
QUASAR：通过损失感知重建降低量化感知训练的损失下界
🧭 量化感知训练 · 损失感知重建 ★ 深度解读
Cornell University · Together AI
将损失感知重建引入 QAT 训练循环，用 Adam 二阶矩做 saliency 进行尺度搜索和加权最小二乘拟合，压低低比特模型 loss floor
📌 工作参考价值（4 点）
- 低比特部署 LLM 时，若线上沿用 PTQ 掉点明显，可切换到 QUASAR 式 QAT：保持 weight-only 量化，不增加推理 overhead，训练开销仅 +1.4%。对需要长期稳定低延迟的推荐/Agent 推理服务有直接落地价值。
- 可直接复用两个 trick：用 AdamW 的 second moment \(v_t\) 作为权重的 saliency 估计，无需额外 Hessian 计算/存储；每步在 [0.3,1.0] 范围内搜索裁剪因子，并对反量化 scale/zero-point 做 saliency 加权最小二乘闭式求解，插入现有训练循环成本极低。
- 在 2-bit 这类极端低精度下，QAT 对数学推理和长链 Agent 任务质量影响显著；QUASAR 直接低比特 SFT 平均数学基准比最强 baseline 高 10.9 点，且是唯一在 HMMT'25 上非零的方法，说明保住长生成能力很关键。
- 该方法兼容 NVFP4 等生产格式，可把同样思路迁移到 MXFP4 或自定义 block-scaled 格式；迁移时只需调整候选 scale 与网格约束，核心目标不变。
SheetCompass：面向智能体表格推理的层次关系图框架
🧭 多Agent协同 · 层次图表格推理 ★ 深度解读
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China
将电子表格从扁平文本转为层次关系图，结合双级记忆与三Agent闭环，在SCB/SB/SheetRM上全面超越既有Agent方案
📌 工作参考价值（4 点）
- 多表/多域结构化数据可建模为表节点+列节点的层次图：显式保留包含、邻接等结构边，再用语义相似度+LLM逻辑打分构建跨表语义边；商品表、订单表、广告报表等联合推理可直接复用，避免扁平序列丢失空间与跨表依赖。
- 三Agent分工（Explorer 定位与子图提取 → Programmer 受图约束生成代码 → Reflector 用 checklist 校验执行状态）适合需要工具调用的长链路数据流水线，闭环校验显著减少语义错误。
- 双级记忆：静态专家知识（业务规则、公式模板、工具修复经验）与动态推理经验（当前轨迹、错误日志，成功经验回流长期库）结合，能避免重复犯错，适合长表格/报表生成任务。
- 用语义相似度筛选种子节点，再通过 BFS 提取共享子图进行上下文压缩，类似 RAG 中的上下文裁剪，可有效控制 prompt 长度，适合大规模表格/文档 Agent 场景。
CogChat：异构知识图谱增强设计对话 AI 的认知接地
🧭 知识图谱增强对话 · 异构 Graph Transformer
Design AI Lab, Hanyang University · Human-Centered AI Design Institute, Hanyang University
用个人异构知识图谱 + HGT 选择相关节点注入 LLM，提升设计对话的上下文保留与个性化意图理解
📌 工作参考价值（5 点）
- 面向电商/广告/搜索推荐场景的可借鉴点：
- 用户级动态知识图谱做长程上下文：在客服/导购/创意 Agent 中，实时从对话里抽取实体（商品、属性、类目、偏好）与关系，构建个人异构图谱，替代仅依赖 sliding window 的上下文；用 HGT 或轻量图注意力做子图选择，避免全量 KG 造成 prompt 噪声和延迟。
- 同名词/多义词消歧：异构图中实体类型和关系结构可区分同一词在不同上下文（如“苹果”作为品牌或品类），适合电商搜索 query 理解与个性化召回；将图结构注入 LLM 可提升意图识别准确率。
- 主动探测问题生成：借鉴 CogChat 同时生成 intentional 和 exploratory probing questions 的机制，在推荐对话中用于偏好澄清、query 改写建议（如“你指的是 A 还是 B？”），降低用户决策负担并收集偏好信号。
- 工程实现：可用轻量抽取器构建图，HGT 只负责节点打分与选择，LLM 负责最终生成，保持低延迟；先在特定垂直领域（服装、家居、3C）试点，注意图谱更新频率和图谱规模控制。
GEM：桥接推理与检索的生成式嵌入模型
🧭 生成式嵌入 · 推理增强检索 ★ 深度解读
University of Glasgow
GEM 用单一生成式嵌入模型先对 query 推理再编码，使检索模型能理解推理而不仅是表面匹配，4B 模型超越更大 baseline
📌 工作参考价值（4 点）
- 在搜索 query 理解阶段，可让 retriever 自身生成 query 解析（意图、相关标准、负向条件），再对 query+推理拼接后编码，而非仅依赖原始 query 或外部 query expansion。电商搜索中复杂长尾 query（例如“适合送长辈的安卓手机，不要小米”）可先用 LLM 生成明确检索标准，提升召回精度。
- 训练 embedding 模型时，保留生成能力（联合 causal LM + contrastive loss），用专门 <|embed|> token 而非 EOS token，推理时可复用 KV cache，避免先推理再编码的额外计算；业务部署时可在同一模型内完成 query 推理和向量化，降低 pipeline 延迟。
- 数据合成 trick：采样多个 reasoning 候选，用 LLM 判断原始相关文档是否仍满足该推理来过滤；再基于通过过滤的推理生成正文档和“主题相似但违背某个推理标准”的 hard negatives。这种对齐数据能显著提升 embedding 对指令/约束的敏感度，适用于电商推荐中“可解释偏好”或“多条件过滤”场景。
- 测试期 compute scaling：通过 prompt 要求生成更长推理（如目标词数）可稳定提升 nDCG，但到 1024 词后饱和；工程上可对高价值 query 分层使用，长尾复杂 query 用扩展推理，普通 query 短推理，平衡效果与成本。
局部方差最优不够：面向动态4比特量化的RoPE对齐Q/K旋转
🧭 RoPE对齐量化变换
University College London
发现RoPE对齐的成对旋转在动态W4A4KV4量化中未提升且增加困惑度，揭示代理目标与量化统计不匹配。
📌 工作参考价值（3 点）
- 部署 LLM 做生成式推荐/Query 改写/Agent 决策时，若采用动态 4-bit 量化（W4A4KV4），优先保留标准全头 Hadamard 旋转（QuaRot 风格）；实验显示用 RoPE 对齐成对旋转替换反而在多个 checkpoint、短/长上下文均增加 PPL。
- 若业务必须引入 RoPE 结构变换，可采用成对旋转与 Hadamard 组合，并仅用 K 的校准数据估计共享角度；该方案能满足 ±0.05-PPL 偏差阈值，但无额外收益，可作为兼容性方案而非优化方案。
- 工程实现注意：量化器步长通常由 tokenwise group range 决定，而代理目标基于位置平均协方差；两者统计错位会导致理论最优不转化为实际量化误差降低。评估量化方案时直接观察动态量化后的 K range、相对量化误差和下游指标（如 PPL 或线上效果），不要依赖孤立代理指标。
开口之前：利用 LLM 从长期日常对话预测言语行为
🧭 LLM 用户行为预测 · 长期对话
Massachusetts Institute of Technology
用 LLM 从 1000+ 小时长期自然对话中预测个人言语行为，探索主动式个性化 AI 可能性
📌 工作参考价值（4 点）
- 可借鉴思路：把长期用户会话/行为序列变成“个人行为预测器”。 电商/客服场景中的用户对话、点击、订单序列，可用 LLM 做长期 pattern mining，识别重复的高风险/高价值行为模式（如冲动下单、流失前兆、价格敏感表达），用于早期干预。
- 工程上可落地为“情境相似度召回 + LLM 预测”：将当前会话/上下文与用户历史行为模式做相似度匹配，再让 LLM 预测用户下一步意图/反应；输出可作为召回/排序特征，也可作为 Agent 是否触发主动服务的条件。
- 面向 Agent 的干预时机与形式：论文强调“在行为展开前提醒”。业务中可设计 push/文案/优惠券的 just-in-time 触发，但需结合用户访谈结论——用户关心透明度和控制权，主动干预要可解释、可关闭，否则可能引起反感。
- 业务可借鉴点有限处：论文使用 wearable 采集自然对话，成本高、规模小（14人/1000小时），直接照搬难；但用现有日志替代可降低门槛。
LittleLearner：基于小学课程受控知识暴露的语言模型
🧭 受控课程预训练 · 知识边界与注入评估
MPI-IS · Ellis Institute · ETHZ
构建88B token K-5语料并训练5B模型，提供研究知识边界与注入的受控沙盒
📌 工作参考价值（4 点）
- 借鉴课程过滤思路构建电商领域语料：用分类器或规则明确排除超出业务范围（如非在售品类、无关知识）的文本，降低模型幻觉与无关能力浪费。
- 评估知识边界可指导业务 LLM 上线：设计类似“是否知道某品类/政策”的探测题，判断模型是否具备真实业务知识，避免依赖 RAG 或微调误以为能注入新能力。
- 论文发现 post-training 与 ICL 只能更好地利用已有知识，不能提升 out-of-scope 能力。对电商 Agent 的启示：新品类或新政策若完全未在预训练中出现，仅靠检索或少样本提示可能无效，需考虑持续预训练或数据回灌。
- 低成本沙盒模型适合快速验证训练策略：业务中可先训一个小规模受控模型做消融，验证数据配比、课程顺序或知识注入方法，再迁移到大模型。
迈向Gricean后退：探测LLM的知识边界与指称特异性
🧭 LLM知识边界与生成特异性探测
University of Colorado, Boulder
LLM内部已编码知识边界与指称特异性信号，但生成时未协调，仍倾向编造具体细节而非退回通用陈述
📌 工作参考价值（4 点）
- 在商品文案生成、推荐理由或对话式电商中，对于长尾/新品等知识边界外的实体，可主动降低指称特异性：生成更通用的描述（如“某品牌运动鞋”而非具体型号），减少事实错误，提升可信度。
- 利用论文发现：模型激活中已包含知识边界和特异性信号，可训练轻量探针或使用激活引导（steering）在解码时调整logits，对低置信度实体自动触发“通用化”策略，无需重新训练大模型。
- 在RAG或知识增强场景中，当检索不到实体的具体信息时，可提示模型生成更笼统但真实的回复，并可将知识边界信号作为拒答或回退的触发条件。
- 该工作为幻觉控制提供了新思路：不是直接抑制幻觉，而是引导模型退回到安全的特异性层级，这比单纯惩罚更符合合作沟通原则，可尝试作为RLHF的额外奖励信号。
面向多语言多跳问答的延迟翻译与合成器折叠框架
🧭 多语言RAG · 问题分解与延迟翻译
School of Computer Science and Engineering, Northeastern University, Shenyang, China · Yunnan Key Laboratory of Artificial Intelligence, Kunming University of Science and Technology, Kunming, China
Syfer 通过延迟翻译和子问题图质量检查，在保持精度同时降低多语言 RAG 成本
📌 工作参考价值（4 点）
- 跨语言电商搜索/问答中，不必默认把 query 翻译成英文再召回；可先按原语言分解并做质量检查，通过则直接在目标语言检索与作答，失败才启用英文翻译路径，节省翻译成本和保留本地化语义。
- 复杂购物意图可拆成带约束的子问题图，在 Agent 执行前增加一道 decomposition-quality check，避免冗余子任务引入的错误累积。
- 多跳检索问答采用顺序 retrieve-then-answer，让子问题共享上下文，比先生成全部子问题再聚合结果更能抑制误差放大；这一点可迁移到多 Agent 协作的任务规划。
- 双语子问题图对齐只在翻译 fallback 时启用，作为低成本的跨语言一致性保障，适合需要兼顾效果与推理预算的生产环境。
先结构后查询：实现非结构化文档的精确分析查询
🧭 非结构化文档的结构化查询与分析
HKUST(GZ)
AnnoIndex 用自动标注模式构建结构化索引，结合 SQL 扩展查询引擎，以 0.87 F1 实现低成本精确文档分析
📌 工作参考价值（4 点）
- 用 annotation index 替代纯向量检索：对商品描述、用户评论、客服工单等非结构化文本，可预先用轻量模型抽取属性（如品牌、价格、功效），构建结构化索引，支持精确过滤，降低在线 LLM 调用成本。
- SchemaLoop 自动生成层级 schema：在电商类目/属性挖掘中可借鉴，从语料中自动归纳属性体系，避免手工定义大量标签字典；轻量模型抽取后增量合并，持续丰富知识库。
- 分层查询执行计划：先低成本过滤（倒排/SQL），再逐步对少量候选调用高成本 LLM 做深层语义分析，适合大规模商品库/内容库上的复杂查询与推理。
- 查询结果反哺索引：将抽取的新属性写回 annotation index，形成持续增值的文档知识库，类似用户行为/反馈数据不断补充商品标签与属性。
被放大不等于有预测力：思考模型中的推理行为
🧭 推理行为分析与过程奖励
Carnegie Mellon University · Stanford University
提出 Behavioral Lift 指标，发现思考模型放大的推理行为与正确性关联弱，而置信校准等高关联行为未被充分放大
📌 工作参考价值（4 点）
- 在 Agent 或搜索推荐链路中用 LLM 做推理/决策时，不要把“显式自我修正”“承认不确定”等表面行为当作可靠性信号；这些行为被思考训练放大但与最终正确性弱相关甚至负相关。可直接用置信校准类信号（如模型对答案的自信度评分、证据对齐程度）做在线过滤、置信度阈值或路由。
- 做 generator-evaluator 或 RAG 推理抽取时，过程监督/奖励函数不要奖励“看起来深思熟虑”的语言（如“让我再想想”“我不确定”），要奖励证据引用、知识与问题陈述对齐、对答案置信度的校准；否则会激励模型输出大量无信息量的表面推理。
- 推理长度不是越长的思考越好；在成本与延迟敏感的推荐/搜索场景，可基于行为 lift 建立更细粒度的过程质量评估，识别哪些中间步骤真正贡献正确性，用于 prompt 压缩、推理步剪枝或早停。
- 如果自建 reasoning model 或微调开源 LLM 做 query/商品理解，评估时除了端到端准确率，应监控行为分布，防止训练只改变风格而非能力。
从原子证据到逻辑组合：复合答案选项的结构化组合推理
🧭 LLM 结构化组合逻辑推理
University of Colorado Boulder
将复合选项分解为原子判断并用整数规划组合，大幅提升 LLM 在 AND/OR/NEITHER-NOR 逻辑题上的表现
📌 工作参考价值（4 点）
- 在电商搜索/推荐中，用户 query 常隐含 AND/OR/NOT 组合（如“红色且不是羽绒服”），可直接借鉴本框架：先对每个原子条件独立打分，再用约束求解器组合，避免让 LLM 直接处理复合条件。
- 对 Agent 决策中的规则匹配（如同时满足多个商品属性、排除某些类目），可将复合条件拆成原子判断，分别用对比假设校准每个原子，然后用整数规划做最终决策，提升逻辑一致性。
- 对于多条件排序/召回场景，可以在召回后增加一层逻辑组合重排：用 LLM 对单个条件打分，再用 ILP 约束组合，替代直接让模型输出复合判断，减少 NEITHER/NOR 类负向组合的错误。
- 该工作证明了“分解-校准-组合”的范式在逻辑推理上的有效性，可用于构建电商问答中复合查询的理解模块，尤其是需要处理排他性条件时。
嵌入者的困境：LLM 更好，但成本多高？
🧭 文本嵌入与 LLM 成本效益对比
Harvard University · Stanford University · Independent Researcher
控制成本对比 10 个 LLM 与 26 个嵌入模型，发现 LLM 总体仅高 0.4 分，且仅在推理重型检索领先，成本最高贵 1431 倍
📌 工作参考价值（4 点）
- 在商品相似度、分类、聚类等经典任务上，专用 embedding 模型（甚至小模型）性价比极高，不要盲目用大 LLM 替换；LLM 仅在推理密集型检索（复杂 query 理解、多跳推理）才值得考虑。
- 若用 LLM 做检索，注意 reasoning tokens 占推理成本 28-81%，可通过限制 reasoning budget（如关闭 thinking 或降低 max tokens）在多数场景保持或提升检索质量，显著降低 API 成本。
- 构建 embedding 服务时，用类似 MTEB(LLM) 的基准做成本-质量 Pareto 前沿分析，结合自身业务指标选择前沿模型；同时关注本地 GPU 吞吐，open LLM 比同 GPU 上的 embedding 模型慢 2.5-736 倍。
- 电商/搜索场景可分层：embedding 模型负责粗排和相似度召回，LLM 仅用于长尾 query 改写、意图解析或复杂检索，避免全量 LLM 推理。
Sci-Surf：基于人类反馈与智能摘要的科学文献发现导航
🧭 LLM用户画像驱动的个性化推荐
Zhejiang University · Tongji University · Google Cloud · Westlake University
集成LLM用户画像与多模态论文摘要的意图中心型学术推荐系统，在线评估提升10.4%
📌 工作参考价值（4 点）
- LLM verbalized profile 可迁移到电商用户画像：将用户行为序列用 LLM 总结成自然语言画像，作为召回/排序模型的额外特征或 prompt 上下文，捕捉静态标签难以表达的 nuanced intent。
- 反馈驱动的画像迭代机制：真实用户反馈持续 refine profiles，类似在线学习。电商推荐中可设计定期批量更新用户画像，用 LLM 总结近期交互生成动态兴趣描述。
- 多模态内容理解：论文图文生成结构化博客式摘要，可借鉴用于商品详情页优化、feed 流内容描述生成、广告创意文案自动生成。
- 在线评估指标：采用 predictive alignment 衡量画像与真实偏好的对齐度，比单纯离线 AUC 更有说服力，业务中可引入类似指标评估画像质量。
SkillEvo：多轮交互反馈驱动的自更新智能体技能进化
🧭 Agent Skill 自进化 · 多轮反馈 ★ 深度解读
Tencent Cloud Andon · Zhejiang University
把多轮用户模拟从评估终点改为反馈生成器，并用独立治理层主动修复知识退化，使技能进化梯度可持续
📌 工作参考价值（4 点）
- 多轮用户模拟不要只当测试集，要做成持续产出“可修复知识缺口”的反馈器：电商客服/导购 Agent 可从真实工单抽取 intent agenda + behavior facts + emotion trajectory，让模拟用户按状态机逐层追问，暴露单轮 QA 看不到的深层缺陷；每轮修复后对话自然进入下一层，梯度可再生。
- 反馈可信度三条件值得照搬：coverage/accuracy/attributability。用 intent state machine 保覆盖，用 dual-sided orthogonal evaluation 区分 simulator 和 agent 责任，用 collective attribution 把失败分成 Knowledge Gap / Capability Limit / Evaluation Noise，只把 Knowledge Gap 送入修订。业务里先归因再改知识库，能避免把权限、工具或评测噪声误写成知识。
- 治理层不要只做标量门禁，要做“结构诊断+主动修复”：对 Skill/知识库做 fact consistency 硬约束（dual anchors 分别抓跨轮知识丢失和本轮新增事实错误）和 structural consistency 软约束（bloat、断链、过度泛化）。RAG 知识库、policy 文档、推荐策略知识库的多轮更新都适用，能明显抑制膨胀和事实漂移。
- 版本选择用 dev 集而不是最终标量分数；自动修订不直接上线，保留 human checkpoint。线上 Agent 知识库或策略库的 closed-loop 更新可以采用同样的工程护栏。
选择性问答的渐近风险校准
🧭 LLM 不确定性校准与选择性拒答
Zhangjiang University · Ibaraki University
模型无关的事后校准框架，为LLM选择性问答提供渐近错误率控制，无需训练即可搭配任意不确定性估计器
📌 工作参考价值（4 点）
- 在电商客服、商品问答、搜索摘要等场景，当LLM输出需要保障准确率时，可借鉴A-CRC-QA的事后校准思路，在验证集上对不确定性分数进行单调化校准，获得满足目标错误率的动态拒答阈值，而不是拍脑袋固定阈值。
- 方法模型无关、无需训练，可与多种不确定性估计（如语义一致性、perplexity、self-consistency）结合，非常适合快速集成到现有LLM服务中，以最小成本提高输出可靠性。
- 对于推荐/搜索中的Agent决策（如自动生成推荐解释、选品理由），可应用类似风险控制，对Agent最终输出进行选择性过滤，降低向用户展示错误信息的概率，并量化控制风险。
- 注意方法针对渐近控制，工程上需积累足够校准集并定期更新阈值，以应对数据分布漂移。
持久递归世界实现自主软件演化
🧭 持久递归世界 · 多智能体协作
The Hong Kong Polytechnic University
提出以持久化项目而非持久化 Agent 为核心的递归多智能体框架，实现长程软件自动开发与演进
📌 工作参考价值（4 点）
- 把长期任务的“记忆”外置到项目版本/制品，而不是塞进单个 Agent 的上下文：电商选品、活动策划、自动调参等长时间运行 Agent 可让 worker 只持有局部上下文，验收后写回版本库，避免上下文膨胀与错误累积。
- 递归委派 + 按路径拆分：搜索词/文案/商品策略可按类目或子域递归拆解，子 Agent 只做局部变更，上层合并验收，便于并行和回滚。
- 验收驱动的版本推进：推荐/广告策略改动只允许通过离线评测或小流量验证的“后果”合入版本历史，形成可审计、可复现的实验资产。
- 成本敏感的长程任务可用廉价快速 LLM 跑大量 episode：本工作 120 小时/1000+ episodes 仅 44 美元，适合批量生成候选 query、商品卖点、广告文案等。
可组合非结构化知识编辑的混合策略自编辑
🧭 非结构化知识编辑与组合推理
University of Tennessee · Rutgers University · Purdue University · University at Albany
提出HPSE，通过特权上下文自蒸馏与混合rollout注入缺失事实，使非结构化知识编辑具备组合推理能力
📌 工作参考价值（4 点）
- 快速修正线上LLM中的商品信息、活动规则、推荐话术时，可将HPSE作为即插即用层叠加在现有知识编辑方法上，提升模型对更新事实的原子问答与多跳组合推理能力，避免每次全量微调。
- 混合rollout自蒸馏可迁移到LLM微调/RLHF：当注入知识（新类目、新政策、新活动）在模型自身生成分布中覆盖不足时，把标准答案片段插入模型生成的失败位置，其余保持on-policy，构建蒸馏数据或训练信号，比纯SFT或纯on-policy蒸馏更有效。
- 无需外部监督，利用模型自身上下文作为特权状态，适合业务中无标注事实更新场景，可降低标注成本。
- 注意：方法假设单一模型内更新，在多用户/多会话推荐系统中需额外验证编辑一致性与遗忘副作用。
你的 LLM，你的风格：用行为模式轴控制 LLM 行为
🧭 LLM 行为风格控制 · 激活方向
Shanghai Jiao Tong University · Shanghai AI Laboratory · The Hong Kong University of Science and Technology · Xi'an Jiaotong University
用情境化对比行为轨迹提取激活方向 BMA，发现 thought-derived 控制比 response-derived 更稳定干净
📌 工作参考价值（4 点）
- 推荐/客服 Agent 的行为风格（推荐激进程度、解释话术、风险偏好）可用 contrastive behavioral scenarios 快速搭建评测集；用正反行为对生成 hidden-state 方向，比自报式 prompt 更贴近线上行为。
- BMA 控制向量可作为轻量风格开关：在多轮推荐对话中，通过加法注入 thought-derived direction 固定客服语气或决策风格，减少长 prompt 带来的风格漂移。
- 注意 prompt register 差异：模型在‘给建议’和‘第一人称决策’下行为会漂移；电商导购 Agent 的 prompt 应按角色/任务类型分别设计并评估，不能复用同一模板。
- 若做生成式推荐/文案风格控制，可借鉴 contrastive traces 提取风格方向，避免频繁更新 LoRA，只做激活空间干预。
推理期脚手架实现强模型到弱模型的能力迁移
🧭 强模型构建推理期脚手架 ★ 深度解读
Salesforce AI Research · University of Illinois Urbana-Champaign
强模型不更新弱模型参数，仅靠推理期脚手架将弱模型ToM平均准确率从0.49提至0.91
📌 工作参考价值（4 点）
- 业务中用小模型/弱模型做 query 改写、意图分类、商品属性解析、Push 文案生成时，可先让强模型离线构造推理期脚手架：严格输出格式校验、greedy decoding、按任务子类型路由；把正则/规则/策略计算等确定性逻辑外置到代码，不让小模型做脆弱的符号推理。
- 用 5% 左右验证集做脚手架迭代即可，best validation 与 held-out 相关性极高（r=0.96）；跑 2-3 个 scaffold 选验证集最优、取上界，比反复加验证采样更划算。
- 把 builder 的 inference budget 投在深层任务分析而非多次验证上：builder reasoning effort 单调提升效果，而 validation iterations 几乎无关。具体到推荐/Agent pipeline，让强模型写出任务分解、状态提取、分支规则和 fallback，成本低但增益大。
- Headroom law：只对“弱模型有大量可纠正错误”的环节做脚手架；对已接近饱和的强模型或子任务，过度 prompt/rule 可能把原来对的答案改坏（strong target 在 Hi-ToM/MuMA 上出现负增益）。建议按子任务 headroom 做灰度和回退开关。
GenRec：Netflix 基于 LLM 的推荐排序器
🧭 LLM推荐排序 · 上下文工程 ★ 深度解读
Netflix · Amazon
用 LLM 背骨替代手工特征工程，借明文上下文和奖励加权训练实现可竞争的业务排序效果
📌 工作参考价值（4 点）
- 上下文工程替代特征工程：将用户行为、物品元数据、场景口头化为自然语言提示，通过选择性保留高价值行为、压缩重复活动、剔除低信号事件来控制 token 预算。在电商/广告领域，可借鉴此方法设计 Prompt 长度和内容，平衡高质量排序与推理成本。
- 两阶段训练框架：第一阶段用领域数据继续预训练，构建具备用户与内容理解的基础 LLM；第二阶段用推荐专属数据及奖励信号进行轻量后训练。业务中可复用：先用业务语料做增量预训练，再利用少量带奖赏权重的标注数据微调，降低频繁迭代的成本。
- 奖励加权损失对齐长期价值：将长期满意度代理、内容类型平衡等业务目标转化为标量权重，直接缩放排名损失。相比 RL 方案更简单稳定，电商/广告可直接用类似方式引导模型关注 LTV、品类公平等长期指标。
- 预填充推断 + 目录感知打分头：在 decoder-only LLM 之上加一层嵌入点积打分头，一次前向传播完成全目录排序，避免自回归解码，大幅降低延迟与成本。推荐系统落地时，可参照此架构实现高效的大规模候选集排序。
LLM 测试时增强：等量计算下输入多样性胜过输出多样性
🧭 测试时增强 · 输入多样性 vs 输出多样性 ★ 深度解读
Amazon Web Services
在固定推理预算下，语义改写聚合比自一致性更高效地将计算转化为准确率，性价比高约 1.8 倍
📌 工作参考价值（4 点）
- 改写聚合替代重采样：在电商搜索问答、推荐理由生成等需准确答案的场景，用同一 LLM 生成 k 个语义等价改写，分别回答后多数投票，比单纯多次采样自一致性成本-收益更优。
- 实施要点：改写与回答调用分离，改写提示必须保留原问题的选项、格式、图像引用；可用更强模型做改写（例如用 Sonnet 为 Haiku 生成改写）；推荐 $k=4$ 在成本与效果间平衡；仅在模型置信度中等（基线准确率 40-80%）时使用，高准确率大模型无益。
- 避免混合模态增强：若输入含图像，只增强文本，同时增强图像与文本会引入噪声导致性能下降；词汇增强（拼写错误）可能损害强模型，优先用语义增强。
- 低成本备选：若改写调用额外开销不可接受，词汇增强（字符扰动）几乎零成本，仍可获得小幅度提升，适合对延迟敏感的线上链路。
TSPORec: 基于偏好优化的LLM序列推荐令牌选择
🧭 LLM序列推荐 · 令牌选择与偏好优化 ★ 深度解读
通过偏好优化自动选择信息令牌，在提升序列推荐准确率31%的同时推理开销降低63%
📌 工作参考价值（4 点）
- 处理商品长文本描述时，可采用类似的令牌选择策略压缩输入序列，优先保留内容词（名词、形容词、实体），滤除高频功能词，在电商推荐中减少 LLM 推理延迟。
- chunk-level 选择提供了灵活的粒度控制，工程上可通过调节 chunk size 在性能和效率间取得平衡，离线预计算 item 令牌子集后直接用于在线服务。
- 偏好优化的 proxy reward 设计简单有效：对比两次采样子序列的交叉熵，无需外部标注，该范式可迁移至搜索、广告创意排序等需要精简文本输入的场景。
- 三阶段训练（预训练→策略学习→重训练）虽然额外增加训练耗时，但模型一次训练长期部署，适合推荐系统离线优化的节奏，推理效率的提升远大于训练成本。
Evo-Bench：衡量语言模型自主优化智能体框架的能力
🧭 Agent 自我进化能力评估
Gaoling School of Artificial Intelligence, Renmin University of China · BOSS Zhipin, Beijing, China
首个跨搜索、办公、通用领域的基准，评估LLM自主进化智能体harness的能力，发现搜索优势与早饱和现象
📌 工作参考价值（4 点）
- 在设计电商搜索或推荐 Agent 时，可让 LLM 自动优化其工作流程（harness），借鉴“辅助任务进化”方法来筛选对框架敏感的任务，降低试错成本。
- 注意早饱和现象：迭代优化时设置提前停止条件，避免过度优化导致性能停滞，适用于高频率在线场景。
- 合成的 harness 作为可迁移的推理模板，跨不同推荐模型复用，可沉淀为内部知识库，统一提升效果。
- 评估自主进化能力时需隔离基座模型强度与框架贡献，可参考“敏感度感知分层划分”防止过拟合到特定任务集。
结构保持投影缓解LLM序列推荐中的模态偏差
🧭 LLM推荐 · 模态偏差缓解 ★ 深度解读
National Taiwan University
通过余弦相似度保持与序列感知对比损失，迫使投影后的协同嵌入保留原始结构，抵消LLM对文本的过度依赖
📌 工作参考价值（4 点）
- Embedding Shuffle诊断法：冻结标题、随机打乱协同嵌入，观察性能下降幅度可直接衡量LLM对协同信号的依赖程度，适合用于评估自身融合模块的有效性。
- 结构保持损失可作为即插即用的约束：在MLP投影器后添加成对余弦相似度保持损失（MSE），或序列感知对比损失（正负样本区分），无需改动LLM结构，实现简单。
- 两段训练策略：先用纯结构保持损失预训练投影器，再联合LLM微调，可避免协同结构在语言模型训练初期就被破坏，适合在已有推荐pipeline中快速植入。
- 课程式组合损失：先用余弦相似度保持建立稳定拓扑，再渐进切换至对比损失，最大化几何保真与任务判别力的平衡，对需要同时保持物品泛化语义和序列偏好的场景（如电商多兴趣建模）有参考价值。
SWE-Bench ProMax：大规模多语言代码重构智能体基准
🧭 代码重构 Agent 评估基准
Shanghai Jiao Tong University · Peking University · The Hong Kong University of Science and Technology · Douyin Group · University of Chinese Academy of Sciences
构建多语言、大规模代码重构基准，通过严格清洗暴露模型短板，最佳解决率仅41.2%
📌 工作参考价值（4 点）
- 基准构建的严谨性可迁移：对测试用例的手动审查（剔除过严 / 过宽的测试）和问题描述的精确重写，可应用于推荐系统的离线评估中，避免因标注错误或模糊定义导致的模型能力误判。
- 协调多文件修改的思路：实例要求同时修改平均11.4个文件，类似推荐系统中需要跨阶段（召回、排序、重排）联合优化的场景，可启发多 Agent 协同编排的设计。
- 测试规模与真实任务的接近：平均261.6行代码的修改量远超市面基准，提示我们在构建推荐 Agent 评估任务时应尽量贴近线上复杂流程，避免琐碎的任务导致能力饱和。
- 业务可借鉴点有限：论文核心是代码重构，与电商推荐直接关联弱，但其暴露的大模型在长上下文、跨文件行为保持上的不足，对用 LLM 做推荐 Pipeline 自动编排有警示意义。
缓解英语到罗马尼亚语机器翻译中的性别偏见
🧭 机器翻译 · LLM 性别消歧与标签注入
Human Language Technologies Research Center, Faculty of Mathematics and Computer Science, University of Bucharest
用微调 LLM 插入性别提示标签配合标签感知 NMT，将英罗翻译性别准确率提升超 40 个百分点
📌 工作参考价值（4 点）
- 在生成式推荐或文案生成中，借鉴“LLM 分类 + 标签注入”的控制方式：用轻量分类器（或 LLM）识别目标属性（如性别、人群、品牌调性），向生成模型输入插入特殊 token 或标签，实现可控生成，无需重新训练大模型。
- 多阶段流水线（分类器与生成器解耦）便于单独评估和迭代，尤其适合电商场景中需要对特定属性（如性别、年龄、价格带）进行精准控制的文案或标题生成任务。
- 构建针对特定偏见的标注数据集，用于微调下游小模型（如 NMT 或文案生成模型），可有效降低推理时对大规模 LLM 的依赖，平衡效果与成本。
- 若业务涉及多语言翻译（如跨境电商商品描述本地化），可借鉴性别提示标签方案提升目标语言语法正确性和用户感知。
PushDualGen：让LLM生成语义ID与可解释文案的工业推送推荐框架
🧭 生成式推荐 · Semantic ID ★ 深度解读
Kuaishou Technology, Beijing, China
先生成SID再生成可跳过解释的轻量框架，在快手十亿用户推送中有效播放率+8.5%，不满意度-37.7%
📌 工作参考价值（4 点）
- 并行 SID 构建：采用多个独立码本并行量化，避免残差 SID 的误差累积与层级依赖，可直接用于商品/内容的多粒度高压缩表示
- SID 与 LLM 对齐：通过 Text2SID 和 SID2Text 双向任务微调，并冻结原词表只训练新增 SID token embedding，轻量且稳定，适合将推荐系统离散索引注入 LLM
- 多 token 绑定策略：合并高频 n-gram 与语义原子实体为单 token，降低推理序列长度，在生成推荐文案或搜索词时可显著压缩成本
- 生成信号与召回融合：将 LLM 生成的 Top‑N SID 编码成向量与用户特征融合后做 ANN 检索，可提升冷启动物料曝光与长尾覆盖率，对电商冷启动物品召回有直接参考
代理式混合自顶向下与自底向上的知识图谱生成方法
🧭 Agent 知识图谱构建
Malt, Paris, France
提出结合 LLM 与 Wikidata 的代理式混合管道，实现多语言技能概念的自适应对齐与涌现
📌 工作参考价值（4 点）
- 混合外部知识库（Wikidata）与 LLM 的思路可直接迁移到电商商品属性图谱构建：已有 SPU/属性对应 Wikidata 或 Freebase 实体进行锚定，LLM 负责发现并结构化新属性或长尾品类。
- 代理反思（agentic reflexion）模式用于未匹配概念的迭代恢复，可解决商品描述中不断出现的新词、新属性（如“可折叠”“氮化镓”）无法对齐的问题，工程上可设计类似的检查-再生成-去重闭环。
- 多语言规范化及去重阶段对跨境电商标品属性对齐（如颜色、尺寸）有直接借鉴：先用 LLM 多语言标准化，再基于语义相似度去重，减少人工 mapping 成本。
- 自愈（self-healing）框架与主动策展（active curation）思想可用于实时商品库的质量监控：自动检测失效或低置信度映射并重新调和，保障下游搜索推荐的特征质量。
LLM驱动的混合嵌套搜索：解耦结构与参数优化
🧭 LLM驱动的结构-参数解耦优化
Komorebi AI Technologies
提出外层LLM生成结构草图、内层数值优化器调参的混合框架，在科学任务中大幅超越纯LLM搜索
📌 工作参考价值（4 点）
- 在推荐系统的策略自动化设计中，可以用LLM生成召回/排序的规则结构（如if-else逻辑、模型组合方式），再用CMA-ES或贝叶斯优化微调其中的阈值、权重等参数，避免token浪费并提升性能
- 对于Agent的行为策略优化，可让LLM提出高层次控制流草图，内层用数值优化器（如MCMC）搜索最优参数，减少试错成本
- 在自动超参搜索场景，将LLM生成的训练脚本作为结构模板，内部超参（如学习率、dropout）交给梯度优化器，可结合LLM的先验知识与数值优化的高效性
- 框架支持内外层柔性替换，业务中可根据实际算力与需求选择不同的LLM和优化器（例如用闭源LLM生成结构，开源轻量模型微调参数），具有很强的工程落地灵活性
PACE：基于原语的代码进化实现自动算法设计
🧭 LLM驱动的自动算法设计 · 代码进化
Southern University of Science and Technology · Shenzhen University
将算法局部逻辑解耦为可执行原语，通过原语感知进化和汤普森采样实现代码级复用与有效评估
📌 工作参考价值（4 点）
- 推荐策略部件化与进化复用：将推荐系统中的排序规则、特征交叉方式、后处理逻辑等代码抽象为可执行原语（EAP），通过类似PACE的原语感知算子进行变异与交叉，自动进化更优策略组合，同时保留历史有效片段，避免重新探索。
- 基于Thompson采样的无额外数据评估：对推荐算法迭代中的局部改进，可利用父代相对提升作为奖励信号，通过Thompson采样选择高潜力原语，无需预留大量评估流量，指导在线更新时更具样本效率。
- 防止LLM生成代码的退化迭代：在使用LLM进行推荐模型或Agent逻辑自动优化时，借鉴PACE将关键子模块显式物化为原语集合，并以结构性约束保留它们，可缓解完全重新生成带来的性能波动与有用片段的丢失。
- 跨任务策略迁移的启发：构建跨场景（如不同广告位、国家站）的通用原语池，利用PACE的迁移机制，可快速将已验证的调整策略适配到新场景，降低冷启动人力成本。
Cleo：面向对话商务的透明可控聊天机器人系统
🧭 透明可控的对话式推荐系统 ★ 深度解读
GESIS – Leibniz Institute for the Social Sciences
通过混合架构分离确定性排序与 LLM 生成，实现可审计的产品推荐与决策支持。
📌 工作参考价值（4 点）
- 混合架构的解耦设计：将排序逻辑与对话生成严格分离，Ranker 执行确定性多属性过滤与损失计算，LLM 仅负责结构化需求抽取和自然语言响应，可有效防止 LLM 幻觉或劝说性内容影响推荐结果。电商场景中可直接复用该架构，在保持对话流畅性的同时确保推荐可靠可控。
- 可审计的透明排序：通过暴露每个属性的损失值（price/RAM/storage/screen size）和整体评分，用户可点击“为什么这样排序”查看详细解释。这为推荐系统中的算法透明度与可解释性提供了低门槛实现思路，可直接作为功能模块嵌入商品推荐对话界面。
- 结构化需求抽取与后处理：用 LLM 进行需求槽位抽取（JSON 输出），配合规则化的单位换算、离散值对齐和非法过滤，显著提升抽取鲁棒性。在电商对话搜索、智能客服中可参考该管线，降低 LLM 输出不可控带来的风险。
- 比较与亮点功能的约束生成：多产品对比和单产品亮点均先用规则计算指标差异，再交由 LLM 格式化输出，避免生成虚假规格。对于需要展示商品对比或卖点总结的推荐场景，这是一种低成本高效率的幻觉防御手段。
DASH：发散自适应监督视野的在线策略自蒸馏
🧭 蒸馏训练 · 推理优化
Institute of Automation, Chinese Academy of Sciences · EverMind · Shanda Group · University of Chinese Academy of Sciences · Wuhan AI Research
提出DASH，根据局部发散与序列均值的差异自适应调整token级蒸馏权重，提升推理模型在线策略自蒸馏效果
📌 工作参考价值（4 点）
- 在推荐/广告场景的生成式模型训练中（如Semantic ID生成），若采用教师-学生在线蒸馏，可引入 DASH 的自适应门控机制，根据生成过程中每个token的偏差程度动态调整蒸馏损失权重，避免对所有token同等对待。
- 该方法不增加额外前向计算，仅复用已有的教师和学生分布，工程实现成本低，适合在已有OPSD流程中快速叠加。
- 对于使用RLVR训练推荐Agent的场景，可将 DASH 作为token级奖励塑形的一种手段，结合 KL 散度权重自适应调整，平衡探索与利用。
- 核心 trick：构建局部发散与全局均值的 gap 作为门控信号，可通过 simple 的递归聚合实现，无需复杂时序模块，易于部署。
FormBharo：印度农村对话式表单填写语音代理的设计与评估
🧭 语音代理 · LLM+规则混合表单填写
Artpark · Indian Institute of Science
构建LLM+规则混合语音代理，发布会话表单填写基准，揭示端到端评估与多目标权衡的必要性
📌 工作参考价值（4 点）
- LLM+规则混合架构：在电商客服或对话推荐Agent中，可借鉴生成+确定性校验的流水线，用规则兜底LLM的错误，提升低资源或高噪声场景下的鲁棒性。
- 端到端评估优先：组件指标（如ASR准确率、槽位提取F1）不能代替全链路表单完成率；构建推荐/查询改写Agent时，需设计覆盖真实噪声的端到端测试，避免在组件优化上浪费资源。
- 多目标帕累托选型：面对准确率、成本、延迟的权衡，使用加权和标量化进行模型选择，适合业务上线前的自动化配置决策。
- 低资源语音交互基准：发布的FormVoiceAgentBench含真实印地语音频与多轮对话，可作为多语言/方言语音Agent测试的模板，特别适合需要覆盖长尾用户语音交互的国际化电商场景。
MACRO：基于马尔可夫链的Transformer层路由
🧭 动态层路由优化推理
Heinrich Heine University Düsseldorf · Jagiellonian University · IDEAS Research Institute
不修改模型参数，通过马尔可夫链学习任务特定层路由，精度+5.0%，搜索时间降低9.4倍
📌 工作参考价值（4 点）
- 动态层路由可作为在线模型服务的推理加速手段，根据查询或上下文的复杂度自适应选择执行层数，在搜索推荐系统中平衡延迟与效果。
- 路由策略以马尔可夫链形式外挂于预训练模型，无需修改原始权重，便于在已有LLM上快速实验与部署。
- 利用top-k Viterbi解码生成高概率候选路径，可借鉴用于Agent多步推理中对执行路径的规划与剪枝。
- 将计算预算分阶段建模，可控制推理成本，适合在流量波动下动态调整资源分配，如大促时保障核心服务。
免训练的Token级引导框架：大模型个性化协同写作
🧭 训练免token级引导 · 个性化写作
Tsinghua University · Fuyao University of Science and Technology · Henan Provincial People’s Hospital
提出免训练的token级引导方法，在小数据集上实时控制LLM生成，显著降低人工编辑量
📌 工作参考价值（4 点）
- 在商品标题/广告文案生成中，可借鉴 token 级引导快速适配专业领域，无需频繁微调大模型，降低算力与维护成本
- 针对小样本商品类目（如新品），该框架基于小数据集构建引导，能有效捕捉细分用语风格，提升个性化文案质量
- 工程上可将领域知识（如商品属性、组合搭配）编码为 token 偏置，作为轻量插件接入现有文本生成流程
- 方法不依赖梯度更新，适合在频繁变化的电商环境中实时注入最新促销信息、季节热词等
Skaling：以交互指数耦合模型尺寸与数据的缩放法则
🧭 缩放法则改进 · 计算最优预测
FAIR at Meta
引入交互指数耦合模型容量与数据，解决标准缩放法则在极端区间的预测偏差，MAPE 降低 1.5–3 倍
📌 工作参考价值（4 点）
- 小规模代理实验精准指导大规模训练：直接采用 Skaling 法则对搜索/推荐模型（如召回双塔、精排大模型）进行缩放预测，捕捉模型尺寸与数据量的交互效应，避免因独立假设导致在数据稀疏或过训练时的计算资源错配。
- 低成本外推最优配置：结合文中稀疏网格策略，用少量低计算量实验（约全网格的 1/10 计算量）即可准确外推更大规模下的 Loss 与最优参数比，适合业务中需快速评估多个模型尺度时的预算分配。
- Agent 微调与 RLHF 的 scaling 决策：在为下游任务微调 LLM Agent 时，可利用该法则预测不同基座大小与微调数据量组合的性能，帮助在预算内选取性价比最高的配置。
- 交互项设计思路可迁移：当推荐模型存在组件间的强耦合（如特征域数量与 embedding 维度的联合缩放），可在损失预测函数中显式引入耦合项，提升拟合效果，该方法具有通用性。
链式递归语言模型实现多轮推理
🧭 多步推理 · 新鲜推理链架构
University of Maryland
将长上下文推理拆成多轮新鲜调用，通过摘要与黑板传递状态，避免错误累积
📌 工作参考价值（3 点）
- 在电商对话Agent中，将复杂查询（如多条件筛选+排序）拆成子任务，每个子任务独立调用LLM，用黑板共享中间结果，对抗长上下文遗忘
- 商品知识图谱多跳推理（如“同等价位好评率最高品牌”）可采用新鲜推理根，每步仅关注相关子图，阻断错误传播
- 推荐解释生成需融合多源信息，可引入可检查可修正的中间产物机制（如结构化摘要），提升解释准确性与可调试性
多智体协同过滤中连接性对攻击与防御的影响研究
🧭 多智体协同过滤 · 连接性安全评估 ★ 深度解读
University of Oxford · Amazon
系统揭示候选数与目录集中度如何不对称地调制攻击与防御效能，发现语义攻击更持久，静态图度量可预估风险
📌 工作参考价值（5 点）
- 系统设计时监控连接度两极分化：每轮推荐候选数 k 和物品目录重叠度 ρ 对攻击传播的影响呈角色不对称性。增加 k 会加速隐私提取的早期泄漏，但几乎不推高稳态泄露率；增大 ρ 则推高物品侧污染，对用户侧影响非单调。在调整召回策略或扩量时，建议分用户/物品侧分别评估安全指标，避免单侧失守。
- 红队测试优先采用语义攻击：记忆更新步骤（LLM 重写摘要）会自然修正词法扰动，但完整保留语义注入。因此像 DrunkAgent（注入语义概念到物品记忆）比 RecTextAttack（词法扰动）存活率更高。内部安全测试应重点检验语义注入的耐久性，而非仅防御提示词级别的扰动。
- 防御部署需考虑角色隔离：G-Safeguard 等 GNN 检测防御在用户侧有效，但在物品侧稀疏时失效 (ρ 小时毫无安全增益)。建议对不同角色训练独立的异常检测模型，或为物品 Agent 设计无监督 (如 BlindGuard) 但针对度数不对称性优化的编码器。
- 用静态图指标替代昂贵模拟做初步风险评估：论文尝试用基于 SIS 模型的恢复感知一阶连接度预测器 (R_U, R_I) 来排序不同配置的风险，虽相关有限但节省资源。在工程上可先计算类似 \(1-(1-α_I)^k / ((1-α_I)·k·γ+r)\) 的静态分数，快速筛查高危配置后再进行小规模攻击仿真。
- 选用对齐良好的 LLM 并保留反思步骤：较新模型 (Claude 4.5) 因丰富世界知识和安全对齐，在良性交互中能自我纠正记忆污染，降低攻击持久性。建议在 Agent CF 中保留记忆更新后的反思/摘要步骤，并优先使用最新对齐 LLM 作为 Agent 大脑。
多有效答案时投票失效：因果推理中基于符号验证的最佳选择
🧭 因果推理 · 符号验证驱动的LLM答案选择
The University of Texas at Austin · New York University
提出 CALVER，用因果公理的符号验证器替代投票，在允许多个因果有效答案的推理中准确率大幅提升。
📌 工作参考价值（4 点）
- 因果决策中的答案聚合：在电商推荐系统的因果推断（如折扣策略效果、用户流失原因）中，用 CALVER 的符号检查替代多数投票，可避免因因果图误解导致的一致错误答案胜出，提升离线分析和策略制定的可靠性。
- 从文本构建因果图的验证：当用 LLM 从用户评论、商品描述或运营报告中抽取因果结构时，将 CALVER 作为轻量级后验验证器，对多个抽取结果按公理正确性评分并选最优，无需额外训练，CPU 毫秒级可运行，适合实时管道。
- Agent 因果决策的稳健性：在智能客服或推荐对话 Agent 中集成 CALVER，对 Agent 生成的因果解释（如“为什么推荐该商品”）进行符号级验证，避免因采样偏差给出看似合理但因果颠倒的解释，提升用户信任与解释质量。
- ATE 估计的阈值决策：在广告因果归因或促销效果评估时，用 CALVER 对 LLM 生成的平均处理效应推理进行打分排序，替代简单置信度阈值，可更准确地识别有效干预，减少误判。
HyperAgent4POI：动态语义消息传递的多智能体超图缺失模态推荐
🧭 缺失模态补全 · 超图消息传递 · LLM增强推荐 ★ 深度解读
Swinburne University of Technology · Tongji University · Singapore University of Technology and Design
在超图层内用冻结Llama+LoRA联合完成模态补全与软关联细化，有效应对POI多模态缺失
📌 工作参考价值（4 点）
- 缺失模态补全与消息传递层内耦合：电商商品描述、图片常缺失，可借鉴DSMP在每层GNN/超图传递时利用LLM根据当前邻域上下文动态补全，使用冻结主干+LoRA适配器，既避免重训大模型又比一次补全更准确。
- 软关联学习控制拓扑漂移：推荐图中交互边常有噪声，DSMP通过有界候选池（固定K_ret）、软关联分数和保守KL正则，允许层内拓扑可微调整。可迁移到物品共现或查询-文档超图，用阈值筛选控制图规模，提升高阶关系挖掘的鲁棒性。
- 离线LLM语义增强，在线无LLM延迟：角色提示词和LoRA操作仅在训练/离线刷新时运行，最终节点表示缓存用于点积排序，线上不调用LLM。在搜索推荐系统中，可离线用LLM丰富商品或用户表征，在线直接检索缓存向量，兼顾效果与性能。
- 可插拔角色适配器与消息接口：聚合、拓扑、补全等语义操作使用同一冻干主干但各自独立的LoRA，模式高度复用。在商品属性补全、用户兴趣演化等任务，可定义不同提示模板和LoRA适配器，保持主干参数冻结，大幅减少训练参数量，适合多任务和轻量化部署。
LiveMem：在长运行LLM推理中维护记忆状态连续性
🧭 长运行LLM的内在记忆状态连续性 ★ 深度解读
NatureSelect.AI · Southern University of Science and Technology · Xidian University
通过并行循环记忆分支和上下文更替训练，使LLM在证据离开工作上下文后仍能依靠记忆状态保持推理连续性。
📌 工作参考价值（5 点）
- 记忆侧分支可迁移至长会话推荐Agent：在对话推荐或客服Agent中，可在每层注意力旁添加类似GDN2的循环模块，将用户长期行为序列压缩至固定记忆状态，当上下文窗口溢出时仍维持偏好感知。
- 训练范式：强制证据移出上下文：模仿LiveMem的post-training，通过分块管理使旧历史离开注意力，迫使模型依赖记忆状态回答，从而训练出真正的“记忆利用”能力，适合电商长生命周期用户建模。
- 课程学习策略激活记忆分支：先用全量行为日志（或长文档）预热记忆模块，再用均衡任务数据微调，可有效激活侧分支，避免模型短路依赖注意力上下文。
- 评估记忆真实有效性的方法：借鉴LongMemEval设计，构造证据与当前窗口距离递增的测试集，精确衡量模型是否真正记住了被淘汰的信息，适合评估推荐Agent记忆续航能力。
- 工程收益：上下文分块与KV淘汰：采用基于chunk的FIFO队列管理KV缓存，在推理时释放旧chunk，降低显存，支撑极长交互session的推理服务。
面向 LLM 的高效知识蒸馏：离线 Top-K logit 缓存与融合分块 KL 损失
🧭 训练效率 · 知识蒸馏 · 长上下文 ★ 深度解读
Multiverse Computing
通过缓存教师 Top-K logits 和融合分块 KL 损失，实现单 GPU 上长上下文蒸馏训练，匹配在线质量且内存线性增长。
📌 工作参考价值（4 点）
- 离线蒸馏策略：预教师 Top-K logit 一次缓存后重复用于多轮消融实验，大幅降低资源占用，适合需频繁蒸馏的推荐模型迭代。
- 长上下文训练解锁：融合分块 KL 损失让峰值内存与序列长度成线性关系，可在单卡 H200 上训练 32K 上下文，用于处理电商搜索中长用户行为序列的场景。
- 损失设计经验：logit KL 损失是知识迁移的必需品，追加隐藏状态特征损失（MSE 或余弦）可稳定提升约 1% MMLU。
- 打包训练简化：蒸馏时用朴素的全 1 注意力掩码做序列打包，仅牺牲约 1 个 MMLU 点，工程实现简单且效率高。
GradCuit：通过信用分配梯度流实现鲁棒可解释的测试时潜在推理
🧭 LLM 测试时潜在推理优化
NLCo Lab, Beijing Institute for General Artificial Intelligence · Institute of Automation, Chinese Academy of Sciences · School of Artificial Intelligence, Beijing University of Posts and Telecommunications · School of Artificial Intelligence for Science, Peking University
在 Transformer 层插入可优化隐状态，利用因果注意力将奖励梯度直接赋予隐状态，提升推理精度与鲁棒性
📌 工作参考价值（4 点）
- 测试时在线优化机制：在 Agent 多步推理或推荐流程中，可以在不更新模型参数的前提下，为每个样本动态优化一组中间隐状态，类似于为当前上下文“微调”表示。这对搜索推荐中实时适应用户意图、处理长对话状态有参考价值。
- 信用分配直接化：GradCuit 的奖励加权梯度直接回传至隐状态，无需通过序列解码展开。在电商多轮对话或步骤反馈奖励（如用户点击）的场景下，可借鉴这种直接对中间表示做梯度更新的思路，替代复杂的强化学习估计。
- 工程实现简单且超参数鲁棒：该方法只需在某一层插入可训练向量，训练过程稳定，对学习率不敏感，甚至随机游走变体也有效。对于需要低延迟在线优化的系统，这种低超参敏感性的方法易于工程落地。
- 可解释性可视化：通过梯度归因可以分析哪个 token 或哪一层对最终决策影响最大，这可用于调试策略、排查推荐解释或优化 prompt 设计，在需要强可解释性的业务场景中有潜在应用价值。
Search-GRT：用 ground truth 引导检索训练，提升搜索 Agent 多跳问答能力
🧭 搜索 Agent 强化学习训练优化 ★ 深度解读
Samsung Electronics AI Center-Mountain View
在 RL 训练中利用 ground truth 约束检索候选集，提供更强学习信号，多跳 QA 性能提升超 40%
📌 工作参考价值（4 点）
- 利用业务 ground truth 缩小检索空间以提升 RL 训练效率：在电商搜索或推荐多跳推理场景，若拥有用户点击/购买日志等强相关 item 集合，可构造受限检索池，集中训练信号，缓解早期稀疏奖励问题。
- 将“检索约束”作为课程学习策略：在复杂 query 改写或对话式推荐训练初期，用已知正确文档或商品限制候选范围，待 agent 学会提取有效子 query 后逐步放开，类似 GRT 仅在训练时约束，推理时仍用全量索引。
- 借鉴 GRT 的奖励设计：基于答案绝对匹配的 0/1 奖励简单高效，结合检索准确率与最终答案准确率的监控，能快速诊断 agent 的检索与合成短板。
- 工程实现上可复用文本嵌入相似度构建受限语料：用业务中已有的 query/商品/文档 embeddings，基于 ground truth 答案或关键信息，动态选取 top-k 相似文档作为训练时的检索池，无需额外标注。
从代码审查到代码评论：面向大规模 AI 生成差异的意图、漂移与聚光灯
🧭 AI 编码 Agent 审查 · 意图理解与漂移检测
Meta, USA · Concordia University, Montreal, Canada
提出意图预测、漂移检测和代码聚光灯三大机制，革新 AI 编码代理的代码审查流程
📌 工作参考价值（4 点）
- 意图预测用于生成式推荐：利用用户会话日志、历史行为等元数据推断搜索意图，动态调整推荐策略，提升生成内容的针对性。
- 漂移检测作为线上监控：通过回译（backtranslation）测量最终推荐结果与原始意图的语义偏移，设定阈值告警，防止模型“自由发挥”导致体验恶化。
- 聚光灯机制优化资源分配：对大量生成候选项进行重要性排序，仅对人眼或高成本模型暴露高优先级条目，大幅降低 token 消耗与人工审核成本。
- 主题分类体系迁移：参考论文的六主题分类（正确性、安全性等），构建推荐系统的质量评估框架，细粒度监控生成内容的多维度风险。
LLM驱动生成式解耦：本地生活服务可解释SID生成
🧭 生成式推荐 · Semantic ID ★ 深度解读
Kuaishou Technology
提出先解耦后量化的SID生成框架，将LLM纠缠隐状态分离为地理与语义槽再分别量化，大幅降低SID冲突并提升推荐效果
📌 工作参考价值（4 点）
- 电商/本地推荐中的SID冲突解决：本地生活或电商场景中，地理、品牌、类目常纠缠在同一隐空间，导致量化后SID高频碰撞。可借鉴LGRID的生成式解耦思路，在LLM编码后加入结构化解耦块，将地理层级和语义属性显式分离后再分别量化，显著降低冲突率（从97%降至39.9%）。
- 属性可解释性训练：通过课程式属性解码（coarse-to-fine）和结构感知对比学习，可以利用少量监督让LLM隐状态具有显式的属性语义，实现高精度的粗/细粒度地理解码（>99%），这种可解释表征可直接用于冷启动物品画像或可解释推荐标题生成。
- 双流残差量化的多属性扩展：DSRQ对地理和语义槽使用独立码本，避免码本竞争，同时保持粗到细的层次结构。当业务存在多类异构属性（如价格段、适用人群）时，可复用该双流思路，每个属性流独立量化，再拼接成统一SID。
- 工业部署友好：离线SID构建仅增加约1.56倍时间，在线延迟几乎不变（1.04倍），仅需查表获取预生成SID并与原ID嵌入拼接，不改变推荐模型结构，适合大规模工业系统直接嵌入。
LLM生成式检索在Snapchat短视频推荐中的工业级落地
🧭 生成式推荐 · 语义 ID 与 LLM 工程落地 ★ 深度解读
Snap, Inc.
首次部署 LLM 生成式检索：多模态 PPR 行为 SID + 两阶段词汇接地 + 推理优化，线上观看时长提升 0.37%
📌 工作参考价值（4 点）
- SID 构建加入 PPR 共现对比损失：用 Pagerank 从用户-视频二部图挑选高质量正样本对，做对比学习，可显著缓解码本碰撞、注入协同信号，视频 ID 唯一率从 16.8% 提升至 32.1%。电商推荐中可以用商品共购图或用户行为图生成类似正样本对，改善语义 ID 的区分度。
- 两阶段 LLM 训练（CPT+SFT）：先用视频描述做 SID 到文本的生成任务，冻住 LLM 只训练新加入的 SID embedding，使新 token 与模型的语义空间对齐；再在用户交互序列上全量 SFT。CPT 可稳定提供额外 0.8%~1.2% 的 Recall/Pass@k 提升，且成本低（一次性训练），值得在引入新 ID 体系时复用。
- 高吞吐推理的工程组合：TensorRT-LLM CUDA 原生 beam search 替换 Python 实现，结合分布式 worker-loop 架构和异步 IO，实现 45.7 倍吞吐提升。对于需要大 beam 宽度的生成式推荐推理，这套组合可直接迁移。训练侧用动态序列打包 + FlashAttention-2 变长支持 + torch.compile 获得 3.6 倍训练提速，同样适用于短序列用户行为训练。
- 架构选择启示：相同参数量下，decoder-only LLM（Qwen3）比 T5 encoder-decoder 在 SID 检索 Pass@32 上高出约 1.5 倍，且缩放至 600M 仍保持显著优势，说明生成式检索应优先选用 decoder-only 预训练架构。
ASARL：面向社交搜索的自主多智能体相关性学习框架
🧭 多Agent数据治理与搜索相关性学习 ★ 深度解读
Tencent PCG
通过多智能体协同数据治理与分阶段偏好对齐训练，实现社交搜索相关性理解的自动化与社交感知
📌 工作参考价值（4 点）
- 多智能体数据标注流水线可迁移到电商搜索：ReasonAgent 生成推理标签、CriticAgent 核查一致性、GenAgent 生产长尾样本的闭环，能降低人工标注成本，缓解长尾查询覆盖不足，尤其适合大量非标品的电商搜索场景。
- 分阶段训练策略值得复现：先用领域特化的 Reasoning CoT 做 SFT 注入知识（Social Context Training），再用 DPO 对齐真实点击信号（Preference-Guided Optimization），最后蒸馏到轻量模型（Social Distillation），这套流程可直接用于电商搜索相关性优化。
- 社交属性的结构化建模思路可用：将用户意图与社区/商品属性对齐，形成可解释的推理链，既能改善模型判断准确性，又能输出可读的排序理由，利于搜索诊断和运营。
- 真实在线实验验证了收益：在 QQ 频道和群搜索上，CTR 提升 1.36%~2.69%，Join Rate 提升 1.06%~2.59%，部署达 1200 万 DAU，说明该方法可同时提升点击和深层转化，对电商搜索有直接参考价值。
超越借用历史：面向交互式角色扮演评估的个性化用户模拟
🧭 角色扮演代理评估 · 用户模拟器
University of Science and Technology of China · MetaStone Technology, Beijing, China
提出基于用户模拟器的个性化评估框架，解决现有基准使用固定对话史和通用评分的问题
📌 工作参考价值（4 点）
- 用户模拟器可复用到对话推荐或搜索系统的离线评估中，针对不同用户画像生成个性化交互会话，模拟真实用户行为。
- 个性化评分标准的思想可迁移至推荐满意度预测，训练用户特定的评估模型，比单一评分更准确衡量个体体验。
- 多轮会话级别的评估范式适用于对话式推荐、客服Agent等长交互场景，突破单轮评估局限，捕捉长期交互质量。
- 生成可解释的用户-系统对级评估报告，帮助分析细分用户群的体验差异，指导业务进行针对性优化。
大语言模型能否执行母订单？分层零样本交易决策
🧭 LLM驱动的分层决策与规划
Independent Researcher · HKUST(GZ) · ZJU · SYSU
首次系统研究用LLM做母订单执行，提出分层框架PACE，零样本超越传统和学习型基线0.65基点
📌 工作参考价值（4 点）
- 分层规划思想可直接用于电商大促的预算/流量分配：用LLM做高层计划（每天/每时段的预算比例），底层执行器按计划实时出价，无需针对具体场景重训模型。
- LLM零样本决策能力可替代强化学习在冷启动或快速变化的推荐场景（如新品冷启推送节奏）中做时序动作决策，降低训练成本。
- 长期规划+短期执行的分解范式适合多Agent协作：一个Plan Agent制定整体策略，多个Execute Agent按约束执行，解耦决策粒度，便于工程实现和调试。
- 行为分析中的“模型自信与绩效正相关”提示：可在在线决策系统里结合LLM输出置信度做风险控制，高置信动作放量，低置信动作交人工审核或降级。
FinanceHarness：自主金融深度研究框架
🧭 Agent驱动的金融深度研究框架
Google Cloud AI Research · University of California, Los Angeles
提出面向金融领域的自主深度研究框架及点时间基准FinanceGym，将代理评分从25.3%提升至32.4%
📌 工作参考价值（4 点）
- 领域专用Agent工作流设计：电商搜索推荐Agent可借鉴分层harness思想，封装商品查询、行为分析、趋势预测等工具，构建多步骤推理流水线（如竞品分析→选品策略→文案生成）。
- 点时间基准避免数据泄露：针对促销预测、季节品推荐等时间敏感任务，可参照FinanceGym的pre-cutoff/post-cutoff评估设计，确保测试集不包含未来信息，真实反映模型能力。
- 奖赏建模指导Agent优化：可对推荐报告、搜索策略输出定义自动评分标准（如覆盖率、新颖性、时效性），用于RLHF或拒绝采样微调，提升Agent执行质量。
- 专家验证基准的效用：在构建垂直领域Agent评测集时，引入专家人工验证确定难度和真实水平，避免纯自动指标误导，发现顶尖模型仍有较大改进空间。
决策感知的用户模拟器DASH：融合思维链与跨域历史的广告行为仿真
🧭 决策感知的用户模拟器 ★ 深度解读
Tencent Inc. · National University of Singapore
提出DASH，通过异构上下文折叠和思维轨迹联合建模，提升广告用户仿真的动作准确性及诊断价值
📌 工作参考价值（4 点）
- 异构行为压缩：针对不同动作类型（跳过/点击/转化/负反馈）采用差异化压缩策略，保留全量高信息交互字段，低信息交互仅留类目元数据。电商/广告场景可通过类似分层压缩处理超长用户历史，在有限context下保留关键信号。
- 思维链生成与评估：让模拟器输出“Focus-Draft-Verify-Finalize”结构化思考链，带来可诊断性。可将此范式用于Agent策略验证或推荐解释，通过rubric奖励模型对思考质量的三个维度（形式/内容/逻辑）进行细粒度打分，替代稀疏的动作奖励。
- SFT-RL训练框架：利用强模型蒸馏思维轨迹做SFT，再用分组优势策略优化（GRPO）结合混合奖励（动作正确+思考质量）微调小模型。这种teacher-student方案可在保证仿真精度的同时满足在线低延迟要求，适合业务部署。
- 提示闭环优化：通过模拟器错误案例自动分析并迭代优化prompt，使模型输出的动作分布更接近真实分布。该思路可直接用于Agent交互式任务的提示工程，减少人工调试成本。
SERPO：面向开放式测试时强化学习的自演化评分标准策略优化
🧭 测试时强化学习 · 评分标准自演化
Huazhong University of Science and Technology · University of Science and Technology of China · Alibaba Group
提出自演化评分标准闭环，替代答案投票，实现开放式文本生成下的测试时强化学习，无需外部奖励
📌 工作参考价值（4 点）
- 自演化评分标准（G‑N‑B 响应进化 + 评分标准进化）可在无外部奖励的条件下构建自我评估系统，适用于电商文案生成、搜索词推荐等开放式场景，自动产生质量评分并迭代提升生成质量。
- 测试时自我进化闭环（采样→构建评分标准→评分→更新策略）可部署为线上模型的持续微调组件，例如用于推荐系统中的 query 改写或商品描述优化，全程无需人工标注。
- 概率化评分标准（将判定 token 的似然转化为奖励）提供了一种轻量、可解释的 reward 建模范式，可直接迁移到 Agent 决策链的自我改进，降低对昂贵奖励模型的依赖。
- 跨基准迁移进化结果表明该方法对不同领域分布有良好泛化性，可启发多任务推荐模型在无监督下自适应新品类或新场景。
通过隐含意图生成提升电商搜索物品可发现性
🧭 搜索 · 意图生成 · 发现增强 ★ 深度解读
Instacart
用 LLM 生成替代/补充/主题意图扩展召回，通过两阶段架构在头部用闭源模型缓存、尾部用蒸馏 SLM 覆盖，将流量覆盖率从 60% 提升至 80% 且成本仅 30%
📌 工作参考价值（4 点）
- 意图驱动的召回扩展：定义替代、补充、主题三类隐含意图，用 LLM 生成“轮播标题 + 意图词列表”来扩大候选池，可直接改造搜索底纹中的“发现式”模块，解决精确匹配造成的长尾冷启动曝光不足。
- 两阶段成本与覆盖权衡：头条查询离线缓存闭源 LLM（GPT-3.5 Turbo）结果，长尾查询在线用 LoRA 微调的 30B SLM 推理，使用 teacher-student 蒸馏，最终以约 30% 推理成本达到 80% 流量覆盖，特别适合类目众多、长尾严重的电商搜索。
- 评估体系设计：构建 session 级共购数据集评估端到端召回，排除完全匹配和 top-10 商品，提取用户未被当前检索满足的隐性需求信号；同时用 LLM-as-judge 衡量生成标题和意图的相关性、多样性、新颖性，并通过人工验证，可作为业务中评估类似生成任务的标准范式。
- 蒸馏工程细节：教师模型在蒸馏时使用了丰富的上下文元数据（品牌、属性、历史购买），为避免学生模型在线上缺少这些特征时质量下降，蒸馏数据中混入部分剥离元数据的样本，训练学生不依赖额外 payload；另外将生成与检索解耦，LLM 不进入在线热点路径，便于缓存、降级和 AB 部署。
判别式LLM反击：用双塔模型替代生成式推荐检索
🧭 LLM双塔检索 · 判别式推荐 ★ 深度解读
Meta
将LLM作为共享背板的双塔检索器，配合蒸馏与连续思考，性能匹敌生成式推荐且可规模化部署
📌 工作参考价值（4 点）
- 双塔+LLM的务实路线：放弃生成式检索的Token解码，改用LLM编码器生成用户和物品的向量，通过ANN检索。对于物料量大的电商/广告系统，这种方案更易落地，无需担心Token到物品ID的映射错误和自回归延迟。
- 蒸馏技巧：从Cross-Encoder教师转移动态排序知识：用Cross-Encoder对同一候选集计算更准确的分数分布，然后以KL散度蒸馏到双塔学生。实操中可使用“yes/no”输出头计算logit差作为分数，同时加一个以用户历史为条件的Token预测辅助任务来增强教师，提升蒸馏上限。
- Token级特征压缩与层剪枝：将连续特征用有限标量量化（FSQ）离散化为少量Token，减少输入长度，提升QPS 19.7%；对Transformer进行层剪枝（搜索代理指标评估重要性）再知识迁移，可再提速10%，几乎无损。
- 数据效率与模型时效性：LLM双塔在仅用0.5%训练数据下即可匹敌生产DLRM基线；模型冻结后连续数天性能几乎不降，而传统DLRM因物品ID分布漂移损失严重，该特性可大幅降低重训成本，适合推荐系统频繁更新的场景。
VaLiDRec：面向生成式推荐的可变长LLM对齐语义ID
🧭 生成式推荐 · 可变长语义ID ★ 深度解读
University of Queensland · Computer Network Information Center, Chinese Academy of Sciences · Griffith University
从LLM原生词表直接构建可变长语义ID并用并行token集预测替代自回归，实现高效语义对齐的生成式推荐
📌 工作参考价值（4 点）
- 直接利用LLM原生词表构建物品语义ID：不依赖量化码本，从物品标题/描述中基于token重要性（隐状态范数+IDF）和贪心剪枝选取关键词，形成可变长token集。电商业务可直接复用此方法为商品生成紧凑、语义对齐的ID，用于搜索、推荐或冷启动表示。
- 并行token集预测替代自回归生成：推理时仅需一次LLM前向传播计算所有候选token的得分，再聚合到item级，彻底消除beam search。线上推荐可借鉴该非自回归架构，实现87倍以上的推理加速，大幅降低RT和资源消耗。
- Graph-aware软提示注入协同信号：用GraphSAGE在物品转移图上聚合邻居，生成用户行为序列的连续提示向量。该方法可嵌入现有电商推荐pipeline，将交互图信息提炼为可学习的prompt，增强LLM对用户行为模式的理解，尤其利于稀疏场景和冷启动。
- SID构建中的碰撞处理与语义质量约束：通过功能权重引导的token扩展和频率后缀消歧，保证ID唯一性；同时用语义相似度阈值控制剪枝终止，平衡紧凑性与保真度。该思路可用于商品表示的去重、规范性控制，或为多模态物品生成高质量特征码。
策略感知参数高效适配的LLM自动出价框架
🧭 LLM自动出价 · 策略感知参数高效微调 ★ 深度解读
Hainan University · Taobao & Tmall Group of Alibaba
SAGE通过位置增强、文本对齐与约束门控LoRA，仅用不到10%参数实现策略感知的LLM自动出价最优决策。
📌 工作参考价值（4 点）
- 位置增强模块可迁移到用户行为序列建模：将序列中不同语义类型的token（如点击/购买/曝光）赋予独立语义嵌入，结合正弦时间编码，取代统一的绝对位置编码，提升序列区分度和长度扩展性，适用于推荐系统的会话理解。
- 门控交叉注意力对齐多模态信息并压缩输入：在处理用户行为轨迹与自然语言指令（如搜索query、广告文案）融合时，用轨迹作为Query、文本作为Key/Value进行交叉注意力，替代直接拼接，既实现有效跨模态对齐，又大幅缩短LLM输入长度，适合对话式推荐Agent或指令跟随出价。
- 约束门控MoE LoRA实现低成本策略个性化：将业务约束（如预算、CPA目标）编码为门控信号，驱动混合专家LoRA动态选择适配器，每个广告主或场景只需额外极少参数即可定制策略，工程上可冻结LLM主干，只训练轻量适配模块，显著降低训练和部署成本。
- 整体框架可复用于多约束实时决策场景：SAGE的冻结骨干、低秩适配、条件路由设计可直接应用于电商搜索排序中的动态出价、预算分配或Push消息的个性化约束优化，用10%的参数实现超越全量微调的效果。
大型语言模型记忆机制综述
🧭 LLM记忆机制综述
提出以架构为中心的LLM记忆分类框架，沿表征、更新、持久性三轴统一碎片化研究。
📌 工作参考价值（4 点）
- 长期用户建模：在电商推荐Agent中，可借鉴显式记忆存储（如外部KV Cache）持久化用户跨会话行为，解决长期偏好漂移问题。
- 混合记忆架构：采用短/长期记忆协同设计，短期记忆负责实时上下文（如浏览序列），长期记忆存储压缩画像（如购买历史Embedding），平衡延迟与个性化。
- 在线记忆更新：利用参数高效微调（如LoRA）实现轻量级在线用户兴趣更新，无需全量重训，适合千人千面的动态推荐场景。
- 记忆路由与压缩：将多源异构用户数据（点击、搜索、购买）通过记忆路由器动态写入不同存储分区，并结合记忆压缩技术降低存储开销，提升长序列处理效率。
DecoEvo：文本空间中求解器与评分准则技能的解耦共进化
🧭 文本空间共进化优化 · 自动评估准则生成
Tsinghua University · University of Chinese Academy of Sciences · Peking University · Qwen Business Unit of Alibaba
提出解耦共进化框架，分别优化求解器与评分准则生成器，避免评估准则退化并提升性能
📌 工作参考价值（4 点）
- 在电商搜索/推荐场景中，当需要为生成式模型（如商品描述、推荐理由）自动设计评估标准时，可借鉴DecoEvo同时迭代优化生成策略和评分准则，避免人工制定准则的局限。
- 解耦的准则更新机制（需求覆盖审核、响应区分度审计）可以单独用于改进现有的自动评估框架，提升评估维度覆盖和区分能力，尤其适合代理或多智体系统的在线性能诊断。
- 该方法不修改模型权重，仅维护外部文本技能，工程实现轻量，适合在业务中快速试错多组提示词和评估标准，降低对模型内参数调整的依赖。
- 在构建电商智能客服或对话Agent时，可利用criterion-level反馈不断挖掘回复弱点，驱动评分准则同步进化，实现更全面的闭环优化。
LaRec：释放大模型隐式推理能力的生成式推荐框架
🧭 生成式推荐 · 隐式推理与强化对齐 ★ 深度解读
University of Chinese Academy of Sciences · Xiaohongshu
通过步骤级对齐与过程方向对齐提供细粒度隐式监督，结合个性化高斯混合引导的 RL 探索，实现高效且多样的生成式推荐
📌 工作参考价值（4 点）
- 隐式推理的步级对齐迁移：用强LLM生成目标导向的CoT，将各步隐状态作为教师信号对比学习，可复用于电商搜索query理解、用户偏好挖掘等任务，用少量隐式token替代显式推理，显著降延迟。
- 过程方向对齐损失：约束隐状态演化方向逐步骤指向目标item语义向量，防止“语义空转”。此设计可直接用于生成式召回模型，提升多步推理的语义连贯性。
- 个性化锚定探索：基于用户历史交互物品嵌入构建高斯混合分布，采样作为初始隐状态扰动，有效限制RL探索范围，避免崩溃。适合需要可控多样性的广告文案生成、push推送选词等场景。
- 两阶段训练范式（预训练对齐 + GRPO RL微调）：复合奖励（命中+语义相似度）提供密集学习信号，对LLM-based推荐系统的多路径探索对齐具有工程参考价值。
基于证据推理的智能代理零样本根因分析框架
🧭 工业诊断 · Agent推理
EPFL - IMOS Laboratory
零样本Agent框架结合数字孪生与LLM推理，迭代收集证据并评估假设，实现可解释工业根因诊断，性能比肩全监督方法
📌 工作参考价值（4 点）
- Agent推理模式迁移：将“假设生成-证据收集-假设验证”的迭代闭环引入推荐/搜索系统的异常诊断（如CTR骤降、召回池突变），可利用LLM生成可疑原因假设，调用监控工具获取统计证据，自动定位根因。
- 数字孪生思路：构建线上系统的正常行为孪生模型（如流量分布基线、转化率时序基线），作为“正常期望”参考，Agent通过对比实时行为与孪生模型残差来识别异常根源，摆脱对故障标注数据的依赖。
- 可解释诊断链：借鉴透明推理轨迹，在业务诊断中输出可审计的因果链（观察症状→排除归因→确认主因），提升算法团队排障效率，并可沉淀为知识库。
- 零样本冷启动应用：针对罕见故障或新上线模块的异常，无需历史故障样本，直接基于系统领域知识图谱和实时数据驱动逻辑进行诊断，快速响应。
引诱LLM触礁：基于PAIR的Web-RAG推荐器偏好操纵
🧭 对抗攻击与排名操纵 · RAG安全
The University of Queensland · Curtin University
使用PAIR自动攻击框架，通过固定检索源下的内容投毒迭代，将目标实体推至LLM推荐排名第一
📌 工作参考价值（4 点）
- 评估RAG推荐系统安全：借鉴SIREN的自动化测试框架，用固定源回放平台隔离内容影响，检测模型是否易受类似排名投毒攻击。
- 防御过滤：在检索文档进入LLM上下文前，清洗掉声明性排名主张（“最好”“第一”）和植入列表，它们比指令注入更有效，需重点防御。
- 攻击手法洞察：实验中“在列表首位列出目标”等简单编辑就十分有效，提示我们在电商搜索中须警惕对手通过修改商品描述或评论操纵排名。
- 工程实现：论文的Custom-RAG replay平台思路可直接迁移，用于复现和压测自家推荐链路的鲁棒性，分离检索与内容影响。
对话式产品顾问的透明性设计是否真的可用？一项形成性可用性研究
🧭 对话式推荐系统可用性研究
GESIS – Leibniz Institute for the Social Sciences
在笔记本电脑推荐对话系统中，设计上透明的排名解释功能反而引发了最严重的可用性问题，且用户需要额外的直接操控控件。
📌 工作参考价值（4 点）
- 对话推荐中，即使提供排名解释，用户也可能因认知负荷过高而困惑，需将解释简化为关键因子的可视化（如权重条、标签），而非长文本。
- 用户期望混合交互：对话式引导辅以直接操控控件（如滑块筛选、多选），可兼顾易用性与控制感，尤其适合参数敏感型商品（3C、家电）。
- 比较功能不应仅列属性表，应突出差异化并解释“为何A比B更适合你”，否则用户仍难以决策。
- 产品搜索agent设计时，需通过早期可用性测试暴露解释逻辑的认知断裂，避免“设计上透明”变成“体验上干扰”。
IDEAgent：智能体质量-多样性搜索驱动的研究想法生成
🧭 多智能体协同质量-多样性搜索
DeCLaRe Lab, Nanyang Technological University, Singapore
多智能体框架将研究想法生成建模为质量-多样性联合搜索，记忆与修复机制大幅提升产出
📌 工作参考价值（4 点）
- 质量-多样性联合搜索思路可迁移到广告文案 / 商品标题批量生成，通过记忆机制比对历史产出，避免重复，保证创意池的多样性与基本质量。
- 多智能体协作中的修复 - 精炼流程（repair and refinement）可用于推荐系统 Agent 的迭代优化，对候选推荐进行多目标反馈驱动修改，增强推荐理由的逻辑性。
- Lineage 追踪想法演化的机制可引入生成式推荐中，记录推荐理由的改进历史，便于调试与可解释性。
- 联合评估指标 Yield（质量阈值下的最大互异集合）可直接作为生成式推荐、Query 推荐场景下质量与多样性统一的离线指标，弥补单一维度的不足。
自适应深度稀疏框架：基于相似度驱动的预训练LLM推理加速
🧭 LLM推理加速 · 深度稀疏化
Southern University of Science and Technology · Huawei Technologies Co., Ltd.
利用层间余弦相似度自适应分配token保留率，将预训练LLM转为深度稀疏模型，无需全量微调即大幅降低推理FLOPs
📌 工作参考价值（4 点）
- 动态层稀疏用于推荐模型推理：电商搜索推荐中常部署深层Transformer（如DIN、SIM、HSTU），可借鉴层间余弦相似度自动识别冗余层，为高延迟模块（如长序列建模）分配不同token保留率，降低在线推理耗时。
- 轻量router做自适应输入裁剪：router逐层选择信息量大的token，类似门控机制。在推荐系统中可用于对用户行为序列、多域特征进行动态重要性采样，尤其适合计算广告中候选物料池较大时的粗排或召回阶段。
- 特征对齐损失稳定稀疏化训练：在蒸馏或模型压缩时，引入中间层与最终输出的表示对齐损失，可缓解稀疏化带来的性能损失，适合将大容量推荐模型压缩为轻量线上模型。
- 免全量微调的快速适配：仅需少量校准数据即可将预训练LLM转为稀疏模型，此方法可推广到电商Agent或query生成模型，当目标任务变更时快速压缩模型，降低迭代成本。
InternReviewer 与 InternAdvocate：同行评审与反驳的客观奖励与评估
🧭 Agentic RL 学术评审智能体
Shanghai AI Laboratory · Beijing Jiaotong University · Tsinghua University · Renmin University of China
用客观多维 reward 与严格引文验证训练学术评审/反驳 Agent，减少主观评判偏差和幻觉
📌 工作参考价值（4 点）
- 评估与奖励去偏：用多维客观指标（reference-anchored semantic alignment、structural compliance、citation verification）替代单一大模型打分，减少 reward hacking 和主观偏差。在生成式推荐/导购文案中，可定义商品属性一致性、结构模板、引用可验证等可计算的 reward。
- 可验证的引用日志交叉核对：将生成内容中的声明与实时检索/工具调用日志强制对齐，能直接迁移到电商 RAG 问答和商品描述生成，降低幻觉（如虚构参数、不存在的促销）。
- Agentic RL 闭环：先检索证据再生成、用严格验证作为 reward 信号，可复用为“检索-生成-校验” pipeline，适用于需要事实性的营销文案、售后应答等。
- 数据集构建：建设高质量垂直领域数据 + 高效检索工具，是提升 Agent 落地效果的基础，电商可借鉴构建商品知识库与交互日志。
优化LLM生成式推荐中的文本解码Trie结构
🧭 生成式推荐 · 解码Trie优化 ★ 深度解读
Michigan State University · Snap Inc.
提出BONSAI框架，通过最小集合覆盖构建自适应、低分支的文本解码Trie，将推荐准确率提升最高21.6%
📌 工作参考价值（4 点）
- 解码Trie结构是性能瓶颈：不要只关注term ID的语义质量，Trie的分支因子和深度对束搜索成功率影响巨大，应联合优化。
- 用最小集合覆盖控制分支：在构建词典树时，每层用贪婪最小集合覆盖算法选择特征，能显著降低浅层分支数，提升束搜索命中率，可直接迁移到现有term ID方法（如表2实验，仅重组ID即提升7.7%~9.1%）。
- 让ID长度自适应物品语义丰富度：不必强制所有物品用固定长度ID，简单物品短路径、复杂物品长路径，能减少信息损失，对于冷启动物品和新品类尤其有效。
- 两阶段训练对齐多路径表示：SFT用最长ID作为目标，RL阶段直接优化束搜索下的推荐成功率，让模型学会利用同一物品的多条有效ID路径，适合处理物品有多个别名或关键词的场景。
贝叶斯提示优化：基于并行回火梯度引导离散MCMC的后验采样
🧭 LLM Prompt 优化
Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University
将提示优化建模为离散提示令牌上的贝叶斯后验采样，用梯度引导MCMC与并行回火提升指令归纳准确率
📌 工作参考价值（4 点）
- 提供一种原则性后优化工具：给定初始提示和少量示例，可通过后验采样自动微调提示，适合电商/推荐场景中优化查询改写、商品描述生成等LLM指令。
- 贝叶斯框架可输出多个候选提示，支持集成或不确定性估计，提升生产环境鲁棒性。
- 梯度引导的离散MCMC方法比纯启发式搜索更高效，可考虑在Agent工作流中嵌入，利用历史交互数据在线优化Agent的指令模板。
- 需注意当前实现计算成本高，且容易在小样本优化集上过拟合，建议结合正则或交叉验证。
从合理性到可操作性：LLM自我解释的立场观点
🧭 LLM 自我解释的可信度与可操作性
University of Utrecht · National Police Lab AI, Netherlands Police · Scuola Normale Superiore · University of Pisa
区分自我解释的合理性、忠实度与可操作性，提出兼顾三者的评估框架
📌 工作参考价值（4 点）
- 在推荐/搜索场景中，用 LLM 生成推荐理由或查询解释时，不能仅满足于表面合理（plausible），需要额外设计忠实度（faithfulness）检测机制，例如核对解释中的关键事实是否与模型内部注意力或决策路径一致。
- 将解释的评估从「人对合理性的主观判断」拓展到「下游任务可操作性」：比如将解释作为 Agent 下一步动作的依据（如触发退款、调整排序），通过解释能否准确引导后续决策来反向验证。
- 工程实现上，可构建「解释-动作闭环」：记录解释中的关键声明，用规则或小模型自动校验其与系统实际决策逻辑的匹配度，对不一致的做标记或抑制。
- 对于电商搜索的查询推荐（QueryRec），LLM 给出的推荐理由（如「为您推荐‘蓝牙耳机’因为近期浏览过」）需确保忠实反映用户行为序列，避免生成虚构理由，可将用户日志与解释对比做线上校验。
多智能体系统何时有效？信息瓶颈视角
🧭 多智能体协作 · 信息瓶颈优化
Texas A&M University · Brookhaven National Laboratory
用信息瓶颈理论揭示多智能体增益源于上下文压缩与通信损失间的权衡，弱模型更难从冗余上下文中获益
📌 工作参考价值（4 点）
- 在设计电商搜索推荐的多智能体架构（如多个 LLM Agent 协作进行意图解析、Query 改写、商品召回）时，需精心控制 Agent 间传递的信息粒度：压缩冗余上下文可大幅降低 token 消耗与延迟，但必须确保传递的信息足够任务要求，避免关键信息丢失。
- 对于能力较弱的模型（如小参数量的生成式推荐模型），采用多智能体拆分任务并传递压缩后的关键信息，效果可能显著优于单智能体全量上下文；而对于强模型，全量上下文可能已足够，多智能体引入的压缩反而可能损害性能，需针对模型规模做适配。
- 可将多智能体通信视为一个信息瓶颈优化问题：引入一个可控的压缩率参数（类似 β），在工程实现中通过调整摘要长度、关键词提取等策略来寻找最优的压缩比，平衡效率与效果。
- 在推荐系统中使用 Agent 协作生成推荐理由或推送文案时，每个 Agent 只向上游发送必要的结构化信息（如商品核心卖点、用户偏好标签），而不是冗长的自然语言描述，可以提升整体系统的吞吐量。
RECAP：反馈驱动的流式语义用户画像优化
🧭 流式用户画像 · 闭环 GRPO 优化 ★ 深度解读
University of Science and Technology of China · Kuaishou Technology · China Academy of Cyber
闭环框架通过清洗隐式反馈训练双塔评估器，用GRPO优化流式结构化用户画像生成，提升推荐对齐度
📌 工作参考价值（4 点）
- 将用户画像维护为有界结构化状态：LLM 只产出语义差异（确认已有兴趣、新兴趣），确定性状态机管理生命周期、容量和强度衰减。电商/广告场景中用户兴趣同样流式变化，这种解耦保证了画像状态可追踪、可解释，避免 LLM 输出不稳定元数据，工程落地性强。
- 从隐式反馈构建高质量奖励：通过 LLM pairwise judge 过滤行为对，只保留高置信语义一致的正负样本，再训练双塔评估器作为奖励模型。这比直接使用排序分或原始播放/跳过标签更干净，适合业务中缺乏显式语义偏好的场景，可用于优化文案生成或推送消息筛选。
- GRPO 优化 LLM 画像更新器：用冻结的双塔评估器计算逐块画像更新的奖励，配合格式惩罚和多样性惩罚（如证据重叠惩罚），在 SFT 基础上进一步对齐下游任务。该范式可迁移至对话策略或搜索词推荐的在线优化，利用离线日志安全训练。
- 流式分块并行训练：长行为历史分块，SFT 预计算前缀画像，每块独立优化，大幅降低序列计算开销，适合大规模用户行为流的工业训练。
SAGA：面向智能体 Text-to-SPARQL 的模式感知接地框架
🧭 Agent 交互式 SPARQL 生成 · 模式感知接地
The University of Tokyo · National Institute for Materials Science · RIKEN Center for Advanced Intelligence Project
提出 SAGA 训练无关框架，通过模式约束接地解决智能体 SPARQL 生成中的类型盲问题，显著提升 KBQA 性能并消除空查询。
📌 工作参考价值（4 点）
- 在电商搜推场景中，若利用 LLM Agent 与商品知识图谱交互生成推荐理由或查询，可引入类型约束（如商品类别、属性域/范围）过滤不可能的属性，避免返回空结果。
- 借鉴 SAGA 的双向类型状态（bidirectional type state）机制，在 agent 每一步推理后即时更新实体与属性的类型兼容性，缩小后续接地搜索空间。
- 以紧凑的模式注释格式（schema-annotated format）向 LLM 展示剩余合法属性，减少 token 开销并提升生成准确率。
- 对图谱中缺失的模式信息，可结合历史轨迹局部证据和经验统计宽容处理，适应真实业务图谱的不完整性。
生成式 AI 能否超越监督 XMLC？德国科学文献自动主题标引基准研究
🧭 多标签分类 · 长尾标签生成
Deutsche Nationalbibliothek
在极多标签分类中，整体指标监督 XMLC 更强，但长尾与分级相关性上 LLM 生成式方法更优
📌 工作参考价值（4 点）
- 电商商品打标存在大量长尾属性（如小众品类、风格标签），可尝试用 LLM 直接生成标签候选，再结合现有分类器做过滤或置信度控制，提升长尾覆盖率。
- 对于标签体系极大（百万级）且分布极不均衡的场景，传统 XMLC 方法的二进制指标更优，适合高精度自动打标；LLM 生成在需要人工审校的分级相关性场景中更友好，可考虑混合流水线：先用 XMLC 出高置信度标签，再用 LLM 补充长尾标签。
- 论文中使用的 LLM 生成策略（如基于指令微调、少样本提示）可作为构建推荐系统标签生成模块的起点，尤其在冷门商品或新类目自动打标时，可快速冷启动。
- 在评估阶段引入专业标注员的分级相关性判断，比单一自动评测更能反映业务真实价值。电商标签推荐也可设计类似人工评估环节，衡量标签的可用性而非仅命中率。
TRACE：通过冻结参考模型估计步骤信用实现长程 Agent 的稠密奖励
🧭 Agent 强化学习中的步骤级信用分配 ★ 深度解读
University of Wisconsin–Madison · Microsoft Research
用冻结参考模型的金标答案对数概率变化作为工具调用步骤的即时信用信号，无需 Critic 或过程标签，显著提升长程 Agent RL 训练效率与效果
📌 工作参考价值（4 点）
- 冻结参考模型作为价值探针：无需训练额外 Critic 或 PRM，直接用初始化策略作为固定的前缀状态评分器，可稳定地为多轮工具调用提供稠密奖励，适合电商对话 Agent、搜索 Agent 等需要长程交互的场景。
- Log-ratio 状态值设计：通过计算金标答案对数概率的相对间隙闭合度（而非绝对变化），解决了不同置信度下概率变动尺度不一致的问题，能更准确地衡量中间步骤的进展，该方法可直接用于推荐或广告 Agent 中关键决策步骤的信用评估。
- K-step TD 备份传播延迟信用：支持将后续观察到的答案可预测性提升追溯到更早的搜索或文档打开动作，这对网页搜索、商品筛选等多步决策链条非常有益，避免只奖励最后一步而忽视前序关键操作。
- 与结果奖励的混合优化：将 TD 信用作为辅助信号与 GRPO 的结果优势相加，保持最终正确答案作为训练锚点，既缓解稀疏奖励，又防止局部进度信号主导优化方向，这种架构可复现于搜索推荐等需平衡即时反馈与最终目标的场景。
Prompt Generation 技术报告
🧭 生成式检索 · 配置驱动框架 ★ 深度解读
Taobao Search Team
通过配置驱动框架解耦生成式检索中的特征处理与模型架构，实现快速实验、统一部署和低延迟推理
📌 工作参考价值（4 点）
- 配置即实验：你的业务中每次加特征都要改模型代码吗？PG 把特征类型（文本、嵌入、组合、序列）和处理组件（映射、分桶、投影、合并等）都声明在 JSON 里，换特征只需改配置，几天变几分钟，适合快速迭代。
- 统一线上/线下特征一致性：训练—服务偏移（Training-Serving Skew）是推荐/搜索的顽疾。PG 的事件追踪机制记录线上原始特征，训练时回放，保证一致性 >99%，直接可复用。
- Token 压缩实用：长行为序列（如 45K tokens）被 PG 压缩至约 11K tokens 仍有离线收益，用 mean/combo 合并等算子控制 token 预算，平衡效果与成本，对 LLM4Rec 场景有直接借鉴。
- 插件化扩展：自定义合并算子（如 attention merger）通过注册即可集成，不改框架，便于在电商搜索/推荐中试验特征融合策略。
通过瓶颈思考：用于严格归纳的沙漏推理
🧭 结构化推理增强 · 归纳推理
Peking University
提出 Hourglass 推理框架，通过阶段隔离与符号化状态压缩，大幅提升 LLM 少样本归纳推理能力
📌 工作参考价值（4 点）
- Agent 推理工作流设计：在构建推荐或广告策略 Agent 时，可借鉴 Hourglass 的阶段隔离与信息瓶颈设计，强制中间推理以紧凑的符号化状态（如规则摘要、关键变量）传递，避免前序上下文污染后期决策，尤其适用于多步逻辑推导、规则生成场景。
- 规则归纳与验证：电商场景下常有从少量案例中归纳业务规则的需求（如识别欺诈模式、生成选品策略），可部署类似的“归纳→演绎→实现→验证→修正”流程，用错误驱动的自修正提升规则准确性，并确保修正始终锚定在核心规则上。
- 提升 LLM 推理可控性：借鉴显式符号编码器-解码器思想，在用户意图理解、复杂条件文案生成等任务中，将关键信息压缩为符号化描述再逐步展开，减少长链推理中的语义漂移，增强结果的可解释性与稳定性。
- 少样本场景下的推理增强：如果使用 LLM 进行冷启动推荐或新品类属性补全，可采用沙漏式上下文隔离与迭代修正，从稀疏样本中更可靠地抽取泛化规律，优于直接反复追问的朴素自纠正方法。
专业邮件中的俏皮 AI：语气对收件人参与度的现场实验
🧭 LLM 辅助沟通效果与中介机制研究
University of Haifa · Yale School of Medicine · Jönköping University
AI改写邮件语气不直接影响打开/回复，而是通过提升情感积极性间接驱动参与行为。
📌 工作参考价值（4 点）
- Agent/消息推送的语气设计：情感积极性（emotional positivity）是驱动用户打开和回复的关键中介，俏皮语气相比专业语气更能间接提升参与，推送文案、客服消息可优先做高积极性改写，无需过度追求“专业感”。
- A/B 实验的中介分析：实验若发现 UI/文案变更无直接效果，应检查情感极性等中介变量；本研究的间接效应框架可直接复用，避免误判优化方向。
- 工程落地：接入 LLM 改写消息时，可对生成文本做情感极性评分（如 positive score），将评分作为排序或过滤信号，确保推送内容具备足够情绪动能。
- 行为指标的间接驱动：打开率和回复率的提升往往不是工具本身带来的，而是工具产出的内容特征所致，监控指标应同时覆盖内容质量和行为结果。
LightMem-Ego：面向日常生活的轻量级流式多模态记忆系统
🧭 多模态记忆 · 层次化检索生成
Zhejiang University · South China University of Technology · Central China Normal University · Lenovo Group Limited
一个可部署在手机和AI眼镜上的层次化多模态记忆系统，支持连续积累、组织与检索日常经历
📌 工作参考价值（4 点）
- 对话推荐Agent的记忆架构：将用户行为流组织为“当前/短期/长期”三层记忆，与电商对话推荐中实时意图、近期行为、长期偏好的分层建模直接对应，可参考其时间对齐与路由检索机制。
- 流式多模态积累：对用户第一人称视频、音频流持续处理并按统一时间线存储，可迁移到直播推荐、短视频推荐中对用户行为的细粒度时序建模。
- 查询驱动的动态路由：根据问题类型自动选择检索深度（如只需短期记忆的“东西放哪儿”vs需长期记忆的“习惯分析”），可用于智能客服或推荐解释中的上下文选择。
- 轻量部署设计：系统在端侧运行，推荐系统的在线特征存储与实时召回也可借鉴其内存压缩与分层方案，降低延迟与资源消耗。
超越欧几里得裁剪：用黎曼等距策略优化克服 LLM RL 探索崩塌
🧭 RL 训练方法 · 几何优化 ★ 深度解读
Tsinghua University (AIR) · ByteDance Seed
发现 PPO-Clip 的欧氏度量与策略黎曼流形不匹配是探索崩塌的根本原因，提出 RIPO 实现等距更新以平衡探索与利用，大幅提升推理 RL 性能
📌 工作参考价值（4 点）
- 在推荐/搜索的 policy gradient 训练（如 PPO 排序策略、对话策略）中，直接用 epsilon = sqrt(delta / pi_old) 动态裁剪重要性比，让低概率动作（冷门 item / 新动作）获得更大更新空间，避免过早收敛到高频动作，保持策略多样性。
- 工程实现时，将信任域半径 δ 设为 0.02~0.05 即可稳定工作，无需复杂调参；可对用户行为序列中不同位置的 token 或动作单独计算裁剪边界，兼容现有 GRPO/PPO 框架。
- 对于多臂赌博机 / 上下文 bandit 在线学习，几何等距裁剪能缓解热门臂的过度利用问题，思路可迁移至 EE 场景的策略更新规则。
- 在 LLM Agent 的 RL 训练中（工具调用、查询改写），RIPO 可防止 Agent 重复使用少数高频工具而忽略潜在有效的探索路径，提升长程任务成功率。
DKCD：领域知识增强的非结构化数据因果发现
🧭 因果发现与领域知识增强
University of Technology Sydney
引入领域知识强化LLM因果推理，解决潜在因素识别不全和标注不可靠问题
📌 工作参考价值（3 点）
- 在电商用户评论或搜索日志分析中，可借鉴「知识挖掘 + 知识引导推理」流程，用领域知识图谱或业务规则补充 LLM 常识，更完整地识别影响用户决策的潜在因果因素（如隐藏的价格敏感度、社交偏好）。
- 当从非结构化文本为推荐模型构建特征或样本时，可利用外部领域知识减少 LLM 的标注噪声，提升因子标注的可靠性，从而改善下游因果关系训练的准确性。
- 在推荐系统可解释性或反事实推理场景下，该方法可帮助构建更可信的用户-物品因果图，用于生成有因果解释的推荐或策略模拟。
语义帕累托-DQN：面向金融异常检测的多目标强化学习框架
🧭 多目标强化学习 · LLM 语义表示
A3Data
用 LLM 编码交易描述作状态，多目标解耦效益与摩擦，打破零召回成规
📌 工作参考价值（4 点）
- 将异构特征转化为自然语言叙述并用 LLM 编码：在电商/推荐系统中，可将用户行为序列、商品属性、上下文信息拼接为简洁的自然语言 Prompt，通过 LLM 获得鲁棒的通用语义 state embedding，替代手工特征工程，提升多模态信号融合稳定性。
- 多目标奖励解耦设计：在推荐场景中（如平衡 CTR、GMV、用户停留时长），采用向量化奖励取代加权求和，每个维度独立反馈，agent 可直接学习不同目标间的权衡，避免标量化带来的目标淹没。实现上可仿照本文 Pareto-DQN，输出多维 Q 值并通过帕累托前沿动态选择动作。
- 利用 RL 处理极端类别不平衡：对于点击、转化等低概率事件，传统分类器容易坍缩到多数类。可借鉴本文的自适应决策理念，用 RL agent 在线决策是否推送/出价，通过奖励信号中显式纳入对少数类的补偿，突破静态模型的 recall 陷阱。
- 帕累托前沿导航实现策略热切换：在线上服务中，根据业务需要（如大促期间更重视 GMV，平时更重视体验）可以实时在帕累托前沿上移动选择不同的策略点，无需重新训练，适合多变的电商运营需求。
ICDAR 2026 历史文档 OCR 后校正竞赛：LLM 辅助方法评估
🧭 LLM 辅助 OCR 后校正 · 历史文档多语言基准
École Polytechnique Fédérale de Lausanne (EPFL) · University of Zurich
组织多语言历史文档 OCR 后校正竞赛，评估 LLM 在不同噪声和语言下的校正能力与过校正风险。
📌 工作参考价值（3 点）
- 论文面向数字人文领域，与电商/推荐系统的直接关联度较低。
- 可借鉴的思路：利用 LLM 对搜索 query 或商品描述中的 OCR/文本噪声进行后校正，提升索引与召回质量；采用检索导向评估而非逐字匹配来贴合实际搜索场景。
- 低噪声环境下 LLM 过校正的发现提醒，在生成式推荐文案纠错时需控制模型改写自由度，避免引入新错误。
基于路由轨迹的MoE结构化剪枝方法MAESTRO
🧭 MoE模型压缩 · 全局重要性评估
Indian Institute of Technology Delhi · NVIDIA
将专家激活轨迹建模为马尔可夫链，利用稳态分布评估全局重要性，实现MoE模型的高效剪枝
📌 工作参考价值（4 点）
- 对于部署MoE大模型的场景（如DeepSeek、Mixtral），可直接采用MAESTRO在保持性能的同时压缩50%参数，显存占用和部署成本大幅下降，适合资源受限的在线推理环境。
- 该方法通过建模专家激活的跨层转移依赖，计算全局重要性，可借鉴到推荐系统的多专家网络或多任务模型中，用于识别并裁剪冗余模块，提升模型效率。
- 剪枝过程保持路由一致性（routing-congruent），减少剪切前后路由分布漂移，这一思想可迁移到推荐模型的召回/排序链路中，在模型压缩时保留原始决策逻辑。
- 评估覆盖安全、偏见、伦理等领域，剪枝后模型跨任务方差更低，说明该方法产出更鲁棒的通才模型，适合需要兼顾多业务目标的平台（如电商搜索推荐同时需保证公平性与安全性）。
Log-Insight：神经符号日志分析自动化微服务故障诊断
🧭 神经符号日志分析 · 根因推理压缩
Huawei Ireland Research Centre · Huawei Dongguan R&D Centre
通过符号化压缩将百万行日志精简为紧凑证据，再由LLM生成根因报告，MRR=0.790且90%+的Top-3命中率。
📌 工作参考价值（4 点）
- 海量事件压缩再投喂 LLM 的流水线模式：在推荐系统日志、A/B 实验分析或广告系统异常监控中，当原始事件量远超 LLM 上下文窗口时，可借鉴「两阶段采样 → 模式聚类 → 熵引导压缩 → 对比倾斜分析」的符号化预处理，把百万级记录压缩到 LLM 可处理的规模，且保留统计显著的异常信号，避免直接灌入原始数据的幻觉和溢出问题。
- 结构化异常排序 + LLM 假设生成：对于需要从大量日志中定位根因的场景（如推荐链路延迟抖动、召回异常），可模仿 Log-Insight 先由符号模块做异常排名，再交给 LLM 合成诊断报告，兼顾统计可靠性和语言推理的灵活性。
- 可解释性增强的“法证证据”展示：在内部诊断工具中，不仅输出最终结论，也呈现精确的日志模板、偏差统计等中间证据，能将系统从“黑箱神谕”转变为“调查助理”，降低 SRE/算法工程师的采纳阻力，这在自动化模型监控和报警解释中可以复用。
- 处理高维时序异常的对比倾斜分析：论文中的对比倾斜分析（对比正常/异常时段日志模板分布）可直接应用于推荐系统的实时指标异常检测，如对比实验版本间的请求模式差异，快速定位引发指标波动的具体操作。
Token-Flow 防火墙：持久化 AI Agent 的语义运行时审计
🧭 Agent 运行时安全审计 · Token 流防火墙
State Key Laboratory of AI Safety · Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences
针对持久化 AI Agent，通过 token 流语义防火墙实现全覆盖预执行审计，将攻击成功率压至 12.5%
📌 工作参考价值（4 点）
- 在构建持久化推荐 / 客服 Agent 时，可对记忆更新、工具参数、检索文件等自然语言 token 流嵌入边界感知审计节点，阻止不安全指令传播到执行器。
- 采用 轻量级本地检查 + 分级仲裁 架构：绝大多数 benign 请求用本地规则快速放行（仅 0.69s 延迟），仅对模糊高风险案例才调用远端大模型裁决，实现安全与效率平衡。
- 借鉴 source‑sink 审计记录的设计，为 Agent 数据流（尤其是来自外部工具的返回值）建立可追溯的语义日志，便于事后分析攻击路径。
- 当系统中 Agent 可调用敏感 API（如商品上下架、价格修改）时，可利用类似机制在工具调用前进行语义拦截，避免 prompt 注入导致的误操作。
注意你的代码补全：恶意补全溯源框架
🧭 LLM 后门·溯源
University of Louisville · University of North Texas
提出 CodeTracer，仅凭微调语料和误补全事件即可将恶意代码补全追溯到具体的后门训练数据
📌 工作参考价值（4 点）
- 恶意行为溯源思路可迁移到推荐模型：当线上模型出现异常推荐（如恶意商品置顶），借鉴 CodeTracer 的指纹提取和语义搜索，从微调数据中定位投毒样本，适合大促前数据审计。
- 无需模型内部参数：仅用微调语料和误补全日志即可归因，适用于黑盒发布后的推荐系统安全调查，不依赖训练框架。
- 指纹结构化方法可复用：将异常推荐内容拆解为（上下文，关键行为，威胁类型）三元组，用 LLM 推理匹配可疑训练样本，可用于构建推荐系统的数据污染检测流水线。
- 防御视角：了解攻击者如何通过微调植入后门，反向提醒我们在使用第三方微调数据或用户反馈数据训练推荐模型时，需设计类似触发词过滤和语义一致性校验的防御措施。
CausalDS：评估数据科学智能体因果推理的合成基准
🧭 因果推理基准 · 数据科学Agent评估
Department of Statistics, University of Michigan
提出通过合成结构因果模型与真实背景故事评估LLM在数据科学管线中的因果推理、工具使用与弃权能力
📌 工作参考价值（4 点）
- 在电商搜索推荐中，可借鉴其合成SCM+观测噪声生成评估数据的方法，构建针对因果推断类A/B测试分析、归因模型的离线评测集，避免使用线上真实数据时的数据泄露与鹦鹉风险。
- 弃权作为第一类评分结果的设计可直接迁移到Agent辅助的数据分析产品中：当置信度不足或信息缺失时，要求Agent主动声明“无法回答”，提升输出可靠性，尤其适用于策略归因、指标异动分析等易出错的场景。
- 联合评估因果推理+编码+工具使用的框架，能用于筛选适合数据科学Agent的LLM，确保其在推荐系统复杂分析（如效果评估、特征因果效应）中既能写出正确的分析代码（如do-calculus实现），又能正确调用pandas、因果库等工具。
- 故事与数据成对生成、覆盖Pearl三层问题的方法，可以启发设计多层级因果问答的评测体系，检验Agent在描述性、预测性、反事实任务上的表现，避免仅关注预测准确率而忽略因果推理深度。
大处着眼，小处搜索：层级搜索智能体的模型容量分配
🧭 Agent 多智体角色分工与容量分配 ★ 深度解读
East China Normal University
在层级搜索Agent中，规划侧的容量是瓶颈，执行侧可缩至1.7B且性能不降，颠覆均匀分配惯例。
📌 工作参考价值（4 点）
- 构建搜索/查询推荐多Agent系统时，将大模型集中用于任务分解（如query理解、子任务规划），检索执行等子Agent使用小模型（如1.7B），可大幅降低推理成本而几乎不损失效果。
- 容量扫查揭示显著不对称性：执行模型从小变大提升微弱（EM仅+2.6），规划模型提升巨大（EM+11），投资重点应放在规划侧。
- 采用质量过滤的轨迹蒸馏可将大模型的纠错搜索行为（多轮检索）注入小模型：保留学生正确的单步搜索轨迹，仅用教师多步搜索的成功样例训练，避免遗忘，使小模型执行器性能超越前沿大模型，且子Agent token消耗减少37%。
- 答案生成与搜索分解隔离，避免答案模型参数记忆泄露；此设计可迁移至推荐系统的解释生成环节，固定生成器仅改变查询规划与召回执行，实现无偏消融评估。
大语言模型中的未来置信度蒸馏
🧭 LLM 置信度校准的时序提前预测
University of California, Los Angeles
利用回答后隐藏状态训练探针作为教师，将置信度信息蒸馏到回答前表征，实现低延迟高校准的置信估计
📌 工作参考价值（4 点）
- 在 RAG、工具调用或 Agent 决策中，可在生成回答前用模型中间层 hidden state 快速预判置信度，决定是否触发检索或回退，大幅降低时延
- 训练一个轻量线性探针，以回答结束后的正确性探针（教师）产生的置信度为蒸馏目标，样本效率极高，少量标注即可获得校准良好的提前置信度估计
- 探针只需预解层表征，可用于流式推理或早期退出，适合对延迟敏感的生产环境，如电商搜索中的即时置信判断
- 方法在域内数据集间具有迁移性，可在部分 query 类型上训练，泛化到同类场景，降低维护成本
单次 rollout 异步优化：让 Agent 强化学习训练更稳更强
🧭 异步强化学习训练稳定化 ★ 深度解读
Tsinghua University · Z.AI
提出单次 rollout 异步 RL 策略 SAO，以 token 级双面裁剪和更快价值更新稳定训练，在智能体推理与编码任务上显著超越 GRPO
📌 工作参考价值（4 点）
- 单次 rollout 替代组采样适用于在线推荐/Agent 场景：线上只能获得单条反馈时，可以用训练好的价值模型做基线，而非依赖组内相对奖励。这直接解决了 GRPO 在实时环境中的部署困难。
- 直接使用 rollout log-probabilities 做重要性采样，简化异步训练架构：不需要维护策略的历史快照链，大幅降低工程复杂度，对推荐模型异步在线学习特别友好。
- 价值模型的冻结注意力训练策略：只在 MoE 层更新，注意力层冻结，能显著稳定 critic 训练并降低梯度范数。这对需要快速收敛的在线价值估计（如 bandit 或 contextual bandit）有参考意义。
- Skip-Observation GAE 处理 agent 轨迹：计算优势时跳过环境反馈 token，将价值估计限定在模型动作上，消除环境噪声。对于涉及工具调用或多轮对话的推荐 agent（如对话式推荐），可借鉴该方式只对模型可控部分进行信用分配。
fog：通过AI生成代码的函数组合表达运动与情感
🧭 生成式运动与情感动画代码合成
Columbia University
利用LLM生成可组合的运动函数类，实现Heider-Simmel风格动画中的语义动作与情感表达
📌 工作参考价值（4 点）
- 将领域知识分解为动词、副词、情感等可组合的原子函数，并利用LLM生成其代码实现，这一范式可迁移至电商商品动画或推荐解释的生成：先定义基本原子动作（如展示、强调、对比），再让LLM组合生成个性化动画。
- 交互界面结合直接操纵与动态生成的UI，可借鉴到推荐可视化配置工具中：允许用户拖拽调整动画参数，同时后台由LLM实时重新生成代码，实现快速迭代。
- 利用LLM生成开放式运动词汇库，避免了手工编码每种动作，对于需要动态生成大量商品展示动画的场景（如千人千面的广告素材）有降本潜力。
- 注意：该工作聚焦于Heider-Simmel抽象动画，直接用于电商/推荐需适配具体领域动作，但代码生成与函数组合的思想具有通用性。
面向可解释 QA 的自适应检索与推理不确定性框架
🧭 不确定性估计 · 自适应检索与推理
University of Glasgow
利用 LLM 隐藏状态分解不确定性，以单次前向高效估计，按信号自适应触发 RAG 或推理
📌 工作参考价值（4 点）
- 对话式推荐/客服中的自适应检索：根据用户查询的模型内部不确定性，自动判断是知识不足（触发商品知识库 RAG）还是模糊冲突（启动推理链澄清），避免盲目调用。
- 低延迟在线服务：从隐藏状态单次前向计算不确定性，比多步提示或自一致性方法更轻量，适合高并发推荐问答场景。
- 多策略稳健响应：区分知识缺失与知识冲突，设计不同分支处理（如“查商品” vs “反问用户”），提升 agent 回答的可靠性。
- 用户可感知的置信度：显式的不确定性信号可转化为界面提示（如“正在为你搜索准确信息”），增强用户信任与体验。
谁破坏了系统？LLM多智体系统故障定位框架
🧭 多智体故障定位与归因
University of Louisville · University of North Texas
提出AgentLocate，通过信心感知的多评估者聚合与轻量微调，精准定位多智能体系统中的故障代理与起始步骤
📌 工作参考价值（4 点）
- 多Agent编排的诊断工具：在电商搜索、广告投放、推荐决策等多Agent协作场景中，可复用AgentLocate的框架快速定位哪个子Agent出错（如意图解析Agent、召回策略Agent、排序融合Agent）以及最早偏离步骤，加速问题排查与迭代。
- 轻量微调提升归因准确率：利用失败轨迹与独立评估者的反馈对LLM评判器进行LoRA微调，业务侧可基于线上Bad Case构建反馈数据，持续优化内部的Agent责任判定模型，降低人工复盘成本。
- 信心感知的投票策略：多评估者投票时用信心分数加权聚合，避免低质量评判干扰，可直接借鉴用于业务Agent链路中的监控、校验或A/B实验评估，提升自动评分的可靠性。
- 轨迹级代码化隔离定位：论文将故障定位分解为“哪个Agent”和“哪一步”两个子问题，工程上可据此设计Agent执行日志的自动分析模块，结合最终任务成败信号生成诊断报告，嵌入实时预警系统。
SkillCenter：面向自主AI智能体的大规模源归因技能库
🧭 Agent 技能增强与知识基础设施
Stony Brook University · University of Southern California · Lehigh University · Florida State University
提出迄今最大的开放技能库，含216,938个源归因结构化技能，提升AI智能体输出正确性与安全性
📌 工作参考价值（4 点）
- 在电商Agent的开发中，可借鉴源归因机制，要求每个自动化决策或文案生成均关联到具体知识来源（如行业标准、历史最佳实践），从而减少幻觉输出，增强可信度和合规性。
- 技能模板化生成结合SkillGate质量门控，可用于自动构建和维护电商运营知识库（如促销策略、商品描述规范），通过LLM初步生成后自动校验，降低人工审核成本。
- 离线可搜索的SQLite FTS5打包方式适合集成到推荐系统流水线中，为实时决策提供毫秒级技能检索，避免外部API延迟。
- 多源采集（学术论文+社区贡献）的融合思路，可启发构建电商领域的专家知识众包与审核闭环，持续迭代业务知识库。
从投票到智体协作：答案类型感知的LLM流水线
🧭 多Agent协作与问题类型路由
Korea University · Myongji University · AIGEN Sciences
针对生物医学问答中不同答案类型设计LLM推理策略，结合多智体协作验证取得最佳结果
📌 工作参考价值（4 点）
- 问题类型路由：在推荐/搜索中，可对查询意图分类后路由到不同LLM推理策略，例如事实型查询用CoT，主观型查询用多Agent辩论，减少单一模板的偏差。
- 多Agent验证与集成：对于需要多源证据的推荐解释或复杂决策，可采用类似“提取-生成-验证-聚合”的协作链，提高答案可靠性和可解释性，尤其适合客服Agent或商品选品解释。
- 自反思与顺序扰动：yes/no问题中对证据片段进行洗牌和自反思，可降低模型对输入顺序的敏感性，增强预测稳定性；在广告创意排序或商品评论摘要中可借鉴，避免位置偏差。
- 集成预测与类型定制：将多个模型/模板的预测通过投票结合，并根据问题类型定制集成方式，这种方法可直接用于搜索广告Bidding中的多信号融合，提升出价策略的鲁棒性。
面向推荐的师生感知型思维链优化与蒸馏
🧭 生成式推荐 · CoT 蒸馏优化 ★ 深度解读
University of California Riverside · Meta AI
通过学生注意力评分和奖励引导的编辑，压缩推荐推理链中的冗余验证，提升小模型蒸馏效果
📌 工作参考价值（4 点）
- CoT 蒸馏前先压缩冗余验证：大老师在推荐排序中频繁重复检查但极少修改答案（79% 的验证不改变最终排名），直接 SFT 会让小模型学会啰嗦而不修正。可借鉴论文的分段与重要性评分（用学生模型的 </think> 注意力分数）识别并剪枝无用的验证步骤，仅保留信息密集片段。
- 奖励函数确保压缩后对学生友好：采用 logP(answer|edit) - α·Len - β·PPL 选择编辑操作（保留/重写/融合/剪枝），既保证压缩后答案可预测，又避免高困惑度文本破坏小模型的训练稳定性（防止灾难性遗忘）。在业务中蒸馏推荐模型时可复用该公式，自动平衡压缩率与可学习性。
- 避免极端压缩导致的格式崩溃：纯 LLM 摘要压缩虽然大幅缩短长度，但导致 8.74% 的解析失败（如输出不足 k 个候选、重复索引），说明过度压缩会破坏输出格式。工程上应采取逐步编辑策略，保留必要结构。
- SFT 足够时，RL/on‑policy 增益有限：论文在 SFT 模型已接近老师时，尝试了 DAPO 和 OPSD，均未带来稳定提升，提示在生成式推荐场景中，合理处理后训练阶段可能不需要额外 RL 微调，节省计算资源。
评估LLM生成元数据在RDF数据集搜索中的忠实性与可检索性
🧭 生成式元数据评估 · 检索效果与忠实性权衡
University of Southern Denmark
无约束LLM改写元数据检索效果最好但忠实性最差，基于概貌的改写提供最佳平衡
📌 工作参考价值（4 点）
- 在商品搜索中，用LLM改写标题/描述可提升召回，但需评估忠实性，避免描述与商品实际属性不符，建议仿照本文设计联合评估指标。
- 可采用基于概貌（profile-grounded）的生成策略，例如利用商品类目、属性或用户画像作为约束，在不牺牲太多检索提升的前提下保证内容可信度。
- 对合成元数据设置溯源与可解释性机制，例如关联原始字段或提供依据摘要，防止幻觉内容误导搜索排序。
- 本文的评估框架（同时考量检索效果与生成忠实性）可迁移至推荐系统的特征工程或内容补全场景，用于控制LLM生成特征的风险。
强化学习优化LLM生成过程模型：奖励函数设计研究
🧭 结构化生成 · 奖励函数设计
German Research Center for Artificial Intelligence (DFKI) · Saarland University
RL 通过奖励函数设计显著提升 BPMN 模型的语法和语用质量，并揭示等权重优于定向加权等关键发现
📌 工作参考价值（4 点）
- 在多维度自动评估的生成任务（如推荐理由、搜索 query 改写）中，奖励函数采用等权重组合各维度指标通常优于刻意侧重某一维度，避免模型坍缩到局部最优。
- 设计奖励函数时需结合模型架构进行实验：某些惩罚项（如无效输出惩罚）对一种模型至关重要，对另一种可能无效，应针对自身模型做消融。
- SFT 初始化并非总是有益的，有时反而损害 RL 优化效果，实际落地前应验证无 SFT 的 RL 基线。
- RL 能大幅降低生成输出的方差（本研究降低 6 倍以上），适合需要稳定输出的业务场景，如自动化消息推送文案生成。
库存感知的RAG生成式AI模型实现搜索广告查询改写
🧭 查询改写与广告库存对齐 ★ 深度解读
Walmart AdTech
通过实时库存感知的RAG+LLM查询改写，将无广告填充的搜索比例从13%大幅降低，填充率提升68%
📌 工作参考价值（4 点）
- 零填充查询改写策略：可借鉴「识别→检索→改写→混合」流程，先通过规则分类器识别低效查询，再基于库存感知的RAG生成候选改写，最后混合历史高点击查询，直接复用至电商广告系统的查询召回阶段。
- 两塔BERT + LoRA LLM 的架构组合：用双塔模型做语义检索得到 Top-N 商品，将其属性拼入 prompt 作为上下文，再用 LoRA 微调的 Llama2 生成改写查询，这种轻量微调方式适合业务快速迭代。
- 离线评测设计：刻意选取历史零填充查询作为测试集，直接衡量改写模型的填补能力，同时用 NDCG@8 评估相关性，可作为广告改写效果的兜底指标。
- 动态库存感知的即时性：实时检索向量数据库中的可用广告库存并考虑预算，生成与可投放商品绑定的查询，避免改写后仍然无广告可投的尴尬。
使用 LLM 增强电商赞助搜索相关性
🧭 LLM 助力搜索广告相关性判别 ★ 深度解读
Walmart AdTech
用 LoRA 微调 LLaMA2 7B 做 <query, ad title> 三分类，准确率 89.43% 优于 GPT-4 和 BERT
📌 工作参考价值（4 点）
- 用 LoRA 微调开源 LLM（LLaMA2 7B） 构建相关性模型，成本和隐私都优于依赖 GPT-4 API，适合公司内部部署。
- 将相关性定义为 三分类（Relevant / Partially Relevant / Irrelevant） 更贴合实际排序需求，可据此设计差控策略或加权打分。
- 直接使用 <query, ad title> 文本对 作为输入，无需手工构造特征，可快速迁移到商品搜索、内容推荐等其他文本匹配场景。
- 标注时采用 3 人投票取多数 保证质量，后续可搭配 模型自动标注 + 人工抽检 缩短迭代周期，降低标注成本。
从答案生成器到推理促进者：为高压数学教育设计AI导师
🧭 AI辅导中的推理促进设计
Stanford University
发现学生抗拒纯苏格拉底式对话，将‘答案优先’捷径重新用作诊断检查点，提出推理中心化产品循环
📌 工作参考价值（4 点）
- 对话式推荐/Agent 可借鉴‘答案优先’作为诊断捷径：在推理链中允许用户跳过步骤直接查看结果，系统再反向引导用户反思缺失步骤，降低摩擦。
- 分层工作示例与步骤链接的可视化锚定，可迁移到推荐解释界面：将多步推理过程展开为可折叠的层次，并高亮当前步骤所依赖的输入，提升透明度。
- 元认知脚手架（提示用户自我解释推理步骤）可融入 Agent 决策过程，让用户在关键节点确认或修正，增强人与 Agent 的协作信任。
- 推理中心化产品循环（检查→局部修复→课程验证→延迟检索）可视为一种推理型任务的交互框架，适用于搜索/推荐系统中需要多轮修正的场景，如动态查询细化或探索式推荐。
EvoPolicyGym：交互环境中自主策略进化的评估基准
🧭 自主策略进化评估
University of Science and Technology of China · The Chinese University of Hong Kong · University of Macau · Tsinghua University · Zhejiang University
提出自主策略进化评测框架，在固定交互预算下诊断Agent迭代改进策略的过程与机制
📌 工作参考价值（4 点）
- 策略迭代中的预算分配诊断可直接迁移到推荐策略线上实验，通过分析每次改进尝试的“编辑类型/反馈利用”诊断迭代效率，避免盲目重试。
- “反馈转化为参数调优”思路可应用于推荐模型在线学习：将用户反馈映射为模型参数（如Embedding、权重）的精细调整，而非重新训练全量参数。
- 环境紧凑但多样化的设计理念可借鉴到离线策略评估：为搜索/推荐Agent构建一组交互式沙盒环境，低成本验证策略改进能力。
- 轨迹级别诊断（trajectory diagnostics）可作为评估推荐系统Agent改进行为的分析工具，区分“偶然胜利”与“真实机制发现”，提升迭代方案的上线信心。
基于神经元感知的无标注自蒸馏数据选择方法
🧭 无标注LLM自蒸馏与数据选择
University of Pittsburgh
通过神经元激活筛选无标注数据和构造上下文，实现无监督LLM自蒸馏，提升领域性能且保持泛化
📌 工作参考价值（4 点）
- 可利用神经元激活计数筛选模型易答对的未标注样本进行自训练，降低电商/推荐领域高质量标注依赖。
- 通过神经元激活重叠度检索少样本上下文构造教师提示，提升伪标签质量，可借鉴到LLM生成式推荐的教师模型构建。
- 采用逆向KL蒸馏 + EMA教师稳定训练，避免校准崩塌，适合需校准概率的推荐场景（如CTR预估）。
- 纯离线、无奖励信号的迭代框架，适合无在线交互的广告/搜索系统日志后训练。
PraMem：基于实践的经验记忆用于长程行为预测
🧭 长程行为预测·经验记忆演化 ★ 深度解读
中国科学院软件研究所 · 中国科学院大学 · 复旦大学 · 快手科技
将长历史序列化为练习样本，通过迭代试错构建可演化的模式经验与偏差警告，显著提升 LLM 长程行为预测准确性
📌 工作参考价值（4 点）
- 化负担为资源：把用户长行为序列当作带标签的实践样本，通过预测→反思→调整的闭环提炼经验。电商推荐中可用同样思路，利用历史行为数据持续优化用户画像，而不是只做一次离线建模。
- 双重经验结构：Pattern Experience 刻画用户偏好模式，Bias-alert Experience 显式警告模型容易犯的错误（如近因偏差、从众偏好）。在推荐系统的 prompt 或知识库中可引入类似的“纠偏模块”，让 LLM 在推理时主动避开已知偏见。
- 自审机制保证质量：通过扰动历史序列检验提议的 groundedness，生成虚拟场景检验 generalizability，过滤不可靠的经验修改。生成式用户画像或动态 prompt 优化中可以直接借鉴，防止模型拟合噪声或过拟合单一交互。
- 共识驱动更新稳健：由多个提议共同支持才修改记忆，避免偶然行为干扰。适用于实时更新用户状态的场景（如会话推荐、动态创意优化），可防止因单次异常交互导致画像漂移。
单图无害，多图有害：防止普通图片组合隐含的有毒语义
🧭 多模态安全 · 隐含联合语义
The Conversational AI (CoAI) Group, DCST, Tsinghua University
定义多图隐含毒性（MIIT）问题，构建数据集并训练推理蒸馏模型，在审核中超越商业API
📌 工作参考价值（4 点）
- 电商场景中，用户多图晒单或商品详情页的图片组合可能隐含违规（如暗示毒品器具），可借鉴多图联合推理的审核机制，将单图无害的概念纳入模型输入，提升对组合语义的捕捉能力。
- 训练阶段采用“渐进式蒸馏推理监督”：先让强模型生成有推理链的标注，再逐步蒸馏到小模型，产出带实体关联解释的判定结果，有助于审核人员快速确认风险。
- 工程上可设计两阶段流水线：先快速过滤单图明显违规，再对剩余多图组合进行联合编码推断隐性风险，平衡延迟与召回。
- 数据集构造的自动化流程（利用LLM生成危险组合描述、图生成模型合成图像）可作为扩充审核负样本的手段，缓解组合风险样本稀缺问题。
IntentTune：利用用户需求与个性化解决电商搜索中模糊查询意图未知问题
🧭 个性化查询意图解析 ★ 深度解读
eBay Inc., USA
通过融合用户历史查询等行为信号，用LLM推断模糊查询的性别、年龄、尺寸等意图，显著优于仅用总体需求或静态画像
📌 工作参考价值（4 点）
- 意图推断模块设计：当基线意图模型输出 “unspecified” 时，路由到 LLM 进行个性化推断。可参考 IntentTune 架构，单独构建一个服务或模型，用近期高置信度用户查询（如性别置信度>0.8、年龄置信度>0.9）作为上下文，输出细化的性别、年龄、类目甚至尺寸意图，直接接入检索排序通路。
- 用户信号选择：历史查询行为远优于用户画像属性（如注册时填写的年龄、性别）和总体需求分布。实际系统中应优先利用短期搜索历史，提取其中意图明确的查询作为 prompting 素材，而不是依赖静态标签。
- 类目粒度优化：对于模糊查询，先将类目预测模型给出的候选类目列表提供给 LLM，让 LLM 根据用户历史行为选择或收缩正确类目，可有效减少下游检索的候选空间，同时保持正确性，类似 “后验类目精排” 思路。
- 冷启动与冲突处理：当历史查询不足时可回退到需求模式（利用类目预测模型最高置信度类目推断意图），但尺寸意图不适用此方法。多重信号冲突时，需要设计置信度投票或加权机制，避免直接采信单一来源。
基于 LLM 聚类的实时硬负采样双塔召回
🧭 双塔召回 · 硬负采样 · LLM 聚类 ★ 深度解读
Meta
提出一种在线聚类的硬负采样框架，利用 LLM 生成 item 语义簇并实时抽取簇内 hard negative，显著提升召回并缓解流行度偏差
📌 工作参考价值（4 点）
- 用 LLM 离线生成 item 语义簇替代规则类别：电商/视频场景可构建多模态内容理解模型，产出 300 级粗粒度簇（簇内 item ≥ 10k），作为硬负采样的先验，比人工品类树更适应内容语义和用户兴趣迁移。
- 实时 OOB 池 + 哈希分桶采样：将 item 池按 cluster_id 分段维护，更新与采样均 O(1)，训练 QPS 损失仅 -1.4%，可直接嵌入现有双塔训练流，不需异步构建 ANN 索引。
- 簇内采样缓解反馈循环与流行度偏差：从与正样本同簇的 item 中抽取负样本，迫使模型学习细粒度区分能力，工业实验中 Top100 热门 item 曝光占比从 50% 降至 32%，长尾曝光桶（≥1k impressions）增加 50%，对去偏效果明显。
- 评估避免 k-core 过滤与采样指标：使用全量全局排序评估 HR@50/100，更反映冷启动与稀疏场景的真实效果，业务落地评估时可参考此严格设定。
扩散生成式推理重排器 Diff-GR2：将自回归重排器加速 2.4-3.5 倍并维持精度
🧭 扩散模型加速推理重排器 ★ 深度解读
Meta AI · UNC Chapel Hill
通过转换微调、在线蒸馏与强化学习三阶段方法，将自回归推理重排器转为块扩散模型，在 Amazon Beauty 上获得 2.4-3.5 倍吞吐提升且精度几乎无损。
📌 工作参考价值（4 点）
- 将自回归推理重排器转换为块扩散解码器可大幅降低序列推理成本，适合高 QPS 场景；转换微调（CFT）能直接让模型学会输出合法排列，省去外部约束解码器。
- 使用在线策略蒸馏（OPD）在模型自产轨迹上由 AR 教师提供 token 级监督，可有效消除训练-推理分布不匹配，对任何生成式重排任务的 precision 恢复有直接借鉴意义。
- 在 OPD 之后接 RL 阶段（基于排名提升和格式奖励）能在几乎不增加额外推理成本的情况下进一步提升 top-1 与 top-3 指标，可作为电商重排线上迭代的标准管线。
- 块扩散的 KV cache 与预填充摊销机制使得长 prompt（如用户历史 + 候选集）的重排延迟更低，这一工程实践可直接迁移至 LLM 推荐系统的在线推理部署。
LogbQuant：在Log空间中量化语言模型
🧭 对数空间量化 · 权重压缩
Technical University of Munich
提出可调基的对数量化方法，在4-bit下性能优于非对称线性量化，适合消费级GPU
📌 工作参考价值（4 点）
- 在电商搜索/推荐场景中，若需本地部署LLM（如商品描述生成、对话式Agent），可尝试用LogbQuant做4-bit量化，在单张消费级GPU上运行，降低显存占用同时保持生成质量。
- 对数量化对存在少数大幅度权重的层（如FFN上投影）天然友好，可针对此类层单独使用对数域量化，或混合线性量化（例如关键层保留线性，其他层用LogbQuant）。
- 可调基数b的思想可迁移到其他量化场景：对不同张量/层自动搜索最优基数，以匹配各异的权重分布，提升整体精度。
- 实现上，查询表（LUT）与位打包可带来推理加速，适合对延迟敏感的在线推荐服务（如实时重排序或即时文案生成）。
双层神经架构搜索优化推荐系统个性化解释
🧭 可解释推荐 · 神经架构搜索
Virginia Tech · Google · Amazon
通过双层NAS同时优化注意力与特征交互，并集成LLM生成个性化推荐解释，提升准确性与解释质量
📌 工作参考价值（4 点）
- 将NAS用于搜索推荐解释模型的最优结构，自动设计特征交互与注意力机制，避免手工调参。
- 利用LLM零样本提示生成解释，结合用户特征偏好与物品属性对齐，可快速实现个性化推荐理由。
- 双层搜索空间（intra-layer和inter-layer）可迁移到电商推荐中优化多模态特征融合的解释头。
- 该方法在提升推荐准确度的同时改善解释质量，适用于商品详情页的“为什么推荐”模块，提升点击率和信任度。
WorldDirector：解耦式可控世界模拟与持久动态记忆
🧭 世界模型 · 视频生成与模拟
HKUST · Ant Group · ZJU · CUHK
将3D语义运动编排与视频生成解耦，用LLM生成控制轨迹，实现持久动态对象记忆与高可控长视频合成
📌 工作参考价值（4 点）
- 解耦控制与生成的思路可迁移至生成式推荐：先用 LLM 编排用户意图阶段或促销节律，再控制具体物品生成，提升推荐结果的可控性与逻辑性。
- 持久动态记忆模块启发长期用户兴趣建模：即使某类商品长期无交互，仍维持其隐状态，在重新出现时快速恢复相关性，可改进长序列召回。
- 利用 LLM 生成结构化控制信号（如行为路径）的方法，可用于模拟用户交互序列，生成高质量仿真数据，辅助离线策略评估和训练。
- 因果块自回归生成方式可类比于推荐中的分阶段决策，将推荐列表分块生成并保持块间一致性，避免一次性输出过长序列导致的逻辑断裂。
消息传递赋能高效推理
🧭 消息传递并行推理与抢占 ★ 深度解读
Carnegie Mellon University
提出 MPLM 框架，通过持久线程间的点对点消息传递和抢占机制，实现远优于串行 / Fork-Join 的推理扩展效率
📌 工作参考价值（4 点）
- 在多 Agent 协作中采用持久线程与点对点消息传递，避免 Fork-Join 式全局聚合带来的通信瓶颈，可应用于复杂推荐流程的并行子任务调度
- 引入抢占机制：一旦某个子线程得出确定结论，立即终止其它并行分支，节省推理开销，适合搜索/规划类任务
- 利用 respawn 压缩上下文，让线程自我总结关键状态后重启，既支持长程迭代又不爆上下文，可迁移到需要多轮协商的 Agent 对话系统
- 让模型学习何时向谁 send/recv，而非硬编码通信拓扑，使通信模式随任务动态涌现，有助于实现自适应的分布式推理
行为自适应对话代理：动态人格框架
🧭 对话代理人格动态适配
Northeastern University
提出根据任务情境动态协调LLM对话代理的隐喻角色和人格强度的流体人格框架
📌 工作参考价值（4 点）
- 电商客服Agent可根据用户情绪与问题类型动态切换人格：售后场景选用低强度共情的“辅导员”，售前咨询选用中等强度专业的“导购”，提升信任与转化。
- 生成式推荐解释系统适配用户个人特质：对理性用户用“专家工具”隐喻、低强度表达，对易受影响的用户用“教练”角色、中等激励性语言，改善解释接受度。
- 广告文案生成Agent根据产品类别（功能品 vs. 情感品）和投放渠道（搜索 vs. 信息流）灵活调整隐喻角色与语气强度，避免千篇一律的助手口吻。
- 为对话式推荐系统设计人格状态机，基于对话上下文（问答、闲聊、任务引导）自动切换代理角色，维持交互连贯性与用户沉浸感。
RuleChef：用LLM生成可编辑规则以落地任务知识
🧭 LLM 规则生成与可解释AI
KR Labs · TU Wien
利用LLM从标注数据自动生成、迭代修补可执行规则，得到快速、可解释的符号系统
📌 工作参考价值（4 点）
- 离线LLM生成规则，在线轻量推理：在电商搜索/推荐中，可将LLM用于离线规则合成（如意图分类、属性提取），线上部署为确定性规则引擎，避免高延迟与API成本，适合高QPS场景。
- 规则迭代与人工反馈闭环：借鉴RuleChef的patch机制，将人工审核或业务专家反馈直接转化为规则补丁，持续优化文本处理逻辑，如query改写规则、违禁词过滤。
- 模型蒸馏为透明规则：利用已有模型（如BERT分类器）的输入输出对bootstrap规则，把黑盒模型知识转化为可解释、可审计的规则集，满足风控、合规等场景对可解释性的要求。
- 版本化与可调试的文本处理管道：规则集易于版本管理与调试，可配合A/B测试快速迭代，提升推荐系统中query理解、内容审核等模块的灵活性与可控性。
ShopX：面向智能购物意图到商品履行的基础模型
🧭 生成式推荐 · Semantic ID · 代理购物 ★ 深度解读
Alibaba Taobao & Tmall Group
通过语义ID实现模型原生的商品空间操作，将意图理解、执行规划和物品执行统一于单个基础模型中，减少代理协调中的接口损失
📌 工作参考价值（4 点）
- 模型原生商品履行：将检索、排序、捆绑等物品空间操作直接内建于 LLM，避免对外部推荐工具链的低带宽调用。可借鉴该架构，在电商助理场景中用模型原生语义 ID 生成替代工具编排，减少意图压缩损失，尤其适用于多轮交互和模糊需求。
- 语义 ID 设计原则：混合全局-局部 SID（G2+L4）将稳定生成路由与细粒度语义恢复分离，全局前缀用于 LLM 自回归生成，局部门用于属性、视觉等特征重建。在构建商品编码时，可借鉴等效商品监督（而非协同过滤）与软目标对比损失，确保 ID 可解释、可恢复，便于后续模型直接操作。
- 训练配方三阶段：SID 对齐（仅嵌入训练）→ 领域持续预训练（2:1 混合商场数据与通用复述数据）→ 多教师 OPD+RL 联合后训练。这种分阶段注入商品知识、保持指令遵循能力的方法，可在工业搜索推荐大模型中复用，避免牺牲通用语言能力。
- 评估体系：框架级评估（意图履行、个性化、约束满足等 8 维指标）与能力诊断（购物语义、上下文证据抽取、商品空间操作）相结合，可参考其构建方式，对内部 AI 购物助手进行多维离线和在线评估，特别关注跨轮反馈适应和引用解析。
通过迭代元反思实现自主科学发现
🧭 自主发现 · 迭代元反思
University of Edinburgh · Massachusetts Institute of Technology
提出 DiscoPER 框架，让 LLM 通过二阶元反思机制自主迭代发现科学规律，在生态基准上恢复 89% 已知模式
📌 工作参考价值（4 点）
- 二阶反思机制可迁移至搜索/推荐 Agent：在自动生成 Query 或探索推荐策略时，引入定期复盘已探索空间，识别模式、偏见与空白，主动跳转至高价值未覆盖区域，提升长尾覆盖与策略多样性。
- 统计检验作为硬约束：任何生成的新假设必须通过统计验证，这一点可直接用于广告文案 A/B 测试、推荐策略上线流程，让 Agent 决策具备统计可信度。
- 工具调用扩展多模态特征：推荐系统可仿照 DiscoPER 通过 Tool Use 无缝接入图像理解、OCR 等工具，从商品图片、评论区截图等多模态源提取结构化信息，丰富用户和物品特征。
- 自动特征工程与模型搜索：将开放式探索与元反思结合，用于自动化生成并验证特征组合、模型结构，周期性反思哪些方向尚未尝试，提高有限算力下的搜索效率。
REAR：基于奖励分解的测试时偏好重对齐
🧭 测试时偏好对齐 · 奖励分解
Nanyang Technological University · University of California, Berkeley · Nanjing University
提出奖励分解方法 REAR，在测试时无需训练即可重对齐 LLM 至多样化用户偏好。
📌 工作参考价值（4 点）
- 测试时偏好干预：无需额外训练，适合广告文案生成、商品描述等需要快速适配不同风格偏好的场景。
- 奖励分解视角：将生成奖励分解为任务相关和偏好相关项，通过调整权重可细粒度控制输出属性（如多样性、长度、倾向）。
- 与解码策略集成：可无缝接入 Best-of-N、树搜索等测试时优化框架，实现高效可扩展的偏好引导。
- Agent 动态偏好适应：在对话或推荐 Agent 中，用户偏好变化时可通过调整 REAR 权重实时重对齐，无需重训模型。
缓解检索增强生成中知识冲突的门控调制激活引导方法
🧭 门控机制自适应调节激活以解决知识冲突
Northeastern University · Tsinghua University
提出 SHIFT，用可学习门控模块替代神经元编辑，自适应调节激活，以低于 0.01% 参数解决 RAG 知识冲突
📌 工作参考价值（4 点）
- 可借鉴轻量门控模块（训练参数 <0.01%）插件式插入 LLM，冻结骨干，在不损害通用能力的前提下提升 RAG 冲突场景下的上下文遵循度，适合低资源快速适配。
- 门控调制激活的方式比神经元定位和层固定规则更灵活，可在电商搜索推荐中的商品知识增强、客服问答等 RAG 场景使用，避免因知识冲突产生错误推荐。
- 该方法属于参数高效微调，可与现有 PEFT 方案（如 LoRA）叠加，工程实现成本低，可直接嵌入到已有 RAG 管线。
- 论文在多个数据集上验证，开源代码可直接复用，适合业务团队快速验证门控激活引导在自身场景的效果。
JD Oxygen AI商品中心：基于LLM/VLM的商品理解与管理平台
🧭 工业级LLM/VLM商品知识中台 ★ 深度解读
JD.com
用LLM/VLM构建百万级本体与S2D识别架构，实现高精度、高吞吐的商品知识生产
📌 工作参考价值（4 点）
- 本体与模型解耦的 S2D 架构：将商品属性值作为外部知识库检索，再让模型判别匹配，彻底避免本体更新时重训模型。电商属性体系频繁变动时可借鉴，快速上线新属性。
- 计算量聚焦“差异化 SKU × 相关属性”：通过同 SPU 相似度去重和属性相关度探测，大规模缩减无效计算，适合海量商品库的实时/近线特征生产。
- 人机协同的本体迭代范式：专家定义骨架，LLM 做开放抽取+融合+验证，兼顾覆盖与质量；可迁移至类目体系、标签体系等知识资产建设。
- 统一商品隧道分层服务：提供秒/分/天级新鲜度接口，解耦知识生产与消费，使搜索、推荐、运营等场景按需取用，避免重复建设。
基于 LLM 语义对齐的期刊推荐框架
🧭 LLM 语义对齐 · 零样本推荐
Central University of Finance and Economics · Peking University
用 LLM 将稿件内容与期刊范围进行语义匹配，实现免训练的零样本期刊推荐
📌 工作参考价值（4 点）
- 在电商场景中，可将商品描述（标题、详情）与用户查询或兴趣画像进行语义对齐，直接用 LLM 做零样本商品推荐，无需训练排序模型
- 利用 LLM 生成推荐理由，提升推荐可解释性，适合客服或导购场景下的解释性推荐
- 冷启动场景下，无需历史交互数据，仅靠物品与用户侧文本描述即可启动推荐，适合新品或低频品类
- 参考论文中引入“参考文献”信息可提升效果的做法，电商中可引入用户行为序列或商品关联关系作为额外上下文，进一步提升匹配质量
模块化认知架构在大语言模型中涌现
🧭 LLM 模块化架构与功能特化
Massachusetts Institute of Technology
通过46个认知任务的电路分析，发现LLM形成与人类大脑相似的模块化架构，同域任务共享神经元
📌 工作参考价值（4 点）
- 电商推荐多任务模型可借鉴模块化思想：将语言理解、数值推理、用户意图/社会偏好等不同认知域任务分组，设计稀疏激活或MoE结构，让不同专家模块处理不同域，提高参数效率和效果；LLM内部已有功能分工，显式模块化可降低任务间干扰。
- Agent系统设计：针对商品属性逻辑推理、用户评论情感分析、价格比较等不同性质子任务，可以设计专门的子Agent或推理链，因为LLM内部已存在对应模块化表征，显式引导能更好地调用相关能力。
- 模型诊断与调试：在实际业务中遇到bad case时，可采用电路分析定位是哪个功能模块失效（例如语言理解模块还是数值推理模块），从而针对性地添加训练数据或调整prompt，而不是全参数微调或笼统调参。
- 多任务学习中的任务分组：通过计算神经元激活重叠度来判断任务间关系，指导哪些任务可以共享底层参数、哪些需要独立分支，减少负迁移，提高整体效果。
AgentX：面向工业推荐系统的智能体驱动自我迭代
🧭 多智能体闭环驱动推荐策略与模型自进化 ★ 深度解读
Kuaishou
生产部署的多智能体闭环，自主生成、实现、评估并进化推荐实验，实现业务收益的复利增长。
📌 工作参考价值（5 点）
- 构建推荐迭代闭环智能体：将“想法→代码→A/B评估→知识沉淀”全流程 agent 化，把工程师从重复性劳动（拉数据、改配置）中解放，直接复用至电商/广告推荐策略迭代，显著提升实验并发量与产出速度。
- 证据加权生成与防重复机制：用实验 KB、系统 KB、数据分析、模型研究四类知识源对候选想法打分，自动过滤重复、不可行或违背护栏的策略，避免“重新发明失败”，可借鉴到搜索推荐实验管理平台。
- 生产代码可靠性保障：通过仓库模式查询、DSL 检查器、静态 lint 等多维验证，防止 LLM 生成代码时的属性幻觉和注册缺失，大幅降低人工介入，适合在自动化投放引擎或特征平台落地。
- 离线模型研究的可信归因：强制每个模型改动声明因果链和可观测量，并用专家投票与日志确定性提取来判断收益是否可信，防止无法归因的 AUC 增益污染知识库，对工业级 AutoML 或模型迭代管线有直接参考意义。
- 基于轨迹的自我进化（SGPO）：利用执行轨迹的语义梯度持续优化 prompt，形成“越用越强”的飞轮，可迁移至其他需要持续改良的 agent 系统（如广告文案生成、动态排序策略优化）。
爱因斯坦世界模型：LLM的视觉思维实验蓝图
🧭 LLM推理增强 · 视觉世界模块
MBZUAI · RIKEN AIP · Tohoku University
提出将视觉时空推演作为LLM推理中间步骤的蓝图，扩展工具调用至视觉思维实验
📌 工作参考价值（4 点）
- 对电商/推荐系统从业者直接借鉴有限，主要贡献在学术概念层。
- 可将“视觉世界模块”思想类比为用生成式模拟环境辅助推荐策略推理：LLM调用模拟器生成用户行为rollout作为可检查假设。
- 方法论上，将外部模块输出作为“假设”而非最终答案，此交互模式可迁移到多步决策Agent（如动态定价中调用市场仿真做counterfactual评估）。
- 需注意：论文未提供工程实现细节或实验结果，仅给出框架和训练目标，落地需大量工作。
HarmVideoBench：面向大模型的有害视频多层理解基准
🧭 多模态安全审核 · 动态检索增强
Central South University · Tsinghua University · ByteDance Inc · Tencent · Nankai University
构建首个多层次有害视频诊断基准并配套边界感知检索方法，将LVLM理解能力提升至84.4%
📌 工作参考价值（4 点）
- 在商品视频审核中，可借鉴“可观察证据→片段内含义→超出片段推理”三层框架设计评测集，避免只做二分类漏判隐性违规。
- BCR 的推理边界预测机制可嵌入多模态 RAG 审核链路：模型先判断是否需要检索外部知识，降低高并发审核场景的推理延迟与成本。
- 该基准暴露了现有模型依赖表面捷径的缺陷，建议在推荐系统的内容理解评测中加入对比测试，防止因浅层匹配误判而放过违规内容。
- 动态按需检索的思路可迁移至 Agent 的视觉推理任务，例如商品短视频的自动解说生成，仅在需要外部产品知识时触发检索，提升生成效率。
将遗留工作流提升为智能体化BPM的流程支架: CUGA FLO设计与实现
🧭 智能体化流程管理 · 策略治理的自主性
IBM SIL, Israel · University of Haifa
提出流程支架在确定性工作流引擎上附加策略治理的智能体层, 实现推理与适应而不替换引擎
📌 工作参考价值（4 点）
- 在现有确定性推荐/搜索排序引擎上叠加LLM智能体支架, 对关键控制点进行拦截, 实现动态决策路由与流程调整, 无需重建引擎
- 采用TaskAgent/DecisionAgent/FlowAgent分工, 可将电商Agent系统中的知识密集型任务、案例级路由、流程自适应解耦, 降低耦合与Token成本
- 利用process FRAME统一管理所有LLM调用的策略, 确保合规性与可控性, 适用于广告审核、价格调整等需严格治理的环节
- Hook机制允许在异常或监管需求时插入人工干预或规则覆盖, 适用于高灵敏度场景如异常流量处置、活动熔断
梯度连接：多智能体系统的细粒度归因与提示优化
🧭 多智能体细粒度归因与提示优化
University of Illinois Urbana-Champaign
将多智能体系统建模为计算图，利用梯度连接权重实现token级影响量化，精准定位错误并优化提示。
📌 工作参考价值（4 点）
- 多智能体链路可解释性与调试：在电商搜索/推荐的多智能体系统中（如查询改写→召回→排序→生成解释），可借鉴GBC构建计算图，用梯度反向传播计算每个智能体输出的token级贡献，快速定位“哪个智能体哪一步说错了话”，代替人工逐链排查。
- 自动化提示词优化：通过归因图识别错误节点后，直接对相应智能体的提示进行针对性修改（如强化缺失信息、调整角色定义），无需依赖粗粒度宏观调参。对于频繁迭代的对话式购物助手，可嵌入自动优化管道。
- 高效实现AgentChord：论文提出的prefix-based梯度缓存与重计算策略，可降低大规模Agent拓扑下的归因成本，适合在线服务或离线评估时对Agent链路进行细粒度审计。
- 任务导向对话与协商场景：在广告投放的竞价协商、多部门联合推荐等仿照MultiWOZ的任务型多轮对话中，GBC可提升信息传递效率，减少协调失败。
BitNet文本嵌入：极端低比特LLM语义表示
🧭 极端低比特嵌入模型的量化训练与多精度存储 ★ 深度解读
Peking University · Microsoft Research
将LLM转换为1.58位BitNet嵌入器，配合对比预训练与蒸馏，实现接近全精度性能并支持多精度存储
📌 工作参考价值（4 点）
- 线上推理加速：将LLM嵌入骨干量化为1.58位三值权重与8位激活，CPU吞吐量提升约2倍，适合电商搜索/推荐场景的实时查询编码。
- 多精度向量索引：单个模型可输出1/2/4/8/16位嵌入，按存储预算灵活选择精度而不需重新训练，大幅降低向量数据库成本。
- 蒸馏策略可复用：相似度分布蒸馏（KL散度对齐批内候选分布）与注意力关系蒸馏（单层多头自注意力关系对齐）能有效补偿量化损失，可迁移至其他模型压缩任务。
- 工程稳定技巧：在每层Transformer内插入子层归一化 (SubLN)，缓解量化带来的激活尺度漂移，使极端低比特训练更稳定。
超越函数调用：工具环境不可靠性下智能体基准测试
🧭 Agent 工具使用可靠性评估与恢复分析
Shanghai Jiao Tong University
提出ToolBench-X基准，系统注入五种可恢复工具风险，揭示Agent在不可靠环境中可靠性大幅下降，恢复能力不足。
📌 工作参考价值（4 点）
- 构建Agent时需模拟工具不可靠性进行鲁棒性测试：工具描述漂移、调用失败、输出异常等在真实API、数据库查询中常见，应设计恢复路径（重试、回退、交叉验证）。
- 评估Agent应超越单步函数调用准确率，关注端到端任务完成率，尤其考虑并行与混合工作流的可靠性。
- 实验表明仅扩大推理预算(test-time scaling)对解决工具不可靠性增益有限，更有效的是增强Agent的故障诊断与恢复逻辑，例如提供恢复提示(hints)能挽救大量失败任务。
- 在搜索推荐等涉及多工具调用的场景（商品API、用户画像、库存查询），可参考ToolBench-X设计结构化故障注入测试集，验证Agent在部分依赖失效时的降级方案。
带采样示例的在线策略自蒸馏降低输出多样性
🧭 LLM 训练 · 自蒸馏与多样性偏差
揭示在线自蒸馏因条件于采样示例而放大模型偏差，导致输出多样性锐减和 pass@k 性能饱和
📌 工作参考价值（4 点）
- 监控 pass@k 与多样性指标：在电商文案生成、搜索查询扩展等实际 LLM 应用中，若使用在线自蒸馏（如 SDPO、SDFT），必须同时监控 distinct-n、pass@k 等指标，避免模型陷入单一高置信模式，失去从多样生成中获益的可能。
- 引入多样性正则化或温度调节：可在自蒸馏损失中加入基于熵的正则项，或适当调高采样温度，以保持策略的概率质量不过度集中，有助于在推荐理由生成、对话式推荐等场景保留多样性。
- Agent 规划中慎用纯自蒸馏微调：在需要多种推理路径或工具调用策略的 Agent 系统中，单纯依赖在线自蒸馏可能导致策略趋同，降低对分布外场景的适应力；可结合 RL 或增加策略蒸馏的多样性约束。
- 用互信息视角诊断模式坍塌：论文给出的理论工具——条件互信息倾斜——可用于分析其他蒸馏范式下的多样性损失，为设计新的训练算法提供方向。
Lacuna：机器学习研究地图
🧭 科研文献知识图谱构建 · LLM Agent
Tiptree Advanced Systems Corporation · Mila · Polytechnique Montreal · McGill University · Universite de Montreal
用LLM将论文转化为可导航研究地图，在文献检索和深度调查报告任务上超越OpenScholar与GPT-Researcher
📌 工作参考价值（4 点）
- 商品知识地图构建：借鉴Lacuna用LLM将非结构化论文转化为结构化摘要、概念、方向的方法，可对商品描述、评论、问答生成商品知识图谱（核心卖点、使用场景、竞品对比、搭配提案），作为推荐系统的可解释索引。
- 多阶段深度推荐代理：Lacuna Deep Research的检索→分析→报告流水线可直接迁移至复杂购物决策场景（如“帮我选一台适合视频剪辑的笔记本”），通过多轮检索商品知识、对比分析、生成个性化购买指南，提升用户体验。
- 可追溯证据增强推荐可信度：每个知识条目保留原始论文链接的设计，可改为在推荐解释中附带用户评论原文、评测视频等来源，增强推荐的可信度与透明度。
- MCP接口集成现有链路：论文开放的MCP接口设计，允许将地图作为工具接入任意LLM代理，电商系统可参照此模式，将商品知识库封装为标准化工具，供客服机器人或购物助手调用。
OPID：面向智能体强化学习的在策略技能蒸馏
🧭 Agent 强化学习 · 技能蒸馏 ★ 深度解读
Tsinghua University · Zhejiang University · The Chinese University of Hong Kong · Nanyang Technological University · Tongji University
从在策略轨迹中提取分层后见技能并蒸馏回政策，为多步智能体提供稠密信号，无需外部技能库
📌 工作参考价值（4 点）
- 在构建多步交互的购物助手或搜索Agent时，可直接利用完整对话轨迹自动提取工作流与关键决策技能（如定位商品、处理售后），用于后续训练，无需额外人工标注或外部技能库。
- 关键优先路由（critical-first routing）可以为长对话推荐系统提供细粒度强化：当用户处于尺寸选择、支付等关键步骤时使用步级技能，其他状态使用全局工作流技能，避免简单拼接带来的相互干扰。
- 训练过程中技能蒸馏仅依赖历史轨迹和旧策略的重打分，推理时不引入任何额外模块（检索、分析器），适合线上低延迟部署。
- 该方法可与现有RL训练流程（如GRPO）直接结合，增强样本效率，特别适合小模型或数据稀缺的推荐/Agent场景：仅用60%的交互数据就能达到全量数据的结果水平。
信息感知的 KV 缓存压缩用于长推理
🧭 LLM 推理优化 · 熵感知 KV 压缩
Shanghai Jiao Tong University · University of Edinburgh
提出熵感知的 KV 缓存压缩框架 InfoKV，结合预测不确定性与注意力得分，提升长推理效率。
📌 工作参考价值（4 点）
- 长对话/文档推理的部署加速：在电商搜索推荐系统的多轮助手、售后长文档分析等场景，可直接用 InfoKV 压缩 KV 缓存，减少显存占用与解码延迟，无需重新训练模型。
- Agent 长期记忆的高效管理：Agent 在维护对话历史或用户行为序列时，利用预测不确定性筛选对远期推理关键的信息 token，既保留关键上下文又控制缓存大小，提升持续交互的响应速度。
- 混合重要性评估范式：将 token 级熵信号与传统的注意力权重结合，是一种低成本、即插即用的重要性评分增强方式，可迁移到其它需要上下文剪枝的 LLM 应用中（如 RAG 中的长文档分块选择）。
- 解码阶段动态压缩：InfoKV 在解码阶段同样有效，适合流式生成时不断增长的 KV 缓存管理，可降低线上长时生成过程的尾部延迟。
巴西电商产品属性值提取：基于LLM与黄金标注集的方法
🧭 LLM赋能属性提取 · 巴西电商 ★ 深度解读
LuizaLabs · Mackenzie Presbyterian University · University of São Paulo
用精心设计提示词的LLM代替传统NER，在巴西葡语商品属性提取上F1提升约15个百分点
📌 工作参考价值（5 点）
- 用LLM+提示工程直接做商品属性提取：无需微调，为每个品类定制提示词（任务说明、上下文、输出JSON格式、few-shot示例），可快速替换传统NER，特别适合多品类、多语种电商快速迭代。
- 构建黄金标注集的方法论：使用Cochran公式确定每类产品的样本量（95%置信度、5%误差，约385条），20个品类共覆盖数十万产品，可作为评估模型质量的无偏基准，也适合作为业务内部模型评测的固定验证集。
- 结构化输出设计：提示词中明确要求JSON输出，下游可直接解析入属性库、供搜索/推荐使用；对电压、尺寸等多值或歧义属性，提示词中需提供具体格式和示例，可大幅减少后处理。
- 工程部署考量：文中对比了自托管开源模型（VM部署，可预见延迟和成本）与闭源API（Gemini 2.5 Flash-Lite，1000并发请求平均1.3s但偶发30s）。推荐高吞吐场景优先自托管，避免API延迟波动和rate limit。
- 属性标准化仍是痛点：同一属性存在多种写法（“bivolt”“110/220V”），LLM虽能提取但一致性不足，建议后续增加规则或正则规范化层，或对LLM施加更严格的输出格式约束。
对话到发现：属性感知的对话商品搜索助手
🧭 对话产品搜索 · 属性感知策略 ★ 深度解读
Adobe Research · Microsoft Research · UC Berkeley
D2D通过属性不确定性引导与推荐时机控制，成功率提升22–30%，弃标率降低，成功对话缩短27.5%
📌 工作参考价值（4 点）
- 属性选择的可解释启发式：用属性不确定性（APU）与累积熵（ACE）的乘积选择询问属性，比完全依赖 LLM 判断更可控、可解释，可直接迁移到电商搜索助手的槽位填充（slot-filling）模块。
- 推荐时机的置信区间重叠准则：当 top- k 项目得分置信区间重叠度低于阈值时才推送商品，避免过早推荐导致用户反感。这一规则简单、无模型依赖，适合嵌入实际对话推荐引擎的决策层。
- 耐心建模用于仿真评估：结合推荐相关性、问题冗余度、认知负荷等多因素更新用户耐心，构建更真实的离线用户仿真，可用于 A/B 测试前的策略选优。
- 模块化 LLM 调用降低成本：将属性偏好更新、推荐决策、响应生成拆分成独立的小模型调用，每轮输入 token 远小于全上下文 LLM，实测输出 token 减少 51%，适合成本敏感的在线服务。
规模能拯救大语言模型的塑性损失吗？
🧭 LLM持续学习的塑性损失标度律
Zyphra
发现LLM塑性损失遵循可预测的亚线性标度律，增大模型仅能延缓而无法根除。
📌 工作参考价值（4 点）
- 搜索推荐系统若需持续增量训练（在线学习），应监控模型在新任务/分布上的快速适应能力，警惕塑性损失导致更新失效。
- 单纯增大模型规模（如从1B升到10B）只能把塑性损失出现时间向后推，无法彻底避免；对于长期运行的业务模型，需考虑周期性重置部分参数、采用弹性权重巩固或正则化策略。
- 即使数据分布平稳（如电商流量自然漂移），长时间训练也会累积塑性损失；定期用固定预算在新数据上微调并评估性能下降，可作为预警指标。
- 借鉴标度律思路，可在模型升级时预估塑性损失风险的延迟收益，辅助资源投入决策。
基于多智能体语义重写的隐私保护RAG
🧭 多Agent语义重写实现隐私保护RAG
North China Electric Power University · University of Florida · University of Macau · Macau Millennium College
通过多Agent协作语义重写去除检索内容中的隐私，将LLaMA-3-8B信息泄露从144例降至1例，且离线预处理无在线延迟
📌 工作参考价值（4 点）
- 电商/推荐系统若用RAG检索含用户隐私的文档，可借鉴多Agent语义重写，在构建商品描述或用户画像时去除PII，平衡隐私与语义保真度。
- 异步预处理模块的设计不影响在线服务延迟，适合集成到数据ETL管道中，对实时推荐系统友好。
- 隐私提取-语义分析-重构的三Agent协作模式可复用到内容安全审核，多个代理协同检测并改写敏感信息。
- 对生成式推荐模型，在生成item文案时可用类似方法防止模型泄露训练数据中的隐私信息。
TokenMinds：基于语义ID与LLM的工业级双模态用户建模
🧭 生成式用户建模 · Semantic ID ★ 深度解读
Google DeepMind · YouTube
提出双输出编码器-解码器架构，同时生成离散语义ID用户令牌和稠密嵌入，在YouTube排名系统中实现互补增益
📌 工作参考价值（5 点）
- 离散用户表示对齐候选集：将用户兴趣压缩为与物品共享的SID前缀，可用Prefix Embedding Mapping或可学习子词嵌入（LE）投影到稠密空间。电商场景可对商品SID做同样设计，直接用SID序列表示用户历史与意图，减少跨模态鸿沟，尤其适合图文、搜索词等多模态融合。
- 双输出设计平滑过渡：同时产出稠密嵌入和离散令牌，既兼容现有DNN排序模型，又注入离散语义信号。在现有推荐系统引入生成式用户建模时，可采用类似双通道策略，避免全量重构；稠密侧做主力特征，离散侧做互补特征，通过注意力池化等方式融合。
- 异步推理架构解耦成本：在用户行为服务（UBS）框架下离线生成用户表征并缓存，实时打分仅读取，将重生成延迟完全屏蔽。大模型上线时，可参照此模式以KV缓存和定时刷新实现超高吞吐，单用户推理339ms在后台完成，存储仅需1280B，这对电商/广告海量用户场景极具参考价值。
- 跨场景统一建模提效：通过<LFV>/<SFV>等场景条件令牌，以及多上下文解码（共享编码器一次前传、分支波束搜索），将长短期视频场景合入单模型，训练算力减半，推理算力降低31%。若业务存在多个推荐流（如猜你喜欢、购后推荐、首页Feeds），可用相同技术方案统一建模，降低维护成本并从异质信号迁移学习。
- Token适配与训练技巧：训练时采用前瞻窗口采样（预测未来24h内多个目标，非下一项）、截断SID前缀（更粗粒度）、历史长度约1K watch即可饱和，这些都是可迁移的调参经验。可学习嵌入（N-gram/SPM）远优于静态前缀映射，下游模型重新学习SID语义空间能带来显著线上收益。
面向智能体工作文档推理的档案基准 AGORA
🧭 Agent 文档探索推理评测
Fudan University · Zhejiang University · Shanghai Qiji Zhifeng Co., Ltd.
构建跨域大规模真实档案基准，要求智能体在超长上下文中主动探索检索证据，最强模型仅达59.4%准确率
📌 工作参考价值（4 点）
- 多步探索范式：在电商商品库、政策库等超大规模非结构化文档上构建问答任务时，借鉴其 agent 多轮检索、证据定位与交叉验证的流水线设计，而非依赖一次性长上下文扫描。
- 防泄漏基准构建：采用跨文档任务合成、实体混淆与难度过滤构造评测集，可迁移到内部 agent 离线评估，防止模型记忆导致分数虚高。
- 跨域鲁棒性检验：覆盖农业、金融、法律等 8 个域，提示推荐/搜索系统若接入 agent 需在多个业务域分别评测，避免单域过拟合。
- 上下文窗口超限场景：当文档总量远超模型窗口时，强制 agent 主动探索与选择性检索，为电商导购、客服 agent 在长尾商品/长文档下的策略设计提供参考。
SVD-Surgeon：大语言模型的最优奇异值压缩手术
🧭 低秩压缩 · 二阶损失补偿
University of Freiburg · Prior Labs · ELLIS Institute Tübingen
将OBS框架引入SVD压缩，闭式更新保留奇异值以补偿截断损失，无需重训练
📌 工作参考价值（4 点）
- 将OBS补偿思想直接用于LLM的SVD压缩，无需微调即可提升压缩后模型质量，适合对延迟敏感的在线推荐或Agent系统快速迭代部署
- 奇异值重要性评估可指导结构化剪枝决策，例如在广告召回模型中按重要度保留关键秩，平衡吞吐与精度
- 方法即插即用，可叠加到现有SVD-LLM等压缩器上，工程实现成本低，可直接复用以压缩推荐系统中的语义编码器或生成模型
- 闭式更新公式仅需二阶导数信息，计算开销小，适合在大规模模型压缩流水线中作为后处理步骤
大规模音乐播放列表标题生成：Deezer 基于 LLM 的工业化实践
🧭 LLM 生成推荐解释文案 ★ 深度解读
Deezer Research · SJTU Paris Elite Institute of Technology
用 LLM 为推荐播放列表自动生成描述性标题，在不改动推荐算法的情况下提升用户参与度 24.9%
📌 工作参考价值（4 点）
- 为推荐模块自动生成解释文案：不修改底层推荐算法，仅通过给推荐结果增加 LLM 生成的描述性标题，即可显著提升用户采纳、重连与满意度，适用于电商推荐理由、广告文案和搜索推荐摘要等场景。
- 上游聚类 + 批量生成降低计算成本：先生成约 5,000 个艺术家簇的描述，再映射到数以百万计的个性化播放列表，避免为每个推荐逐个调用 LLM，电商/广告中可对商品类目、兴趣簇等做类似离线批量生成，再动态拼装到推荐结果上。
- 多源弱信号融合作为 LLM 输入：将音乐标签（流派、情绪、年代等）与用户 playlist 标题中的创意词频统计融合，用权重排序后送入提示词，可为推荐系统构造富含语义的上下文输入，类似思路可用于融合商品属性、用户评论和搜索词。
- 低成本 LLM + 并行调用就满足线上近实时要求：使用 Gemini 2.0 Flash，全量 5000 个簇并行生成 5 个候选标题，总耗时 < 15 分钟、花费 ≈ $1，再通过 LLM-as-Judge 过滤，表明轻量级 LLM 结合离屏 pipeline 完全可支撑大规模推荐场景的文案生成。
EnterpriseClawBench: 基于真实工作会话的企业智能体基准
🧭 企业智能体评估 · 多维度基准
Horizon Research · Frontis.AI
从真实企业Agent日志构建852个可复现任务的基准，揭示评估必须报告多维度指标而非单一得分
📌 工作参考价值（4 点）
- 评估生产环境Agent时，必须同时上报成本、运行时间、产物交付质量、视觉质量等，不能只依赖文本匹配得分，这在推荐系统Agent评估（如自动素材生成、文案产出）中同理。
- 基准构建采用从真实日志恢复任务的方式，可以借鉴到电商/广告Agent的离线评估：从历史操作会话中抽取场景，脱敏后重构可复现的测试集，防止数据泄露。
- 硬规则（hard rules）与技能子类（skill subclasses）的标注思路，可用于业务Agent的细分能力诊断，例如区分“商品标题生成”与“广告文案创意”的不同技能域，针对性优化。
- 工具-模型组合（harness–model combination）的评测模式提醒我们：Agent框架选择（类似推荐系统中的召回/排序通道）对最终效果影响显著，需要联合调优而非单独比拼模型。
智能体人工智能全面指南：从基础到系统实现
🧭 Agent 构建 · RL 训练 · RAG 与记忆系统 ★ 深度解读
覆盖 LLM 基础、RL 对齐、Agent 训练、RAG、记忆与推理的工程实践手册
📌 工作参考价值（4 点）
- Agent 训练完整配方：第12章提供轨迹缓冲区、多目标奖励设计、课程学习等细节，可直接用于对话式推荐 Agent 的强化学习训练
- GRPO 与 Agent 优化：详解 GRPO 及其变体（Dr. GRPO、SAPO 等），可迁移到电商 Agent 多轮交互策略的在线优化
- Agentic RAG 模式：查询变换、自我反思、多源路由等模式可直接用于电商搜索中的多步检索与问题解答 Agent
- 记忆系统设计：用户建模、会话连续性、层次化记忆管理器等方案，可落地实现个性化推荐 Agent 的长期记忆管理
锥形语言模型：深度感知的 MLP 宽度分配
🧭 语言模型架构优化 · 深度感知容量分配
Mila · Cornell University · Université de Montréal · CIFAR AI Chair
在总参数固定下，让 MLP 宽度随层深递减（余弦锥形）可免费提升 Transformer 等模型的困惑度与下游性能
📌 工作参考价值（4 点）
- 免费性能提升：在训练推荐领域的 Transformer 模型（如 CTR 预估、行为序列建模）时，可将 MLP 中间宽度按余弦锥形从底层向顶层递减，在零额外参数和计算下获得困惑度或下游指标提升。
- 超参搜索技巧：锥形范围（起始宽度倍数->结束宽度倍数）和衰减形式（余弦 vs 线性）可视为新的架构超参，直接用固定总预算的缩放实验快速寻优，无需改动训练流程。
- 与现有架构解耦：方法不依赖特定注意力机制，可直接叠加到 Gated Attention、Hope-attention、Titans 等变体上，方便复用到自研或改进的推荐模型。
- 强化学习 Agent 内部模型：若 Agent 内部使用 Transformer 作为策略或值函数网络，锥形 MLP 同样可作为低成本的结构性改进，在不增加推理成本的前提下提升模型容量利用效率。
大规模生成式引擎优化：衡量品牌在AI搜索引擎中的可见性
🧭 生成式引擎优化 · AI搜索品牌可见性测量
Ranqo
首次对AI搜索引擎中的品牌可见性进行大规模测量，揭示品牌知名度三层阶梯与引用模式
📌 工作参考价值（4 点）
- 品牌权威性可用于生成式推荐的冷启动：论文量化了品牌知名度对提及率的巨大影响，电商平台内部LLM推荐产品时，可引入品牌层级特征，或主动补充中长尾品牌信息以缓解曝光马太效应。
- “best-of”榜单内容的高引用率启示：在生成商品描述或推荐理由时，可模仿榜单格式输出结构化推荐清单，提升信息密度和用户采纳率。
- 情感不稳定性警示：AI生成品牌相关文本时情感容易翻转，建议在面向用户的生成式推荐文案中加入实时情感校验或平滑机制，避免品牌形象波动。
- 多引擎差异化监控：不同AI引擎背后模型偏好不同，若业务中接入了多个LLM服务，需建立品牌展示的跨引擎对比看板，及时发现偏差。
ELVA：探索排序驱动的通用多模态检索
🧭 通用多模态检索 · 排序驱动强化学习 ★ 深度解读
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi'an Jiaotong University · MiLM Plus, Xiaomi Inc · Zhongguancun Academy, Beijing, China
用排序驱动强化学习缓解多模态检索模型对比训练中的“粒度盲目”，在复杂查询上提升13.1%
📌 工作参考价值（4 点）
- 排序感知的奖励设计可迁移至推荐 / 搜索重排：将 NDCG 类连续排名奖励与 margin 约束结合，无需人工标注即可在强化学习训练中细化物品间层级关系；在电商多模态搜索、视频推荐重排中可复用该思路优化候选列表的全局次序。
- 生成式 embedding 提取范式增加 RL 探索方差：让 MLLM 先自回归生成输入的文字摘要，再从专用 [RET] token 的隐状态取嵌入，可产生足够的表示方差，支持 GRPO 等策略优化。这一 trick 可直接用于基于 LLM 的语义 ID 生成或 query 改写 RL 训练。
- 平衡负采样策略保障 RL 训练稳定：通过过滤过高相似度的负样 + 混合随机负样，扩大奖励方差并防止过拟合。在召回模型训练或 LLM Ranker 的对齐阶段，该采样思想可提高训练的收敛速度和最终效果。
- 多粒度查询基准 MRBench 的构建方法具有借鉴意义：利用 VL model 自动筛选多粒度属性查询再人工检验，可用于评估自家多模态搜索系统对复杂意图（如“红色连衣裙配银色高跟鞋”）的召回完整性。
扩散Gemma透明度如何？
🧭 扩散模型透明度分析
Google DeepMind
通过token瓶颈使扩散LLM透明度媲美自回归模型，并揭示扩散特有推理现象
📌 工作参考价值（4 点）
- 扩散模型中插入可解释token瓶颈（token bottleneck）可在不牺牲性能的前提下，使中间隐状态映射为可读token序列，显著降低不透明串行深度，可迁移至扩散式生成推荐（如物品序列生成）中实现可解释的中间步骤。
- 扩散模型输出概率监控性（monitorability）与自回归模型相当，因此下游任务（如异常检测、置信度过滤、主动学习）对扩散生成结果的可干预性不受影响，实践中可放心复用自回归模型的监控方法。
- 扩散模型可能出现非时序推理（non-chronological reasoning）和token涂抹（smearing）等现象，依赖生成顺序的可解释性不可靠，设计基于扩散的对话Agent或规划系统时应谨慎对待中间推理踪迹，考虑其他验证机制。
- 算法透明度方面的退化提示，扩散模型内部可能执行复杂分布式算法，需警惕在安全敏感场景中仅靠输出概率不足以理解模型行为，建议结合额外探测手段。
ScholarQuest：基于分类法的智能体学术搜索评估基准
🧭 Agent 检索评估 · 分类法引导
State Key Lab of Cognitive Intelligence, University of Science and Technology of China
提出 ScholarQuest 基准，系统评估智能体在开放文献环境中的迭代检索能力
📌 工作参考价值（4 点）
- 意图分类法可迁移至电商搜索：将查询意图细分为方法导向、场景锚定、对比型等，用于构建更丰富的搜索评测集或指导 Agent 的意图识别。
- 共享检索后端保证可复现性：固定文献库 ScholarBase 的设计思路可直接用于搭建企业内部的搜索 Agent 评测平台，确保不同方法在相同语料上公平对比。
- 多维评估信号：同时关注召回、效率与不同意图下的鲁棒性，为推荐/搜索 Agent 提供更全面的诊断信息，避免单指标误导。
- 基于引用图的可扩展答案构造：利用引用关系自动扩张相关论文，类似在推荐中利用物品共现链扩展候选池，可启发生成式推荐的评测数据生成。
基于LLM引导的零样本主动特征获取
🧭 LLM-引导的零样本主动特征获取
Technion · CytoReason · NVIDIA
仅从LLM获取判别性统计量，用最大熵闭合构建MRF，实现零样本主动特征获取，性能超越LLM直接决策
📌 工作参考价值（4 点）
- 交互式推荐冷启动：利用LLM提取用户/物品特征之间的判别性共变关系构建MRF，指导对话式推荐中下一个最优问题的选择，零样本适配新领域。
- 最大熵闭合技巧：当LLM只返回类间区分信息而忽略类内分布时，可通过最大熵原则补全缺失统计量，使概率模型可用于规划，解决LLM输出偏差。
- 规划与知识分离架构：不让LLM直接做序列决策，而是仅提供特征依赖的统计量，再用MRF进行精确推理，规避LLM规划不可靠的问题，可复用于Agent主动信息获取任务。
- 预算受限下的top-k识别：在电商搜索或推荐中，需从大量候选中快速锁定少量目标时，可借鉴top-k主动特征获取策略，动态选择最具区分力的特征询问用户，降低交互成本。
SAERec: 利用稀疏自编码器构建细粒度可解释意图先验的推荐
🧭 意图感知推荐 · 稀疏自编码器解耦 ★ 深度解读
University of Georgia · Shanghai AI Laboratory · The Education University of Hong Kong · Jilin University · The Hong Kong Polytechnic University
利用稀疏自编码器从评论文本中解耦出可解释意图先验，并融合个性化与公共意图提升序列推荐
📌 工作参考价值（4 点）
- 意图先验的自动构建：利用稀疏自编码器（SAE）将LLM文本嵌入解耦为高维稀疏特征，通过关键词对齐和LLM过滤自动生成细粒度意图集，无需预设意图数量，适合电商场景中意图多样且快速变化的情况。意图构建离线完成，直接复用现有文本语料（评论/描述）。
- 双级意图检索平衡个性化与泛化：从意图集中为每个用户检索个人意图（与序列特征余弦相似度）和公共意图（EMA加权全局高频意图），简单有效，可嵌入到各种序列模型（如SASRec）中，增强冷启和噪声场景下的稳定性。
- 多分支注意力与自适应融合：独立建模个人意图、公共意图和时序依赖，再通过自适应权重融合，为意图注入提供通用范式，可直接迁移至电商推荐的精排或召回模块。
- 工程可实现性：SAE训练仅需少量GPU（<3GB），意图集一次构建可复用；检索和注意力计算轻量，训练时间随数据量线性增长，适合大规模落地。意图操纵可导向推荐分布，便于业务干预。
SAGE：通过智能体引导探索的随机提示优化
🧭 提示优化 · 多智能体协作
Slingshot AI · University of Cambridge
提出多智能体诊断执行框架 SAGE，通过随机搜索与连续 A/B 测试将提示优化累积为统计显著的次日留存提升
📌 工作参考价值（4 点）
- 面向对话式推荐或客服机器人，可用 Agent 自动诊断 Bad Case 并生成修复提示，替代人工迭代
- 借鉴连续 A/B 测试范式，将单次噪声大的实验累积为长期关键指标（如留存、转化）的可靠增益
- 错误信息驱动的随机搜索策略成本低，可用于推荐系统召回/排序模块的 prompt 候选生成
- 多智能体协同中加入代码执行（如数据统计、校验），能提升诊断深度，可用于商品推荐理由生成的自动化调试
ScholarSum：基于知识图谱推理与反思精炼的学生-教师摘要生成框架
🧭 LLM 摘要生成 · 事实一致性优化
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China
通过分层知识图谱引导的学生-教师迭代框架，同时提升科学文献摘要的流畅性和忠实性
📌 工作参考价值（4 点）
- 商品文案生成的可信度增强：在生成商品描述或广告文案时，可借鉴分层知识图谱捕捉商品属性与卖点间的全局关系，再通过学生-教师迭代核对，确保文案不出现与商品实际信息不符的“幻觉”。
- 用户评论摘要的事实校验：为海量用户评价生成总结时，可以引入类似教师模型的检查步骤，识别无证据支持的概括，并触发重新检索原始评论进行改写，提升摘要的忠实度。
- 检索增强生成（RAG）中的迭代精炼：在电商知识问答或搜索导购场景，可将 ScholarSum 的反思机制嵌入 RAG 流程——先生成答案草案，再由独立评估器检查每个陈述是否有检索片段支撑，发现无依据内容后定向重查与重写，显著提高答案可信度。
- Agent 系统的事实验证模块：在多智能体协作架构中，可以专门设计一个“事实核查 Agent”，像教师模型一样审视其他 Agent 生成的文本，通过检索源头证据进行反驳和修正，提升整体输出的可靠性。
通过多智能体虚构博弈增强大语言模型决策能力
🧭 多智体虚构博弈均衡求解决策纠缠
National University of Singapore
提出多智能体虚构博弈范式，以博弈均衡迭代求解立场纠缠的决策问题，提升决策质量与鲁棒性
📌 工作参考价值（4 点）
- 广告竞价策略优化：将广告主、平台、用户等利益方建模为 Agent，利用 MAFP 迭代寻找均衡出价，替代固定规则或单智能体生成，可提升策略的鲁棒性与对抗性。
- 搜索排序多方博弈：在搜索场景中，商品、商家、用户之间存在立场纠缠，可借鉴 MAFP 将排序决策视为多方博弈过程，通过虚构博弈逐步逼近满足多方目标的排名均衡。
- 推荐系统供需均衡：在双边市场中，用户偏好与商家收益相互依赖，MAFP 范式可帮助推荐系统在长期交互中找到帕累托改进，避免陷入局部最优。
- Agent 协作训练与自对弈：MAFP 可作为一种多智能体自我博弈的训练框架，无需外部对手即可暴露策略弱点，可用于生成式推荐模型的对抗训练或自动 prompt 调优。
通过可操控模型合并增强多语言推理
🧭 可操控模型合并 · 多语言推理
Beijing University of Posts and Telecommunications · Fudan University · Beihang University · Monash University · Zhongguancun Laboratory
提出可操控模型合并（ST-Merge），用门控交叉注意力动态调整多语言与推理模型的贡献，解决多语言推理中的模型冲突
📌 工作参考价值（4 点）
- 在多语言业务（如跨境电商客服、多语言商品描述生成）中，可通过模型合并将领域模型与推理模型结合，避免独立部署多个模型，降低推理成本。
- 门控交叉注意力机制可迁移至多专家模型集成，例如在推荐系统中融合用户理解模型和知识推理模型，根据请求内容动态分配权重。
- 低资源语言表现提升明显：若业务需快速扩展小语种支持，可借助本方法合并已有高性能模型，减少微调数据需求。
- 模型合并替代 pipeline 调用，能减少延迟与计算开销，适合对实时性要求高的 Agent 推理链路。
用户作为印迹：将每用户记忆内化为局部参数编辑
🧭 用户事实的局部参数编辑与共享推理
Pine AI
把用户事实稀疏写入 Engram 的哈希记忆表，推理技能由共享适配器承载，实现高精度个性化且不干扰推理
📌 工作参考价值（4 点）
- 可将用户长期偏好（商品偏好、搜索历史等）压缩为 Engram 行编辑写入模型，免去每次推理时检索或 prompt 拼接的延迟与 token 成本。
- 共享推理适配器 + 多用户稀疏编辑的架构支持高并发个性化推理，适合电商搜索推荐等需实时读取用户记忆的场景。
- 编辑透明可控：写入的事实只影响特定触发词，不污染其他主题回答，有利于金融、医药等高合规领域的推荐安全性。
- 多用户编辑可叠加存储于同一模型，无需维护独立 LoRA 权重，大幅降低部署成本，工程实现更友好。
面向物理科学的深度研究：多智能体框架与综合基准
🧭 多智能体科学推理加速
Shanghai Artificial Intelligence Laboratory · Xiamen University · Chinese Academy of Sciences · University College London · Wuhan University
提出物理科学深度研究基准PhySciBench，并设计多智能体框架DelveAgent，通过自适应规划、双粒度记忆和分层反思显著提升准确率并降低成本
📌 工作参考价值（4 点）
- 模块化多智能体设计可迁移至搜索推荐多步推理：DelveAgent 的自适应规划循环（Adaptive Planning Loop）可直接用于电商搜索中的复杂查询分解与动态规划，比如商品对比、多方约束推荐等需要多步推理的场景。
- 双粒度记忆（Dual-granularity Memory）提升长对话一致性：短期记忆存交互轨迹，长期记忆存领域知识，可借鉴到用户对话系统中，跨 session 保留用户偏好与领域事实，避免重复询问。
- 分层反思（Hierarchical Reflection）实现业务规则自检：物理基础反思机制强制模型验证结果是否符合物理定律，对应电商场景可设计“利润约束反思”“库存约束反思”等模块，降低幻觉，提升推荐合理性。
- 成本降低至 1/3 的工程启发：DelveAgent 在提升准确率的同时大幅降低推理成本，其架构中的知识检索、记忆复用等降本手段，可复用于线上 Agent 的调用优化，减少 LLM 重复推理。
从受训者到训练师：LLM 自动设计多智体强化学习训练环境
🧭 LLM 辅助多智体强化学习环境自动设计
LARK, HKUST (GZ) · University of Cambridge · HKUST
让当前策略 LLM 分析失败轨迹并自动提议下一阶段训练环境配置，小模型超越大模型
📌 工作参考价值（4 点）
- 自适应环境工程：借鉴 LLM-as-Environment-Engineer 范式，在推荐系统或搜索决策 RL 训练中，将用户行为日志、推荐失败案例作为上下文，让模型自动调整仿真环境参数（如用户偏好分布、商品流行度），实现无需手工调参的课程学习。
- 失败驱动优化：验证了失败轨迹是最有效的环境更新信号；在业务 Agent 开发中，可周期性收集策略失败案例并结构化描述，让 LLM 生成下一次迭代的环境或训练数据修正，聚焦弱点针对性训练。
- 小模型超越大模型：发现当前 RL 微调后的 checkpoint 比原始基模型更适合做环境诊断；在资源受限的业务场景，可采用领域微调的小模型进行训练环境设计，成本更低且效果更好。
- 上下文摘要工程：文中使用的结构化总结（策略行为统计 + 失败案例 + 环境统计）可作为提示设计模板，用于任何需要 LLM 根据系统状态做决策的场景，如广告投放策略的自动调整。
LESS 即更多：扩散语言模型的互稳定采样
🧭 扩散语言模型推理加速
MBZUAI · Ecole Polytechnique
提出训练无关的自适应采样器 LESS，通过联合稳定性规则在线决定 token 揭示时机，以 72.1% 更少步骤保持精度。
📌 工作参考价值（4 点）
- 若业务中尝试将扩散模型用于生成式推荐（如 Semantic ID 生成），LESS 可嵌入推理流程，自适应提前终止不稳定的 token，直接减少 Transformer 前向次数并降低延迟。
- 其 top-K JS 散度稳定性判据与 top-1 置信度/持久性规则可以独立迁移到其他 token 级早停（early exiting）场景，比如在序列生成中按位置动态分配计算量。
- 该采样器无需训练、模型无关，可作为即插即用模块快速集成到现有扩散 LLM 部署中，无需重新训练或修改模型权重。
- 本文主要学术贡献在于扩散 LM 的高效采样，若业务尚未使用扩散模型，直接可借鉴点有限；但在 Agent 系统里若用扩散模型做规划或工具调用生成，LESS 可加速推理。
RL-Index：用强化学习优化索引推理的检索增强框架
🧭 索引侧推理优化 · RAG 性能提升
University of Oregon · Adobe Research
将检索推理从查询时移到索引阶段，用 GRPO 优化文档的理由生成，提升检索效果并降低在线延迟
📌 工作参考价值（4 点）
- 离线预计算理由，降低在线延迟：在商品搜索或推荐系统的索引构建中，可预先为每个文档/商品生成推理性的文本描述（rationale），将复杂推理从查询时转移到离线阶段，显著减少线上推理耗时。
- 利用 GRPO 优化索引策略：借鉴 RL-Index 使用 Group Relative Policy Optimization 直接以检索相似度作为奖励信号的方式，对商品内容生成模型进行策略优化，无需人工标注，自动提升召回或排序效果。
- 即插即用，跨检索器泛化：该方法生成的文档增强理由适用于多种 dense/sparse 检索器及生成模型，可作为一套标准化索引流程引入现有搜索/推荐系统，无需大幅改造原有架构。
- 可解决复杂意图匹配：对于电商中需逻辑推导的查询（如“送长辈的保健礼品”），可通过预先生成涵盖场景、知识点的理由，增强文档的语义覆盖，提升长尾查询的检索精度。
AC-ODM：基于Actor-Critic的LLM预训练在线数据混合
🧭 RL指导预训练数据混合 · Actor-Critic
BRAIN, Renmin University of China · Shanghai Jiaotong University · Shanghai Artificial Intelligence Laboratory · China Electronics Technology Group Corporation 15th Research Institute · LiblibAI
提出轻量Actor-Critic在线调控领域采样权重，最大化梯度建设性干涉，大幅加速预训练并提升下游表现
📌 工作参考价值（4 点）
- 动态数据采样策略可迁移至推荐模型训练：在多任务/多领域推荐场景中，常需平衡样本配比，AC-ODM的在线Actor-Critic框架可以低开销地学习每步采样权重，替换静态或启发式配比，提升训练效率。
- Proxy模式节省大规模训练成本：先在小规模模型上训练数据混合策略，再外推到大模型，适用于电商搜索推荐中从蒸馏模型到全量模型的迭代过程，避免直接在大模型上试错。
- 极低工程开销：每步仅增加0.4%计算和2%显存，几乎不影响吞吐，可直接嵌入现有分布式训练管线，适合对训练延迟敏感的业务。
- 最大化梯度建设性干涉的思想可泛化：该文理论证明策略等价于线性代理优化梯度干扰，这一思想可借鉴到多任务推荐中的损失加权或正负样本均衡，减少有害梯度冲突。
CoRe：面向短视频搜索的持续奖励微调 LLM 查询重写器
🧭 LLM 查询重写 · 持续偏好优化 ★ 深度解读
ByteDance / TikTok
以线上多模态相关性模型为奖励源、乘性奖励对齐排序融合，结合半在线 MPO 与稳定性门控实现每周持续重写
📌 工作参考价值（4 点）
- 奖励设计对齐线上融合公式：乘法形式的奖励 \(r_{\text{base}} = (S_{\text{pos}}^{1+\gamma} / S_{\text{neg}}) \cdot (S_{\text{pos}} / S_{\text{rand}})^{\alpha_R}\) 直接镜像了线上排序的融合代数，避免训练-线上信号不一致。在电商搜索中，可将精排模型的分数组合方式直接写进 reward，让查询重写或生成式召回的训练梯度与线上排序目标保持一致。
- 半在线 MPO 降低大模型迭代成本：每阶段只采样一次并仅对 top-k vs bottom-k 偏好对计算梯度，将参数同步和 reward 调用批量化到阶段边界。对于需要高频迭代但推理成本高的多智能体或 LLM 组件，这种梯度节约和调度解耦可直接复用。
- 双族指标自动晋升门控：用奖励类指标 (rmain, Spos, rrand) 和稳定性指标 (熵、perplexity、长度、截断率) 联合判断候选模型。在 Agent 或多步推理的强化学习任务中，补充稳定性指标可提前捕捉模式坍塌或奖励黑客，已证明比纯奖励门控更可靠。
- 增量并行路径消费，控制爆炸半径：重写信号作为 recall、rawrank、finerank 各阶段的附加特征，失败时自动降级到原始链路。为在推荐/搜索系统里引入 LLM 组件提供了安全落地模式——先叠加再逐步替代，避免一次性切换风险。
Ling 和 Ring 2.6：万亿参数级高效即时代理智能
🧭 Agent 高效训练与推理优化
Inclusion AI
通过架构升级、混合线性注意力及强化学习框架实现高效推理与代理能力的万亿参数模型家族
📌 工作参考价值（4 点）
- 长上下文推理效率：混合线性注意力（Lightning Attention + MLA）可大幅降低长序列（如用户行为序列、多轮对话）的预填充和解码延迟，直接适用于电商搜索/推荐系统的实时重排序或解释生成场景。
- Token 效率优化：最短正确响应蒸馏和双向偏好对齐能训练模型用更少 token 提供精准推荐理由或答案，降低服务成本，尤其适合用户触达、消息推送等延迟敏感的业务。
- Agent 训练稳定性：KPop 异步 RL 调度框架可借鉴到多步搜索 Agent 的训练中，通过异步采集搜索、工具调用、工作流执行等环境交互数据，提升样本利用率和训练吞吐，适合构建能自主调用商品检索、价格对比等工具的购物助手。
- 业务模型迁移升级：论文从已有模型（Ling-2.0）通过架构迁移和继续训练而非从头预训练的方法，对于已有推荐/对话模型向 Agent 方向升级提供了一个低成本路径，避免全量重训。
用 LLM 将跨域动作序列抽象为可解释的工作流
🧭 基于LLM的跨域行为序列抽象与用户意图理解 ★ 深度解读
Microsoft Corporation
提出 WorkflowView，通过 LLM 层次化提示将低级操作日志转为高级活动描述，零/少样本实现跨域意图理解和分类。
📌 工作参考价值（4 点）
- 用户行为理解与意图推断：电商中用户点击、浏览等动作序列可用 WorkflowView 分层生成自然语言描述，直接推断购物意图（如比价、找风格），替代传统规则或监督分类，提升实时推荐的上下文感知能力。
- 冷启动场景的少样本分类：仅需每个类别 5 个示例即可达到与全量训练模型竞争的退课预测（F1=0.90），可快速迁移到电商评论意图分类、用户流失预警等任务，大幅降低标注成本。
- 可解释的中间表示：Layer1 的自然语言描述可作为可解释的行为表示，直接用于生成推荐解释或输入下游排序模型，增强推荐理由的透明度和可信度。
- 多模态扩展启示：文中提出结合 UI 截图进行行为理解，电商场景下可融合商品图片、页面布局等视觉信息，构建更丰富的用户状态建模，为 Agent 主动服务提供实时上下文。
CFALR：协同过滤增强的大语言模型用于个性化时尚穿搭推荐
🧭 生成式推荐 · 个性化穿搭生成 ★ 深度解读
The Hong Kong Polytechnic University · University of Electronic Science and Technology of China · Singapore Management University · Tongji University · National University of Singapore
首个协同LLM语义理解与CF交互模式的穿搭生成框架，通过混合编码和输出层融合显著提升个性化推荐效果。
📌 工作参考价值（4 点）
- 混合特征注入 LLM 的方式：将文本、视觉（ResNet-50）、CF 嵌入（CPTM）通过独立的可训练线性投影层映射到 LLM 的 token 空间，形成统一的 item/user 表示，可直接用于电商物品建模，弥补文本描述视觉细节不足和 CF 交互信号缺失。
- 多阶段训练策略：先冻结投影层用纯文本微调 LoRA，再联合训练投影层与 LoRA，避免特征空间差异带来负向干扰，这种渐进式训练可迁移到其他混合特征+LLM 的推荐任务。
- CF 增强的生成推理：在 LLM 输出 logits 上直接插值 CF 模型的预测分布（加权和），解决 LLM 在输入条件简单（如仅用户或单件物品）时建模能力不足的问题，运算成本极低，适合已有 CF 模型和 LLM 的团队快速上线。
- 组合推荐任务的评估体系：采用个人化精确率（PP）、套装兼容性（OC）、平均配对兼容性（MPC）以及 LLM-as-a-Judge 和人评，为电商中的搭配推荐、捆绑推荐提供了可复用的多维度评估框架。
面向时间序列语言模型的自适应压缩：超越统一Token处理
🧭 时间序列LLM的Token压缩与推理加速
Zhejiang University · Harbin Institute of Technology · Shandong University
从非对称Token视角提出自适应预算框架，在频域压缩时间序列Token并逐层削减提示Token，实现最高7.68倍推理加速与78%设置下的性能提升。
📌 工作参考价值（4 点）
- Token压缩思路可迁移到多模态LLM推理：利用输入数据在频域/信息密度的非均匀性，设计自适应压缩模块，在电商图文理解、Agent对话历史管理等场景降低 KV Cache 开销。
- 动态Prompt Token削减策略：观察到深层提示影响力衰减，可借鉴在 Agent 的 long-context 任务中，对不同深度层注入不同长度的 System Prompt 或历史上下文，优化内存占用。
- 训练时加入压缩预算约束：在训练或微调阶段引入 Token 压缩目标，让模型学会保留关键信息，可应用于生成式推荐模型的用户行为序列建模，加速长序列处理。
- 频域变换作为通用压缩手段：将时序或序列信号变换到频域后根据能量分布进行压缩，可尝试用于电商点击序列的频域压缩表示，再送入推荐模型，在保证效果的同时减少序列长度。
DailyReport：日常搜索任务上评估搜索代理的开放式基准
🧭 Agent 评估基准 · 细粒度与可解释评估
University of Science and Technology of China · Meituan
构造包含150个日常搜索任务与3546条细粒度评分标准的基准，提供可解释的多维评估，揭示现有搜索代理普遍未达用户预期
📌 工作参考价值（4 点）
- 任务分解与级联评分标准：借鉴其子任务分解和级联 rubric 设计，可在电商搜索/推荐代理评估中实现细粒度能力诊断（如商品推荐的准确性、解释质量、多源信息融合能力）。
- 用户中心聚合分数：提出的用户偏好分数可作为离线代理指标，近似真实用户满意度，用于 Agent 的迭代优化或线上 A/B 测试前的快速筛选。
- 17 个系统对比揭示的短板：时效性、多源合成等维度的普遍缺陷表明，在构建电商搜索代理时需特别强化实时信息的抓取与融合机制。
- 数据集与任务构造思路：可从真实用户讨论中挖掘任务，构建贴合电商场景（如比价、商品咨询）的评估集，复现其评估管线。
TAHOE：基于经验自动化提示优化的文本到 SQL 系统
🧭 Text-to-SQL · 持久化提示管理 ★ 深度解读
ByteDance Inc. · Georgia Institute of Technology
将提示优化重构为持久化的数据管理问题，通过错误驱动的提示学习构建结构化提示库，实现高效、可迁移的 Text-to-SQL 生成。
📌 工作参考价值（4 点）
- 错误驱动的结构化记忆范式：在电商搜索、推荐查询改写等场景，可将编译/执行/用户反馈提炼为可复用的提示规则，避免每次重复试错，显著降低线上推理延迟和成本。
- 冲突策略显式建模：面对多义的用户意图（如“爆款”需包含并列），将不同解释存储为同一触发词下的竞争策略，并用成功/有害/惰性统计做运行时排序，这直接可迁移至生成式推荐中的目标锚定与意图消歧。
- 语法与语义解耦 + 分层作用域：在跨业务（多国多语言）的电商平台上，可分离通用逻辑与特定数据库/用户偏好，实现模型无关的热更新，无需微调即可适应新方言或新用户习惯。
- 两阶段推理（逻辑规划 + SQL 合成）：可借鉴到复杂生成任务中，先利用轻量检索整理冲突策略、形成连贯逻辑方案，再生成最终输出，有效缓解大型 prompt 的上下文噪声和注意力衰减问题。
基于大语言模型的社会世界模型构建
🧭 社会信念动态建模 · 预测市场
University of Illinois Urbana-Champaign · Carnegie Mellon University
提出社会世界模型（SWM），利用LLM从预测市场数据学习社会信念的状态转移规律
📌 工作参考价值（4 点）
- 群体趋势预测的思路：电商场景中可将商品/话题的集体兴趣视为“社会信念”，借鉴SWM框架，用搜索量、点击量等时序数据作为信念强度代理，结合事件（如大促、热点）训练状态转移模型，提前预判需求变化。
- 低成本监督信号：使用预测市场概率（如Polymarket）或内部平台上的“用户期望投票”作为信念标签，替代昂贵的用户调研，动态捕捉用户对商品/功能的偏好强度。
- LLM作为可解释时序引擎：用LLM编码事件并学习时序上的ELBO，得到可解释的状态转移，这可以迁移到推荐系统的多步序列建模中，提供“用户状态→行为”的可视化解释。
- 事件驱动的多智能体模拟：Agent系统可借鉴SWM，用LLM预测其他Agent或用户的信念变化，辅助协作决策（如谈判、动态定价），但领域差异较大，需谨慎适配。
可验证环境如乐高积木：递归组合实现推理泛化缩放
🧭 强化学习环境组合与推理泛化
University of Chinese Academy of Sciences · Institute of Software, Chinese Academy of Sciences · Alibaba Group
将可验证环境抽象为可组合积木，通过递归算子自动生成复合环境，突破线性扩展瓶颈，提升LLM推理泛化能力
📌 工作参考价值（4 点）
- Agent 工作流合成：可将单个工具或子任务视为可验证环境，利用 Sequential/Parallel/Select/Sort 等算子自动组合出复杂工作流，用于训练 Agent 多步推理与规划能力。
- 课程学习与难度控制：通过递归深度和算子类型控制组合环境的复杂度，设计从简单任务到复杂多步推理的课程，稳定提升模型泛化性能。
- 数据增强与复用：少量基础任务环境通过组合即可生成大量多样化训练样本，降低人工设计与采集成本，尤其适用于电商场景中的客服对话、多轮谈判等需复杂推理的任务。
- 推理链验证与奖励设计：组合环境本身提供确定性验证，可直接构建 RL 奖励信号，无需额外标注，对构建自监督推理训练管线有直接启发。
面向多样科学假设搜索的并行回火进化框架
🧭 多样性假设搜索 · 并行回火进化
Georgia Institute of Technology · Virginia Tech · Carnegie Mellon University · University of California, Berkeley · University of Cambridge
用多温度层并行进化与信息交换，在固定验证预算下提升假设质量与多样性
📌 工作参考价值（3 点）
- 多样性保持机制可迁移至生成式推荐：在 Semantic ID 生成或候选集采样时，借鉴多温度并行搜索与信息交换，缓解模式坍塌，产出多样且高质量推荐结果。
- 探索-利用权衡的新思路：多 Agent 协作中，每个 Agent 可对应不同温度，高温度者负责探索，低温度者负责精细利用，定期交换优质种子，既能保持群体多样性又不失收敛效率。
- 固定预算下的采样策略：推荐系统召回阶段常需有限算力生成多个候选池，论文中“采样问题”视角与温度调度方法可直接启发多样性召回的设计，在预算内平衡覆盖率和精度。
Orchestra-o1：面向全模态智能体的编排框架
🧭 多智能体编排与训练 ★ 深度解读
CUHK · LIGHTSPEED · PKU · THU · Tongji University
提出支持文本/图像/音频/视频的全模态多智能体编排框架，通过模态感知任务分解与并行执行实现高效协作。
📌 工作参考价值（4 点）
- 多模态任务解耦：将感知（图像/音频/视频分析）与行动（搜索、代码执行）拆分为专业化子Agent，由主Agent统一调度，可迁移至电商商品理解场景（如同时处理商品图、详情视频、用户评论）。
- 依赖感知并行调度：对无依赖的子任务（例如提取图像地点和音频事件）并行执行，显著降低延迟。在推荐系统流水线中，可并行请求多模态编码服务或外部知识库，加快响应速度。
- 离线强化学习训练编排模型：DA-GRPO 利用专家轨迹和四维奖励（格式、动作、工具合理性、决策质量）离线训练，无需在线执行子Agent即可获得密集监督。适合在内部数据上低成本训练任务编排模型，避免线上试错开销。
- 能力匹配路由：将工具/模型选择形式化为能力向量匹配问题，可根据子任务难度动态分配不同规格的模型（如轻量模型做简单提取，强模型做复杂推理）。电商搜索/推荐中可借鉴同类思路，按请求复杂度路由到不同算力资源。
生成式原型锚定项表示用于序列推荐
🧭 LLM 增强物品表示 · 生成式用户原型 ★ 深度解读
The Chinese University of Hong Kong · McGill University · Tongji University
用大模型生成物品理想受众描述（原型），并通过行为校准将其与真实交互模式对齐，提升序列推荐效果
📌 工作参考价值（4 点）
- 物品原型生成可迁移至电商冷启动：利用 LLM 基于商品标题、品牌、描述等元数据生成“理想目标用户画像”，作为额外的语义特征补充 ID 嵌入，显著改善长尾或新品缺少行为信号时的表示质量。
- 行为校准损失可直接复用：提出的基于物品共现统计的自适应排斥力调节方法（association‑weighted repulsion），本质是对均匀性损失的行为先验注入，可以轻量地加到已有 CTR／召回模型的表示学习模块，迫使嵌入布局贴合真实交互结构，而无需额外架构。
- 模型无关且推理零开销：GenAIR 的嵌入生成过程离线完成，与 GRU4Rec、SASRec、Bert4Rec 等常用序列模型无缝衔接，推理时仅需缓存向量，适合对延迟敏感的生产环境。
- 可扩展至生成式 Query 推荐：原型生成逻辑可自然映射到搜索/推荐场景：为用户搜索意图生成原型描述、为推送消息生成受众画像，进而提升 QueryRec 或内容理解中的语义匹配质量。
信息流推理：用注意力图追溯回答导向的推理骨干，实现精准token级信用分配
🧭 推理信息流引导的token级RL信用分配 ★ 深度解读
Shanghai Jiao Tong University · Alibaba Group · Shanghai Artificial Intelligence Laboratory
将LLM推理过程建模为注意力引导的有向无环图，通过回答条件化的流守恒变换识别关键推理骨干token，用于强化学习的细粒度信用分配
📌 工作参考价值（4 点）
- 利用内部注意力图构建回答导向的信息流骨干，对token进行重要度排序，可借鉴到对话生成、Agent轨迹的细粒度信用分配，强化关键决策步骤而抑制无关填充。
- Doob‑h变换实现流守恒，保证中间节点不因路径长度而稀释或膨胀影响力，该归一化思想可直接移植到其他基于图的影响力传播任务（如推荐中的用户行为传导、物品关联）。
- 固定top‑40%高流量token进行GRPO loss重加权，超参简单且表现稳定，工程上仅需一次额外前向传播（2‑4%时间开销），适合在线RL训练环境。
- 中间层注意力包含最丰富的推理结构，避免使用全部层导致信号稀释，这对注意力分析的应用（如可解释性、模型诊断）提供了实用的层选择经验。
原子意图推理：将 LLM 语义引入工业跨域推荐
🧭 跨域推荐 · LLM 意图缓存与检索 ★ 深度解读
The Hong Kong Polytechnic University · Kuaishou Technology
离线将用户行为拆解为原子意图并缓存，在线动态组合实现 LLM 级语义推理，延迟仅 20ms
📌 工作参考价值（4 点）
- 离线 LLM 意图预计算 + 在线轻量聚合：把昂贵的大模型推理完全移到离线阶段，将用户事件转化为可检索的原子意图对（action-intent pair），在线仅做 KV 检索和树合并。在电商/内容平台的跨域推荐中，可以直接复用这种“离线语义提炼、在线实时组合”的范式，突破 LLM 在线推理的延迟瓶颈，同时保持语义信号。
- 层次用户意图树的构建与多行为权重：用意图树组织 coarse-to-fine 的偏好，节点权重融合 click/order/view 等多种行为计数并引入时间衰减。在自己的业务中，可以借鉴这种多行为强度加权与时效性折损的统一方案，有效压缩超长、异构行为序列，避免喂入原始全量序列的噪声与计算开销。
- 目标感知的意图检索与证据压缩：根据候选商品 embedding 从意图树中检索相关链，再按语义相似度和时间有效性裁剪支持证据序列，输出一个紧凑的“意图链+行为证据”作为 CTR 模型输入。在重排或精排环节，这可以提供高度目标相关的精简特征，代替手工构造的跨域行为序列特征，提升预测效果。
- 多注意力融合意图表示：将检索到的意图链 token 以 MHA 方式与目标商品 embedding 交互，不同 head 捕捉不同粒度的偏好。可以作为排序模型中一个可插拔的目标感知用户表示模块，插入到现有的 DNN 排序塔中，只需增加较小的计算量。
信任边际：大语言模型中参数记忆与检索证据的无训练仲裁
🧭 训练无关的RAG答案仲裁 · 参数记忆与检索置信度权衡
DCST, Peking University
提出TrustMargin，一种无训练即插即用的仲裁层，利用模型自身似然评分选择直接生成或RAG答案
📌 工作参考价值（4 点）
- 在电商问答或商品知识查询中，可利用似然比（TrustMargin）自动判断直接回答与检索增强回答的置信度，无需额外训练，即插即用。
- “参数先验边际”思想可迁移到推荐解释生成：检测模型对检索到的商品属性是否“熟悉”，避免将不常见的属性强行加入解释。
- “证据绑定边际”提供了一种无监督的问题-证据相关性度量，可用于过滤噪声检索结果，提升 RAG 在电商客服、商品描述生成中的可靠性。
- 该方法不依赖特定检索器，可集成到现有 RAG 流水线中，对生成式推荐的答案选择、多路召回结果仲裁具有参考价值。
面向任务无关持续学习的稀疏子空间到专家共享方法
🧭 LLM 持续学习 · Mixture of Sparse Experts
Iowa State University · Argonne National Laboratory
通过稀疏 MoE 自适应分解任务共享与特有知识，并用弹性锚定和路由正则化缓解灾难性遗忘
📌 工作参考价值（4 点）
- 多任务推荐的增量更新可借鉴任务特定与共享专家分离：当电商推荐需要持续适配新品类或促销时，将突发 pattern 注入专属专家，避免覆盖通用偏好知识。
- 路由感知正则化与弹性锚定对在线模型稳定更新有参考价值：在推荐系统不停服微调时，可对关键共享参数施加弹性约束，防止遗忘核心基础能力。
- 稀疏激活的 MoE 结构天然适合低延迟服务：在生成式推荐或 Agent 中，每次推理仅激活少量专家，可控制计算开销，适合在线增量学习场景。
- 任务无关的自动门控机制对 Agent 长程任务序列有效：Agent 持续学习多工具调用时，门控可按子任务组合历史专家，无需人工指定，提升向后迁移。
按需共情：AI 如何为语言骚扰提供可扩展情感支持
🧭 LLM 情感支持 · 语言信号分析
University of Geneva · University of St. Gallen
LLM 在语言骚扰场景中展现出超越人类专家和非专家的共情倾听能力，显著提升被倾听感和应对效能
📌 工作参考价值（4 点）
- 在电商客服或社区管理系统中，可将 LLM 生成的共情回复注入三大信号：先表达对用户处境的视角采纳，再显式确认其情绪（情感验证），最后给出具体可操作的解决方案（行动导向），以提升用户被倾听感和问题解决意愿。
- 对话 Agent 设计时，可借鉴该框架构建回复质量评估模块，用 NLP 指标量化视角接纳、情感验证和行动导向程度，作为强化学习的奖励信号或微调目标，优化 Agent 的共情行为。
- 对于大规模用户投诉或负面评论处理，使用 LLM 自动生成符合三大信号的共情回复，可降低人工成本同时保持高同理心，但需结合业务语境微调提示词或模型，避免生成空洞的共情话术。
- 该研究验证了特定语言特征能有效建立人-AI 之间的情感连接，在推荐系统的对话式交互或引导式消费场景中，可引入类似信号增强用户参与度和信任感。
弥合行为孤岛：利用LLM提升多垂域电商推荐冷启效果
🧭 多垂直推荐 · LLM特征工程 ★ 深度解读
DoorDash Inc.
用分层RAG从富数据垂域推断用户分类偏好特征，注入排序模型解决冷启问题
📌 工作参考价值（4 点）
- LLM作语义特征提取器：对用户餐厅订单与搜索等非结构化行为序列，通过分层RAG生成四层商品分类（L1-L4）的偏好特征，作为稠密用户画像直接注入排序模型，可迁移至电商多品类推荐冷启场景。
- 分层推理 + 置信度过滤：采用 cascade inference 从粗到细约束生成空间，设置 temperature=0.1、置信度阈值 0.8 并强制只输出预定义分类节点，显著减少幻觉并保证特征一致性，该 prompt 设计方法可直接复用。
- 工程降本关键措施：prompt caching 将指令与全量分类静态部分缓存，仅追加动态行为序列；按用户新行为触发 just-in-time 特征更新，综合降低 LLM 调用成本约 80%。
- MTL 特征接入方式：将变长 taxonomy ID 列表经共享 embedding 表映射后做 mean pooling，再与已有 user/item 特征拼接送入共享 MLP trunk，实现即插即用，不改变模型结构即带来全人群 AUC 相对提升 4.4%。
基于归一化流的潜在推理框架 NF-CoT
🧭 潜在推理 · 归一化流 · 连续思维
University of Pennsylvania · UC San Diego · Meta
用归一化流建模连续潜在思维，保留自回归生成、精确似然与 KV 缓存，提升代码生成并降低推理成本
📌 工作参考价值（4 点）
- 压缩中间推理，减少 token 开销：将部分思考步骤表达为紧凑的连续向量而非文本 token，在需要长推理链的任务中可显著降低 API 调用成本或推理延迟，适合电商客服、推荐解释生成等对延迟和成本敏感的场景。
- 保留左到右自回归与 KV-cache 兼容性：NF-CoT 的连续思维嵌入原语言模型的因果流，不影响标准推理加速技术，可直接部署到现有 LLM 推理服务中，无需特殊工程改造。
- 连续空间概率建模支持策略梯度优化：提供精确的似然估计，可在连续思维空间上直接进行 RL 微调，为 agent 工具调用推理或推荐策略学习提供更细粒度的优化信号。
- 连续思维可蒸馏自显式 CoT：能够将繁琐的文本推理链压缩成连续表示，未来可用于压缩电商中的长对话历史或复杂推荐逻辑，作为高效上下文注入后续生成。
基于LLM的分层偏好排序重新思考销售线索评分
🧭 销售漏斗转化预测 · 学习排序 · 偏好优化 ★ 深度解读
Li Auto Inc.
将稀疏转化标签转化为漏斗层级偏好对，结合LLM语义理解与边际感知Bradley-Terry目标，实现线索的精确排序与校准
📌 工作参考价值（4 点）
- 漏斗层级偏好对构建：借鉴将用户行为序列转化为偏好对（如加购>浏览>点击）的思路，在电商推荐中可利用用户行为深度构造软标签，配合边际参数表达业务知识（如高意向行为给予更大margin），缓解长周期转化中正负样本粗糙的问题。
- 三头LLM判别式架构：语义头（防止遗忘）、点估计头（校准）、排序头（相对序）的联合设计可迁移到Agent多任务场景：在LLM基础上挂接多个预测头，用不同的损失函数同时优化生成、校准和排序能力，配合差异化学习率避免过拟合。
- LLM+LoRA提取文本表示注入传统模型：将LLM编码的对话嵌入注入Wide&Deep、DeepFM等CTR模型，可无痛提升传统模型对非结构化文本的理解，适合已有CTR基建的团队快速引入LLM语义能力，无需推翻原有架构。
- 在线实验设计与评估：分层抽样+按能力层级与历史转化指标分组的A/B测试方案，以及关注前0.1%线索精准度的业务导向指标（P@0.1%），对推荐系统线上评估中如何衡量头部排序质量有直接参考意义。
基于强化学习的上下文语言学习实现未见过语言翻译
🧭 语言翻译 · 低资源强化学习
University of Zurich · ETH Zurich · Queen’s University Belfast
用轻量翻译指标做奖励，RL训练LLM学会从上下文中提取语言知识，泛化到全新语言。
📌 工作参考价值（4 点）
- 弱奖励信号的RL优化：使用chrF这类粗糙指标也能有效驱动LLM学习复杂技能，类似地，在电商场景中可以直接用点击率、转化率等业务指标作为奖励，对推荐Agent进行RL策略优化，即使没有精细标注。
- 上下文利用的元学习：RL训练让模型掌握“从上下文快速学习语言”的元能力，这可以迁移到推荐场景——让Agent学会根据少量用户行为或商品描述在上下文中即时调整策略，而不是死记硬背历史数据。
- 低资源泛化：在冷启动物品或小众品类推荐中，可借鉴该方法，用少量示例作为上下文，通过RL强化模型对结构化信息的提取与利用，降低对大量标注数据的依赖。
- 训练范式选择：与监督微调相比，RL避免了对特定领域数据的过拟合，提升了零样本迁移能力，这对需要快速适应新业务场景的电商Agent有参考价值。
OPRD：在策略表征蒸馏
🧭 策略蒸馏 · 表征对齐
Zhejiang University · Ant Group
将在策略蒸馏从输出空间提升到隐藏状态空间，消除采样方差并提供更丰富的结构化监督信号
📌 工作参考价值（4 点）
- 用表征蒸馏替代输出空间KL：在训练小模型（如电商客服、推荐解释）时，可直接对齐学生与教师中间层隐藏状态，绕过庞大的词表投影，消除采样方差，使训练更稳定，尤其适用于大词表（如中文150k+）场景。
- 内存与速度优化：OPRD loss在LM head之前计算，避免存储完整词表分数矩阵，训练速度快1.44倍，内存减少54%，适合资源受限的线上微调或频繁迭代。
- 层间对齐可迁移到多模态或推荐模型：方法不限于文本，可扩展到多模态表征蒸馏（如视觉-语言对齐），或用于推荐系统中用户/物品编码器的迁移学习，将复杂大模型知识压缩到轻量级线上模型。
- 提供确定性、逐层结构监督：相比输出蒸馏的稀疏奖励，表征蒸馏给出逐位置、逐层的稠密信号，利于捕捉细粒度语义，对于对话Agent的多轮一致性、推荐解释生成等任务可能更有效。
十位头痛专家与AI的临床文献总结评估与比较
🧭 临床RAG Agent与人类总结的盲评对比
Stanford University · Mayo Clinic · Harvard Medical School · Thomas Jefferson University · Dalhousie University
专家盲评对比RAG Agent与人类专家撰写的临床总结，发现专家总结仍占优但人机区分困难。
📌 工作参考价值（4 点）
- Agentic RAG pipeline 可复用：论文构建的 RAG agentic 框架（检索+生成+工具调用）可直接迁移到电商场景，用于自动化生成商品优缺点总结、用户评论摘要、竞品分析报告，降低人工撰写成本。
- 多维专家评估方法：采用正确性、完整性、简洁性和临床实用性四维评分+偏好排序+人机辨别实验，这套评估体系可移植到推荐系统生成的推荐理由、搜索摘要、营销文案的质量评测上，尤其适合需专业领域知识的场景。
- 人类与AI生成内容的区分度洞察：专家难以可靠识别人机来源，提示在部署AI生成的用户界面文本时，可无需刻意标注机器生成；但必要时应加入可解释性信号（如引用来源）以增强信任。
- 专家偏好的特征提炼：研究识别出专家看重的关键特征（如证据权重、语境适配），可指导提示工程和微调目标，优化电商推荐中的自然语言生成，使其更贴近人工撰写的高质量内容。
STREAMMA：多智能体推理中的步骤级流式通信协议
🧭 多智能体推理 · 流式通信协议 ★ 深度解读
HKUST(GZ) · Alibaba Group · ZJU · HKUST
将通信粒度从完整响应改为推理步骤，流式转发实现流水线并行，同时因步骤质量头部可靠尾部易错而提升效果。
📌 工作参考价值（4 点）
- 多智能体协同推理系统可采用步级流式传输，减少端到端延迟，且利用推理步骤的头部可靠、尾部易错特性，仅用早期步骤即可让下游智能体形成独立推理路径，提升最终效果。
- 借鉴步级缩放律（Step-Level Scaling Law）：固定智能体数量，通过提示工程增加每智能体推理步数，可同时提升准确率和加速比，为多智能体推理扩展提供新维度。
- KV-cache复用可大幅降低多智能体推理成本，结合现代推理引擎（vLLM、SGLang），相邻智能体共享上下文前缀，使解码成为主要开销，整体成本可比串行协议更低。
- 当任务可分解为多步推理（如商品信息分析、多步决策），可将智能体输出设计为“先可靠后弱化”模式，以释放Stream协议优势；若任务难度过高导致全链步骤不可靠，则单一智能体更优，需根据任务特性选择。
DAR：基于Agent Harness的按需法规推理
🧭 Agent推理中的法规按需交互 ★ 深度解读
Johns Hopkins University · Télécom Paris · Institut Polytechnique de Paris
提出让LLM按需检索法规的Agent推理框架DAR，揭示Harness仅放大已有能力：前沿模型获益，弱模型退化并消耗更多token。
📌 工作参考价值（4 点）
- 在需要依据长文档规则（如电商政策、合规条款）进行推理的Agent场景，将规则文件外置，让模型通过grep/sed等工具按需检索关键段落，比一次性全量注入prompt更高效，尤其适合强模型。
- 模型选型启示：仅足够强的基座模型（如GPT-5、Claude）能从工具交互中稳定获益；弱模型在同样的harness下反而性能下降且token消耗倍增（达4×），部署前务必评估基座能力与harness的匹配度。
- Harness设计可借鉴Terminus-KIRA的思路：增加完成校验、防止提前提交、支持观察新信息后修订计划等机制，显著提升多步推理Agent的可靠性，避免模型过早给出错误答案。
- 在工程实现中，需对Agent设置严格的时间与token预算，并监控超时与解析失败；开源模型主要失败于超时（占比达10.6%），合理的资源控制能避免无效算力浪费。
基于标准化病人案例的动态临床决策大语言模型评估
🧭 临床代理动态交互评估基准
Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory
提出 MedSP1000 交互式基准，用标准化病人闭环仿真评估 LLM 临床代理能力，暴露静态基准无法捕获的失败模式
📌 工作参考价值（4 点）
- 在电商 Agent 评估中，可借鉴标准化用户脚本构建闭环仿真环境，让 Agent 与用户代理、环境控制器持续交互，用预先定义的评分细则评估每一步决策，而非仅看最终结果。
- 过程级评价比单轮静态测试更能暴露 Agent 在信息收集不充分、规划缺失、状态适应等方面的失败模式，适合用于对话式推荐、客服 Agent 等场景的离线评测。
- 用领域专家审核的脚本和评分标准（类似医学教学案例的书面评分细则）来构造评估数据，保证评测的客观性和可复现性，这比人工主观判断更可靠。
- 实验发现增加测试时计算（如链式推理）对 Agent 性能提升有限，提示在推荐/对话 Agent 中，单纯堆叠推理步数可能不是最优解，需从训练数据或架构上增强长期规划和状态跟踪能力。
打破信息孤岛：基于语义画像的跨域推荐
🧭 跨域推荐 · 基于语义画像的知识迁移 ★ 深度解读
Tel Aviv University · Temple University
通过LLM诱导共享行为特征并生成语义画像，实现无共享用户/物品的跨域知识迁移
📌 工作参考价值（4 点）
- 用户画像构建新思路：利用LLM从交互历史中诱导领域无关的行为特征（如刺激寻求、控制感、冲突容忍），生成结构化语义画像，可用于电商跨场景（购物→内容）的用户理解，避免固定标签的僵硬。
- 跨平台冷启动方案：通过目标用户画像在源域用户画像空间进行语义检索，聚合Top-K相似邻居构成社区源画像（CSP），为无任何重叠的用户提供偏好信号。可直接迁移到跨平台推荐或新用户冷启动场景。
- 双塔融合与动态门控：协同过滤塔和语义塔以残差方式融合，门控权重α用tanh激活（允许负值，能抑制无关语义）。当目标域用户交互稀疏时，模型自动增强语义塔贡献，对推荐系统稀疏场景增强很有参考价值。
- 跨域迁移策略选择：论文发现迁移效果主要取决于目标域的结构密度而非语义接近度，提示我们在选择跨域知识源时，应优先评估目标域自身的协同信号强度，而非简单追求领域相似性。
推理的影子价格：经济视角的LLM最优预算分配
🧭 LLM推理预算优化
Zhejiang University · Tencent HY Team · Peking University
用影子价格模型实现LLM推理预算的全局优化，显著提升资源稀缺时的准确率，最高3倍于均匀分配。
📌 工作参考价值（3 点）
- 借鉴CLEAR的边际效用均衡分配思想，对线上LLM调用做动态算力配额：优先将预算分配给接近「涌现阈值」的可解query，放弃无解query，避免算力浪费，适用于推荐系统中的解释生成、对话Agent等高频LLM场景。
- 利用shifted-surge效用函数刻画每个query的推理收益曲线，为生成式推荐中不同物品的推理深度决策提供可量化的成本-收益模型。
- 全局影子价格概念可拓展到多Agent或RAG系统，统一协调各子模块的计算资源，实现端到端最优分配，而非各模块独立优化。
抵抗智能体重识别的LLM匿名化框架
🧭 Agent 智能体对抗性隐私保护
Northeastern University
提出掩码-重建的匿名化方法，通过自适应隐私范围平衡抗智能体重识别与文本实用性
📌 工作参考价值（4 点）
- 处理用户评论文本或客服对话时，可借鉴掩码-重建流水线：先用LLM定位敏感上下文并遮蔽，再由另一个LLM生成保留语义的非敏感替代表述，既防重识别又保留分析价值。
- 引入对抗隐私检查环节：模拟网络搜索代理尝试重识别，可作为内部隐私测试工具，确保发布数据前充分抵御真实威胁。
- 设计多维实用性评估：不仅看语义相似度，还考量事实一致性、上下文连贯性等，对评估匿名化后文本在下游任务（如意图分类、查询理解）中的可用性有参考。
- 自适应隐私范围调节：根据数据用途动态调整遮蔽强度（如个性化分析保留更多细节，聚合统计可严格匿名），为业务中动态平衡合规与效用提供工程思路。
多领域RL中跨域干扰与恢复的局部扰动理论
🧭 LLM多领域RL训练干扰机理与恢复
TJUNLP Lab, College of Intelligence and Computing, Tianjin University · Baidu Inc.
揭示多领域RL顺序训练的稀疏共享冲突子空间，通过refresh即可高效恢复旧领域性能
📌 工作参考价值（4 点）
- 顺序微调LLM多个任务时，可通过简短的“刷新”步骤（用极少量旧域数据再训练几步）以极小代价恢复受损域性能，避免昂贵联合训练。
- 干扰集中于低维冲突子空间，可在线监测模型顶部稀疏神经元的梯度方向重叠或参数变化冲突，提前预警新任务训练对旧能力的损害。
- 训练免回滚方法揭示了冲突坐标集的存在，可对已部署模型做选择性参数回退，精准修复特定指标退化而无需全量回滚。
- 对于电商多技能Agent，不同能力微调可采用LoRA等稀疏适配，冲突时仅需刷新对应适配器，大幅降低跨域干扰风险。
大模型时代可信推荐：机遇与挑战综述
🧭 LLM增强推荐的可信性综述 ★ 深度解读
Zhejiang University · Leiden University · University of Science and Technology of China · National University of Singapore
系统梳理LLM推荐在鲁棒性、公平性、可解释性等六维度的13项机遇与18项挑战，揭示其双刃剑效应
📌 工作参考价值（4 点）
- 冷启动与数据增强：可借鉴LLM生成合成交互（如ColdLLM、LLM-search）或提取语义嵌入（MoRec）来缓解新物品/新用户冷启动，电商上新时直接调用LLM生成高质量伪样本辅助训练。
- 攻击防御策略：在Agent推荐系统中，警惕记忆污染攻击（如DrunkAgent）；可部署LLM驱动的防御模块（如LoRec）做恶意用户检测，或利用语义一致性检测伪造文本（P-Scanner）。
- 偏见缓解工程：微调推荐LLM会放大流行度偏见，可结合逆倾向加权（IPS）或DPO框架（如SPRec）做解耦训练；推理时通过随机打乱候选集多次生成并聚合结果（STELLA、RecRanker）缓解位置偏见。
- 可解释性落地：利用LLM生成个性化自然语言解释直接提升用户信任（如Chat-REC），但需用人类反馈或奖励模型对齐；在评估阶段，可直接用LLM作为可解释质量的多维度自动评测器，降低人工成本。
大型语言模型同样需要语义 ID 编码器
🧭 生成式推荐 · Semantic ID 编码器 ★ 深度解读
Pinterest
轻量级前缀哈希记忆编码器 PrefixMem 为语义 ID 提供前缀条件表示，在生成式推荐中大幅提升深层 ID 预测和检索召回。
📌 工作参考价值（4 点）
- 为标准生成式推荐流程增加 SID 编码器前置模块：无论 LLM 还是小型生成式检索模型，都可以在 SID token 输入前插入类似 PrefixMem 的哈希查表模块，为每个 level 提供前缀条件向量。直接提升最难学的深层 code 准确率，且不影响原有架构。
- 用小模型 + 编码器替代大模型，降低推理成本：实验表明 0.6B 模型加编码器即超过 4B 纯 LLM 性能。对需要低延迟、低成本的电商 / 信息流推荐场景，可以将资源从扩大 LLM 转移到容量更小的哈希表，训练与部署代价大幅下降。
- 编码器预训练策略可定向注入业务先验：若目标是提升检索召回，可用 Tiger 等行为生成模型预训练编码器；若侧重文本对齐，可用 LLM 预训练；若只需快速冷启动，分类头预训练即可。从业者可根据业务偏好选择预训练数据源，影响最终模型行为。
- 借助编码器缓解长尾物品预测难题：编码器对长尾前缀的准确率提升达 115%，利用哈希表的 O(1) 查表实现高效记忆，比 LLM 通过注意力学习少样本组合更可靠。电商中大量冷门商品可从此获益。
检索增强生成中内容表示如何影响答案保留与生成准确性
🧭 RAG 检索内容表示对 LLM 生成的影响
The University of Queensland · CSIRO
在RAG中，答案保留是决定生成器准确性的主导因素，其他表示属性影响有限
📌 工作参考价值（4 点）
- 在电商搜索/推荐RAG场景中，优先保证检索片段经压缩或改写后仍 保留答案关键信息（如产品属性、参数），而非盲目追求简练或语义对齐。
- 引入 答案保留 作为离线评估指标，可快速筛选文档处理策略，避免每次变更都需昂贵生成评估。
- 实验中的13种转换（选择、摘要、重写等）可作为多臂老虎机策略的候选臂，但对每种臂需监控保留率，当保留率低于阈值时自动回退到原始表示。
- 对于多轮Agent对话中上下文有限的情形，采用保留率高的 选择关键句 策略比单纯生成摘要更稳定，能减少幻觉并提升工具调用准确性。
LLM适用性边界：内部先验对标注任务性能的影响
🧭 LLM零样本标注评估与分析
California Institute of Technology
发现LLM标注错误难以通过提示纠正，定义匹配比文本记忆更关键
📌 工作参考价值（4 点）
- 在电商评论分类、商品描述标注等场景，单纯通过修改提示纠正LLM错误可能无效，应优先确保标注定义的语义与模型内部概念对齐，而非依赖表层提示工程。
- 引入DSF（Definition-Specific Familiarity）概念，可在设计标注任务时量化定义匹配度，提前评估LLM的适应性，减少后续人工修正成本。
- 高置信度的错误尤其顽固，直接重标注难以改变，建议结合主动学习筛选低置信度样本再进行人工复核，节省资源。
- 避免依赖文本相似度（如ROUGE-L、BERTScore）作为记忆指标去预测模型表现，可能产生误导，应转向定义层面的对齐检查。
基于熵切割的幂分布采样：在决策点重写推理轨迹
🧭 Power Distribution 采样 · 推理决策点重采样 ★ 深度解读
Yale University · Stanford University
利用下一token熵跳跃定位决策点，改进MH采样以高效从幂分布中激发基础模型的推理能力
📌 工作参考价值（4 点）
- 在生成式推荐（如查询改写、文案生成）或Agent推理链中，可用模型输出的熵跳跃识别「关键决策点」，在这些位置重新采样可提升最终输出的质量与多样性，无需额外训练。
- 若业务中已使用类似MCMC的重采样策略优化生成结果，用熵跳跃替代均匀切割能加速收敛、减少在局部细节上的浪费计算，尤其适合token长度较长的推理场景。
- 该方法完全无训练、无验证器，可直接套用在现有自回归模型上，为搜索词推荐、个性化消息生成等业务快速试验推理能力提升提供了轻量级途径。
- 在多智体协作中，可将每个Agent的推理链视为一条轨迹，利用熵跳跃定位其策略选择点，在后续回合中引导更有效的探索与决策回溯。
ESPO：基于近端策略优化的早停机制
🧭 面向LLM推理的强化学习训练效率优化 ★ 深度解读
Tongyi Lab, Alibaba Group · Peking University
通过logit遗憾值与价值门控在rollout中即时终止失败轨迹，提升数学推理准确率并节省超20%训练token
📌 工作参考价值（4 点）
- Agent多轮交互训练可复用早停逻辑：在电商导购、多智体协作等长轨迹RL训练中，可基于策略logit与价值估计设计类似的门控，提前截断已明显失败的对话或动作序列，减少无效计算，并将截断点作为吸收失败状态注入负TD误差，改善信用分配。
- 无需额外模型或人工标注的失败检测：利用已有policy的logit向量计算代理遗憾值（当前token与贪心选择的概率差），结合EMA归一化与critic价值比较，几乎零额外计算成本即可判断是否继续生成，适合资源敏感的业务场景。
- 可作为现有PPO-based方法的即插即用组件：ESPO不改变PPO优化目标，只修改rollout收集过程，可与GRPO、DAPO等改进方案叠加。实际部署时只需在采样循环中加入轻量判断，且可通过比例控制器动态调整终止率，适配不同任务难度。
- 避免熵崩溃与不当压缩探索：实验表明ESPO不会导致策略熵下降过快，反而较标准PPO维持更高熵，这对推荐/对话场景下保持多样性有意义。同时约2.7%的假阳性截断率可控，整体收益远大于误杀代价。
基于LLM的多模态音乐推荐系统
🧭 多模态序列推荐 · LLM增强
University of Massachusetts · Dolby Laboratories · Adobe Research · Cisco Research
在序列推荐框架中融合音频、歌词、LLM语义元数据与听歌完成率，大幅提升召回与NDCG
📌 工作参考价值（4 点）
- 电商场景可借鉴多模态商品表示：用预训练模型提取商品图像、标题等特征，拼接或交叉注入序列推荐模型，简单涨点明显。
- LLM生成结构化语义标签（如风格、场景）可作为额外的文本特征，类似商品属性扩展，在冷启或稀疏交互下尤其有效。
- 注意多模态融合并非简单拼接就能叠加收益，文中发现朴素融合可能不增反降，实践中需探索交叉注意力或门控机制。
- 利用行为强度信号（如停留时长、转化率）替代二元交互，能提供更丰富的用户兴趣强度信息，改进序列建模。
模型何时该改变主意？大语言模型的情景信念管理
🧭 Agent 多轮交互中的信念状态管理 ★ 深度解读
Zhejiang University · HomologyAI
提出情景信念管理（CBM）与BeliefTrack基准，诊断并改善LLM在多轮交互中维持证据对齐信念的能力
📌 工作参考价值（4 点）
- 在多轮对话推荐或交互Agent中，可引入信念状态追踪机制，明确区分有效证据与无关噪声，避免模型因用户闲聊或情绪化内容而改变购物意图或推荐结果。
- 使用基于Jaccard相似度的密集奖励替代稀疏匹配，能提供更平滑的优化信号，适用于微调需要维持动态用户偏好集的推荐对话策略。
- 借鉴BeliefTrack的封闭世界–符号验证设计，构建推荐场景的离线诊断集：定义有限商品池作为信念空间，设计多轮对话模板精确测试模型是否因干扰信息产生非预期推荐变化。
- 表征操控方法表明，从RL训练中提取的隐藏层方向可以无参数地提升基础模型的多轮一致性，为在资源受限时快速改善现有多轮Agent提供了轻量方案。
REPOT：通过检查点修复实现可恢复的程序化思维
🧭 可恢复的 LLM 规划 · 检查点修复 ★ 深度解读
University of California, Santa Cruz
在一次性程序化思维中引入确定性验证重放与单次修复调用，将静默失败变成可恢复的推理过程。
📌 工作参考价值（4 点）
- Agent 动作序列的断点恢复：当 Agent 生成多步操作时，可利用环境接口实时验证每一步，保留已成功的动作前缀，仅让 LLM 从失败点续写剩余动作，避免全盘废弃，节省 token 成本。
- 电商推荐策略的鲁棒执行：例如生成式推荐产生的 action 序列在真实环境（库存、价格等约束）中可能中途失效，借鉴 REPOT 的检查点机制，可保留前缀合法动作，仅修复后缀，提升端到端成功率。
- 成本控制的恢复预算：REPOT 只对首次失败的问题额外调用一次 LLM（~14% 的问题），保持平均成本接近原 POT，适合线上高吞吐场景，可作为 Agent 类系统的基线恢复策略。
- 环境即权威验证器：利用确定性环境（如数据库状态、API 返回码）做真实的下一步状态验证，比模型自我反思更可靠，在电商有明确规则域（库存校验、优惠券有效期等）中可直接复用。
通过显式上下文反馈实现LLM推荐中的用户偏好对齐
🧭 LLM推荐 · 显式反馈整合 ★ 深度解读
University of Illinois Chicago · Meta
论证将评论文本等显式反馈深度融入LLM推荐流程，以实现细粒度偏好对齐、提升多样性与可解释性
📌 工作参考价值（4 点）
- 评论驱动标签系统：从用户评论中抽取出结构化偏好标签（如 #LightWeightPhone、#NoJumpScares），作为召回过滤信号或重排特征。电商场景下可将标签异步生成并接入实时排序管线，低延迟融合语义理解。
- 负面信号图谱构建：将用户明确批评的属性构造成负面偏好图，避免推荐触发用户厌恶的商品（如“电池差”“太甜”），既能减少无效曝光，又能提升信任度。
- 用户属性跨域复用：利用用户自述的身份标签（素食主义者、专业摄影师）在不同业务线间传递稳定的偏好约束，实现从商品推荐到内容推荐的跨域对齐。
- 可解释性提升：在推荐理由中引用用户的原话或提炼的偏好点（如“因为您提到不喜欢跳跃惊吓，我们避免推荐此类影片”），增强推荐透明度和用户控制感。
UniSteer：文本引导的激活空间流匹配实现通用LLM控制
🧭 LLM激活导向控制
ShanghaiTech University
用文本条件统一控制LLM行为的激活流匹配框架，支持细粒度概念和多约束组合。
📌 工作参考价值（4 点）
- Agent 行为风格控制：在电商多智能体对话系统中，可利用 UniSteer 的文本条件流匹配对单个 Agent 的回复风格（如亲切客服、专业导购）进行细粒度激活干预，而无需微调模型。
- 推荐理由多样性生成：将“个性化”“幽默”“极简”等文本条件注入激活空间，可引导 LLM 在生成推荐理由时呈现不同风格，提升内容吸引力，无需为每种风格训练独立控制模块。
- 多约束指令遵循：当业务需要同时满足合规性、品牌调性、敏感词规避等多个约束时，UniSteer 的组合式条件能力可一次性应用多条文本规则，比顺序推理或多次干预更高效。
- 激活空间分类用于质量筛选：利用重构能量进行分类的方式，可作为轻量级线上过滤器，对 LLM 生成的候选文案或对话回复进行快速一致性或真实度评分，降低人工审核成本。
微调LLM作为补充预测器改进广告系统
🧭 生成式推荐 · 广告辅助预测 ★ 深度解读
Pinterest, Inc., USA
用微调LLM预测潜在转化广告商，注入检索与排序，线上广告回报提升4.94%-6.69%
📌 工作参考价值（4 点）
- LLM补全弱信号用户：对行为稀疏的用户，用LLM基于跨域特征（站外搜索/URL）预测可能转化的广告商，作为检索候选补充，显著提升覆盖与转化。
- Semantic ID增强LLM：将多模态内容（PinCLIP嵌入量化后的SID）拼入prompt并通过多阶段继续预训练注入模型，可大幅提高广告商预测召回率（Recall@20 +7.2pp），是低成本引入视觉/协同信号的实用路径。
- 渐进式训练与奖励设计：先SFT学单目标，再GRPO扩展到多输出并利用位置奖励与长度惩罚，这种简单到复杂的两阶段方案适合工业广告预测，GRPO的格式奖励保证了结构化输出直接可用。
- 工程化部署要点：通过用户分层降低推理量、增量更新只处理活跃用户、vLLM+Ray分布式批量推理配合前缀缓存和连续批处理，可在成本可控下实现天级全量推断，适配推荐系统的时效约束。
DEI：异构大模型驱动的分布式质量多样性进化搜索
🧭 分布式进化搜索 · 异构LLM协作 ★ 深度解读
Gensyn
通过异步通信将异构LLM作为变异算子协同进化，在同等算力下实现覆盖率+28%、QD得分+124%。
📌 工作参考价值（4 点）
- 创意生成的多样性互补：在生成式推荐或广告素材生产中，可部署多个异构LLM（如不同家族或规模的模型）作为变异算子，利用各自不同的生成先验覆盖更广的创意空间，提升推荐列表或商品描述的新颖性与覆盖率。
- 异构节点的异步协同：参考其无同步屏障的gossip通信设计，推荐系统可混合使用云端大模型和本地小模型进行候选生成，通过异步共享精英解，低延迟节点无需等待慢节点，提升整体吞吐和多样性。
- 模型多样性的因果验证：实验严格保持总LLM调用预算不变，证明了收益来自模型多样性而非额外算力。这提示在A/B测试或多臂老虎机中，可刻意引入不同模型家族的先验探索不同用户分群，再通过合并archive实现全局最优。
- 多智能体对抗压力引入：在对话推荐或谈判Agent场景中，可让不同LLM Agent扮演推荐者和挑战者，通过类似Red Queen的对抗压力持续提升策略鲁棒性，避免单一模型自博弈的退化。
软专家：基于α-Rényi集成的LLM不确定性感知后训练
🧭 LLM后训练集成与不确定性量化 ★ 深度解读
Imperial College London · Bessemer AI
用α-Rényi损失在经典变分贝叶斯和预测导向后验之间插值，训练一组互补LoRA专家，通过软路由实现专业化与不确定性量化。
📌 工作参考价值（4 点）
- 冲突目标解耦：在电商推荐等多目标场景（点击、转化、多样性彼此冲突），可训练多个LoRA适配器，用α-Rényi目标软路由不同用户或样本到不同专家，避免单模型折中，提升整体效果。
- 数据污染防御：α-Rényi责任权重会自动将异常样本（如刷单、错误标注）的路由集中在少数粒子，隔离对干净模型的梯度影响，提供一种低成本集成鲁棒性。
- 不确定性辅助决策：在Agent任务或敏感推荐中，利用粒子间预测分歧（如方差）估计认知不确定性，在不确定时触发人工审核或保守策略，实现可靠部署。
- 低成本集成与特化：共享冻结基座模型，仅训练LoRA副本，通过调整α（甚至动态调整）控制特化程度，在治理冲突时兼顾个体质量和集成多样性，适合资源受限的线上系统。
检索增强与分层推理的语义相关性校准框架
🧭 检索增强的语义相关性判断 ★ 深度解读
Alibaba Qwen Applications Business Group
通过知识注入、分层推理对齐和偏好校准三阶段提升搜索相关性判断
📌 工作参考价值（4 点）
- 用检索生成伪文档做知识注入预训练：对无标注查询，先检索 top-k 证据并合成回答文档，再用 query-to-synthesized-document 生成任务做继续预训练。电商搜索中可直接复用，将商品描述、属性、用户评论作为知识库，让模型学习 query 到最相关商品知识的映射，改善冷启动和长尾查询。
- 分层推理模板设计：将相关性判断拆成 Knowledge-Infused Grounding + Holistic Multi-Dimensional Alignment 两个阶段。电商场景中可类比：先让模型基于查询和检索知识总结用户意图、关键属性约束，再从意图一致性、实体匹配、属性完备性等维度评判候选商品，提升可解释性和准确性。
- 用 相邻等级偏好优化 修正系统性高估：发现 LLM 微调后容易打高相关性分数，可针对人类标注数据构造 adjacent-label 偏好对，使用 DPO 训练让模型倾向于正确标签。电商搜索中常见的“Good vs Fair”容易混淆，可借鉴此方法在少量标注上做边界校准，降低误判率。
- 不依赖在线 RAG 推理：知识注入仅在训练阶段通过伪文档完成，推理时无需拼接检索结果，减少延迟和上下文窗口消耗。对时延敏感的生产排序系统很实用。
预见与学习：释放主动式智能体的空闲计算能力
🧭 主动式智能体 · 空闲计算优化 ★ 深度解读
Shanghai Jiao Tong University · Tencent
ProAct架构利用空闲时间预测未来需求并主动准备，在ProActEval上减少交互轮次14.8%，降低用户努力11.7%，幻觉率下降28.1%
📌 工作参考价值（4 点）
- 对话式推荐中的前瞻计算：可借鉴 ProAct 的“对话历史 + 持久记忆 → 未来需求预测”管道，在电商对话助手场景下，利用提问间隙预取候选商品、生成推荐解释，降低用户显式询问轮次。
- 价值感知的主动推送：论文的 \(S(z)\) 评分（用户相关性、知识缺口、增量价值、时效性）和 PushScore 门控（信息价值 vs. 打断成本）可直接迁移到主动推荐系统中，决定是否向用户推送推荐卡片，避免骚扰。
- 持久记忆与主动维护：ProAct 的 memory layer 持续抽取用户偏好、事实、未决缺口，并将其转化为预测需求，这相当于一种“记忆驱动的意图发现”机制，可嵌入用户长期画像系统，驱动个性化主动触发。
- 分离响应与前瞻计算：将部分算力从“请求时推理”迁移到空闲期预计算，尤其适合电商大促等高负载场景，可离线生成候选项并缓存至 KV cache，在线仅需轻量匹配，降低延迟。
暗森林：通过受控通信提升多智能体大模型推理精度
🧭 多智能体LLM协作 · 受控通信与证据校准 ★ 深度解读
University of Texas at Dallas · Independent Researcher · University of California, Davis
提出受控通信框架 DarkForest，通过独立生成、校准信念和紧凑证据披露，在六个推理基准上取得领先精度，通信量降低高达 6.5 倍。
📌 工作参考价值（4 点）
- 在多智能体投票/决策中，用校准信念代替简单多数投票：引入代理历史可靠性（α）、联合模式可靠性（R）、置信度重加权（ϕ）、解析质量折扣（ρ）和独立性校正（δ），生成后验分布指导最终选择，可减少电商推荐中多模型融合的误判。
- 限制代理间通信：只向协调者暴露紧凑的候选摘要、支持模式和后验边距，不传递完整推理链，直接降低 token 消耗和延迟，适合高吞吐的在线 Agent 系统。
- 采用“独立生成 + 协调者 + 确定性守卫”架构：协调者基于证据做出决策，只有当信念状态强烈支持某一候选且与协调者输出冲突时才触发守卫，防止强证据被大模型输出的随机性覆盖，可借鉴到客服/推荐的多路召回后融合。
- 离线校准参数（可靠性、折扣因子等）无运行时额外开销：对电商 Agent 的历史行为日志进行离线统计即可建立代理可信度表，部署时不增加模型调用成本。
方向对齐缓解语言模型强化学习中的奖励黑客
🧭 RL训练优化 · 奖励黑客防御 ★ 深度解读
University of British Columbia · Vector Institute · Amazon
提出信任方向梯度对齐(TDGA)，将RL梯度投影到干净子空间，显著延迟奖励黑客并保持真实性能。
📌 工作参考价值（4 点）
- 在推荐/Agent的RL微调（如RLHF）中，可利用少量干净标注数据提取参数更新的SVD主导方向，构造投影矩阵，将每一步梯度限制在该信任子空间内，避免模型学到利用代理奖励的捷径（如电商中仅优化点击而非成交）。
- 投影秩K越小，对奖励黑客的抑制越强，但会限制模型适应能力，实践中可设为可调超参，根据验证集真实指标（如转化率）在线选择。
- 该方法与梯度正则化、SAM等互补，可在现有训练流程中即插即用，只需几行代码对梯度做矩阵乘法，计算开销低。
- 对于多轮Agent场景，可将信任方向扩展为轨迹级投影，防止在长链交互中累积的奖励黑客，尤其适用于基于推理步数的奖励设计。
LLM驱动的物理约束本构模型生成：双智能体优于单智能体
🧭 多智能体协作与物理约束审计
Helmholtz-Zentrum Hereon · Hamburg University of Technology · RWTH Aachen University · Saarland University · German Center for Artificial Intelligence
Creator生成模型，Inspector审计物理约束，将LLM生成的本构模型物理合规率提升至100%且保持高精度。
📌 工作参考价值（4 点）
- 生成-审计分离架构：可复用到推荐策略或Agent输出的质量控制中，由独立审计Agent校验业务规则、合规性或公平性约束，提高系统可靠性。
- 迭代细化闭环：Inspector反馈不满足的约束，Creator重新生成直至通过，这种 refine-till-valid 模式可用于自动优化推荐文案、搜索策略或模型配置，确保输出始终满足预设标准。
- 约束清单化：将物理约束显式转化为检查列表，类似地，业务约束（多样性、利润底线、合规要求）可编码为审计规则，让LLM或专家系统自动验证生成结果。
- LLM驱动的自动化建模：利用LLM生成模型代码并通过多Agent保证质量，可借鉴到AutoML或无代码平台，提升模型开发效率与可靠性。
OnePred：基于递归意图记忆的多轮对话下一查询预测
🧭 多轮对话下一查询预测 · 递归意图记忆 ★ 深度解读
Tsinghua University · Alibaba Qwen Applications Business Group
提出递归记忆与两阶段RL，用恒定上下文长度预测下一查询，token消耗最高降低22倍，质量优于全历史基线
📌 工作参考价值（4 点）
- 对话式电商的主动查询预测：可直接借鉴递归记忆架构，用小型模型（8B）在每次交互后实时预测用户下一商品咨询或搜索意图，触发预取和缓存，降低感知延迟。
- 记忆压缩的RL训练范式：两阶段RL（先学预测再学压缩）解决了端到端记忆无监督问题，对构建主动对话Agent、推荐对话系统中的状态追踪具有通用性。
- 低成本长对话上下文管理：利用文本形式的记忆替代KV-cache全量历史，使每轮推理token消耗恒定，适合高并发、长会话的线上场景；500 token预算已足够保留意图轨迹。
- 预测评估的量规设计：5点Likert意图评分量表（从完全命中到无关）可迁移至推荐对话的生成质量评估，优于传统n-gram匹配。
OpenSkillEval：自动审计 LLM Agent 开源技能生态
🧭 Agent 技能生态审计与评估 ★ 深度解读
Singapore Management University · Fudan University · JD
提出动态任务生成与轨迹‑产出联合评测框架，揭示技能可用≠有效使用，且收益强依赖模型与设计先验
📌 工作参考价值（4 点）
- 技能不一定带来提升，选型前需实测：许多社区高分技能在实际任务中并未超越无技能基线，且会增加 3‑5 倍 token 开销。在电商 Agent 中引入生成式推荐或工作流技能前，应先在自身任务上做成本‑性能对比。
- 设计先验比流程约束更重要：对视觉类输出（商品图、海报、详情页），技能内嵌的模板、参考代码等设计资产能有效拉高低能力模型的下限，而强约束（大量 MUST/NEVER）常导致多样性下降。可借鉴“资产优先”思路构建内部技能库。
- 推理密集型任务需提供分析框架：当前报表、数据洞察类技能因缺乏假设检验、对比分析等分析框架，增益有限。若用 Agent 做评论分析、销量归因，技能应嵌入因果推断步骤或统计检验模板，而非仅提供工具链。
- 动态评测比静态基准更贴近业务：论文自动从真实网页、数据集反向生成任务实例，保持用例与用户需求同步。电商场景可类似地利用商品链接、Campaign 素材自动构建 Agent 评测集，持续跟踪能力变化。
无需训练的循环 Transformer：冻结模型推理时循环层块提升性能
🧭 推理时循环复用层块
在冻结的预训练模型上，通过阻尼子步骤循环中间层块，无需微调或架构改动即可显著提升推理性能
📌 工作参考价值（4 点）
- 可直接对现网 LLM（如 Qwen、DeepSeek 等）在推理时套用循环包装器，无需重新训练或微调，适合快速上线和成本敏感场景。
- 循环中间若干层并除以迭代次数的阻尼策略，可作为一种轻量级「深度增强」手段，在低延时约束下提升模型推理质量，例如用于电商 Agent 的多步推理、复杂指令遵循等。
- 该方法不修改模型权重和架构，可配合现有推理优化（KV cache、量化等），可在已有工程框架中低成本实现。
- 提供的层选择策略（中间层块）和迭代次数阻尼关系，可作为超参直接迁移到其他模型上，用于微调受限环境下的性能补强。
AI 驱动的形式化证明搜索推进数学研究
🧭 形式化数学证明搜索 · 多智能体系统
Google DeepMind · Aarhus University · Google
大规模评估 LLM 驱动的 Lean 形式化证明在开放数学问题上的自动求解，最高代理独立解决 9 个 Erdős 问题
📌 工作参考价值（4 点）
- 对于需要严格逻辑保证的 Agent 任务，可借鉴 Lean 编译验证思路，用规则引擎或类型系统过滤 LLM 输出，控制幻觉影响
- 基础代理采用「LLM 生成 + 外部工具反馈」的交替迭代模式，成本低且有效，可作为复杂 Agent 的基线设计
- 多子代理独立搜索并集成最佳结果的策略，在提升成功率上有明显收益，适用于需要探索多条推理路径的推荐或决策系统
- 部署时需权衡成本与成功率：对高难度问题使用更复杂的代理，普通问题用轻量版，可参考该研究中的阶梯式成本效益分析
故障感知混合专家模型实现消息级日志异常检测
🧭 日志异常检测 · 混合专家
University of Toronto
用LLM离线划分故障域并少量标注，训练轻量路由与专家模型，实现高效消息级异常检测。
📌 工作参考价值（4 点）
- 离线LLM + 轻量在线路由：业务监控中可先用LLM离线分析日志模板、划分故障类别，再将轻量路由器和专家模型部署到线上，实现实时异常检测，避免每次调用LLM的高成本。
- 少样本标注策略：每条模板至多标注K条行即可推导二元正常/异常标签，减少76倍标注量，适用于电商系统海量非结构化日志，快速冷启动异常检测。
- 未见事件ID泛化：FAME能检测86.3%未见事件ID的异常，解决模板漂移问题，适合动态变化的推荐/Agent系统。
- 故障域感知路由：MoE架构将不同故障模式分配给不同专家，可借鉴到电商多子系统下的异常定位，通过路由结果直接显式故障域，加速根因分析。
LANG：语言自适应提示引导的多语言推理强化学习方法
🧭 多语言推理强化学习与语言一致性保持
Northeastern University · Meituan Inc. · NiuTrans Research
用语言条件提示和衰减机制引导多语言推理强化学习，在非英语数学任务上提升推理性能且保持语言一致性
📌 工作参考价值（4 点）
- 可借鉴语言条件提示（language-conditioned hints）作为训练辅助信号，在强化学习或 SFT 中引导模型保留期望行为，尤其适用于多语言下的 Agent 或对话系统。
- 渐进衰减调度（progressive decay schedule）思路可用于课程学习，先给强信号再逐步撤除，防止模型过度依赖辅助信息，适用于电商搜索中的多阶段训练。
- 语言自适应开关（language-adaptive switch）根据任务难度动态调整训练策略，可迁移至多语言推荐或客服场景，对不同语言定制优化节奏。
- 整体框架有助于解决在追求性能时产生的语言漂移问题，对需要保持语言一致性的多语言产品（如多语种商品描述生成）有直接参考意义。
强化偏好优化用于推理增强推荐
🧭 生成式推荐 · 推理增强 ★ 深度解读
City University of Hong Kong · Kuaishou Technology
解耦LLM推理与推荐head，用GRPO+可验证奖励优化CoT质量，实现检索精度与推理可解释性双提升
📌 工作参考价值（4 点）
- 推理与检索解耦：采用LLM生成文本级CoT，专用Rechead做item检索，避免直接微调LLM隐藏状态破坏推理能力，适合工业推荐中LLM作为上游理解模块，下游用已有高精度检索模型承接。
- 轻量级推理融合头：Rechead用小型句子编码器+Transformer+软门控嵌入CoT，可过滤噪声，可作为排序模型的辅助特征；在线上部署时，只需将LLM生成的CoT/Answer转成稠密向量注入排序模型，已获得1.348%收入提升。
- RL多目标奖励设计：格式、NDCG、CoT语义一致性、压缩率、熵差组合奖励驱动GRPO，可借鉴到对话式推荐或Agent推理链优化，尤其熵奖励能促进生成高信息密度token。
- 两阶段迭代训练：先冻结LLM训Rechead，再冻结Rechead用RL调LLM，避免非平稳奖励，适合业务上微调LLM时已有稳定评分器（如精排模型）的场景。
稳定可预测广告推荐的LLM检索框架
🧭 LLM语义表征增强广告可预测性 ★ 深度解读
Meta Platforms, Inc.
提出基于LLM语义属性与图扩展的广告候选生成，线上可预测性指标A/A'差异降低8.62%，收入提升0.45%。
📌 工作参考价值（4 点）
- 可预测性指标(A/A'差异)可作为系统稳定性新指标：在电商推荐中，可用来评估模型对商品描述微调、ID切换等输入扰动的鲁棒性，提前发现因特征工程缺陷导致的冷启动或收入波动问题。
- 利用LLM离线提取商品/广告的层次化语义属性（品类、品牌、上下文描述等），构建语义图，通过Jaccard相似度的图遍历实现语义相似召回；该通道可与现有双塔、图召回共存，作为补充候选源，提升召回多样性和长尾覆盖。
- 工程上采用离线LLM批量生成元数据+在线查图服务的模式，避免实时LLM推理的高延迟；对于电商推荐，可将商品描述输入LLaMA等模型，生成结构化属性，再通过近似匹配进行相似商品扩展，成本可控。
- 实验表明LLM候选生成器能有效提升最终召回（+1.2%）和线上收入（+0.45%），且对A/A'波动抑制明显（MAD改善45%），推荐业务可将其作为稳定性优化组件，尤其适合需要高频更新商品库的场景。
ChunkFT：面向内存高效全参数微调的字节流优化框架
🧭 大模型全参数微调 · 字节流内存优化 ★ 深度解读
Northeastern University, China · Shanghai Jiao Tong University, China · CIS, LMU Munich, Germany · MCML, Germany · Shandong University, China
通过按字节预算划分模型参数为轮转块，仅激活当前块计算梯度，实现内存近似LoRA的全参数微调。
📌 工作参考价值（4 点）
- 在电商/推荐场景微调大模型受限于GPU内存时，可借鉴ChunkFT的轮转块训练策略：将模型按实际字节成本分块（不止按层），每次只针对当前块计算梯度与优化器状态，显著降低内存峰值且支持梯度累积与动量，避免因内存不足而被迫使用低效的PEFT方法。
- 块划分不依赖网络结构，适配Transformer各类算子（Embedding, Linear, LayerNorm），可直接嵌入现有HuggingFace/Torch训练流程，对业务代码侵入小。
- 字节均衡分块避免了层间参数量差异导致的内存抖动，使训练过程更稳定，便于在单卡上规模化调优（例如用一张24GB卡微调7B模型）。
- 轮转间隔T的选择对最终效果不敏感，可优先设置较大值加速收敛，减少工程调参负担；该设计也可迁移至推荐系统的稀疏参数更新（如Embedding表的轮转更新）。
偏好感知影响函数引导的高效微调数据选择
🧭 数据选择 · 影响函数 · 偏好感知 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
利用当前模型对目标示例的偏好加权构造目标方向，通过影响函数评分选择最有价值样本，提升微调数据效率
📌 工作参考价值（4 点）
- 在生成式推荐微调中，可用当前推荐模型对目标行为的响应概率作为权重，聚焦模型“附近”的高价值样本，避免均匀聚合造成的方向偏差。
- 影响函数评分公式 $s(z) = g_z^\top H_{\lambda}^{-1} g_{\text{KL}}$ 可直接嵌入现有微调流水线，配合 LoRA 等高效更新计算梯度，用于预算有限下的训练样本选择。
- 安全修复场景下，该方法能有效识别并移除导致有害行为的微调数据，可迁移到电商内容审核或多智体行为对齐中的训练数据清洗。
- 理论保证了一阶最优性：选择偏好加权方向下的 Top-$m$ 样本能最大化目标行为偏好的局部提升，为策略提供可靠依据。
TransitLM：大规模无地图公交路线生成数据集与基准
🧭 无地图公交路线端到端生成
AMAP, Alibaba Group
发布1300万条公交路线记录的数据集，LLM训练后可直接从起终点生成结构化路线，无需地图或路由引擎
📌 工作参考价值（4 点）
- 数据驱动的端到端路径生成模式可迁移至电商物流场景：用历史订单中的配送序列训练模型，跳过传统地图API和图搜索，直接生成包裹路由。
- 大规模序列数据预训练能隐式学习网络拓扑和转移规律，类似于推荐系统中从用户行为序列学习物品间的转移概率，可用于下次点/线路的预测。
- 模型将GPS坐标隐式映射到站点/门店的能力可用于处理用户模糊输入，减少精确地址解析依赖，提升抗干扰性。
- 路线生成评估时需同时检查结构有效性、换乘次数、绕路比例等多维度指标，可借鉴论文提出的互补评估框架设计业务指标。
消费级硬件上的GraphRAG：本地部署LLM医疗EHR schema检索评测
🧭 GraphRAG本地部署可行性评估
California Polytechnic State University
在8GB消费GPU上评测GraphRAG，发现7B以下模型无法完成管道，本地检索优于全局摘要
📌 工作参考价值（4 点）
- 图谱RAG部署时，模型参数最好≥7B，否则结构化输出不稳定，易导致管道失败；对电商知识图谱等应用，选型要避开过小模型。
- 本地检索（local retrieval）在延迟和事实准确性上均优于全局摘要，且幻觉更少，适合电商实时问答或隐私敏感场景，可优先采用。
- 知识图谱实体丰富度与最终答案质量解耦，评估时需分开关注索引和生成阶段，不能仅凭图谱规模选模型。
- 消费级GPU（8GB VRAM）足以运行GraphRAG全管道，为中小团队本地化部署生成式搜索或推荐系统提供了成本可行的参考。
用 LLM 合成查询与标签破解自然语言搜索冷启动
🧭 自然语言搜索 · 合成数据冷启动 ★ 深度解读
Airbnb
用少量种子查询引导 LLM 生成带标咨询数据和标签，使查询分布接近真实用户，支持检索与排序模型冷启动训练
📌 工作参考价值（4 点）
- 用种子查询控制 LLM 生成风格：直接让 LLM 无约束生成会产出冗长、多属性的查询，与真实用户短促、不规范的表达严重不匹配。从用户调研或早期日志中收集数百条种子查询作为模板，可以大幅降低 KL 散度（本文从 4.95→0.66），实现更逼真的查询分布。在电商搜索、对话式推荐中可复用此思路，用小样本种子让合成数据贴合真实语言。
- 三类提示模板平衡真实性与多样性：seed_controlled 严格保持种子结构，适合属性覆盖；seed_freeform 模仿风格但允许变化；variety 放松约束、提高温度，探索长尾意图。实际生成时按比例混合三种模板，既能保证主流查询的真实感，又能覆盖边缘场景。推荐系统在生成候选集时可借鉴这种分阶段控制的提示策略。
- 困难样本构建的分层采样与提示技巧：为避免全是简单样本（所有模型都能答对），通过限制样本对相似度（同类别、嵌入距离过滤）和提示中加入“难度桶”、反事实编辑等手段生成有区分度的训练数据。这对于提高 ranking 模型的迭代信号非常重要，电商场景下可借鉴硬负样本挖掘来提升模型判别力。
- 从 LLM 自生成数据中避开自偏好陷阱：用 LLM 评估 LLM 生成的内容容易出现系统性偏爱（本文 GPT 评估自身生成的对准确率高达 99%），实际训练中建议用构建式标签（对比生成）保证高保真，用 LLM 评估仅作离线质量检查；且通过属性锚定、人工校准、使用异构模型降低自我偏好风险。这对任何用 LLM 生成训练数据的团队都是重要提醒。
进化编码智能体究竟在进化什么？
🧭 进化编码 Agent 搜索行为分析
Zuse Institute Berlin · Technical University of Berlin · Hong Kong Baptist University · RIKEN Center for Advanced Intelligence Project
通过 EvoTrace 数据集和 EvoReplay 回放方法，揭示进化编码搜索中分数提升多由少数编辑类型驱动，且存在高频代码回退的循环模式。
📌 工作参考价值（4 点）
- 在自动化超参搜索、推荐规则生成等迭代优化场景中，不要只看最终指标，需监控搜索过程中的编辑类型分布，避免对评估器过拟合。
- 可借鉴 EvoReplay 的回放与干预方法（例如移除代码组件、替换模型上下文）来诊断优化路径，定位真正有效的改进。
- 编辑类型高度集中，可引导搜索策略优先尝试高频有效编辑（如常量微调），提升搜索效率。
- 发现约 30% 代码行是先前删除行的重新引入，提示需设计机制抑制搜索回退，例如引入多样性惩罚或短期记忆。
通过损失自适应学习率实现不遗忘的微调
🧭 损失自适应学习率缓解微调遗忘 ★ 深度解读
University of California San Diego
提出与训练损失平方根成反比的学习率调度，在保持新任务性能的同时，平均减少93%的灾难性遗忘。
📌 工作参考价值（4 点）
- 在电商客服或推荐解释的LLM微调中，可直接用FINCH代替常规余弦调度，无需修改目标函数或准备回放数据，即可保持模型在通用对话、推理等能力上的性能。
- 做新知识注入（如新品信息、新政策）时，FINCH能大幅减轻幻觉率上升和校准退化，比单纯的小学习率或LoRA更优。
- 方法实现简单：只需在训练循环中维护损失指数滑动平均，并据此计算每步学习率，与AdamW兼容，引入超参数少（仅ηbase和ηmax），适合快速工程落地。
- 对于需要持续微调但预训练数据不可访问的场景（如多轮对齐优化），FINCH提供了一种廉价的数据遗忘控制手段，可避免模型在反复更新中能力坍塌。
DashAttention：可微分自适应稀疏层级注意力
🧭 自适应稀疏层级注意力 · α-entmax 路由 ★ 深度解读
Tsinghua University · Instituto Superior Técnico, Universidade de Lisboa · Carnegie Mellon University · Sapienza University of Rome · University of Edinburgh
用 α-entmax 替代 top-k 实现可微分、自适应块选择，在长上下文任务中同时提升精度与速度。
📌 工作参考价值（4 点）
- 在推荐系统的长用户行为序列中，可借鉴分块摘要 + α-entmax 路由的设计：先学习每个块的轻量表示，再用 α-entmax 动态选择相关块，替代固定 top-k，使模型能按需关注任意数量的历史块，提升长序列建模的灵活性。
- α-entmax 的可微稀疏性让块选择能够端到端训练，避免硬截断带来的梯度断裂，适合需要可学习稀疏门控的生成式推荐（如 Semantic ID 序列建模）或 Agent 记忆检索模块。
- 两阶段“粗筛+细读”范式具有工程复用价值：第一阶段用廉价摘要快速评分，第二阶段仅在保留块内计算完整 token 级注意力，可在推理时大幅降低计算量，同时保持精度，适用于工业级推荐模型的服务优化。
- 论文的局部注意力摘要初始化技巧（从均值池化平滑过渡）及 GPU 友好的 Triton 实现策略（块摘要缓存、位掩码压缩、单次融合 pass）可直接启发推荐系统在处理超长序列时的特征工程和系统实现。
多智能体AI系统在创造力任务上超越人类团队
🧭 多智能体创意生成与轨迹分析 ★ 深度解读
University of Cambridge · Zhejiang University · Microsoft Research Asia · Universitat Politècnica de València
多智能体LLM团队创造力显著优于人类团队(d=1.50)，新颖性驱动且轨迹分析揭示可设计杠杆
📌 工作参考价值（4 点）
- 多智能体讨论结构可调节创意质量：迭代细化（Iterative Refinement）等结构化流程能让GPT-4.1类模型的新颖性显著提升而不过度损失有用性；在电商文案生成、推荐理由创意等场景，可设计类似“提出-比较-选择”的对话模板来优化生成内容的新颖性。
- 语义轨迹框架可作为诊断与优化工具：通过计算对话的全局相干性、语义覆盖广度等指标，可量化评估多智能体系统的探索效率，避免产出过度集中在单一主题；在Agent协作系统中，可据此监控并自动调整讨论策略。
- 推理模型对讨论结构依赖较低：o3-high等强推理模型在无结构讨论下同样高产，设计系统时可减少外部流程控制，节约token消耗；而普通模型需外部脚手架，这为不同成本的模型选型提供了依据。
- 团队规模不是越大越好：3人与6人LLM团队创意无显著差异，实际部署中采用3智能体即可，能节约计算资源且不损害创意效果，对构建成本敏感的Agent系统有直接指导意义。
OScaR：极端KV缓存量化的奥卡姆剃刀
🧭 LLM推理优化 · INT2 KV缓存量化
Tsinghua University · Meituan LongCat Team · The University of Hong Kong · The University of Edinburgh · UCAS
OScaR通过Canalized Rotation与Omni-Token Scaling解决Token Norm Imbalance，实现INT2近乎无损KV缓存量化，解码加速3.0×
📌 工作参考价值（4 点）
- INT2 KV缓存部署：电商对话或实时推荐场景中，用OScaR的INT2量化可降低96%的KV缓存内存（5.3×），结合3.0×解码加速，适合高并发低延迟需求。
- 轻量集成路径：Canalized Rotation + Omni-Token Scaling无需复杂重采样或辅助模型，仅需少量显式变换，可直接插入现有Transformer推理管线，降低工程复杂度。
- 多模态量化统一：OScaR已覆盖文本、多模态及全模态LLM，对购物图文推荐中的多模态模型KV缓存压缩同样有效，避免为不同模态设计多套量化方案。
- CUDA Kernel优化：论文提供的定制化CUDA kernel将旋转与缩放无缝融合，可借鉴其极简高效的设计思路加速自研模型推理。
基于代理指标的LLM下游性能预测
🧭 代理指标 · 专家轨迹 · 性能预测
Mila – Quebec AI Institute · McGill University · ServiceNow Research
聚合专家解答上的token级熵、top-k准确率、专家token排名作为代理指标，预测LLM下游性能，显著优于损失和计算基线
📌 工作参考价值（4 点）
- 在模型选型或数据筛选阶段，用少量专家标注数据（如人工标注或用户行为序列）计算token级指标，代替昂贵的下游评估，节省千倍计算。
- 训练早期监控代理指标趋势（如熵、top-k准确率），可提前预测最终下游表现，及时终止劣化实验，加速迭代。
- 对多智体系统，可将高质量agent轨迹视为专家解答，聚合token级统计量评估agent决策质量，用于在线筛选prompt或模型。
- 生成式推荐中，将用户交互序列作为专家轨迹，构造类似代理指标，可用于选型、数据筛选或训练过程中的表现预测。
NGM：即插即用、无需训练的LLM记忆模块
🧭 LLM记忆增强 · 训练无关即插即用
Nanjing University
提出训练无关的N-gram记忆模块，通过平均token嵌入构建表示并用余弦门控注入，显著提升代码和知识密集型任务性能。
📌 工作参考价值（4 点）
- 电商搜索/推荐中，商品标题、品牌、规格等高频短语可利用N-gram缓存跳过大量计算，直接注入LLM的表示层，提升推理速度与事实准确性。
- 在多轮对话Agent中，可将用户重复提到的实体或结构化信息（如订单号、地址）通过NGM快速恢复，减少遗忘和重复生成。
- 完全无训练，即插即用，无需修改骨干模型权重或增加可学习参数，适合快速A/B测试和已有模型的无损增强。
- 余弦相似度+ReLU的门控机制简单高效，可作为其他知识注入场景（如检索增强生成）中轻量级融合模块的设计参考。
AI 察觉被注视：大语言模型的功能策略行动与语境语域调节
🧭 多智能体系统 · 社会感知行为分析
发现 LLM 在多智能体辩论中会根据社会观察情境（人类监控 vs AI 审计）系统性调节语言，为 AI 治理提供实证
📌 工作参考价值（4 点）
- 在电商多智能体对话（如客服谈判 agent）中，可注入“观察者信号”引导语言正式度：例如通过系统消息暗示“本次对话将被质量审计”，提升回复的专业性与合规性。
- A/B 测试或评估 agent 时，需注意“被监控”效应带来的行为偏差；采用无感知的自动化评估或 AI 审计替代人类评估，可减少干扰。
- 可利用 LLM agent 对 AI 审计的反应与对人类监控反应的差异，构建分层监控体系：AI 自动审计基线行为，人类审计抽查，降低成本。
- 通过调控上下文中的“受众设计”（如告知 agent 正在与高级别客户交互），可精细调节输出风格，适配不同业务场景（正式客服 vs 轻松导购）。
APWA：面向可并行化 Agent 工作流的分布式多智能体架构
🧭 Agent ★ 深度解读
Northeastern University
提出 APWA，一种将任务自动分解为无干扰子任务并大规模并行执行的分布式多智能体架构，在现有系统失败的场景下实现线性扩展
Articraft：可扩展的铰接式 3D 智能体生成系统
🧭 Multimodal ★ 深度解读
University of Cambridge · University of Oxford · Nanyang Technological University
将铰接式 3D 资产生成转化为代码编写任务，搭配专用 SDK 与迭代 harness，无需视觉反馈即可规模化产出高质量资产
AstraFlow：面向智能体大模型的数据流导向强化学习系统
🧭 Agent RL 训练系统 · 数据流架构
Carnegie Mellon University · University of Michigan · UC Berkeley · Meta
以数据流架构解耦训练、数据供给与 rollout，原生支持多策略协作训练并提速 2.7 倍
📌 工作参考价值（4 点）
- 训练与 rollout 解耦的架构：将 rollout 服务化为独立、可替换的组件（Rollout-as-a-Service），可借鉴到推荐模型的在线 RL 训练中，实现策略模型与交互环境分离，便于弹性扩展和资源优化。
- 数据流驱动的异步数据管线：通过数据流层实现完全异步的样本供给，避免训练器等待 rollout，可应用于大规模分布式训练场景，提升 GPU 利用率。
- 多策略协作训练机制：支持多个策略模型（如不同推荐策略或不同 Agent 策略）在同一框架下协同训练，适合多目标推荐或多 Agent 协作优化，可直接复用其稀疏权重更新、选择性 rollout 等设计。
- 异构、跨区域资源的弹性利用：支持不同 GPU 类型、跨地域的 rollout 资源池，对需要动态调度算力（如大促弹性扩容）的业务有参考价值，能降低成本。
从文本到语音：可复现且可验证的工具调用 LLM 智能体评估框架
🧭 Eval ★ 深度解读
Dialpad Inc.
提出将文本工具调用基准转化为受控音频评估的框架，保留原始标注，实现配对文本-音频对比，发现语音性能损失高度依赖模型与任务
服务于LLM推理的可解释推测解码延迟模型
🧭 LLM ★ 深度解读
MIT · Red Hat AI
利用Little's Law构建简单延迟模型，解释负载变化时推测解码的加速比如何随接受率和草案长度演化
GPart：通过全局参数分区的端到端等距微调
🧭 Training ★ 深度解读
Samsung AI Center, Warsaw · University of Warsaw
提出 GPart，用单一随机分区矩阵将可训练向量直接映射至全权重空间，消除 LoRA 的低秩瓶颈并实现端到端等距
基于案例的自适应推理与执行校准用于LLM工具调用
🧭 LLM ★ 深度解读
University of Electronic Science and Technology of China
利用历史执行轨迹构建案例，提取复杂度与失败轮廓，联合校准推理预算与工具执行结构
扩大差距：通过离群值注入利用LLM量化
🧭 LLM ★ 深度解读
ETH Zurich
首次通过注入离群值让LLM在量化后触发恶意行为，成功攻破GPTQ、AWQ等优化型量化
量化永久遗忘：通过电路归因实现抗压缩的机器遗忘
🧭 LLM ★ 深度解读
Lexsi Labs
提出 MANSU 框架，利用电路归因与量级底线保证 4-bit 量化后遗忘不逆转
MeMo：将记忆建模为可插拔的专用模型
🧭 LLM ★ 深度解读
National University of Singapore · MIT · A*STAR · University of Tokyo · Liquid AI
一种模块化框架，通过训练小型记忆模型并采用结构化多轮查询协议，无需修改LLM即可融入新知识，同时捕获跨文档关系并抵抗检索噪声
情感参与状态记忆：面向大规模超个性化的架构
🧭 LLM ★ 深度解读
divAIne Research
引入情感索引记忆与意图推理的状态化LLM架构，在30个对话场景中全面超越无状态基线，记忆接地提升95%
双重维度一致性：平衡自适应推理缩放中预算与质量
🧭 LLM ★ 深度解读
西安交通大学
提出统一框架DDC，通过置信加权贝叶斯终止与趋势感知分层修剪，在维持准确率的同时将令牌消耗降低10倍以上
TFGN：无需任务标签与回放的LLM级持续预训练架构
🧭 Training ★ 深度解读
Independent Researcher
提出一种内部架构叠加层TFGN，在无回放、无任务ID的条件下，实现LLaMA 3.1 8B等多尺度的近零灾难性遗忘与>99.59%的梯度正交性
通过自我回忆思维提升多轮对话一致性
🧭 Reasoning ★ 深度解读
University of Electronic Science and Technology of China
提出 Self-Recall Thinking 框架，让 LLM 在推理中内生回忆并引用关键历史轮次，兼顾多轮对话准确率与效率。
文本知何事，表格知何时：检索增强多模态对齐实现临床时间线重建
🧭 检索增强多模态对齐 · 时间线重建
Carnegie Mellon University
用检索到的结构化EHR表格校准临床文本时间线，多模态对齐提升绝对时间精度并发现34.8%事件仅存于文本。
📌 工作参考价值（4 点）
- 检索增强校准的思路可迁移至电商用户行为时间线构建：将非结构化评论/日志中的事件与结构化交易时间戳对齐，提升用户旅程建模精度。
- 图结构多步流程（锚事件骨架→非中心事件相对放置→外部证据校准）可泛化为通用多模态融合范式，适用于推荐系统中异构数据的时间对齐。
- AULTC（绝对时间标签准确度）指标可直接用于评估推荐场景下用户行为序列的时间预测质量。
- 发现大量文本事件缺失于结构化记录，提示在生成式推荐中需重视非结构化信号的独立价值，避免仅依赖结构化数据遗漏关键行为。
无需模型修改的并发：面向LLM的基于Future的异步函数调用
🧭 Agent ★ 深度解读
University of California, Berkeley
提出AsyncFC，通过Future占位符解耦LLM解码与函数执行，实现无模型修改的异步工具调用并显著降低延迟
XFP：面向LLM推理的质量驱动自适应码簿量化与稀疏异常值分离
🧭 LLM ★ 深度解读
Gemini Stiftung Leipzig
让操作者设定余弦相似度质量下限，自动决定每层最小位宽，实现消费级GPU上的大模型高效推理
小语言模型作为队友：教育评估设计中的私密部署比较研究
🧭 教育评估生成任务中的SLM vs LLM对比评估
SLM在教育题目生成任务中性能接近LLM，但模型自评不可靠，须有人工闭环
📌 工作参考价值（4 点）
- 若业务场景（如私域商品评价问题生成）需低成本、隐私敏感部署，SLM 是可行选择，性能接近大模型，可优先实验。
- 为生成式推荐或 Agent 的指令设计建立多维质量指标时，可借鉴 Bloom 分类法，对生成内容层次化打分，避免单维度评价。
- 模型自评（用 LLM 评价 LLM 输出）存在系统性偏差，必须加入人工校验环节；在人机协同工作流中，可先让 SLM 粗筛，专家抽检校准。
- 在 Agent 工具链中，对小范围、高并发的结构化内容生成（如提示词模板、回复候选），用 SLM 可实现质量与成本的平衡。
用户数字痕迹中抑郁状态变化的可解释检测
🧭 可解释抑郁状态变化检测·时间轨迹分析
融合多BERT模型信号与LLM生成可读报告，实现抑郁状态变化点的可解释检测与分析
📌 工作参考价值（4 点）
- 多源BERT信号融合构建用户状态轨迹，可迁移至电商用户兴趣演化建模，捕捉兴趣变化
- LLM生成可读报告的方式为推荐系统提供可解释性思路，自动生成推荐理由
- 变化点检测算法能识别用户偏好突变，应用于实时推荐策略动态调整
- 时间分段轨迹分析适用于处理非平稳用户行为序列，可借鉴至时间感知推荐模型
主动学习实现高效PRP重排序
🧭 生成式检索重排序 · 噪声成对比较主动学习 ★ 深度解读
Universidad de San Andrés
将PRP重排序建模为噪声成对比较的主动学习，通过自适应调度和随机方向提示，在低预算下大幅提升Top-K质量
📌 工作参考价值（4 点）
- 在LLM成对重排序场景中，用主动排序（如Mohajer锦标赛+堆提取）替代冒泡/快速排序，在相同调用预算下NDCG@10可提升9点以上；工程上只需替换调度逻辑，不改变提示、不增加模型推理。适合电商搜索/推荐中候选商品重排等预算敏感场景。
- 随机方向提示仅需一次LLM调用完成成对比较，将系统性的顺序偏差转化为零均值噪声，直接削减50%的调用成本，且不损失排序质量。实现简单：随机化文档在prompt中的顺序即可。
- 若存在可靠的先验排序（如BM25或粗排分），PAC主动排序进一步用少量锚点比较快速收敛至top-K，调用量可低至180次左右，适合极低延迟场景。
- 两种主动排序均支持查询内并行：莫哈杰的各锦标赛之间、PAC的锚点比较均可并发，实际延迟可通过批量推理大幅压缩，适合高吞吐线上服务。
走向自我进化的智能体文献检索系统
🧭 Agent ★ 深度解读
Shanghai Jiao Tong University · SciLand · Zhejiang University
提出PaSaMaster，以自演进检索、幻觉消除排名和规划-检索分离，在1%成本下超越GPT-5.2，实现零源幻觉
BEAM：通过二值掩码实现MoE动态专家路由
🧭 LLM ★ 深度解读
Alibaba Group · Peking University
提出BEAM，学习二值掩码实现token自适应专家稀疏激活，保留98%性能，MoE层FLOPs减85%，解码加速达2.5倍
超越个体智能：基于LLM的多智能体系统协作、失败归因与自我演化综述
🧭 Agent ★ 深度解读
西安交通大学 · 联想AI技术中心 · 华中师范大学 · 悉尼大学
提出LIFE框架将单智能体能力、多智能体协作、失败归因与自我演化统一为因果链环，填补了闭环诊断与自主改进的综述空白
达尔文家族：MRI可信加权进化合并实现语言模型推理的无训练扩展
🧭 LLM
通过梯度自由的权重空间进化合并，无需训练即可重组已有检查点的潜在能力以提升推理性能
动态潜路由：低数据微调下搜索残差流引导码
🧭 LLM ★ 深度解读
Thoughtworks AI Labs
通过搜索离散潜码作为残差流 steering 向量，DLR 在低数据微调中联合学习模型与路由策略，平均超出 SFT 6.6 个百分点
对 ReDial 数据集上对话推荐系统的标准化重新评估
🧭 RecSys ★ 深度解读
University of Stavanger
标准化重现 7 种 CRS 发现 R@1 极脆弱，近半性能来自重复捷径，LLM 骨干比架构创新影响更大
FrontierSmith：规模化合成开放式编程问题
🧭 Training ★ 深度解读
UC Berkeley · UC San Diego · University of Washington · Stanford University · Princeton University
通过变异封闭式编程问题并使用思路分歧度量自动筛选，实现开放式编程问题的规模化合成与强化学习训练
具有可预测缩放定律及推理可证明益处的层级语言模型
🧭 LLM ★ 深度解读
Duke University · University of Chicago · MIT · Princeton University
用树广播过程定义合成语言，精确分析上下文长度与推理的作用，证明有限上下文导致统计不一致且 O(log n) 记忆的推理即可精确采样
面向风险投资尽职调查的多智能体编排框架
🧭 Agent ★ 深度解读
Athens University of Economics and Business
事件驱动多智能体系统自动整合实时网络检索与官方注册文档解析，并通过结构化回退机制消除金融幻觉
面向推荐模拟的任务感知自动化用户画像生成
🧭 RecSys ★ 深度解读
RMIT University
提出无需手动Schema的三阶段框架，自动生成任务对齐、鲁棒的用户画像，显著提升模拟行为对齐与泛化性
Nexus：多智能体时间序列预测框架
🧭 Agent ★ 深度解读
Google · Pennsylvania State University
通过宏微观双分辨率预测与动态校准，Nexus 多智能体框架在零样本预测中超越专业时序模型，并输出可解释推理。
Orchard：开源可扩展代理建模框架
🧭 Agent ★ 深度解读
Microsoft Research · Columbia University · UIUC
提出轻量级环境层 Orchard Env 实现跨领域、跨训练阶段的 SFT+RL 代理训练，在 SWE-bench 和 GUI 基准上达到开源最优
前瞻性引导的记忆检索：语言模型的前瞻思考
🧭 RAG ★ 深度解读
University of Washington · Microsoft Research
提出前瞻性引导检索（PGR），通过模拟未来场景触发相关记忆，解耦存储与检索，大幅提升长期个性化助手的召回率
RAG 增强的大语言模型用于 Web 搜索中的动态内容过期预测
🧭 Reasoning ★ 深度解读
Baidu Inc.
利用 LLM 对查询意图和文档时间上下文进行语义推理，动态判定内容有效期，取代静态时间窗口规则
暂停与反思：思维链推理的共形聚合
🧭 Reasoning
用加权分数聚合与共形风险控制，在有限样本保证下控制自信错误率并提升选择性准确率
简单统一缩放达成奥赛金牌级推理
🧭 Reasoning ★ 深度解读
上海人工智能实验室 · 香港中文大学 · 清华大学 · 上海交通大学 · 北京大学
一套 SFT-RL-TTS 统一流程将 30B-A3B 模型推向数学与物理奥赛金牌水平，并展现跨领域科学推理迁移
利用语言模型先验从观测中学习POMDP世界模型
🧭 LLM引导的POMDP世界模型归纳 ★ 深度解读
Max Planck Institute for Intelligent Systems · IRIIS · University of California, Santa Barbara · University of Tübingen · University of Oxford
LLM生成可执行POMDP代码，通过信念滤波与软距离似然评分，无需隐藏状态即可匹配有监督方法的样本效率
📌 工作参考价值（4 点）
- 在无法获取用户真实意图（隐藏状态）时，可用LLM生成候选的状态转移与观测模型代码，基于历史行为（点击/购买序列）的粒子滤波和软距离似然进行评分迭代，无需人工标注隐藏状态。
- 将LLM生成的确定性观测模型通过距离核软化，使任何观测都有非零似然，避免粒子滤波崩溃；这一技巧可直接用于离散观测（如商品ID、行为类别）的模型评估。
- 使用UCB选择父节点进行多轮候选修订，平衡探索与利用，可借鉴到自动化模型搜索或策略迭代的优化流程中。
- 以可执行代码形式输出世界模型，可审计、可复现，便于部署到在线规划（如用户状态推断与折扣策略），比纯LLM模拟更稳定、更廉价。
SPIN：通过迭代导航实现工业任务的结构化LLM规划
🧭 Agent ★ 深度解读
University at Albany · Kwansei Gakuin University · IBM
一种规划包装器，结合DAG验证与基于前缀的模拟器-批评家停止策略，提升工业LLM代理的执行效率与结构正确性
自进化记忆架构：LLM智能体通过自动研究自我优化检索
🧭 LLM ★ 深度解读
UNC-Chapel Hill · UC Berkeley · UCSC
首个通过LLM闭环诊断自主进化检索配置的记忆框架，实现AutoResearch，无需人工调参
用于LLM推理自蒸馏的自适应教师暴露
🧭 LLM ★ 深度解读
ByteDance
提出自适应教师暴露控制（ATESD），将教师所见的特权推理长度变为可学习变量，解决教师侧暴露不匹配问题
无监督过程奖励模型
🧭 PRM训练 · 无监督学习
Swiss Federal Institute of Technology (EPFL)
提出无需人工标注的无监督PRM，通过LLM next-token概率联合定位第一步错误步骤
📌 工作参考价值（4 点）
- 无监督奖励塑形：借鉴基于LLM自身token概率的评分函数，在Agent多步交互或推荐多轮对话中，无需人工标注即可识别错误步骤，用于重试或矫正策略。
- 批次内对比定位：利用同一批次多个轨迹的相似性联合评估第一步错误位置，可迁移到电商搜索多意图理解或生成式推荐的HIT预估，通过对比候选序列一致性定位偏差。
- 强化学习稳健训练：uPRM作为reward信号比有监督PRM更稳健，适合推荐策略在线优化时，避免过拟合人工偏好，直接利用模型自身不确定性进行探索。
- 测试时验证器：uPRM作为验证器可提升多数投票基线（+6.9%），在推理链较长的生成式推荐（如Semantic ID生成）中可用于beam search重新排序。
形式化潜在思维：大语言模型思维表征的四条公理
🧭 LLM 思维表征的公理化评估
University of British Columbia
提出四条表征公理并审计发现现有LLM的潜在思维表征均无法同时满足，显露出结构性缺陷
📌 工作参考价值（4 点）
- 若在电商搜索/推荐中引入LLM处理查询或生成推荐理由，可借鉴四条公理（因果性、极小性、可分离性、稳定性）自评模型内部表征，诊断其是否真正编码了任务相关信息而非表面统计
- 面对Agent规划时，评估隐状态是否对不同子目标具备可分离性、对同任务扰动是否稳定，从而在部署前定位结构性问题，避免仅凭下游任务指标误判
- 在生成式推荐模型中，检查生成item的隐向量是否满足因果性（关键输入token促成了表征）、极小性（冗余信息少），可帮助优化编码器结构
- 该框架提供了一套与基准分数解耦的表征评测量化方法，可直接嵌入内部模型评估管线，用于对比不同训练策略或架构对表征质量的影响
RouteProfile：揭示LLM路由中模型profile设计空间
🧭 LLM ★ 深度解读
University of Illinois Urbana-Champaign · Nanyang Technological University
定义LLM路由的profile设计空间，发现结构化、可训练profile显著提升路由与新模型泛化能力