分数非决策：成本感知的LLM Agent工具获取停止
🧭 代价感知的Agent工具前缀截止学习 ★ 深度解读
Peking University · McGill University · Shanghai University of Finance and Economics · Tsinghua University
将工具获取形式化为代价感知的前缀停止，用后悔加权目标学习截止深度，以更少工具实现更高收益
📌 工作参考价值（4 点）
- 在工具调用前加一层代价感知截止策略：根据工具排序和成本动态决定前缀深度，可减少不必要的外部调用、上下文消耗和延迟，适用于搜索推荐中的知识检索、API 路由等环节。
- 后悔加权训练目标直接优化下游收益：错误按 payoff 差距加权，比先预测充分性再阈值截断更鲁棒，尤其在工具成本异质时（如不同数据源查询价格不同）。
- 特征设计需融合边际成本与剩余价值：除工具相关性分数外，引入边际成本、剩余候选集积分等特征，实现成本感知的停止决策。
- 轻量级解耦插件形式：CAM-DF 不修改上游排名器与下游 LLM，可快速接入现有 Agent 系统，适用于电商场景中动态选择商品信息源、实时调整工具预算。
FinanceHarness：自主金融深度研究框架
🧭 Agent驱动的金融深度研究框架
Google Cloud AI Research · University of California, Los Angeles
提出面向金融领域的自主深度研究框架及点时间基准FinanceGym，将代理评分从25.3%提升至32.4%
📌 工作参考价值（4 点）
- 领域专用Agent工作流设计：电商搜索推荐Agent可借鉴分层harness思想，封装商品查询、行为分析、趋势预测等工具，构建多步骤推理流水线（如竞品分析→选品策略→文案生成）。
- 点时间基准避免数据泄露：针对促销预测、季节品推荐等时间敏感任务，可参照FinanceGym的pre-cutoff/post-cutoff评估设计，确保测试集不包含未来信息，真实反映模型能力。
- 奖赏建模指导Agent优化：可对推荐报告、搜索策略输出定义自动评分标准（如覆盖率、新颖性、时效性），用于RLHF或拒绝采样微调，提升Agent执行质量。
- 专家验证基准的效用：在构建垂直领域Agent评测集时，引入专家人工验证确定难度和真实水平，避免纯自动指标误导，发现顶尖模型仍有较大改进空间。
Flux-OPD：使用进化上下文的策略蒸馏
🧭 进化上下文下的策略蒸馏方法 ★ 深度解读
Peking University · Kling Team · Tsinghua University · Shanghai Jiao Tong University · Zhongguancun Academy
通过反向KL分解揭示蒸馏目标为几何平均，用进化上下文进行校正和加权，解决开放域任务缺乏可验证奖励的问题
📌 工作参考价值（4 点）
- 动态上下文的思路可迁移到实时偏好学习：在推荐/Agent场景，用户实时行为轨迹类似论文中的进化上下文，可以周期性地从学生最新生成结果中提取偏好信号，注入蒸馏目标，持续对齐用户兴趣变化。
- 几何平均作为多教师融合目标更稳健：当多个教师分布（如不同模态、不同专家）存在冲突时，取几何平均而非算术平均能强化高一致性下的监督，减弱分歧影响，可用于多目标蒸馏或ensemble融合。
- 冲突项作为自适应加权信号：方法中利用冲突项（−log Z）动态调节上下文影响力，类似于多任务学习中根据梯度冲突调整损失权重；电商推荐中多目标（如点击率与转化率）冲突时，可借鉴该机制去无痛地平衡。
- 校正锚点策略可稳定生成式推荐训练：将上下文差异作为修正信号叠加在稳定锚点（如常规教师分布）上，避免蒸馏目标剧烈震荡，适合需要保持生成稳定性的场景（如商品描述生成、广告文案改写）。
Frontis-MA1：面向递归自我改进的机器学习工程训练
🧭 AI4AI 自动化机器学习工程 ★ 深度解读
Horizon Research · Frontis.AI · Tsinghua University
通过执行反馈训练 Draft/Improve/Debug/Crossover 原子算子并组合长程进化搜索，在有限 GPU 预算下将 MLE-Bench Lite 奖牌率从 39% 提升至 71%
📌 工作参考价值（4 点）
- 原子算子训练 + 进化搜索范式：将复杂任务（如推荐模型自动调参、特征工程）拆解为 Draft/Improve/Debug/Crossover 四种原子操作，用执行反馈训练这些操作，再通过 OpenMLE-Evo 组合成长程搜索，可直接迁移至 AutoML 或 Agent 自动优化推荐 pipeline 的场景。
- 执行反馈 RL 的自适应奖励设计：使用自适应上下界和熵优势（entropic advantage）将学习信号集中于高质量解，而非仅奖励有效解。在推荐策略搜索或 SQL 生成等可验证任务中，可避免模型产生“能跑但性能差”的结果。
- 结构化经验与父代选择策略：通过结构化经验卡（score/improvement/novelty）进行父代选择，兼顾解的质量、改进幅度和方向新颖性；操作触发式记忆合成避免上下文膨胀。这些可直接用于 Agent 搜索推荐组合空间、模型结构搜索等需要平衡探索与利用的任务。
- 预算自适应的监督数据收集：SFT 阶段每任务设执行预算和接受配额，提前终停止艰难任务，节省计算开销。在标注昂贵或执行成本高的推荐场景（如在线实验）中，可高效获得高质量训练数据。
公平剪枝：通过差分激活定位GLU-MLP层中的人口统计偏见
🧭 LLM 偏见定位与结构性干预
Universidad Internacional Menéndez Pelayo · Universidad de Jaén
提出一种轻量级结构干预方法，利用差分激活定位LLM中与人口偏见相关的极少神经元，剪枝即可解耦偏见与能力
📌 工作参考价值（4 点）
- 差分激活定位方法可迁移到推荐/对话模型中，用于定位特定行为（如价格敏感、品牌偏好）的神经元回路
- 极少量神经元剪枝（<0.031% 参数量）即能改变模型输出，启发在保持主任务性能下进行精细行为干预，对模型压缩和可控生成有参考价值
- 发现偏见神经元存在正负双向性，提示未来可分别调制“推高偏见”与“压低偏见”的神经元，实现定向公平性控制
- 该工作完全基于推理时激活捕获，无需重新训练，适合快速在已有LLM推荐或文案生成管线中做偏见审计与干预
GPTQ-2D：立方时间双边自适应舍入
🧭 矩阵量化 · 双边自适应舍入加速
Institute of Science and Technology Austria (ISTA) · ETH Zürich · Red Hat AI
将 GPTQ 自适应舍入扩展到双边情形，通过反对角线并行化实现立方时间复杂度
📌 工作参考价值（4 点）
- 当推荐模型（如双塔 embedding 或交互矩阵）存在双侧线性变换时，可用 GPTQ-2D 做联合量化，比分别单侧量化精度更高
- 反对角线并行化机制可直接用于加速大规模 embedding 矩阵的离线量化压缩过程
- 如果业务中有 Kronecker 结构误差度量（如特征交叉矩阵压缩），可复用该立方时间算法
- 对于需要同时考虑输入/输出基变换的权重量化场景（如 attention 的 QK 投影），该方法提供了可工程化的快速实现思路
规模化物品嵌入：Yandex生态下GNN与ID嵌入对比
🧭 物品嵌入策略对比 · 工业级序列推荐
Yandex
大规模工业系统对比表明，GNN预训练嵌入仅在数据有限时有益，数据充足时端到端ID嵌入无差异
📌 工作参考价值（4 点）
- 大规模推荐系统（如电商首页Feed）训练数据充足时，直接使用哈希ID嵌入端到端训练即可，无需额外GNN预训练，节省特征工程和模型维护成本。
- 新业务或冷启动阶段（如垂直品类推荐）数据稀疏，可引入GNN预训练物品嵌入提升模型效果，但需评估额外的图构建和更新开销。
- 物品ID嵌入采用哈希技巧处理动态目录，降低嵌入表内存占用，适合频繁上新的电商场景，工程实现简单且有效。
- 该结论为排序/召回模型中的物品表征架构选型提供了清晰决策依据：先评估数据规模再决定是否加入预训练模块。
互补记忆痕迹框架 CMT-RAG：用于多轮多跳对话 RAG
🧭 对话记忆与检索协同 · 子问题级 trace ★ 深度解读
中山大学 · 深圳循环智能研究院 · 香港大学
用子问题级记忆痕迹对齐对话记忆与检索，通过 SSM+DAG 实现跨轮依赖跟踪和证据复用
📌 工作参考价值（3 点）
- 子问题级记忆单元设计：在电商对话推荐或搜索中，可借鉴 trace 结构（子问题、关键词、依赖、证据 ID），将用户意图分解为可检索的细化单元，避免全文历史重放导致的上下文稀释。
- 依赖图驱动的证据复用：每次对话轮次通过 DAG 节点链接前序推理步骤，直接复用之前检索到的段落 ID，减少重复检索，提升长对话的响应速度与一致性，适合多轮商品对比或参数补充场景。
- SSM 生成器替代 Transformer 重编码：使用 Mamba-2 维护回合级隐状态，将推理时延降低近一半，适合对延迟敏感的在线服务；同时通过课程学习 + DPO 微调适配特定下游 Reader，可落地到需要结构化计划生成的 Agent 工作流中。
IMFuse：面向LLM增强序列推荐的实例感知多层融合
🧭 实例感知多层融合 · LLM增强序列推荐 ★ 深度解读
Zhejiang University · Zhengzhou University · University of Science and Technology of China
自适应聚合LLM多层语义表示，以全局维度偏好与实例感知调制解决最终层坍塌，提升推荐质量
📌 工作参考价值（4 点）
- 多层语义融合即插即用：现有LLM增强推荐只取最终层，容易丢失中间层互补信息。IMFuse 作为轻量插件（+0.03M参数），可在不改动下游模型的情况下，将多层的维度级全局偏好与物品实例调制接入现有 pipeline，直接提升 item embedding 质量，适合快速上线验证。
- 处理不同品类/属性物品的语义深度差异：通过 instance-aware 专家调制，动态为每个 item 分配不同的层融合权重。在电商推荐中，标品（如电子产品）与非标品（如服饰）可能需要不同粒度的语义，可借鉴该思路为不同品类或生命周期阶段（新品、成熟品）定制层选择策略。
- 初始化策略与训练技巧：采用深度偏置初始化（层深度越高初始权重越大）提供弱先验，可稳定训练并加速收敛。在实际业务中，可以先从最终层权重为主开始，再让模型自主学习调整层偏好，避免随机初始化带来的不稳定。
- 参数效率与推理开销可控：训练与推理耗时相比基础方法仅增加约3~4%，适合在线服务。若担心多层编码的计算压力，可预先计算并缓存各层 embedding，融合只在 forward 时做一次加权求和，成本极低。
InferScale：GPU 原生的 KV 注入式个性化 LLM 推理系统
🧭 LLM 推理优化 · KV 缓存复用 ★ 深度解读
Northeastern University
通过 GPU 驻留的记忆 KV 缓存与 Chunked RoPE，使 TTFT 几乎不随检索上下文增长，吞吐提升 3.7–4.5×
📌 工作参考价值（4 点）
- 对电商 / 搜索推荐场景中频繁复用的用户画像、历史行为摘要等静态上下文，可离线编码为 KV 缓存，在线直接注入，避免每次请求都重新预填充，大幅降低首 token 延迟。
- Chunked RoPE 方法允许记忆块以任意位置组装注入，支持动态检索拼装，适合排序或对话中按查询相关性动态选择用户记忆的场景。
- 上下文窗口编码可在离线阶段保留记忆块之间的局部依赖，还原近乎联合预填充的准确性，同时保持在线零额外开销；在推荐理由生成或对话式推荐中可提升事实一致性。
- 实现采用 vLLM 的 KV-connector 接口，无需修改推理引擎或模型微调，易于在现有 LLM 服务栈中集成，降低落地成本。
记忆应被重构而非回放：基于GRPO的LLM Agent经验动态适配框架
🧭 Agent记忆重构机制
Zhejiang University · Shanghai Artificial Intelligence Laboratory · Fudan University · Shanghai Innovation Institute · Shanghai Jiao Tong University
提出记忆重构范式，让LLM Agent基于当前状态改编检索经验，端到端GRPO训练，防止负迁移并提升OOD鲁棒性
📌 工作参考价值（4 点）
- 在电商对话推荐或搜索Agent中，检索到的历史经验（如成功对话策略、用户偏好）不应原样拼接，可设记忆重构模块，根据当前查询状态动态改写经验，避免性能负迁移。
- 使用GRPO等强化学习算法端到端训练记忆重构策略，使模型学会在适当的时候信任或调整记忆，提升在冷启动或新品类（OOD）场景的鲁棒性。
- 用户行为序列记忆库可与当前上下文结合，生成个性化引导向量，替代静态的偏好嵌入，增强推荐解释性和交互效果。
- 经验重构可作为辅助训练目标，与主任务联合优化，既显式抑制错误记忆干扰，又潜在提升模型内在推理能力，适用于离线策略学习场景。
决策感知的用户模拟器DASH：融合思维链与跨域历史的广告行为仿真
🧭 决策感知的用户模拟器 ★ 深度解读
Tencent Inc. · National University of Singapore
提出DASH，通过异构上下文折叠和思维轨迹联合建模，提升广告用户仿真的动作准确性及诊断价值
📌 工作参考价值（4 点）
- 异构行为压缩：针对不同动作类型（跳过/点击/转化/负反馈）采用差异化压缩策略，保留全量高信息交互字段，低信息交互仅留类目元数据。电商/广告场景可通过类似分层压缩处理超长用户历史，在有限context下保留关键信号。
- 思维链生成与评估：让模拟器输出“Focus-Draft-Verify-Finalize”结构化思考链，带来可诊断性。可将此范式用于Agent策略验证或推荐解释，通过rubric奖励模型对思考质量的三个维度（形式/内容/逻辑）进行细粒度打分，替代稀疏的动作奖励。
- SFT-RL训练框架：利用强模型蒸馏思维轨迹做SFT，再用分组优势策略优化（GRPO）结合混合奖励（动作正确+思考质量）微调小模型。这种teacher-student方案可在保证仿真精度的同时满足在线低延迟要求，适合业务部署。
- 提示闭环优化：通过模拟器错误案例自动分析并迭代优化prompt，使模型输出的动作分布更接近真实分布。该思路可直接用于Agent交互式任务的提示工程，减少人工调试成本。
LEDGERMIND：基于结构化证据账本的溯源约束多模态智能推理
🧭 溯源约束的多模态Agent推理框架
The Hong Kong University of Science and Technology (Guangzhou) · The University of Hong Kong · Tsinghua University · University of Sussex
将多模态Agent轨迹构建为溯源约束状态机，用结构化证据账本限制推理，提升准确性与轨迹忠实度
📌 工作参考价值（4 点）
- 在电商商品问答或推荐解释等场景中，可借鉴结构化证据账本约束Agent的推理链：要求每条中间论断必须引用来自工具调用（如商品数据库、图像识别）的确定证据，防止产生“幻象接地”式的错误推荐理由。
- 自适应双路分发器根据查询复杂度动态选择推理深度，可迁移至搜索/推荐系统中的多模态查询处理：简单意图走轻量路径，避免过度调用昂贵模型，兼顾效率与准确性。
- 事件触发验证与修复引擎可应用于实时纠错：当监测到推理过程中的证据不一致时，仅允许基于已有账本条目的修复操作，杜绝凭空捏造信息，保障推荐理由的事后可审计性。
- 三层接地协议（实体级、数值级等校验）可直接用于商品属性抽取与校验，确保生成的商品描述或推荐文案中实体名称、数值参数等与原始多模态信息严格一致，降低事实性错误。
两阶段验证增强生成式信息抽取：产品属性用例
🧭 生成式信息抽取 · 两阶段验证
Computer Science Institute, Ruhr West University of Applied Sciences
将小型PLM预测结果作为LLM的校验输入，提升低显著性实体的抽取效果，减少对大型模型的依赖
📌 工作参考价值（4 点）
- 在商品信息抽取（如电商详情、DPP数据）场景，可用小模型先抽属性，再让中等LLM校验修正，平衡效果与成本。
- 两阶段流水线可本地部署小LLM，避免调用外部API，保护数据隐私，适合商品描述等敏感文本。
- 对于低频、表述模糊的实体（如‘可回收包装’），PLM易漏召，LLM校验可显著提升召回，可针对性地用于这类属性。
- 中等模型（7B-13B）在校验任务上可逼近大模型性能，延迟和成本更低，推荐在搜索推荐系统的离线信息抽取模块中尝试。
面向大规模金融文档的层级重排序RAG系统
🧭 RAG 层级重排序与长上下文处理
Financial Security Institute · Hanyang University
通过预检索优化、两阶段层级重排序与自适应长上下文管理，显著提升金融RAG的检索精度与事实一致性
📌 工作参考价值（4 点）
- 预检索优化可复制：归一化、关键词扩展与表格转换等轻量级预处理，可直接用于电商搜索或推荐系统的查询理解模块，提升召回阶段的命中率，尤其适合含表格的产品描述。
- 两阶段重排序架构：先粗排后精排的思路在推荐系统中已成熟，本文的层级重排序强调利用不同粒度证据进行递进式匹配，可将类似思路用于多路召回后的融合排序，比如先用稀疏特征粗排，再用cross-encoder精排，降低精排计算压力。
- 长上下文的切片与融合机制：对于需要处理用户长期行为序列或长文档描述的推荐场景，自适应分区和证据融合方法可以避免上下文截断带来的信息丢失，保持长序列推理的连贯性，可迁移至用户长历史建模或多轮对话Agent的记忆管理。
- 事实一致性校验的启发：文中强调生成结果的事实一致性，电商生成式推荐（如AI文案、评论总结）同样面临幻觉问题，可借鉴其在RAG管道中加入事实核对步骤，对生成内容与检索证据进行交叉验证。