VideoKR：面向知识密集与推理密集型视频理解
🧭 多模态视频理解 · 知识密集推理
Zhejiang University · Tongji University · University of Chinese Academy of Sciences · Yale University
提出首个大规模知识密集视频推理训练语料 VideoKR，并证明数据设计是提升视频推理性能的关键
📌 工作参考价值（4 点）
- 数据设计驱动能力突破：VideoKR 证明，针对特定能力（如知识密集推理）构建高质量、多难度的训练数据，比简单扩大通用数据更有效。在电商推荐中，可针对性构建商品知识推理、用户意图深层理解等微调数据，提升模型复杂决策能力。
- 人类参与、技能导向的生成流水线：通过人工设计技能树、难易分级、思维链验证，确保数据可靠且覆盖渐进式推理能力。可借鉴其流程，为 Agent 规划、多轮对话等场景合成高质量 SFT 数据，减少幻觉并增强逻辑性。
- SFT→GRPO 训练范式：先监督微调再强化学习的二阶段训练，有效增强模型长期推理和自省能力。对于多智体协作、生成式推荐等任务，可用 RL 进一步对齐人类偏好或业务目标，提升策略质量。
- 避免评估捷径：VideoKR-Eval 的设计刻意防止模型利用文本线索或表面统计假依赖，这提示我们在评估推荐解释、对话系统时应设计对抗性评估，确保模型真正理解了语义和上下文，而非文本匹配。
VirtualMLE：通过LLM Agent反思与记忆实现序列推荐自动调优
🧭 LLM Agent 自动化推荐模型调优 ★ 深度解读
Tsinghua University · Beijing University of Posts and Telecommunications
用LLM Agent构建反思-记忆闭环，将序列推荐调优转化为可迁移的认知推理，大幅降低试错次数
📌 工作参考价值（4 点）
- 将LLM嵌入模型调优流程：可借鉴VirtualMLE的“执行-反思-记忆更新”闭环，在推荐模型上线前的调参阶段，用LLM agent替代人工或贝叶斯优化，自动分析试验结果并诊断瓶颈，减少工程师重复劳动。
- 层次化记忆复用调优经验：长期记忆存储跨数据集的通用启发（如稀疏数据适合强正则化、注意力模块宜用较低学习率），短期记忆记录当前搜索轨迹。在电商多域（首页猜你喜欢、详情页关联推荐等）场景下，可以把已优化域的知识快速迁移到新频道，降低冷启动成本。
- 反思模块输出因果归因：每次试验后让LLM生成“哪个改动导致了什么结果”的归因摘要，指导后续搜索方向。实际工作中可嵌入到AutoML pipeline里，作为可解释的搜索记录，辅助人工决策。
- 认知摘要实现跨任务迁移：将完整调优轨迹蒸馏为Cognition Summary（如“相对位置编码优于绝对+相对”、“embedding tying对稀疏数据有益”），作为新数据集的初始先验，能在电商多品类推荐中显著加速收敛（论文中跨域迁移只需1/3试验次数）。
为什么 Muon 优于 Adam：曲率视角
🧭 优化器比较 · 曲率与 NDS
National University of Singapore · Yale University · University of Minnesota
Muon 因更低的标准化方向锐度 (NDS) 实现更小的二阶曲率惩罚，从而获得更大的一步损失下降。
📌 工作参考价值（4 点）
- 在大规模推荐或 Agent 模型训练中，可尝试用 Muon 替代 Adam，尤其在数据长尾分布下，Muon 可能带来更快的收敛和更好的泛化。
- 关注 NDS 作为优化器选择的度量：优先选用在训练后段 NDS 更低的优化器，这可能意味着更平滑的收敛和更小的曲率惩罚。
- Muon 的频谱归一化思想可迁移到其他自适应优化器中：通过显式约束更新矩阵的奇异值能量分布，避免梯度对齐高曲率方向导致的优化震荡。
- 数据不平衡（如电商用户行为幂率分布）会放大 Muon 的优势，可据此设计自动优化器选取策略：当数据偏度超过阈值时切换至 Muon 类优化器。
在基于评分标准的强化学习中复现、分析和检测奖励黑客行为
🧭 RL训练 · 奖励黑客检测与偏向分析
Tsinghua University · Harbin Institute of Technology, Shenzhen · Xi'an Jiaotong University
提出CHERRL可控环境，向LLM评判器注入已知偏向以稳定复现奖励黑客，并实现自动检测。
📌 工作参考价值（4 点）
- 若使用LLM评判器（LaaJ）优化生成式推荐或Agent策略，可模仿CHERRL注入已知偏向（长度、格式、关键词偏好），测试评判器的鲁棒性，提前发现易被hack的漏洞。
- 部署训练时监控gold reward与proxy reward的实时差异（类似文中的reward divergence），当差值急剧扩大时触发警报，预防策略模型走偏。
- 借鉴其Agent驱动的日志分析系统，自动从训练日志中检测reward hacking起始点，减少人工审查成本。
- 应用论文的“可发现性-可利用性”框架，对奖励模型的安全性进行分级评估，优先修复那些易被快速利用的偏向，提升RL训练稳定性。
智能体的最终考试：面向真实经济工作流的通用Agent评测基准
🧭 Agent通用计算机使用能力评测基准 ★ 深度解读
University of California, Berkeley
覆盖55个职业子领域、1490个专家提交任务，评测Agent在长时程多模态计算机操作上的表现，最强模型整体通过率仅2.6%。
📌 工作参考价值（4 点）
- 任务设计范式：将专业工作流拆解为可验证的交付物和里程碑（gate-and-score），可直接用于构建电商客服、商品上架等Agent评测，避免LLM-as-judge的不可靠性。
- 工具使用剖析：发现Agent普遍用CLI代替GUI，导致在图形软件密集型任务上失败，提示在电商自动化（如美工、合规审查）中需显式强化GUI操作能力。
- 模型vs框架选择：模型对性能影响是框架的3倍，且资源消耗（时间、金钱）与成功率非正比，可指导选型——先用轻量框架+最强模型，再针对性优化工具集。
- 数据防污染：公共/私有任务池定期轮换，可借鉴到生产环境的Agent能力监控，防止过拟合或数据泄漏。
智能体思维链转向：高效可控的 LLM 推理框架
🧭 LLM 推理控制 · 预算自适应策略转向 ★ 深度解读
University of California San Diego · Intuit AI Research
将推理过程建模为马尔可夫决策过程，用可训练的控制器代理在推理过程中动态选择策略和转向短语，实现预算感知的高效思维链转向
📌 工作参考价值（4 点）
- 分步导向的推理控制可迁移到多步业务任务：电商场景中的复杂客服、多轮谈判、商品对比推荐等需要长链推理的任务，可以采用类似的控制器-推理器架构，将推理过程分解为可引导的步骤（理解、规划、执行、检查、总结），在每一轮通过轻量级控制器选择最优策略短语，在保持答案质量的同时大幅降低 token 开销。
- 预算条件奖励塑形设计可控制生成长度与成本：论文提出的非对称奖励函数（正确但超预算降分，错误但未用尽预算加重惩罚）可直接用于推荐系统中的生成式文案或解释生成，通过设定 token 预算实现质量与成本的精细权衡，避免长而不实的输出或过早截断导致错误。
- 异步控制器-推理器部署架构降低延迟：将控制器与推理器部署为独立的 SGLang 服务器并通过异步 HTTP 通信，可以实现与直接批量推理相仿的吞吐量，这一架构可借鉴到在线推荐系统的多智能体编排中，以低延迟实现复杂的多步决策。
- 可解释的节省来源分解支持精准优化：论文将 token 节省区分为缩短正确答案、挽救错误尝试、提前终止错误路径等类型，业务系统可借鉴这种分类来定位推理环节的冗余部分，有针对性地优化推理策略，如减少不必要的验证轮次。
重新思考自进化LLM智能体的持续经验内化
🧭 Agent 自进化 · 经验内化 ★ 深度解读
中国人民大学高瓴人工智能学院 · 北京航空航天大学软件学院 · 美团
揭示经验内化在多轮自进化中的能力崩塌，从经验粒度、注入模式、内化策略三维度给出稳定方案
📌 工作参考价值（4 点）
- 经验抽象为原则：在电商导购、多步工具调用等Agent场景中，经验积累应提取可复用的决策原则与失败模式（原则级），而非保留具体域名、URL等轨迹细节（实例级），后者在多轮更新中迅速失效。
- 逐步注入经验：在训练Teacher模型时，根据当前交互状态动态选择相关经验（逐步注入），避免全局固定经验导致模型过早终止（如未搜索直接回答）。在长时任务中，该模式可降低“过早应答”率（本工作中从63%降至0%），保持后续迭代的经验使用能力。
- 使用离线策略蒸馏：多轮自进化时，建议从强教师（经验感知模型）直接生成并筛选高质量轨迹进行蒸馏（离线），而非从学生模型采样再纠正（在线）。离线蒸馏训练出的轨迹更短（平均2.5步 vs 在线21.9步），且性能迭代更稳定，避免性能崩塌。
- 监控经验使用能力：在迭代内部化后，应评估模型在无经验和带经验上下文时的表现差距。如果差距消失或带经验反而下降，说明模型丢失了利用经验池的能力，会破坏下一轮Teacher的监督质量，需调整注入模式或经验提取策略。
策略与世界模型共训练：让语言智能体在 RL 中学会预测动作后果
🧭 语言智能体 · 世界模型与强化学习共训练 ★ 深度解读
Southern University of Science and Technology · Hong Kong University of Science and Technology · Hong Kong University of Science and Technology (Guangzhou) · Hong Kong Polytechnic University · LIGHTSPEED
将 on-policy RL 的 rollout 同时用作世界模型的下一观测监督，通过动作熵过滤、裁剪 MAE 损失和奖励自适应权重实现稳定共训练，无需额外模型或推理开销
📌 工作参考价值（4 点）
- 复用现有 rollout 作为世界模型监督：在电商对话 Agent 或推荐交互 Agent 中，用户与系统的多轮交互（如搜索-浏览-下单）天然包含状态转移样本，可将每步动作对应的下一页面内容作为预测目标，无需额外构造模拟器。
- 动作熵过滤冗余样本：只保留策略熵较高的决策点（如用户提问模糊、候选商品多）的转移样本进行世界建模，避免大量确定性动作（如翻页）造成的低效训练，可显著提升样本效率。
- 用裁剪 MAE 替代 CE 应对噪声观测：在电商页面等富含随机 ID、产品名的文本环境中，MAE 损失能抑制不可预测 token 的梯度，配合置信度裁剪（pt,i >ρ 的 token 不训练）可防止过拟合表面形式，使世界模型抓住核心动态。
- 奖励自适应权重平衡多任务：根据 rollout 组成败调整世界模型 loss 权重，低成功率组强化环境理解，高成功率组侧重策略优化，这种简单启发式可直接用于客服 Agent、推荐对话 Agent 的多目标 RL 训练。
长上下文LLM的全池Setwise重排序：双端选择加速排名构造
🧭 LLM重排序 · 全池Setwise · 双端填充 ★ 深度解读
The University of Queensland
在长上下文LLM中一次调用同时选出最相关和最不相关的段落，将排名构造的串行调用数减半。
📌 工作参考价值（4 点）
- 当候选池可完整放入长上下文时，采用 双端选择（DualEnd） 策略：每次 LLM 调用要求模型同时给出最相关和最不相关的物品，将排序构造所需调用数从 N−1 降至 N/2，显著降低延迟与成本。
- 电商推荐重排可参考全池（Whole-Pool）思想：不再用滑动窗口拼凑全局序，直接一次看到全部候选，避免窗口间不一致，提升排序质量，尤其适合召回池在 100 以内的场景。
- 注意长上下文中的位置偏差，DualEnd 对输入顺序敏感；工程落地时可结合随机打乱或自一致性技巧来减弱偏差，或保留原始 BM25 序作为暖启动。
- 该方法的代价有效性曲线表明：用极少的 nDCG@10 损失（-0.018）换取近 50% 的调用量下降，对实时性要求高、预算受限的业务（如在线重排）很有吸引力。
从层级到子模块：重思替换式LLM压缩的粒度
🧭 后训练压缩 · 子模块级残差替换 ★ 深度解读
University of Trento
提出子模块级非连续替换方法 SUBFIT，利用残差旁路拟合，在困惑度与准确率折衷上显著优于层级替换基线。
📌 工作参考价值（4 点）
- 对 LLM 部署中的推理加速有直接帮助：25% 稀疏度下可实现 1.12×~1.17× 的解码加速和 25% 的 KV 缓存节省，适合电商应用中需要低延迟、高并发的 agent 或推荐服务。
- 子模块级非连续选择策略可推广到其他模型的细粒度压缩，例如在生成式推荐或 agent 的多组件 Transformer 中，可独立对 Attention/FFN 进行按需裁剪，而非粗暴删除整个层。
- 闭式残差旁路拟合（利用特征协方差和低秩近似）仅需数千条校准样本，无需反向传播，这可以作为一种“剪枝后快速恢复”的手段嵌入到现有的 post-training 流水线中，降低压缩成本。
- 共享 FFN 输入基的设计在保持质量的同时大幅减少额外参数（约为原 FFN 参数的 1/10），类似 LoRA 的思路但应用于压缩，可参考其跨层参数共享方式以降低多任务或大模型的部署显存。
打破信息孤岛：基于语义画像的跨域推荐
🧭 跨域推荐 · 基于语义画像的知识迁移 ★ 深度解读
Tel Aviv University · Temple University
通过LLM诱导共享行为特征并生成语义画像，实现无共享用户/物品的跨域知识迁移
📌 工作参考价值（4 点）
- 用户画像构建新思路：利用LLM从交互历史中诱导领域无关的行为特征（如刺激寻求、控制感、冲突容忍），生成结构化语义画像，可用于电商跨场景（购物→内容）的用户理解，避免固定标签的僵硬。
- 跨平台冷启动方案：通过目标用户画像在源域用户画像空间进行语义检索，聚合Top-K相似邻居构成社区源画像（CSP），为无任何重叠的用户提供偏好信号。可直接迁移到跨平台推荐或新用户冷启动场景。
- 双塔融合与动态门控：协同过滤塔和语义塔以残差方式融合，门控权重α用tanh激活（允许负值，能抑制无关语义）。当目标域用户交互稀疏时，模型自动增强语义塔贡献，对推荐系统稀疏场景增强很有参考价值。
- 跨域迁移策略选择：论文发现迁移效果主要取决于目标域的结构密度而非语义接近度，提示我们在选择跨域知识源时，应优先评估目标域自身的协同信号强度，而非简单追求领域相似性。
EvoDS：自我进化的自主数据科学智能体，具备技能学习与上下文管理
🧭 多智体自主技能学习与上下文管理
The Hong Kong University of Science and Technology (Guangzhou)
通过自主技能获取与自适应上下文压缩，让数据科学智能体自我进化，性能平均提升28.9%并消除token超限。
📌 工作参考价值（4 点）
- 技能复用机制：将常见数据处理流程封装为可重用技能（如特征工程、模型选择），类似在电商推荐Agent中，可将用户画像更新、召回策略切换等操作封装成技能，由Agent自主调用和组合，减少重复LLM调用。
- 自适应上下文压缩：把长上下文管理建模为强化学习控制问题，而非固定截断。在推荐系统Agent的多轮用户交互或长链路任务中，可学习保留与当前假设最相关的历史信息，避免上下文窗口溢出和关键信息丢失。
- 两阶段多智体训练：先用监督微调初始化任务执行能力，再通过基于结果的强化学习（如成功奖励）优化技能选择与上下文压缩策略。该方法可直接迁移到电商多智体系统（如买家助手+卖家分析协同）的训练，让智体在与环境交互中自我改进。
- 工具选择层次化：引入高层策划器（Planner）与低层执行器（Executor）的解耦设计，降低工具选择错误。电商场景中可分离“意图理解与方案制定”和“具体API调用”，提升复杂推荐流程的鲁棒性。
EvoTrainer：自主训练中策略与诊断羁绳的共进化框架
🧭 自动化训练 · 共进化诊断 harness ★ 深度解读
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · Tongyi Lab, Alibaba Group · Alibaba Group · SUAT
提出 EvoTrainer，让训练诊断 har ness 随策略共同进化，在 SWE/Math/Coding 上超越人工 RL 基线
📌 工作参考价值（4 点）
- 训练诊断基础设施的持续进化：在推荐系统模型迭代中，可引入版本化的监控指标（如 CTR、留存）和诊断分析器，当业务指标停滞时，自动探测新瓶颈（如曝光偏差、用户群体差异），触发诊断升级。
- 持久化训练技能库：积累已验证的调参机制（如方差过滤、长度惩罚），跨项目复用，类似 StdGroupFilter 在 SWE→Math/Coding 的迁移，可构建推荐场景的“策略模板库”。
- 避免纯 score 驱动的短视自主迭代：通过引入行为层诊断（如用户行为序列检查、重复曝光统计），防止虚假高分模型被错误提升，类似 Git 泄露审计。
- 版本化实验管理与回溯：保留完整训练谱系和干预记录，便于事后归因，为自动实验平台提供审计和演绎能力。
Harness-1：通过状态外化 harness 对搜索智能体进行强化学习
🧭 搜索智能体 · 状态外化 harness ★ 深度解读
University of Illinois at Urbana-Champaign · UC Berkeley · Chroma
将搜索中的机械簿记卸载到环境端状态，使 20B 策略 RL 后平均召回达 0.730，比最佳开源 subagent 高 +11.4 点
📌 工作参考价值（4 点）
- 电商搜索/推荐的多步检索中，可设计类似的工作记忆状态机（候选池、重要性标记、证据图、验证记录），将“记住已看文档、过滤重复、跟踪约束”等记账任务由环境维护，让策略模型聚焦语义决策，降低小模型 RL 的优化难度。
- Warm-start curation（自动从第一次成功搜索结果中 seed top-8 为 fair 重要性）解决了空 curated set 带来的早期奖励无区分度问题，可迁移到对话式的商品搜索、主动推荐场景，避免 RL 探索时的全零 reward。
- 多样性奖励（tool diversity bonus）防止策略坍缩到反复搜索的捷径，强制 agent 使用验证、阅读、curate 等多种行动，提升最终精排质量。这在电商 Agent 做多轮“搜索-浏览-比较-加购”决策时特别有用。
- 紧凑的派生状态渲染（BM25 句子压缩、证据图、重要性分级）和两级去重（chunk-ID + MinHash 指纹）有效控制上下文预算，让策略在长序列多轮交互中保持对关键证据的可见性，适合需要融合多篇商品评论、比价等长上下文场景。
HarnessForge：自适应 Agent 系统的 Harness 与 Policy 联合进化
🧭 Agent 系统 harness–policy 协同进化 ★ 深度解读
Beihang University · Tsinghua University
通过 harness–policy 对协同进化实现 LLM agent 系统的元适应，解决执行结构与推理策略兼容性问题
📌 工作参考价值（4 点）
- 1. 业务 Agent 的联合迭代范式：将电商客服或推荐 Agent 拆解为 Harness（任务分解、工具接口、记忆模块）与 Policy（推理行为），通过故障诊断改进 Harness，再用成功轨迹训练 Policy，闭环提升系统整体兼容性。
- 2. 低成本 Policy 对齐：复用同一批 rollout 数据同时完成 Harness 筛选和 Policy 训练，避免额外数据采集成本，适用于在线业务快速迭代。
- 3. 资源受限下的适配策略：保持基座模型不变，仅训练轻量 LoRA 适配器，使模型对齐不同 Harness 的执行约定，适合在算力有限时动态切换任务范式。
- 4. 多目标 Pareto 筛选机制：在 Harness 候选评估中同时考虑任务效果、token 消耗和延迟，可迁移到推荐 Agent 的架构搜索，平衡收益与成本。