信任方向，搜索步长：LLM微调的零阶与一阶方法
🧭 LLM微调优化 · 零阶一阶混合步长选择
University of Central Florida · Mohammed VI Polytechnic University
提出ZFO框架，用一阶优化器定方向，沿一维子空间做零阶评估选步长，成本低于线搜索
📌 工作参考价值（4 点）
- 在微调用于排序、召回或Agent决策的LLM时，可尝试ZFO自适应步长替代固定学习率或余弦退火，减少手动调参，训练后期或小数据集上可能提升稳定性。
- ZFO仅额外增加两次前向传播（无额外反向），成本极低，可作为插件直接嵌入现有AdamW等训练流程，无需重写优化器。
- 方法解耦方向与步长：保持一阶方向不变，仅动态调整沿该方向的移动距离，能应对损失地形变化，降低训练崩溃风险。
- 实现时注意局部模型选择：论文表明不同目标偏好不同局部模型（如二次/三次），可对验证损失做快速搜索选择，无需复杂超参。
学习风格，遗忘语义：SFT与RFT分类任务案例研究
🧭 微调遗忘机制 · SFT vs RFT
University of California, Davis
理论证明SFT因风格漂移导致语义遗忘下界为正，而RFT保持零语义误差
📌 工作参考价值（4 点）
- 在业务中持续微调LLM（如搜索/推荐文案生成、query改写）时，若教师数据存在风格偏好，SFT可能把模型带偏到风格维度而遗忘底层语义能力；可监控风格漂移指标，或对提示分布做均衡化。
- 当任务需要保持跨风格一致性（如同一语义的多种表达），优先考虑RFT/策略梯度或加入风格不变正则，避免SFT因非均匀教师产生离轴漂移。
- 理论框架可指导混合训练：在已有较好拟合的checkpoint上继续SFT时，注意前几步更新的方向，防止在风格上过拟合；必要时用RFT微调或对SFT更新做投影约束。
- 该工作主要偏理论学术贡献，业务可借鉴点有限，核心价值在于提供理解SFT遗忘的新视角。
因果记忆策略：通过干预检索使记忆效用可识别
🧭 Agent 记忆管理 · 因果识别 ★ 深度解读
Illinois Institute of Technology
提出 CMP，用随机化检索暴露恢复记忆效用的可识别性，解决确定性检索下的 positivity violation
📌 工作参考价值（4 点）
- 在 RAG / 生成式推荐或用户画像记忆系统中，离线估计某个 item 或 memory 的增量价值时，必须警惕召回/检索阶段的 positivity 问题：未被召回的 item 其效用不可识别，导致基于效用的 eviction 或降权策略退化为随机。可借鉴 CMP：保留固定比例曝光槽位，对候选 item/memory 以已知 propensity 随机采样，强制产生 support。
- 采用平衡分配（balanced assignment）替代独立随机：固定每个 item 的曝光次数，propensity 精确已知，方差可解析计算；估计器用 self-normalized IPW（等价于 arm 均值差），便于工程实现。
- 对不可逆操作（如删除记忆、商品永久下架、从长期候选池剔除）采用单边弃权（one-sided abstention）：Bayes 最优规则要求只有当估计效用显著低于负阈值时才执行不可逆操作，避免误删高价值 item。
- 识别出 utility 不等于能做出 retention 决策：per-query utility 在特定 query 上 AUC 很高，但跨 query 聚合困难，无法用单个标量代表长期价值。这提示在推荐/搜索中，item 价值随上下文变化，需要 query-conditioned 模型而非全局打分，且保留/淘汰决策需考虑未来查询分布的不确定性。
用采样做微调：SFT 比你想的更强
🧭 LLM 后训练 · MCMC 数据分布塑造 ★ 深度解读
Harvard University
用投影采样把离策略专家轨迹逐步变为接近基座模型分布的数据，使 SFT 在科学、数学、医学任务上超越 RL 与自蒸馏
📌 工作参考价值（4 点）
- 在电商/导购 Agent 里做 LLM 后训练时，如果手里有 GPT-4/GPT-5 生成的专家轨迹（如 query 改写、商品文案、购物建议），不要直接 SFT。可以先跑一遍投影采样，把专家轨迹改写到基座模型自己的分布附近，再做 SFT，能明显减少通用能力遗忘。
- 对难以写出 reward 的开放任务（如导购对话、医学/法规咨询生成），可以先采样出 on-policy 版本的高质量轨迹，再 SFT；这比直接上 GRPO/RL 更稳，工程上只需要离线数据加工，不改变现有 SFT 训练管线。
- 采样成本是一次性的，适合电商场景里「预先生成训练数据 → 日常微调」：建议 B=32、N_MCMC=10 起步，后续用 MCMC 步数作为数据质量与 token 成本的旋钮；图 5 表明加采样步数能单调降低数据 KL、提高下游精度。
- 如果要继续上 RL，采样 SFT 的 checkpoint 是很好的 RL 初始化，数学任务里 Sampling SFT + RL 拿到了更强结果；在商品推荐 Agent 的 RL 训练前可用同方案做 warm-start。
用 LLM 验证推理检测模型规范中的不一致
🧭 LLM 规范审计与一致性验证
University of Virginia · University of Pennsylvania · The University of Texas at Austin
提出 VeriSpec，通过保留自然语言并用 LLM 作为验证器，直接审计模型规范文本以检测规则冲突
📌 工作参考价值（4 点）
- 电商/推荐系统中存在大量业务规则（合规、风控、用户体验、商业目标），这些规则可能在特定场景下冲突，可将规则文档视为规范，用 VeriSpec 的思路自动提取结构化规则并构造 topic-guided graph 聚类相关规则，再用 LLM 逐对/逐组验证冲突。
- 对于 Agent 或多智能体系统的策略规范，同样存在多策略冲突问题，可采用"保留自然语言 + LLM-as-verifier"的方式避免形式化损失，直接审计规范文本，提前发现策略缺陷，而不是等行为测试或线上事故。
- 在检索/推荐评估中，如果有多个评估标准或 rubric，也可以用该方法检测标准之间的不一致，提升评估体系的可靠性。
- 该方法成本较低（每个已验证不一致 $11.12），适合周期性对业务规则进行离线审计，作为规则上线前的检查步骤。
优化大规模推荐系统训练的有效训练时间
🧭 大规模推荐训练效率优化 ★ 深度解读
Meta Platforms, Inc.
定义ETT%并优化推荐训练生命周期开销，使6个模型平均ETT提升15.5个百分点
📌 工作参考价值（4 点）
- 建立两级 ETT% 看板：把 TTS / NoF / TTR 再拆到调度、trainer 初始化、PT2 编译、wasted training、shutdown，并映射到 owner，设置 service level 告警。电商/广告训练平台可直接照搬，避免只盯 MFU。
- 优先优化冷启动与恢复共享路径：用 synthetic fast-batch 解除数据管道预热与 PT2 编译的串行依赖，把初始化阶段并行化。因为恢复会重复冷启动，收益按 (1+NoF) 放大。
- PT2 编译治理很划算：对变化维度做 mark_dynamic，剪裁 Triton autotune 并固化为静态配置，稳定 symbolic hash，使用 Mega-Cache 复用编译产物；冷缓存编译从 2050s 降到 254s。
- checkpoint 和发布拆离 GPU 关键路径：异步 checkpoint + PyTorch native staging 可降低 save blocking 约 77%；把模型发布从 trainer 内改为 anchor checkpoint + standalone CPU job，每个 job 可释放约 30 分钟 GPU 占用。
在多模态MoE中利用领域专家实现高效适配
🧭 MoE领域专家选择与高效适配
California Institute of Technology
发现多模态MoE专家自发语义专精，ExpertLens解码路由权重定位专家并选择性微调，仅更新21.7-47%参数达4倍加速
📌 工作参考价值（3 点）
- 对已有的多模态 MoE backbone（商品图/文、视频、广告创意理解等），可直接复用 ExpertLens 思路：无需新增标注数据，从 router 权重解码出与目标域相关的专家，再做选择性微调；比全参微调便宜、比 LoRA 更稳，适合电商域迁移（如从通用视觉语言模型适配到美妆/3C 商品理解）。
- 在需要频繁接入新业务/新类目的推荐与广告系统中，可把“专家定位—选择性更新”作为增量适配流程：只更新约 1/4~1/2 参数，训练加速约 4 倍，节省 GPU 成本，同时保持旧任务能力。
- 当标签稀缺或受隐私限制时，这种 data-free 的专家识别可先于标注构建领域路由，后续再小样本微调；对搜索词改写、商品属性抽取、多模态 embeddings 等任务具有工程可行性。
重建、练习、真机部署：具身智能体的引导式自我改进
🧭 具身智能体自我改进
UC Berkeley · Amazon FAR · MIT · University of Chicago
RPG 不更新模型权重，在仿真中重构练习任务并自我改进技能与提示，22 项操作成功率从 28.6% 提升至 95.0%
📌 工作参考价值（4 点）
- 借鉴“不更新权重、用可复用符号技能库 + 系统提示修订”的固化系统做法：在电商 Agent 中把高频操作抽象成工具/skill，LLM 只负责调度和组合，降低每次推理成本与非确定性。
- 用“执行反馈 + 离线日志重构练习任务”做自举：从历史成功/失败会话中自动生成回归任务和仿真环境，每次修改 prompt 或 skill 前先在跨任务集上评估，避免局部过拟合。
- 借鉴“候选变更先单测、再合并回归”的变更管理：对 prompt 模板、工具定义、规则库做 A/B 和 cross-task evaluation，只保留被验证有效的修订，形成 Agent 系统的 CI/CD。
- 具身/机器人特有的 privileged simulator state 与 sim-to-real calibration 在电商场景不可直接复用；主要价值在于自我改进流程、技能复用与跨任务验证机制。
组合偏好与规则奖励的文本到图像后训练方法
🧭 T2I 后训练奖励组合
Arena Intelligence Inc · UCLA
提出组合偏好奖励与规则奖励的 T2I 后训练策略，Flux2dev Elo 提升 69 分，Ideogram-4 达 1223.5 超开源模型
📌 工作参考价值（4 点）
- 奖励组合策略可迁移到推荐/Agent 的 RL 后训练：避免多目标简单加权平均，借鉴其组合策略（如分阶段、约束优化或优先级调度），平衡用户偏好（点击、停留）与业务规则（合规、真实性），降低单一指标被 hack 的风险。
- 偏好 + 规则双奖励结构：在生成式推荐、query 改写或 Agent 输出中，可训练偏好奖励模型（基于大规模用户反馈）配合 rubric 奖励（显式检查忠实度、格式、安全），后者作为防 reward hacking 护栏。
- 小规模高质量奖励数据即可验证 RL 流程：论文公开的 1K 子集能恢复部分全量训练收益，说明业务上可以先构建小规模标注奖励集跑通后训练、快速迭代，再扩展数据和模型规模。
- 用 Elo / 在线评测追踪生成质量：参考 Arena 的 pairwise 偏好评估，在内部对 search suggestion、文案生成等场景建立 Elo 榜单，持续监控后训练收益与退化。
ActiveSaddler：Agent 外壳优化的自动课程学习
🧭 Agent harness 自动课程学习 ★ 深度解读
POSTECH · KAIST · Microsoft
将 Agent harness 优化的训练场景选择建模为非平稳 bandit，动态构造 failure-pattern arm 并自适应调度，在 GAIA2/Terminal-Bench 2.0 分别提升 4.4/7.5 个百分点
📌 工作参考价值（4 点）
- 把训练样本选择纳入 LLM Agent 自动优化：在自动调 prompt / tool / control logic 时，不要只按固定类目或场景顺序滚动训练集；先对失败执行轨迹做诊断，按同一底层缺陷聚成 failure-pattern arm，再作为后续优化目标。类目粒度太粗会掩盖未解决弱点，单场景粒度太细会分散同类失败，论文中两类替代 arm 导致 GAIA2 下降 3.0/3.6pp，TB2 下降 10.8/6.7pp。
- 用 LLM 对失败模式打学习潜力分并随机采样，不贪心：打分参考 severity / fixability / breadth / side-effect risk 四维，再做 softmax 采样（温度 0.15）。分数随 harness 和证据更新而重算，让优化预算持续重分配到仍可修复的高价值弱点；移除自适应打分导致 4.5/7.5pp 下降。
- 显式设置 exploration / exploitation 控制器：每轮先做二值决策 DRAW（探索未见样本）vs PULL（复用已知 arm），依据当前已知 arm 剩余价值；固定每 5 轮探索的变体下降 4.5/8.3pp。在搜索/推荐 Agent 优化中，当已知失败模式已被基本修复时再切换新 task 采样。
- 用 pattern registry + CLI 管理动态 arm，而不是把历史全塞进 prompt：提供 scoped view 和读写命令，工程上可复用到长周期迭代的 agent 优化系统。
AgSpec：在编码代理流水线中突破检索型投机解码极限
🧭 编码多智能体流水线的检索式投机解码加速
KAIST
AgSpec通过三层语料检索与按Agent自适应草稿长度，将编码Agent流水线生成吞吐提升至自回归解码的4.37–4.76倍
📌 工作参考价值（4 点）
- 将多轮Agent交互历史、工作区文件、全局模板分层构建检索库，能提高生成式任务（如商品标题/详情、客服回复）中投机解码的draft命中率；索引时把原文转换为最终输出格式，避免格式不匹配导致验证拒绝。
- 不同Agent或生成任务的接受长度差异大：离线profile每个Agent/Task的draft长度上限，线上根据acceptance/verification feedback动态调长或调短，可避免固定草稿长度带来的overhead。
- 投机解码在batch=1和batch=16下都有显著吞吐提升，适合电商Agent低延迟交互和高并发批式生成两类场景；可在内部LLM推理框架中加入检索草稿模块，优先尝试session级检索再混合全局。
- 该方案不依赖额外训练，通过工程化语料与策略即可提升，适合现有Agent流水线快速集成，尤其是多轮、多智能体调用LLM的自动生成系统。
Argo-Bench：评估企业级工作流中的数据智能体
🧭 数据智能体评估 · 企业级数据工作流
TextQL
构建企业级数据智能体评估基准，模拟纽约外卖平台，要求跨235表分析并采取行动，最强模型均分仅59.5
📌 工作参考价值（4 点）
- 评估 Agent 时不要只看 SQL 正确率，可以引入“动作后果评分”：在电商/推荐场景中构造仿真环境（如用户响应模型、市场模拟器）对调价、选品、发券等决策进行闭环评估
- 复杂 schema 导航是实际瓶颈：可构建内部数据仓库查询基准，覆盖多表 join 和业务语义，并用可执行参考解保证可解性，避免错误答案误导模型评估
- 最强模型在长链路、多表、需行动的任务上平均分仍低，说明工程上需要为 Agent 增加 schema 检索、知识图谱、规划模块或领域微调，而非仅依赖 prompt
- 参考解设计可迁移：为每个任务提供端到端可执行方案，便于诊断 Agent 失败在导航、SQL、分析还是行动阶段，支撑针对性优化
AutoGUIWorld：图像生成器作为GUI智能体的视觉世界模型
🧭 GUI Agent 数据合成与训练
Hunyuan AI Data Team
利用图像生成器与规划器合成无环境依赖的GUI交互轨迹，提升GUI智能体真实任务性能
📌 工作参考价值（4 点）
- 在电商/推荐场景中，可借鉴“无环境数据合成”思路：用图像生成器模拟商品详情页、购物车、下单等界面状态变化，低成本生成多步交互轨迹，用于训练购物助手或导购Agent，避免依赖真实App部署。
- 规划器+图像生成器迭代编辑的方法可生成多样化的用户旅程模拟数据，覆盖冷启动场景或长尾界面状态，增强Agent对异常布局、少见控件的泛化能力。
- 动作接地（action grounding）和过渡级质量过滤是关键步骤：在合成数据中显式校验动作坐标与视觉变化的对应关系，保证轨迹可用性，类似推荐系统中对合成样本做标注质量校验。
- 微调大模型（如Qwen3.5-35B-A3B）在真实基准上的显著提升（OSWorld +7.8pt, ScienceBoard +18.2pt）表明合成轨迹对Agent有效，电商领域可尝试用类似方法微调多模态模型处理商品页面操作任务。
残差轨迹蒸馏用于生成式检索
🧭 生成式检索 · Semantic ID · 残差蒸馏 ★ 深度解读
Beihang University · Meituan
把冻结RQ索引器的残差码本偏好蒸馏进SID解码状态，保留检索索引与推理不变
📌 工作参考价值（4 点）
- 如果已经在用 RQ Semantic ID 做生成式召回/推荐，可以把冻结的 RQ indexer 当成现成 teacher：沿存储 SID 重建残差，用残差到码本的距离构造 soft target，KL 对齐 SID 解码状态；训练只加几个投影头，推理时全部移除，beam search 和索引完全不变。
- 多 horizon future 监督值得复用：让早期解码状态同时预测后续几层码本偏好，类似 multi-token prediction，但目标是码本分布而非 hard token；这能提前注入后续结构，缓解 beam search 早期剪掉正确 item 的情况，电商商品检索里尤其适合互补/长尾商品。
- 必须做 collision-aware 修正：线上 SID 通常经过去重/冲突解决，直接拿原始 RQ 残差会与最终索引不一致。实现时沿最终存储 SID 重建残差路径，并对 soft target 做最小 margin 插值，保证存储 code 仍是最高概率；这是工程能否落地的关键细节。
- 控制实验显示 shuffled teacher、非目标对应或全局 codebook-only 都会掉点，说明 teacher 必须保留 item 级对应关系，不能只做通用码本统计蒸馏；在生成式推荐里 TIGER 类骨干同样可接入，B-Shop/Yelp 上提升更明显。
层次连续扩散语言模型
🧭 连续扩散语言模型 · 离散连续耦合去噪
University of Illinois Urbana-Champaign · Amazon.com, Inc.
HC-DLM 将离散 token 生成与连续潜变量去噪耦合，在 Sudoku/Countdown/LM1B 上超过匹配规模扩散基线
📌 工作参考价值（4 点）
- 面向需要全局约束或双向推理的文本生成任务（如广告文案、商品标题、搜索 query 改写、推荐理由），可考虑扩散式生成替代自回归，便于多步修改并满足关键词、违禁词、风格等多约束。
- 可借鉴 HC-DLM 的“离散 token 读出并反馈为脚手架”机制：在生成式推荐中使用连续向量表示全局用户意图/会话状态，每步读出候选 item 或 Semantic ID 后反馈调整潜变量，保持序列内依赖，避免并行解码时 token 独立采样的问题。
- 训练目标基于 token 似然的变分下界，把离散生成目标与连续去噪过程对齐，比将连续上下文简单附加到离散链更稳定；实现时可在每步去噪后做 token readout 作为下一步条件，降低训练与推理不一致。
- 注意扩散模型多步去噪带来的推理延迟，适合离线批量生成或对延迟不敏感的约束复杂规划场景（如选品组合、活动文案库生成），不适合超低延迟在线实时推荐。