TreeWY：Gated DeltaNet 混合模型的树结构投机验证
🧭 LLM 推理 · 投机解码状态压缩 ★ 深度解读
Thomson Reuters
用树结构 WY 变换消除 GDN 投机验证的逐节点状态快照，单次三角求解验证整棵草案树并只重建接受态
📌 工作参考价值（3 点）
- 如果在线上部署 Qwen3.5 这类 GDN+softmax hybrid 模型做推荐理由、广告文案、Agent 回复生成，开启 speculative decoding 前先检查 vLLM/SGLang 的 GDN 状态管理策略：默认 store-all 会在每个 draft 位置存完整 recurrent state，高并发下状态池/KV 池先爆；TreeWY / ReplaySSM 这类只存伪值或延迟物化状态的方法能把每请求状态块从 N+1 降到 1，直接抬高 admission batch。
- 工程选择上，chain 草案可以融合成 CUDA graph kernel，保持低 per-step overhead；树形草案目前会破坏 graph capture，导致 piecewise 执行，虽然接受长度提升但吞吐不一定划算。业务上先用 chain+MTP 拿稳健收益，树宽等框架融合优化后再上。
- 对 Agent 系统长会话/多请求并发，p99 TTFT 是用户感知关键指标。TreeWY 在 memory-bound 场景把 p99 TTFT 最高降约 40×（35B, 128 concurrency, gmu 0.6），因为不排队；若高峰期 KV 池饱和度常超过 80%，这类状态压缩比 draft 算法本身更影响尾延迟。
突发人类动态下的事件时间混杂
🧭 因果推断 · 事件研究偏差诊断
Scrunch AI
揭示行为日志中用户自选事件时间导致的片段选择偏差，并提供诊断协议与审计工具
📌 工作参考价值（4 点）
- 评估 AI 助手、推荐点击或广告曝光后的增量效果时，不要仅对比事件前后活动量，因事件常发生在用户已有任务片段中；应引入 known-null 对照（如随机时间戳或非事件时间点）并匹配事件前的活动轨迹，避免将任务延续误判为干预效应。
- 在 A/B 测试或因果归因分析前，可集成论文中的诊断协议或使用 burstcheck 工具审计日志：检查事件前活动是否已开始上升、事件后活动是否只是片段自然衰减；这能有效识别并过滤存在 episode-selection bias 的数据。
- 用户固定效应和粗粒度活动匹配（如按日活分层）无法消除这种时变混杂，建议在工程中改用 episode 级别匹配：找到具有相似爆发模式但无目标事件的用户片段作为对照，或在同一用户内匹配有事件与无事件的活动片段。
- 该结论对搜索、推荐、广告的归因分析同样适用：例如用户点击推荐后转化提升，可能只是用户购买旅程中的自然波动；需要与未点击的类似片段比较，而不是简单依赖点击后窗口内的指标。
推荐质量与消费集中度：来自Netflix的实验证据
🧭 推荐质量与消费集中度实验 ★ 深度解读
Netflix · Northwestern Kellogg · Cornell University · Cornell Tech
Netflix 850万用户holdback实验发现推荐算法进步使消费从超级头部转向中腰部，总参与度提升
📌 工作参考价值（4 点）
- 用长周期 cumulative holdback 而非单个 A/B 来度量推荐系统累计改进的分布效应；电商/广告可周期性冻结旧模型，监控商品曝光与成交的 HHI 及分桶（头部/中腰部/长尾）变化，防止只盯总 GMV 而忽视供给结构。
- 在排序、召回中，popularity bias 会默认推荐头部；更强的偏好推断（例如更深的模型、联合建模）会自然把流量从中腰部释放。可显式评估不同流量分位上的边际收益，优先投资中腰部商品，而不是无条件做长尾多样性。
- 评估推荐质量时同时看“推荐来源占比、MRR、完播/正向反馈”等指标；区分 inframarginal switching 与 extensive-margin entry 对平均匹配质量的影响，避免把平均质量下降误判为推荐变差。
- 工程上若使用 HHI 做系统健康度监控，注意 1-2% 的播放 HHI 下降可能对应显著 engagement 提升；可作为长期收益指标，但需结合用户侧价值验证。
一个层级，两个系统：语义商品ID用于发现面排序与搜索页查询改写
🧭 语义ID 跨推荐搜索共享层级 ★ 深度解读
DoorDash Inc.
一次性构建的分层语义商品ID同时支撑个性化排序与查询改写，排序聚合前缀特征、改写基于商品概念转移
📌 工作参考价值（4 点）
- 用 RQ-KMeans 从商品文本 embedding 构建三层语义 ID（L=3, K=512）作为跨商家商品概念层级；排序中按 L1/L2/L3 前缀聚合消费者、区域、全局行为统计得到多粒度 dense 特征，再用 SentencePiece BPE 对 (position, code) 符号串学出子词，构建 item/user 序列 embedding，比直接用前缀更互补。
- 查询改写不要直接 LLM 生成：先把 query 通过关联加购商品映射到 L2/L1 语义前缀，在概念空间用 NPMI 构建转移图；需要细化时从 L2 下降到 L3 子节点，用 query-specific 加购证据排序；LLM 仅负责最后将概念渲染成用户可见 query，保证可控性和可解释性。
- 服务时必须恢复上下文：用 merchant 当前可用商品过滤概念候选，避免推荐无货意图；排序保留 listing ID 和 taxonomy，SID 只作为补充，防止量化边界问题。
- 共享表示不共享模型：推荐和搜索各自独立使用同一语义层级，无需联合训练；排序在多个前缀深度同时消费，查询改写则 L2 横向导航、L3 纵向精化，适合低成本迁移到现有系统。
阅读宜结构化，写作宜散文：多智能体文档创作中的非对称结构条件化
🧭 多智能体文档生成与结构条件化
ML Research Labs, Canberra, Australia
部署招标应答系统发现：结构化标记利于读取抽取，但嵌套 XML 条件化生成质量从 74% 降至 48%
📌 工作参考价值（4 点）
- 生成式推荐/Agent 中，用于抽取解析的 JSON Schema/XML 不应直接作为生成约束条件；在 prompt 里用自然语言描述输出要求，比嵌套结构化标签更稳定。尤其做对话式推荐或商品描述生成时，模板别过度结构化。
- 负面约束（“不要生成 XX 结构/词”）只命名禁止形式易让模型集中生成该形式；建议配套正面示例、自检清单或后校验器，而不是仅列禁止项。
- 评估生成质量时，若对照的 ground truth 包含模型输入源没有的知识，应拆分“信息可得性”和“模型能力”两类指标，否则会低估系统；在电商文案/搜索改写评估中同样要区分。
- 抽取和生成两阶段应使用不同表示：读取端用结构化解析提升召回，写入端回归自然语言指令和自检，这是可复用的架构选择。
在序列推荐中适配知识图谱进行行为去噪
🧭 知识图谱校准的行为去噪 · 序列推荐 ★ 深度解读
Northeastern University, Shenyang, China
用结构化匹配的 KG 证据离线校准样本保留系数，对历史与目标加权去噪，不改动推理模型
📌 工作参考价值（4 点）
- 电商/推荐系统常有商品知识图谱，但直接引入 GNN 会增加推理成本；AdaptedKG 的范式是离线用 KG 为每个训练样本算好保留系数，训练时只做加权，backbone 和推理流程完全不变，非常适合作为现有序列模型或去噪模型的插件。
- 结构匹配采样的去偏思路可以直接复用：对交互项按 popularity、KG degree、linkage status 分层匹配构造背景和参考集，再比较路径覆盖度/支持度，避免高流行度或高连接度 item 天然获得高置信度。
- 目标 loss 重加权公式 r_T = min(1, 2Q(...)) 简单实用：当候选 item 的 KG 支持度低于匹配参考中位数时降低其训练权重，可在电商 CTR/CVR 训练中抑制不可靠点击或误触样本。
- 方法对 SASRec、STEAM、BirDRec、SSDRec 四个 backbone 均有提升，说明这种外部 KG 校准信号与日志内部去噪机制互补，可以作为统一的上游样本置信度模块接入不同推荐模型。
重新思考 Test-Time Training 中的表达力与效率
🧭 高效长上下文 Test-Time Training
Karlsruhe Institute of Technology (KIT) · National University of Singapore · Fraunhofer IOSB · Lamarr Institute for Machine Learning and Artificial Intelligence · University of Bonn
提出 E²-TTT，通过闭式状态转移并行化分块 TTT 训练，在保持每 token 更新时序结构的同时匹配分块方法吞吐
📌 工作参考价值（3 点）
- 长序列用户行为建模：电商推荐中的用户长期历史、会话依赖往往超过常见上下文长度，E²-TTT 可作为替代或混合 attention 的序列建模模块，尤其在需要长度外推时，其 8× 训练长度外推能力可减少重新训练成本。
- Agent 长任务记忆：多步 Agent 需要持续从长 horizon 任务中学习，TTT 的权重更新机制比 KV cache 更紧凑，E²-TTT 的并行分块训练使在线学习用户偏好或任务适应在工程上更可行。
- 工程实现参考：论文中的闭式状态转移 + 分块并行训练思路，可迁移到任何需要高效时序递归更新的模块，避免简单 chunk-wise 近似丢弃中间状态，同时保持吞吐。
自精炼流水线中的非对称容量分配
🧭 LLM 自精炼流水线非对称容量分配
University of California, Irvine · Drexel University
首次按阶段研究自精炼流水线模型规模：生成与精炼需大模型，评论器小模型即可
📌 工作参考价值（4 点）
- 多阶段生成/改写流水线不要均匀分配模型规模：生成器和精炼器用大模型，评论器可大幅缩小；评论器只做判别，容量不敏感，能省大量 KV cache 和算力。
- 部署自反思/reflection agent 时，用小模型作 critic 过滤中间结果、大模型做 revision，可保持质量同时显著降低耗时与成本；避免 critic 也上大模型。
- 注意 refiner 不要过度缩小：过小的 refiner 可能把已经不错的生成改坏，形成负增益；推荐理由、商品文案生成等场景应为 revision 保留充分容量。
- 若业务使用生成-评论-改写 pipeline 做 query 推荐或 push 文案，可按此分配预算：先固定大 generator，选择尽量小的 critic，再粗测 refiner 的敏感区间。
AgentMercury：从业务场景大规模合成可验证可执行环境
🧭 业务场景可执行环境合成 · 策略强化学习 ★ 深度解读
Meridian Intelligence Global Inc. · University of Massachusetts Amherst
提出从高层业务场景自动合成可执行世界，作为策略强化学习训练基底，并证明环境构建本身可学习
📌 工作参考价值（4 点）
- 场景驱动仿真生成：在电商/广告 Agent 业务中，不要围绕特定任务或评测集手工搭建环境，而是从业务流程（订单、库存、营销、客服、履约）生成多服务、有状态、带跨服务约束的可执行环境，让任务自然涌现。这样一套环境可支撑多个任务和多种策略训练，复用性远高于 task-centric 仿真。
- 将业务不变量与状态转移解耦：把跨服务约束（如支付成功后必须生成发货单、推荐展示后必须同步库存）做成 episode 结束时的 SQL/确定性 verifier，而不是在模拟器中自动满足。训练 agent 主动发现并满足这些约束，能提升策略在真实业务流程中的可靠性和一致性。
- 用合成业务环境做 RL 预训练/继续训练：AgentMercury 的实验显示，在多样化的业务工具环境上做 GRPO/SAO 训练，即使不针对下游评测集，也能提升 tool-use、推理、代码等能力，并显著降低工具调用轨迹的方差。电商 Agent 团队可以批量生成带真实工具调用、状态追踪、多步交互的环境，作为通用能力底座。
- 把环境构建本身做成可学习任务：收集从业务 brief 到可执行世界的构建 trace（中间 schema、服务图、validator 修复），对模型做 SFT，让模型从需求描述直接生成可执行仿真。这能大幅加速新业务场景的环境覆盖，并让非技术业务方参与环境定义。
AI4AI-Bench：评估LLM智能体设计训练算法实现递归自我改进
🧭 LLM Agent 训练算法设计基准
Navers Lab · Einsia.AI · Tsinghua University
构建10任务基准，评估LLM智能体重写训练算法实现递归自我改进的能力，最强仅得0.250分
📌 工作参考价值（4 点）
- 构建内部Agent能力基准时，可采用「冻结代码仓库+固定隐藏评估器+统一归一化分数」的范式：对不同任务的不可比指标映射到同一量纲，0为无信息模型，0.1为基线仓库算法，1为任务最优，便于横向对比各种Agent配置。
- 结论提示：多数LLM Agent在优化任务中只做数据收集或超参数调优，很少真正改变模型学习规则。在电商推荐/广告场景中，若用Agent自动优化训练pipeline，需显式检测其是否只调参而不改update rule，否则提升有限。
- 推理努力（reasoning effort）主要提高Agent「敢于修改核心训练算法」的概率（8%→64%），但对最终得分提升有限。业务上若让Agent做模型优化，增加思考预算可能带来更多探索行为，但需要配合约束和评估器防止无效改动。
- 工程实现上，对Agent提交的代码在隔离环境下从零重跑并限制计算预算（4h重写/12h重训），可防止作弊并确保公平，适合作为自动化优化任务的评估标准。
ArmorOCR：基于观察迁移自蒸馏的对抗视觉文本感知
🧭 多模态对抗 OCR 鲁棒训练
Ant Group · Shanghai Jiao Tong University · East China Normal University
提出首个对抗性 OCR 基准 AdvSpot，并以观察迁移自蒸馏与 GRPO 提升 LMM 对抗文本定位识别鲁棒性
📌 工作参考价值（4 点）
- 电商图像中常见变形、遮挡、水印等对抗性文字，可借鉴 AdvSpot 的 13 类模式与区域级标注构造内部鲁棒 OCR 测试集，评估商品标题、标签、资质文本识别。
- OPSD 用 privileged transformed observations 做自蒸馏：先让模型在易读观察上生成定位/识别伪标签，再迁移到对抗观察，可迁移到用户上传图、广告素材等难例训练。
- GRPO 奖励拆分为 localization、recognition、full spotting、VQA 四类并动态加权，可作为多任务强化微调的 reward 设计模板，适用于需要同时优化定位与理解的多模态 Agent 任务。
- 保持通用 OCR 能力不掉的训练策略（两阶段、混合数据）可借鉴到已有 LMM 的鲁棒性增强，避免只提升对抗场景而伤害线上自然文本识别。
拆分并传递：LLM Agent 的跨任务技能迁移
🧭 Agent 技能归纳与跨任务迁移 ★ 深度解读
Stony Brook University
系统比较技能归纳层级与格式，发现子任务级文本技能迁移最可靠，并给出无需执行的技能效用评分
📌 工作参考价值（4 点）
- 在构建 Agent 技能库/长期记忆时，优先按子任务粒度归纳技能，而不是整个任务轨迹。任务级技能容易过拟合源任务，插入后续任务上下文反而会拉低基线；子任务级技能在多个 benchmark 上稳定带来提升。
- 技能表示优先用文本工作流笔记而非代码函数。文本技能跨域迁移更稳，代码技能存在加载失败、参数化不干净、上下文干扰等问题；如必须用代码，要严格控制可加载性和参数抽象。
- 可以用论文中的轻量诊断 score 在任务执行前评估技能库质量：对每条技能计算 specificity×abstractness，筛掉低分技能或调整归纳方式。该分数只依赖技能描述和任务描述，无需实际跑任务，适合上线前的技能库治理。
- 在电商/Agent 场景可复用思路：把用户操作流程（登录、查购物车、下单、移愿望单等）拆成可共享子技能，并在 Agent memory 中按子任务检索；避免把整条用户 session 总结成一条“大技能”塞进 prompt。
离散扩散推理时控制的嵌套序贯蒙特卡洛方法
🧭 离散扩散文本生成推理时控制
University of Amsterdam
提出 NSMC 与 FA-NSMC 用于离散扩散文本生成推理时奖励引导，修正偏差并优于 best-of-n 与 bootstrap SMC
📌 工作参考价值（4 点）
- 若在电商/广告文案、搜索词生成中采用离散扩散语言模型（DDLM），可替换 best-of-n 为 NSMC：best-of-n 易高估 reward，bootstrap SMC 有权重退化，NSMC 能更稳定地按序列级 reward（如点击率、合规性、品牌语调）做推理时引导，无需额外训练。
- FA-NSMC 通过 fully adapted proposal 融入 reward 信息，能提高采样效率；在生成式推荐场景中，若 reward 模型计算昂贵（如 LLM judge 打分），可优先考虑 FA-NSMC 减少粒子数。
- 论文修正了 Feynman-Kac 控制中嵌套 SMC 的 bias 问题：实际工程中若自己实现 SMC 控制，需注意 final estimate 的无偏/有偏处理，避免离线评估指标系统性偏乐观。
- 该方法适用于任意序列级可微/不可微 reward，可作为生成式排序、push 文案、query 推荐的在线后处理层，但需权衡每 token 的 SMC 递归开销。
CLEAR：连续潜在适配器路由实现效用保留的 LLM 安全对齐
🧭 LLM 安全对齐 · 条件 LoRA 路由
Siebel School of Computing and Data Science, University of Illinois at Urbana-Champaign · Computer Science, Stanford University
用轻量隐状态门控连续控制安全 LoRA 激活，在降低有害输出的同时保留基座效用
📌 工作参考价值（4 点）
- 将安全/合规策略做成可插拔的 LoRA+门控旁路，而不是全局 SFT：线上推荐文案、Agent 回复生成时，冻结基座保留推荐/推理能力，仅对命中风险 prompt 激活安全 adapter，避免整体性能回退。
- 连续门控比离散 router 更灵活：输出 α∈[0,1] 控制 LoRA 强度，可在线上按场景调整阈值，实现“轻度改写/强干预”的分级风控，适合电商内容审核和广告合规。
- 训练时只用 hidden state 作为 gate 输入，仅训练 gate 和安全 LoRA，成本低、可回滚；可迁移到多策略组合：为不同地域/品牌安全规范各训练一个小 adapter，由 gate 混合或路由。
- 评估安全对齐时不能只看 ASR，要同时看推理/推荐指标（类似 GSM8K）；条件化训练明显优于全局 SFT/LoRA，可作为安全与效用 trade-off 的强 baseline。
从计算机使用轨迹中归纳任务模型
🧭 Agent 技能归纳与任务建模
Stanford University · Carnegie Mellon University
提出 TMI，自动从交错的低层级操作轨迹中分离潜在任务并构建分层目标与控制流模型，显著提升智能体技能迁移
📌 工作参考价值（4 点）
- 在电商客服/运营自动化等 computer-use agent 场景中，可借鉴 TMI 从员工真实操作日志（点击、输入、页面跳转）自动归纳标准作业流程（SOP）及其子目标层次，即使用户同时处理多个任务也能分离，用于构建可复用的 agent 技能库。
- 技能迁移路径值得复用：先归纳出结构化任务模型（目标分解+控制流），再将其转化为 agent 可调用的技能或 few-shot 示例；论文显示该方式在 held-out 任务上相对最强基线提升 30.0%，说明结构先验对泛化有帮助。
- 任务模型同时包含目标层次和执行流程，比端到端 policy 更可审计、可解释，适合风控/合规要求高的电商自动化流程（如营销活动配置、订单异常处理）。
- 低层事件抽象成步骤、再聚类/归纳分层目标的做法，可作为用户行为序列建模中从点击流恢复用户意图/任务的参考，辅助电商场景下的多会话用户建模与 query 理解。