面向深度 CTR 预测的最优输入侧维度配置统一框架
🧭 输入侧选择 · 最优传输协调 ★ 深度解读
深圳大学 · McGill University · Shenzhen Technology University
用最优传输协调样本、特征、嵌入单元三层选择，联合配置输入侧信息提升 CTR 模型 AUC
📌 工作参考价值（4 点）
- 在精排 CTR 模型上，不要只做单层优化：样本去噪、特征 gate、embedding 维度裁剪可共享一个信息路径联合搜索；采样保留比例约束 + 细粒度稀疏正则能防止搜索坍缩。
- 借鉴 search-and-retrain：搜索阶段用连续 gate/soft mask 学习配置，结束后硬化为 lookup table 再重训 backbone；线上推理只增加 mask 查表，无额外打分开销。
- 跨粒度选择冲突可用 selection-weighted Optimal Transport 协调：粗粒度选择作为总质量，细粒度归一化分配，用 cosine 表示不相似度作为运输成本；比直接对 mask 做 cosine/KL 有稳定提升。
- 样本 selector 只用于构造 retrain 集，不参与 serving，业务上可安全地用样本级去噪提升训练质量而不担心线上延迟。
MLE-World：用学习世界模型预测机器学习实验输出
🧭 MLE Agent 世界模型与测试时扩展 ★ 深度解读
University of Washington · University of Illinois at Urbana-Champaign · University of Oxford · Columbia University · New York University
用 4B 世界模型预测 ML 程序终端输出并以置信度门控执行，使 MLE Agent 在少执行下获得更高分数
📌 工作参考价值（4 点）
- 在昂贵的真实执行/线上实验前，用轻量世界模型（finetuned 小 LLM）预测候选程序、策略或 query 的终端输出（日志/指标/错误类型），一轮推理代替一次完整运行，可把候选筛选成本降 1-3 个数量级。
- 置信度门控是核心复用点：按预测结果类型设置不同阈值（成功/失败/超时），只对低置信度候选做真实执行；比随机跳过更省资源，能省 30-40% 执行时间。
- 结构化输出比单纯预测分数或日志更有效：同时预测 exception class、terminal output、validation metric、submission flag，可提升终端输出一致性和指标召回，并支持后续 Debug/Improve。
- UCB 式 exploration bonus 用模型不确定性（1-pmax）修正贪心 Best-of-N，避免 discard 被低估的候选；可迁移到商品召回/创意筛选等有限验证预算场景。
MoE 解码的通道选择无需校准数据
🧭 MoE 推理加速 · 通道选择
KAIST · DeepAuto.ai
证明 MoE 通道选择用 top-k 即可，无需离线校准阈值；并提出基于模型权重的三值草图+低秩恢复读取器，以 17.8% 读取量保持 98.1% 精度
📌 工作参考价值（4 点）
- 部署 MoE 大模型做电商/推荐场景的在线推理或 Agent 时，通道选择直接采用 top-k 分数筛选，不必维护离线校准阈值；阈值会因输入分布变化导致实际读取比例漂移（文中 18% 预算实际仅读 12.9%），top-k 则天然固定每 token 读取预算，便于做延迟 SLO。
- 若沿用阈值方案，需警惕生成任务中的重复循环崩溃，尤其在长文本/Agent 多轮输出中风险更高；可优先切到 top-k，并用生成类 benchmark 而非只看困惑度验证。
- 文中 reader 完全从模型权重构造，用 ternary sketch 筛选通道 + low-rank map 恢复被跳过通道，不依赖校准集；这可作为无校准数据的稀疏化插件，适合线上数据分布频繁变化的场景。
- Triton kernel 在 batch 1 比 vLLM 快 1.60–1.90×，大 batch 达 2.69×；如果自建 MoE 推理服务，可参照其通道读取+恢复实现，在 interactive decoding 小 batch 场景降低 expert weight 读取带宽。
Octen-WebGR：将生成式检索扩展到2亿网页
🧭 生成式检索 · Semantic ID ★ 深度解读
Octen AI
首个覆盖2亿网页的生成式检索模型，用两token语义ID直接生成URL，导航点击命中率59.6%
📌 工作参考价值（5 点）
- 商品/落地页生成式索引：可把商品或页面编码为两 token Semantic ID；用标题/类目+高频搜索词构造类似 URL text 的文本，经残差量化+碰撞消解生成唯一 ID。两套 token（s0/s1）比共享 token 更能区分语义前缀与组内排序。
- 训练采样与曝光：点击对按 n(q,u)/Nq × Nq^β (β=0.5) 加权，平衡头部 query 与长尾；对导航/转化集中 query 加保底样本；document-indexing 把商品文本当 query，一次曝光覆盖多条关联 query。
- 推理与资源：constrained beam search 只输出存在 item，避免下架商品/假 URL；点击表可用 lookup→GR 兜底。GR 4B 模型单 GPU 10GB，比 exact dense 索引省约40倍内存。
- 混合路由：GR 擅长热门 item 的新 query 表达，dense 擅长冷 item；用 GR 首位 item 的训练对数 + beam 概率做 serving 路由，可同时拿到两者优势，电商搜索/推荐可直接复用。
- 扩展训练：遗忘主要由曝光后的累积学习率 Λ 决定，而非模型容量；把高价值 pair 放在低 Λ 的晚期窗口曝光，或加大 batch 并等比升 lr，能提升保留率与样本效率。
人物画像条件化电商搜索合成查询：有用多样性与幻觉式多样性
🧭 合成查询生成 · 语义解析 ★ 深度解读
Manchester Metropolitan University · Autotrader UK
用4轴persona prompt生成11.8万合成查询，Big Five人格稳定提parser F1且低幻觉，句法轴贴真实流量但牺牲约束保真
📌 工作参考价值（4 点）
- 冷启动 NL 搜索解析器时，把 Big Five 人格线索加入生成 prompt（如 conscientiousness 明确标记约束、neuroticism 添加犹豫）作为默认，可稳定提升下游 tuple F1；不要用 prompt 删 function word / stopword，因为电商约束字段的 operator 词（under/within/from）承担语义，删掉会导致 dropped constraints。可加后处理校验 operator 是否保留。
- 评估合成训练数据质量时，不要只看 Distinct-n / Self-BLEU，它们与下游效用无关；用 embedding 云拟合 vMF 分布并计算与 held-out 人工参考的 sKL，可无标签代理 parser F1（ρ=-0.917）。生产环境若无标注，可用真实 query 流量分布做 realism 监控。
- 对“所有模型都解析失败”的困难样本做 LLM 委员会审计，能分类幻觉类型（dropped constraint / unsupported addition / direction reversal）。工程上可写自动规则检查价格/里程/半径等 operator 和方向，上线前过滤或修复。
- 多 generator 风格差异很大，某些 LLM 会把 persona 中的城市/价格偏好泄漏进 query；要按 generator 审计。混合多个 prompt 家族均匀采样训练的 mixed corpus 与最佳单 prompt 统计无差，可直接采用降低选型成本。
SLIDE：搜索到列表蒸馏实现单次贪心生成式检索
🧭 生成式检索 · 列表蒸馏 ★ 深度解读
Zhejiang University · Taobao & Tmall Group of Alibaba
将离线item级beam search结果按分数拼接为列表蒸馏目标，训练学生单次贪心生成Top-K，以低成本逼近或超越线上beam search检索
📌 工作参考价值（4 点）
- 线上部署用单次贪心解码替代 item-level beam search：蒸馏后 0.5B 学生可逼近或超越同尺寸直接训练模型的 beam search，服务质量不变但推理路径更简单、延迟更低；teacher 仅离线构造数据，可无限扩容量。
- 蒸馏目标顺序不能乱：保留 teacher beam-score 降序对头部 HR 和 NDCG 至关重要；随机打乱会明显降低头部检索质量。如果自建列表蒸馏数据，不要做去重/有效性过滤再拼接，直接按固定长度 SID 块拼接并保持顺序。
- 目标长度与评价深度对齐：当 HR@K 为核心指标时，蒸馏目标取 K 个 teacher 候选即可，过长会显著增加离线 beam search 成本而不提升对应截断指标。
- 列表级 RL 后续优化空间大：在 SLIDE 基础上做列表级 RL，相对 SFT 提升可达 3.46-7.67%，远高于 item 级 RL 的 0.59-1.17%；可继续叠加 relevance reward 和 LLM-as-judge 自洽性奖励进一步提升相关性。
TAO：面向LLM Agent服务的工具感知联合调度框架
🧭 Agent 服务调度优化
Shanghai Jiao Tong University · Stanford University
提出工具感知联合调度框架TAO，融合工具就绪度、缓存信用与token占用进行动态规划调度，显著降低延迟和TTFT
📌 工作参考价值（4 点）
- 在 LLM Agent 服务中，工具调用（如商品检索、数据库查询、API 调用）会使 GPU 推理可中断，调度时需将「工具返回就绪时间」纳入准入/放置决策，避免 GPU 空转和资源浪费。
- 借鉴 TAO 的 value interface：组合「近期工具就绪度 + 节点级缓存信用（时间衰减）+ token footprint」来评估一个 session 的调度价值，而不是只看队列长度或显存。
- 动态规划联合选择等待中的 sessions 并放置到 GPU 节点，在容量约束下最大化整体收益，比启发式 admission/placement 更优；可实现在线调度器，在 GPU 空闲或工具返回事件时触发。
- 如果推荐/搜索 Agent 涉及多步工具调用（如商品召回、属性查询、库存检查），可以对工具返回时间做预测或标记，并结合 prefix cache 命中（例如共享 system prompt 或工具 schema）优先调度相似 session 以提高 decode throughput。
WebAnything：从野生网络到可扩展 Agent 环境
🧭 Web Agent 环境自动构建与规模化
Zhejiang University · Nanyang Technological University · Shanghai Qiji Zhifeng Co., Ltd.
全自动从真实 URL 重建可重置 Web 环境，构建 244 个网站并微调模型显著提升多项 agent 成功率
📌 工作参考价值（4 点）
- 借鉴自动化环境构建架构：用浏览器自动化收集 DOM/资源/交互结果，配合独立验证器做质量门禁，可为电商类 Agent 搭建可回归的评测环境，避免手工维护镜像站。
- 利用真实网站交互轨迹微调开源模型：从线上商品页、搜索流程捕获的轨迹数据经筛选后可作为高质量训练样本，微调 Qwen 等模型对导航、加购、表单填写等任务提升明显；重点保留任务多样性和失败重试样本。
- 验证器 + 本地修复闭环可复用到数据管道或 RAG 索引构建：独立验证器检查生成内容并触发定向修复，减少人工介入，适合维护大规模商品知识库或 Agent 记忆。
- 可重置环境支持多轮重跑与错误恢复，适合做 Agent 策略 A/B 测试；可将电商搜索链路中的商品抓取、竞品价格监控等流程抽象为可执行任务，加速迭代。
WorkFactory：将职业意图转化为可执行工作以规模化训练智能体
🧭 Agent 职业任务构建与 SFT 训练
IQuest Research · Zhejiang University · Renmin University of China · Shenzhen Institutes of Advanced Technology · Shanghai Jiao Tong University
提出 WorkFactory 框架，通过信息级规划与探针执行修复构建可执行职业任务，训练 WorkPilot 系列显著提升专业工作基准
📌 工作参考价值（4 点）
- 构建电商/广告 Agent 微调数据时，用「业务意图 → 信息支持图」方式定义任务依赖（如商品信息、用户画像、预算约束），自动实例化并校验信息完备性，减少专家演示失败。
- 在数据管线中引入「探针执行 + 修复」闭环：先让弱模型/环境跑任务，诊断缺失或不一致信息，再修复任务定义但保持原意图，可显著提升 SFT 数据质量与下游收益，尤其适合多步营销 Agent。
- 多尺寸训练结论：不要盲目扩展数据/模型，监控执行轨迹长度等行为指标；其先增后降与收益递减提示 agent 训练存在效率拐点，可帮助企业选择合适规模。
- 环境缺陷修复可迁移到电商 Agent 平台：给任务模板维护信息依赖清单，执行前校验工具/上下文完备性，减少无效动作与专家演示噪声。
相似度度量真的在度量相似度吗？用户活跃度如何在推荐系统中制造幻影相关
🧭 推荐系统 · 物品相似度 · 活跃度偏差 ★ 深度解读
University of Antwerp
证明 item-item 相似度中存在由用户活跃度差异而非共同偏好导致的幻影相关，并用 Rasch 模型量化其占比
📌 工作参考价值（4 点）
- 在电商/广告的 item-item 相似度或召回中，先拟合单维活跃度 Rasch 模型作为 baseline，把 raw lift/cosine/Pearson 与 activity baseline 做残差或标准化，避免把高频用户带来的共现误判为偏好。
- 理解相似度度量的 popularity baseline 形状：lift/PMI 在稀有 item 上天然偏高，cosine 在热门 item 上天然偏高。排序聚合相似度时，热门 item 会获得与偏好无关的 head start，需要显式去偏或改用残差相似度。
- 工程上可用历史长度方差快速判断幻影相关风险：若 Var(history length) 远大于 Σ p_i(1-p_i)，活跃度异质性会贡献大量 item 协方差；在 top-N 截断或固定长度数据上该现象会减弱，评估离线数据时注意数据生成机制。
- 对 EASE/SLIM 等学习到的相似度矩阵同样适用；真实偏好主要存在于偏离 activity baseline 的 pair 排序中，而不是绝对相似度值。构建生成式推荐或 Semantic ID 时也应先去除活跃度混杂。
需要时才看：基于证书引导的视觉路由实现高效扩散视觉语言模型
🧭 扩散视觉语言模型高效解码
KAIST · AITRICS
提出 LOWN 解码方法，每步自适应决定是否处理图像，平均省 65% 解码 FLOPs 而保留 99.6% 分数
📌 工作参考价值（4 点）
- 多模态 LLM 在商品图像理解、广告文案生成等场景中，视觉 token 占输入 90% 以上，且不是每一步都需要细看图像。可借鉴 LOWN 的路由思想：先用无图像轻量预测，只有与历史图像条件预测产生分歧时才重新处理图像，避免重复编码视觉特征。
- 工程实现上，LOWN 无需训练、无需调阈值，可以直接插入现有扩散解码流程，适合快速验证收益。结合 KV cache 和视觉 token pruning 可进一步降低在线推理成本。
- 在电商搜索推荐 Agent 中，多模态状态下视觉内容不是每个 reasoning step 都要消费。可设计类似的“证书”机制，复用之前的视觉理解结果，只在置信度下降时触发视觉重算，降低长程任务推理延迟。
- 该方法证明了自适应路由比固定 schedule 更有效，因为不同输入对视觉依赖差异很大。业务上可对商品主图、详情图、视频帧按需求动态分配算力，而不是一刀切缩图或抽帧。
CEPO：多智能体系统中协调器-执行器提示优化通用框架
🧭 多智能体提示优化框架
Korea University · KAIST · Google Cloud AI Research
将多智能体提示拆分为共享协调器提示与专属执行器提示，并分别按角色更新，可稳定提升现有提示优化器效果
📌 工作参考价值（4 点）
- 在电商多 Agent 系统（如 query 改写、召回、排序、文案生成）中，可把系统级协调规则放共享 coordinator prompt，把各 Agent 执行细节放 executor prompt；统一更新 coordinator 能防止多 Agent 局部优化偏离整体目标。
- 不必替换已有 prompt 优化器：CEPO 是结构化外壳，可直接叠加在 DSPy/OPRO 等现有搜索器上，改造流程成本低，论文在 11 个 benchmark 上显示稳定提升。
- 对预算敏感的业务 prompt 优化：CEPO 在 document-understanding MAS 的受控实验中显示优化预算效率更好、随 Agent 数扩展性能提升；可用少量预算先优化 coordinator，再分配预算给 executor。
- 架构上保持 executor 可独立调参/热更新，例如商品推荐解释、广告文案生成等下游执行器可单独迭代，不影响全局协调逻辑。
长程持续学习中的 Harness-模型协同框架
🧭 Agent 持续学习 · 经验检索与参数更新协同
Huzhou Normal University · Alibaba Group · Zhejiang University · Ningxia University
HaMo 将轨迹蒸馏为策略经验卡供即时检索，并以经验条件持续学习目标实现快慢协同，提升长程 Agent 的保留与迁移能力。
📌 工作参考价值（4 点）
- 在电商/Web agent 中，把成功购物、搜索、交易等多步轨迹压缩成策略级经验卡（目标、前置条件、操作步骤、适用上下文），检索时按当前任务上下文召回，而不是直接存原始 log，可降低噪声并提升跨任务复用。
- 采用快慢结合：线上先走非参数记忆即时复用，离线用检索覆盖度筛选「紧凑且互补」的少样本轨迹做参数更新，避免频繁全量训练和遗忘；该思路可直接迁移到推荐系统的持续学习/增量训练。
- 经验条件训练目标可迁移到 RAG-style agent：不仅把检索到的策略拼进 prompt，还要用专门目标让模型学会读懂检索结果、判断其是否适用、并按策略执行，这比单纯加外部 memory 更稳定。
- 若做导购、push 文案、搜索 query 生成等长程任务，可建立跨 session 流程经验库，按场景召回候选策略，再用小模型微调内化，兼顾线上 latency 与跨域泛化。
长程 LLM Agent 的多尺度策略优化
🧭 Agent RL · 多尺度信用分配与策略更新 ★ 深度解读
Peking University · IQuest Research · Tsinghua University · Renmin University of China · The University of Hong Kong
提出 MPO，组合 turn 级 GAE 与均值保持的 token 级信用分配，并用 turn 级重要性采样更新策略，在搜索/工具/自动化任务上全面超越 PPO/VAPO/SAO
📌 工作参考价值（4 点）
- 在对话式电商/购物 Agent 的多轮 RL 中，把一次完整的 assistant turn（搜索词、工具调用、加购决策、最终回复）作为宏动作，用 turn 级 GAE 传播终局奖励（下单、成交、任务完成），而不是直接在 token 序列上做 GAE。论文统计显示 turn 间方差占 critic 价值方差的 89.5%，说明 reward 信用主要在轮次尺度，token 级只需做均值保持的局部修正。
- 策略更新时使用 complete-turn importance ratio，并对其他 token 的 ratio 做 stop-gradient，只让当前 token 的 score gradient 保留 token-specific advantage。这个实现可以方便地接入现有 PPO/VAPO 训练框架，避免 token 级 ratio 带来的 within-turn distribution shift，适合 LLM 生成内容较长、但交互边界更重要的电商 Agent 场景。
- 超参上把跨轮衰减 λ 和轮内衰减 λ_intra 分开调，推荐 λ≈0.8、λ_intra≈0.95、β≈1.0。原因是一个 turn 包含大量 token，两者的时间尺度不同；业务里如果直接用相同衰减，要么跨轮信用太短，要么轮内 token 信号稀释。
- 该方法只增加一个 critic 和一个均值约束投影，计算开销低；若你的搜索/推荐 agent 已有 PPO 类训练栈，可以先替换 advantage 计算与 ratio 构造，不必重构环境或 reward。
DTCA：扩散语言模型强化学习的去噪 Token 信用分配
🧭 扩散语言模型 RL 训练 · 信用分配
Zhejiang University · National University of Singapore · SAP
提出 DTCA，按去噪 token 置信度增益估计贡献并分组，用于扩散语言模型 RL 的 token 级信用分配。
📌 工作参考价值（4 点）
- 面向文案/query 生成的 RL 训练：若用 RL 优化广告文案、搜索词或商品标题生成，稀疏 outcome reward 会导致 credit assignment 困难。可借鉴 DTCA 的 token 贡献估计，用生成过程中 token 置信度增益作为细粒度奖励塑形，加速收敛。
- 按语言单元分组校准信号：DTCA 按 POS 分组贡献。在电商场景中，可对商品标题/query 中的品牌词、类目词、属性词分别设定权重，让 RL 更关注关键信息 token，减少语义噪声干扰。
- 熵变化校准避免过优化：策略更新引起的 token 熵变化被用于校准学习信号。实际 RL 训练生成模型时，可监控 token 级熵，抑制高熵 token 的过大梯度，提升训练稳定性。
- 筛选 informative 去噪 timesteps：DTCA 选择关键去噪步骤参与 RL 训练。若业务中采用扩散或非自回归生成模型，可减少无效训练步，节省算力并提升信号质量。