CUA-Master：开放世界递归改进驱动的计算机使用智能体扩展
🧭 CUA 数据飞轮与递归训练
MMLab, CUHK · THU · HKUST(GZ) · Explore Academy · JD
提出嵌套双循环递归改进框架 CUA-Master，结合开放世界数据与自催化传播，显著提升 GUI 智能体性能。
📌 工作参考价值（4 点）
- 构建双循环数据飞轮：外层利用开放世界语料和模型弱点指导数据迭代，内层从教学视频提取真实工作流作为种子任务，通过视觉-语义双路径重建轨迹，可迁移到电商 RPA/后台自动化数据生产。
- 自催化传播：将种子任务提炼为可重用原语（primitives），可控合成多样、复杂、可验证任务，适合生成大规模 GUI 操作训练集，降低人工采集成本。
- 快照回滚重试机制：在真实环境中通过反馈引导快照与回滚，提升轨迹收集的成功率和可靠性，可用于线上 Agent 执行时的容错与数据回收。
- 结果证明递归迭代可带来持续增益，CUA-Master-27B 在 OSWorld 等 benchmark 达到 80.2，说明中等规模模型配合高质量数据合成可逼近大模型，适合资源有限的业务团队。
电商购物 Agent 的生成式奖励模型 E-GenRM
🧭 生成式奖励模型 · 购物 Agent ★ 深度解读
Taobao & Tmall Group of Alibaba · Technische Universität Wien
从真实购物行为回溯构造评价链，三阶段训练生成式奖励模型，在线提升淘宝购物 Agent 有效协助率与满意度
📌 工作参考价值（4 点）
- 用真实行为回溯构造评估轨迹：从购买结局反向切分 shopping task，将 120+ 行为信号翻译为 Agent 交互历史与候选响应对，能绕过「能力-轨迹反馈环」，持续产出覆盖长尾行为的 reward/eval 数据；适合电商 Agent 搭建数据飞轮。
- 评价链 + 三阶段训练可迁移：SFT 学动态加权 rubric 和证据支撑的 criterion-level 判断；RL 用 outcome reward + factual reward 给每个 criterion 部分信用，提供更密集训练信号；再用 teacher disagreement 和 utility margin 筛 hard negatives 提升个性化偏好敏感度。
- 主动证据检索：用 retrieval-need label 和 tool-use reward 对齐检索决策，只在上下文缺 decisive evidence 时调用工具；调用率从 95.84% 降到 22.12%，精度反而略升，适合线上成本敏感场景。
- 用 E-GenRM 后训练淘宝购物 Agent，14 天 A/B 有效协助率 +1.39pp、满意度 +2.33pp、P99 延迟 -17.88%，可直接作为生成式 RM 替代或校准 expert judge 的业务参考。
DR Pixel：视觉语言模型驱动的页面原生深度研究智能体
🧭 页面原生视觉深度研究智能体
NYU Shanghai · University of California, Berkeley · Rational Dynamics · Toyota Technological Institute at Chicago · New York University
首个开源端到端多模态深度研究代理，直接检索渲染页面图像并引入反事实信用重加权训练，超越 OCR 基线
📌 工作参考价值（4 点）
- 对商品详情页、广告落地页等富视觉文档，可直接用页面截图作为检索与推理单元，替代 OCR 文本化，保留表格、价格、图片、规格等结构化信号，适合多模态 LLM 在电商搜索/推荐中做页面级召回与问答。
- 在 agentic 搜索/推荐流程中，减少中间 OCR 和文本转换步骤，可显著降低工具调用次数与延迟；页面原生检索对含促销规则、对比表、图表的复杂页面更鲁棒，可用于营销活动页理解和智能导购。
- 训练 Agent 轨迹时，teacher trajectory 噪声大；可借鉴 counterfactual credit reweighting，按每个步骤对最终转化的反事实贡献做加权，提升 SFT 数据质量，而非简单过滤失败轨迹。
- 构建评测时，面向文档中混合文本、表格、图像、公式等多模态证据设计问题，比纯文本问答更能反映真实业务中商品详情、广告素材、规则文档的理解能力。
多样教师在线策略蒸馏用于生成式推荐
🧭 生成式推荐 · On-Policy Distillation 消偏 ★ 深度解读
University of Science and Technology of China · National University of Singapore · Alibaba Group
提出 HERO，通过异构教师路由和多样性物品 rollout 缓解生成式推荐中 on-policy distillation 的流行度偏差
📌 工作参考价值（4 点）
- 在生成式推荐做蒸馏时，不要用单一教师，可以按物品流行度分组训练两个专家教师（head/tail），训练样本根据 ground-truth item 的流行度路由到对应教师，能有效缓解头部偏差。
- 在 on-policy 训练中，学生生成的路径容易偏向头部物品，导致冷门 SID 路径很少被监督。可额外将冷门物品的真实 SID 前缀加入蒸馏损失（tail-path GT-KL），提高尾部路径的覆盖率。
- 该方法只更新学生模型，教师冻结，推理时仅用学生，不增加在线推理成本，工程实现简单，适合快速上线验证。
- 评估生成式推荐时不要只看整体 Hit，应同时关注 DTR（需求-曝光比）和 ORR（头部重复推荐占比），避免准确率提升掩盖流行度偏差的加剧。
基于猜想与反驳的 LLM Agent 动作预执行验证
🧭 Agent 动作预执行验证 · 猜想与反驳 ★ 深度解读
Pohang University of Science and Technology · National AI Research Lab
提出 BLACKSWAN：对每个会改变环境的动作，先预测效果、再生成可测试的怀疑并验证，执行前主动寻找反驳证据
📌 工作参考价值（4 点）
- 对电商/广告/搜索推荐中的高危不可逆操作（下单、发送营销 push、修改商品价格、删除广告计划）可引入“预期-怀疑-测试”三阶段 guard：在执行前让模型先写清预期效果，再列出可证伪的具体担忧，最后用只读 API 查询验证；任一担忧被证实即拦截并重写动作。
- 把验证逻辑从“找支持证据”改为“找反驳证据”，并将怀疑预先注册、固定后再去测试，能避免模型先看到证据再反向修正假设，可复用到工具调用安全校验与 Agent 风控中；实现时让怀疑绑定到具体代码元素（变量、API 参数），否则容易产生无关担忧。
- 只对 state-mutating API 启用该机制，read-only 操作直接放行，能平衡安全与 token 成本；论文中 BLACKSWAN 的代价约为 1.5–9.4 倍 ReAct，弱模型收益更大，适合中小参数模型在关键路径上的兜底。
- 零样本/少样本条件下依然有效，说明不需要大量 in-context 演示即可迁移；如果业务中已有手工规则或 pre-defined 检查，可以替换为 LLM 生成反驳假设 + 环境验证的软校验，减少硬编码漏报。
路由任意：通用AI系统模型与策略路由研究
🧭 模型路由 · 多模态质量成本权衡
National University of Singapore, HPC-AI Lab · InfRec, Cardinal AI Lab · University of California, Berkeley · Hong Kong University of Science and Technology
构建覆盖25个基准374k轨迹的omni-modal路由框架，证明学习路由器超最佳固定候选并提升效率8.82倍
📌 工作参考价值（4 点）
- 在推荐/搜索系统中维护多个候选模型（如轻量双塔、深度交叉、LLM排序器），训练一个轻量路由器（小型MLP或XGBoost）基于用户/物品特征、上下文及模型置信度动态选择，论文证明输入信息充分时学习路由器接近oracle上限，同时平均效率提升8.82倍。
- 搭建离线路由评估流程：对历史流量样本离线运行全部候选模型，记录质量分与延迟/成本，形成trajectory matrix，再训练路由器，可安全评估新模型加入后的整体收益，避免直接全量替换风险。
- 将路由用于Agent工具/策略选择：在电商对话助手中，根据用户query意图、语义和上下文路由到不同工具链或生成策略，降低昂贵LLM调用次数同时保持质量。
- 关注路由器输入特征设计：理论表明路由器可获得的信息决定可达性能，实用中可加入模型预测分布熵、历史表现等信号，而不只是原始输入特征。
每个子句都算数：将指令拆成可回答小问题做零样本重排
🧭 搜索重排 · 指令拆分逐项打分
United International University · Islamic University of Technology
把带指令查询拆为主题与多个类型化子句，逐项用小型 judge 输出概率并相乘，零样本提升指令遵循重排效果
📌 工作参考价值（4 点）
- 电商搜索/广告精排可复用：将带约束 query（如“官方旗舰店”“适合新手”“西班牙语”）拆成主商品意图 + 多个类型化 clause，每个 clause 用轻量 judge 问“候选是否满足 X？”，用 P(yes) 乘到相关性分上；不需要重训线上模型，直接用于 top-K 精排或 RAG rerank。
- 不要把复杂指令塞进单个 LLM prompt。论文显示同 judge 下拆句重排把 WISE 从 32.9 提升到 47.6。多条件筛选场景（价格段+品牌+适用人群）越细，越应独立判分再融合，降低指令遗漏。
- 原始概率乘积在跨查询比较时不稳定，导致 SICR 失真。若要做坏 case 阈值或准出判断，建议用 rank-based 融合或对分项概率做对数加和/校准，而不是直接拿原始分跨 query 设阈值；候选内排序可以用 product/rank，但跨流量控制要谨慎。
- 成本可控：小模型可做零样本 judge，全维打分约 $10。线上可对高频指令用规则/属性过滤替代，只对长尾复杂指令调用 LLM clause 判断，并做并行与缓存。
面向 LLM 推荐的多教师推理蒸馏与自探索框架 MUSE
🧭 推理增强推荐 · 多教师蒸馏 ★ 深度解读
The Hong Kong Polytechnic University · Nanyang Technological University
MUSE 构建多教师+学生自探索候选池，用 Rank-Gain 效用筛选并对比蒸馏，让 LLM 推荐器学到真正有益的偏好推理
📌 工作参考价值（4 点）
- 用下游排名收益做无标注推理筛选：RGUA 直接以 ground-truth item 的全库排名提升作为推理轨迹效用，避免人工标注，很适合电商/广告中大量交互日志。工程上只需轻量 encoder 算候选 rank，不必引入 LLM evaluator，成本低。
- 多教师 + 学生自探索的候选池设计：先让多个 teacher LLM 生成候选，再随训练逐步增加学生采样数量，让模型逐渐摆脱 teacher 知识上限。业务中可对重要用户/类目建立多 LLM 候选池，用 ranking 指标筛选后再蒸馏。
- 双对比损失解耦“生成”和“利用”：ConDistill 让 generator 拉开高/低效用推理的 likelihood；ConUtil 让 encoder 强制在好推理下比坏推理更接近目标 item，防止模型只依赖历史行为而忽略推理信号。该思路可迁移到多任务推荐排序中，用对比目标强化特征利用。
- 训练与推理效率可复用：teacher 推理预生成并缓存，推理时只需 student 单次生成，vLLM 延迟与 R2ec 相当；业务可离线跑多教师，在线保持轻量。
PACERec：基于协同证据的 LLM 物品嵌入渐进自适应用于推荐
🧭 LLM 表征适应 · 长尾序列推荐 ★ 深度解读
Northeastern University · Ant Group
用 flow matching 学共享速度场，将静态 LLM 物品嵌入渐进适配前序行为目标，实现无 ID 长尾序列推荐
📌 工作参考价值（4 点）
- 电商冷启动 / 长尾 item 可直接复用无 ID 思路：用 frozen LLM embedding 对商品标题/描述编码，经两层 MLP 降维到推荐主模型维度，PCA 初始化投影层保留语义几何；新商品只要有过文本属性就能拿到有效表示，避免长尾 ID embedding 欠训。
- 离线构造行为目标成本低且有效：对每个 item，取训练序列中它前面 L 步内的前驱 item 初始语义向量，按 recency 指数加权平均 + norm matching + clip，生成固定的 behavior target；这相当于给每个 item 一个“用户接下来会买什么”的监督信号，可以离线一次算好，训练时直接当 flow matching 的 target。
- 只对频繁 item 监督、共享速度场推断长尾：设置频次阈值 κ，只让 c_i≥κ 的 item 参与 flow matching，loss 用 sqrt(c_i/(c_i+c0)) 做 confidence weighting；学到的 velocity field 以 item semantic source 为条件，长尾甚至零交互 item 也能直接过 flow 得到行为适应表示。工程上可离线缓存全量 adapted embeddings 供后续双塔/序列模型使用。
- 排序层加参数无关语义相似度旁路：在 frozen LLM 空间对用户最近 history 加权池化得到 semantic query，与候选 item cosine 相似度做 per-user z-score 标准化，再和 preference score 加权融合。这个旁路对 tail 指标提升明显，权重用 validation 上固定值选择即可，不需要可学习参数，部署简单。
RecRSI：机制引导的推荐算法自动发现
🧭 自动推荐算法发现 · 机制假设 ★ 深度解读
Shanghai Jiao Tong University · Fudan University · Meituan
用机制假设组织推荐算法搜索，在16个设置上平均NDCG@5相对初始模型提升8.48%
📌 工作参考价值（4 点）
- 在推荐模型自动迭代或人工算法迭代中，把每次实验从“改一个候选程序”升级为“机制假设”：记录 reference design、changed/unchanged mechanisms、rationale、expected observation 和实际结果。失败实验可以不丢弃成功设计，而是把失败转化为下一个假设，例如 MoRec 搜索中 pairwise margin 回归后恢复 BCE+pairwise 并测试 cosine-temperature scoring，最终 NDCG@5 从 0.3438 提升到 0.4097。
- 为排序/召回模型建立可组合的 MechSpace：把模型拆成 scoring、objective、representation、architecture、sampling 等原语，并约束 composition rules 和 effect path。这样 LLM 生成的改动更易落地和校验，避免无效候选；自动生成 space 在该文实验中比人工设计 space 的最终 NDCG@5 高 19.65%。
- 在 LLM agent 搜索中采用固定角色覆盖和 stable tie-breaking 的 proposal 选择策略，避免早期过度偏向某一类 proposal；同时保留继续搜索而非 restart 的预算，该文 continuation 在 24 次评估中比两个 12 次 restarts 在多个 block 上更高，且后段仍能发现新的 scoring+objective 组合。
- 对排序模型，显式共享 training 和 ranking 的 scores 是有效干预点，例如 cosine-temperature scoring 与 label smoothing 组合，或 margin-based pairwise objective 与 focal weighting 的替换；业务中可优先搜索 scoring-objective 兼容组合。
视频生成背后：Kling 多模态理解的观察与洞察
🧭 多模态理解 · 视频生成可控性
从数据-条件-对齐-评估链剖析多模态理解如何提升可控视频生成质量
📌 工作参考价值（4 点）
- Captioning 作为语义契约：在电商多模态内容（商品图/短视频）理解中，可借鉴「描述密度最大化」思路，把 caption 从简单标签升级为细粒度语义描述，提升后续生成/匹配的上限。
- Prompt enhancement 的 RL 在环设计：将用户 query 翻译到高质量描述分布，用文本级 RL 和生成器在环 RL 迭代优化，可直接迁移到推荐系统的 query 改写、广告文案生成，避免只靠 LLM 静态改写。
- 候选从文本单独筛选：训练多模态生成模型前先用文本特征筛选候选，节省端到端训练成本；在商品短视频生成或创意素材筛选中，可先用文本描述打分快速过滤低质候选。
- 奖励模型解耦通用与决策：通用 reward model 做可解释局部批评，决策 reward model 做快速多维评分，可作为电商内容审核、素材优选的双层打分架构参考。
SHq：面向 LLM 权重量化的可学习网格
🧭 LLM 权重量化 · 可学习查找表网格 ★ 深度解读
ETH Zürich · Rhoa Research · Institute of Science and Technology Austria (ISTA)
用两参数 sinh 压缩网格替代固定查找表，端到端 KL 搜索参数，3-4bit 量化误差显著低于 NF/BOF/INT
📌 工作参考价值（4 点）
- 若业务中需以 4-bit/3-bit 低比特部署 LLM（如 query 改写、商品文案生成、广告标题生成、Agent 推理），可将 SHq 作为 NF4/INT4/NVFP4 的 drop-in 替换：只改 lookup table 内容，不改变存储与解码，实测 KL 更低且下游精度更好。
- 量化 grid 的选择不应只看权重 MSE 或 reconstruction error，而应在端到端目标（如生成 query 的分布偏移、业务代理指标）上搜索；SHq 直接以 calibration KL divergence 扫描参数，这个思路可迁移到量化、蒸馏或压缩方案的选择。
- 在 block-scaled LUT 格式中，E4M3 block scale 的 sign bit 通常闲置；可引入不对称 grid 或 offset，用 sign bit 在 grid 与 mirror 间切换，零成本增加有效码本大小，对 2-bit/3-bit 极低比特部署尤其有价值。
- 对 MoE 稀疏大模型（电商/广告推荐中常见）同样有效；联合使用 SHq 与 per-layer bit allocation（如 RCO）可进一步压缩，且 SHq 在各 bit-width 下保持最低 KL，适合做统一量化格式。
Strategist：用元智能体进化推理策略并跨任务积累
🧭 Agent 推理策略自动搜索与库积累 ★ 深度解读
Princeton University · Meta
将推理策略写成可复用蓝图并跨任务搜索积累，在 30 个基准上以 39% 更低成本匹配最强基线
📌 工作参考价值（4 点）
- 电商/推荐 Agent 工作流可把「意图识别→召回→精排→解释/文案」抽象成 Blueprint 库，让 LLM 按小样本和成本约束自动搜索、组合策略，而不是每个场景人工写 prompt/agent；只换任务化 prompt，结构跨场景复用。
- 借鉴多层级路由：Amazon-Rec 的发现策略只在「偏好漂移」用户上触发 multi-agent debate，其他用户走 cheap profile/signal path。业务上可对高价值或高不确定性 case 单独路由到强模型/复杂流程，避免全局高成本。
- 评测与上线选择：用 train/validation/hidden/test 四段隔离防止策略搜索过拟合；最终选择规则要求 accuracy 或 cost 至少一个显著改善且另一个不恶化，否则回退 BL。可作为内部 Agent 策略自动筛选标准。
- 跨模型迁移：在 Qwen3 上搜索到的策略不改代码迁移到 GPT-5/Gemini 仍有效，说明搜的是任务结构而非后端特性。业务可用廉价模型搜索工作流，再迁移到更强商业模型，降低搜索与试错成本。
通过隐式品牌注入刻画对抗性生成引擎优化
🧭 生成式搜索对抗攻击 · 隐式品牌注入 ★ 深度解读
Indian Institute of Science · University of Illinois Urbana-Champaign
提出多代理框架IBI，通过单句隐式品牌注入提升生成式搜索中的品牌可见度，并构建IBIBench基准
📌 工作参考价值（4 点）
- 多代理分工实现最小扰动内容注入：IBI将插入任务拆分为位置规划、句子重写、验证和选择四个子任务，每个代理只负责一部分约束，最终通过确定性校验保证单句修改和品牌出现一次。这套流程可直接迁移到电商商品描述优化、广告文案嵌入或UGC内容改造，确保语义保持和自然度。
- 合成品牌+受控RAG管道评估攻击：使用不存在的品牌避免模型先验偏差，固定文章-品牌配对，严格控制检索和生成参数，这种评估范式可用于在自家系统中测试内容操纵对搜索结果或推荐的影响，提前暴露风险。
- 单一非促销提及即可显著影响生成式搜索：实验显示仅一句话的品牌提及在文章条件查询下Hit@10可达82.2%，下游品牌提及率最高62.7%。这提醒平台需警惕第三方内容中的隐性品牌植入，防御上可考虑来源隔离、多源佐证或对陌生实体降权。
- 区分检索暴露与下游传播的度量体系：论文提出Hit@k、MRR、BMR、BRR和条件传播CP等指标，将攻击效果分解为检索阶段和生成阶段，便于定位瓶颈。从业者可借鉴该分解思路，对生成式推荐链路进行分层监控和优化。
ToolSpace：以工具为中心的长程智能体环境合成框架
🧭 Agent 工具组合与环境合成 ★ 深度解读
Renmin University of China · Fudan University · Shanghai Jiao Tong University
用真实执行轨迹构建加权工具组合图，按需合成环境并生成可回放验证的长程跨域任务
📌 工作参考价值（4 点）
- 用真实调用日志构建工具/服务关系图：在电商/搜索/推荐内部，可将搜索、推荐、商品详情、购物车、优惠券、订单、客服等 API 的相邻调用关系，按 data/state/retry 三类规则确定性挖掘，避免 LLM 主观判断带来的幻觉连接，得到可执行的跨域工作流骨架。
- 长程 Agent 训练数据合成：借鉴 state-aware random walk + rollback，从真实日志图采样跨域工具链，只保留可重放、断言验证通过的 task；可用于生成「搜索→推荐→加购→下单→售后」等多步购物助手任务，保证可执行性和状态一致性。
- 按需环境落地，节省仿真成本：对只读/无状态工具（如商品查询、搜索、推荐）复用录制返回值或缓存，不必为每个环境合成完整数据库；论文显示文件合成量减少 55.3%，适合内部多业务系统大量只读 API 的场景。
- 可验证奖励用于 Agent RL：将断言验证结果作为二元执行奖励，配合 GRPO 做 on-policy RL，可提升长程工具编排；验证脚本同时能防止 SFT 数据污染测试集。