SWE-Bench ProMax：大规模多语言代码重构智能体基准
🧭 代码重构 Agent 评估基准
Shanghai Jiao Tong University · Peking University · The Hong Kong University of Science and Technology · Douyin Group · University of Chinese Academy of Sciences
构建多语言、大规模代码重构基准，通过严格清洗暴露模型短板，最佳解决率仅41.2%
📌 工作参考价值（4 点）
- 基准构建的严谨性可迁移：对测试用例的手动审查（剔除过严 / 过宽的测试）和问题描述的精确重写，可应用于推荐系统的离线评估中，避免因标注错误或模糊定义导致的模型能力误判。
- 协调多文件修改的思路：实例要求同时修改平均11.4个文件，类似推荐系统中需要跨阶段（召回、排序、重排）联合优化的场景，可启发多 Agent 协同编排的设计。
- 测试规模与真实任务的接近：平均261.6行代码的修改量远超市面基准，提示我们在构建推荐 Agent 评估任务时应尽量贴近线上复杂流程，避免琐碎的任务导致能力饱和。
- 业务可借鉴点有限：论文核心是代码重构，与电商推荐直接关联弱，但其暴露的大模型在长上下文、跨文件行为保持上的不足，对用 LLM 做推荐 Pipeline 自动编排有警示意义。
修辞如何奖励攻击 AI 评审？解剖 LLM 评审的修辞敏感性
🧭 LLM 评估 · 修辞敏感性
University of Maryland · Virginia Tech · MBZUAI · University of Waterloo
揭示 LLM 评审对修辞的敏感性呈结构化层级，证据框架与新颖性立场影响最大，重写者决定变异分离而评审者决定分数效应
📌 工作参考价值（4 点）
- 若业务中用 LLM 做内容质量打分、创意评审或排序（如广告文案、商品描述、评论审核），需警惕修辞偏差：证据呈现方式、新颖性措辞可能显著影响评分。可仿照论文构建内容不变但修辞正反变换的对照集，对 LLM 评估器做敏感性审计。
- 评估鲁棒性工程：在 prompt 中加入严格评分协议只能降低平均分，不一定降低修辞敏感性；建议增加校准步骤、集成多个评审模型或对中间分数段样本做额外人工复核。
- 论文发现低分样本趋升、高分样本趋降，中间分数段修辞对比最清晰。在排序/评估流水线中，可重点监控中间档位的样本，对修辞敏感的特征做正则化或去偏。
- 如果业务流程涉及“LLM 改写 + LLM 评估”的闭环，注意改写模型主要决定变体之间的分离度，评估模型决定分数波动的幅度和符号；优化时应分开诊断，而不是笼统调整整体流程。
意图胜过语言：可控用户模拟突破仅模仿回复
🧭 用户模拟 · 意图可控生成
Beihang University
提出 UserIDA，通过显式逐轮意图指令实现可控用户模拟，意图准确率大幅领先基线
📌 工作参考价值（4 点）
- 对话式推荐/搜索 Agent 评估：构建用户模拟器时，显式注入每轮交互意图（如澄清需求、修正误解、接受结果），可生成更真实的用户行为流，用于离线评测 Agent 的意图理解与响应能力。
- 训练数据增强：对于电商导购、搜索 query 改写等场景，可按指定意图（补充细节、否定前序推荐）批量生成对话样本，缓解多样性不足，降低人工标注成本。
- 意图-表达解耦设计：借鉴 UserIDA 将“意图选择”与“语言生成”分离的思路，在推荐对话系统内单独规划下一步交互目标，再调用 LLM 生成对应文本，提升多轮交互的连贯性与成功率。
- 强化学习校正技巧：在指令遵循类生成任务中，可采用 group-based RL，让意图违背的候选回复在奖励排名中低于合规项，以温和方式强化约束，避免直接惩罚导致生成质量下降。
分层自改进：任务专用可进化 Agent Harness 框架
🧭 Agent 分层自改进与 harness 进化 ★ 深度解读
HKUST
单个冻结 LLM 通过任务 harness、evolver、meta-evolver 三层自改进，在 BALROG 上实现显著提升并揭示能力边界
📌 工作参考价值（4 点）
- 把 agent scaffold 当可进化资产：在电商/搜索推荐 Agent 中，不要只调 prompt；把 prompt、tool 编排、memory、state tracking、验证逻辑打包成 task-specific harness，按任务族（如导购、query 改写、push 文案）分别维护，并通过固定 using_harness 接口热更新。模型权重保持冻结，避免每次策略调整都重训或换模型。
- 评估 harness 迭代要防过拟合和高方差：用 held-out 任务 split 而不是全量同一批任务评估；候选版本用 LCB reward（μ - 0.5·σ/√n）排序，允许保留多分支 commit pool，最终用 validation 选择泛化最优版本。这可比直接选单次最高分可靠得多。
- 把“怎么改 harness”也变成可学习策略：meta-evolver 不是直接改任务表现，而是改 seed 选择、explore/exploit、commit 规则。对应到搜索/推荐 Agent，可以把人工的“何时探索新品/何时重启策略/如何维护版本档案”作为上层可优化策略，而不是硬编码。
- 先判断两个边界再投入：如果模型在任务上初始 reward 近零或反馈极稀疏，harness 进化收益极低（NLE 案例）。业务上应先确认有非零、可区分的 reward 信号；harness 进化只能放大既有能力，不能替代模型升级。
缓解英语到罗马尼亚语机器翻译中的性别偏见
🧭 机器翻译 · LLM 性别消歧与标签注入
Human Language Technologies Research Center, Faculty of Mathematics and Computer Science, University of Bucharest
用微调 LLM 插入性别提示标签配合标签感知 NMT，将英罗翻译性别准确率提升超 40 个百分点
📌 工作参考价值（4 点）
- 在生成式推荐或文案生成中，借鉴“LLM 分类 + 标签注入”的控制方式：用轻量分类器（或 LLM）识别目标属性（如性别、人群、品牌调性），向生成模型输入插入特殊 token 或标签，实现可控生成，无需重新训练大模型。
- 多阶段流水线（分类器与生成器解耦）便于单独评估和迭代，尤其适合电商场景中需要对特定属性（如性别、年龄、价格带）进行精准控制的文案或标题生成任务。
- 构建针对特定偏见的标注数据集，用于微调下游小模型（如 NMT 或文案生成模型），可有效降低推理时对大规模 LLM 的依赖，平衡效果与成本。
- 若业务涉及多语言翻译（如跨境电商商品描述本地化），可借鉴性别提示标签方案提升目标语言语法正确性和用户感知。
PushDualGen：让LLM生成语义ID与可解释文案的工业推送推荐框架
🧭 生成式推荐 · Semantic ID ★ 深度解读
Kuaishou Technology, Beijing, China
先生成SID再生成可跳过解释的轻量框架，在快手十亿用户推送中有效播放率+8.5%，不满意度-37.7%
📌 工作参考价值（4 点）
- 并行 SID 构建：采用多个独立码本并行量化，避免残差 SID 的误差累积与层级依赖，可直接用于商品/内容的多粒度高压缩表示
- SID 与 LLM 对齐：通过 Text2SID 和 SID2Text 双向任务微调，并冻结原词表只训练新增 SID token embedding，轻量且稳定，适合将推荐系统离散索引注入 LLM
- 多 token 绑定策略：合并高频 n-gram 与语义原子实体为单 token，降低推理序列长度，在生成推荐文案或搜索词时可显著压缩成本
- 生成信号与召回融合：将 LLM 生成的 Top‑N SID 编码成向量与用户特征融合后做 ANN 检索，可提升冷启动物料曝光与长尾覆盖率，对电商冷启动物品召回有直接参考
企业竞技场：在真实市场环境中评测大模型业务智能体
🧭 大模型业务智能体长周期评测 ★ 深度解读
Accio Team, Alibaba Group · Yale University
构建基于真实数据的跨境电商模拟环境，系统评估15个大模型，揭示最终净资产9倍差距和运营风格差异
📌 工作参考价值（4 点）
- 借鉴其部分可观测、延迟反馈、运营约束的环境设计，在搜索推荐系统中构建更真实的长期离线评估，避免仅依赖即时点击率
- 技能级诊断与动作级归因方法可直接用于分析推荐策略的复合效果：将最终GMV提升归因到具体的调价、广告、选品动作，指导强化学习的奖励塑形
- 合规、客服等持续性义务的建模提醒电商推荐需纳入供应链、库存、售后成本，面向全链路收益优化而非孤立的CTR/CVR
- 状态保存与分叉对比机制可用于A/B测试的离线版本，通过从同一业务状态出发并行评估不同策略，提高实验效率和可信度
全带宽Transformer：潜在反馈解码提升预训练效率
🧭 LLM 预训练 · 潜在反馈多遍并行 ★ 深度解读
Johns Hopkins University · Princeton University · Microsoft
顶层隐藏状态与token嵌入融合反馈，以近零解码开销换来约1.5–2倍数据效率与更强推理
📌 工作参考价值（4 点）
- 若在电商/搜索的 LLM Reasoner（选品解释、query理解、Agent 规划）中部署生成模型，可将 latent feedback decoding 作为推理期增强：只需把上一步顶层 hidden state 经 GLU 与当前 token embedding 融合后输入，KV cache 和 serving 栈基本不动，每 token 仅多两次 D×D 矩阵乘法；配合少量多遍训练后，在数学/编码/指令任务上稳定提升。
- 把 prompt 预填充作为重点优化对象：对用户画像、历史行为、候选商品的 prompt 先跑 1–2 遍 fused prefill，再进入生成，收益前置于第一个反馈步，验证损失和 5-shot acc 都有明显提升，适合高价值、可接受额外 prefill 成本的推荐 Agent 调用。
- 数据稀缺的领域微调可以参考训练调度：多数步用标准单遍 NTP，后期混入少量两遍/三遍 batch；只需 3% 三遍 batch 即可让反馈映射从发散变收缩，大幅提升长程稳定性；同时用 prefix mixin 对齐训练与推理的 prompt-then-generate 分布。
- 融合设计要强制使用 hidden state：用 GLU 让 hidden state 走 value 通路、token 只作 gate，避免 additive shortcut 让模型退化回普通 token 输入；再加上 RMSNorm、输入输出 embedding 绑定、jitter noise，可在不牺牲标准 decoding 的前提下获得表示质量提升。
UniMoMo：基于专家合并的推荐大模型 MoE 加速
🧭 MoE 压缩加速推荐模型
Kuaishou Technology · Hohai University · Wuhan University · ByteDance · Alibaba (Ant Group)
用无标签校准集度量专家功能相似性，结合路由曝光保护高频专家，将训练后推荐 MoE 压缩为小 MoE 并保持 NDCG
📌 工作参考价值（4 点）
- 若业务推荐模型已采用 MoE，可借鉴 UniMoMo 做不同 serving budget 的模型档位：用同一训练后 checkpoint 压缩出 2/4/8 等专家版本，线上按延迟或吞吐切换，避免为每个档位重新训练。
- 压缩时不要只看参数距离，可复用无标签校准集（用户交互序列/候选商品）比较专家在相同输入上的输出相似度，做功能聚类合并；这比 L2 权重距离更贴近推荐行为，能降低合并带来的排序损失。
- 引入 layer-adaptive protection：按 routing exposure（专家被路由的概率/流量占比）识别高频专家，限制其参与合并。电商推荐中头部流量专家通常承担关键用户群，保护它们能有效控制 NDCG 回退，尤其适合流量分布高度倾斜的场景。
- 该方法不增加线上压缩专用模块，最终导出标准 MoE，可直接替换现有推理服务；在 A100 上可取得 1.28×–2.21× 加速，适合广告/推荐精排阶段降低推理成本。
UniSpace：统一视觉表示与可扩展多模态建模
🧭 统一视觉表示 · 多模态生成编辑
Meituan
提出 Patch Reparameterization，使冻结语义 ViT 同时支持理解、生成与编辑，并扩展为 8B MoE 统一模型
📌 工作参考价值（4 点）
- 可借鉴 Patch Reparameterization：在预训练语义 ViT 上增加 reconstruction-aware patch embedding，冻结主体 Transformer，低成本复用语义表征的同时保留像素细节；适合电商商品图重建、编辑和增强场景。
- 单一视觉空间同时支持理解、生成、编辑，省去独立 VAE 通路，能降低多模态模型复杂度和部署成本；在商品图像生成、广告素材编辑、多模态商品理解等任务中可探索统一 encoder。
- 8B Mixture-of-Transformer-Experts 的扩展思路可复用到多任务电商多模态模型：按任务或模态路由专家，在统一表征上做商品理解、文案配图、图片编辑。
- 评测基准 ImgEdit/DPG/OneIG-Bench 提供指令式图像编辑的系统级评估模板，可改造为电商场景的商品图编辑/文案生图评测；但对推荐、召回、排序的直接帮助有限。
A2E：端到端智能体审计引擎
🧭 Agent 评估引擎与多维指标体系
Shanghai Artificial Intelligence Laboratory
提出A2E端到端评估引擎，通过ATP协议和多维指标系统揭示Agent框架能力差异
📌 工作参考价值（4 点）
- 在电商搜索推荐Agent落地中，可借鉴ATP协议思想，定义统一的Agent任务接口，降低不同框架之间的切换与评估成本。
- 多维指标（工具调用、规划完整性、错误恢复等）比单一准确率更能定位Agent短板，可直接用于Agent迭代优化与A/B测试。
- 自动注入的Monitor机制，能无侵入采集执行轨迹，适合构建线上Agent的全链路观测与质量监控。
- 实验揭示“模型+框架”组合效果强依赖任务类型，提示业务选型时需按场景分别评测，避免单一组合大一统。
AI看不见的餐饮商家：基于全量市场普查的推荐审计
🧭 AI推荐审计与可见性分析
Norly Research
首次在全量市场普查下审计AI餐饮推荐，发现85.6%的场所从未被推荐，可见性由评论量、网站等数字足迹驱动，而非评分。
📌 工作参考价值（4 点）
- 全量审计方法可迁移：若电商/平台拥有完整商品或商家目录，可按此方法全面评估推荐系统的覆盖偏差，而非依赖抽样审计，发现长尾曝光不足的真实程度。
- 可见性双阶段洞察：入场（召回）由文档丰富度（评论量、价格信息、网站）决定，排序才由评分主导。启示：提升新品/冷启动物品的召回率应优先填充文本属性与外部引用，而非单纯追求评分。
- 陈旧信息风险：AI系统易推荐已关闭/下架商品（93次 vs. 编造仅0.08%），要求业务侧确保知识库或商品状态的实时更新，防止无效推荐损害体验。
- 多系统协同不确定性：不同AI之间一致性低（Jaccard 0.33-0.54），商户依赖单一系统引流风险高；平台若使用LLM生成推荐内容，需测试多个模型的一致性，或进行后处理融合。
超越短视世界模型：面向直接未来预测的长时域端到端训练
🧭 世界模型长时域训练范式
University of California, Davis
提出直接预测终端状态的训练范式，避免递归误差累积，显著提升长时域预测精度
📌 工作参考价值（4 点）
- 长序列动作效果评估：在电商广告序列投放或对话式推荐中，可通过直接优化最终转化/满意度目标的训练方式，替代单步奖励预测的误差累积，提升长期效果的预估精度。
- Planning 与 Agent 决策：方法可直接用于生成式 Agent 的多步规划，将动作序列编码为单一嵌入后预测终点状态，避免自回归展开的推理不稳定性和高昂计算成本。
- 轨迹级别的损失设计：在用户行为序列建模（如 session-based 推荐）中，可以借鉴端点回归的思想，直接优化对最后交互 item 的预测，而非每一步的 next-item 预测，可能提升高价值末尾行为的召回。
- 非递归架构设计：DPWM 的并行化动作序列编码模式（如 Transformer 或卷积）可直接迁移到广告序列生成模型中，将整段预算分配计划压缩为平面表示，一次性预测最终效果，加速在线求解。
CoBa：通过计算均衡路由实现具成本效益的测试时扩展
🧭 LLM 测试时计算优化
School of Mathematics and Statistics, Changsha University of Science and Technology, Changsha, China · School of Biomedical Engineering, Shanghai Jiao Tong University, Shanghai, China
提出计算均衡路由策略，动态分配生成与验证预算，以更少计算匹配多数投票准确率。
📌 工作参考价值（4 点）
- 多候选验证的预算分配：在生成式推荐或搜索中，当需要从多个候选 query/item 中投票选择时，可先使用廉价验证器（如轻量级打分模型）过滤大量候选，仅将高不确定性或高价值候选送入昂贵的大模型验证，大幅减少 LLM 调用成本。
- Agent 循环中的动态路由：在涉及规划-执行-评估的 Agent 系统中，可借鉴 CoBa 的“生成 vs 验证 vs 停止”决策框架，由路由模块实时判断下一步应生成更多方案、调用评估器，还是直接输出结果，避免无效计算。
- 在线服务成本控制：对于对延迟敏感的电商实时推荐，可基于 CoBa 的停止规则设定置信度阈值，当廉价验证结果一致性高时提前终止，节省的 token 可分配给更复杂的用户意图理解场景。
- 粗-精验证管道设计：构建类似于 CoBa 的两级验证结构，第一级用规则或小模型快速打分，第二级用大模型深挖，这在商品标题改写、用户评论情感分析等场景中可直接复用，提升吞吐量。
CoinRAG：面向长上下文RAG的细粒度信息块KV缓存复用
🧭 KV缓存复用 · 细粒度信息块 · 低延迟RAG ★ 深度解读
University of California, Santa Barbara · Hanbat National University
通过离线提取细粒度信息块并复用其上下文KV缓存，在低延迟预算下显著提升多跳问答准确率
📌 工作参考价值（4 点）
- 细粒度信息块离线提取与缓存复用：在电商/内容推荐中，可对商品描述或文档预先提取关键事实块并缓存KV，在线仅加载所需片段，大幅降低预填充延迟，适配严格的SLA。
- 两阶段检索缩小候选范围：先粗粒块召回，再在块内针对查询做细粒度块排序，可迁移到多路召回或Rerank场景，减少噪声同时提升效率。
- 位置对齐实现非连续缓存拼接：利用RoPE旋转偏移对齐来自不同块的缓存片段，保持紧凑的连续位置编码，减少内存占用并加速解码，适用于动态组合多种证据的生成式推荐或广告文案生成。
- 块感知微调（nugget‑aware fine‑tuning）：在训练中直接注入拼接的非连续缓存结构，能大幅缩小训练‑推理偏差，类似方法可用于在业务中微调模型以接受结构化的检索增强输入，如structured prompt+商品属性片段。