候选约束检索增强生成系统：LongEval-RAG 的设计与实证
🧭 候选约束 RAG 流水线设计与多指标评估
在候选约束 RAG 中，规则分块配合句子级神经选择优于复杂语义分块，获得多项指标最优
📌 工作参考价值（4 点）
- 在候选集受限的检索任务（如给定商品列表的搜索或推荐理由生成）中，分块策略优先采用简单规则（固定句子/段落切分），将语义理解后置到句子级神经重排，避免复杂分块带来的不稳定性。
- 伪相关反馈（PRF）和倒数秩融合（RRF）可作为轻量级召回增强手段，在不明显增加延迟的情况下提升检索精度，适合线上服务。
- 需要引用证据的生成场景（如推荐解释或搜索摘要），可引入引用先验（citation prior），强制生成模型关注已选证据的来源，提高生成内容的可信度。
- 离线评估应采用多指标（如 BERTScore、检索精度、nugget 覆盖、平均等级）和多评判方式（金标准、LLM judge），避免单一指标产生的误导，指导系统迭代。
库存感知的RAG生成式AI模型实现搜索广告查询改写
🧭 查询改写与广告库存对齐 ★ 深度解读
Walmart AdTech
通过实时库存感知的RAG+LLM查询改写，将无广告填充的搜索比例从13%大幅降低，填充率提升68%
📌 工作参考价值（4 点）
- 零填充查询改写策略：可借鉴「识别→检索→改写→混合」流程，先通过规则分类器识别低效查询，再基于库存感知的RAG生成候选改写，最后混合历史高点击查询，直接复用至电商广告系统的查询召回阶段。
- 两塔BERT + LoRA LLM 的架构组合：用双塔模型做语义检索得到 Top-N 商品，将其属性拼入 prompt 作为上下文，再用 LoRA 微调的 Llama2 生成改写查询，这种轻量微调方式适合业务快速迭代。
- 离线评测设计：刻意选取历史零填充查询作为测试集，直接衡量改写模型的填补能力，同时用 NDCG@8 评估相关性，可作为广告改写效果的兜底指标。
- 动态库存感知的即时性：实时检索向量数据库中的可用广告库存并考虑预算，生成与可投放商品绑定的查询，避免改写后仍然无广告可投的尴尬。
LLM 当导师：面向非可验证强化学习的策略感知提示自适应
🧭 LLM 训练 · 奖励信号自适应
KAIST · Upstage · University of Toronto · Carnegie Mellon University · NVIDIA
让 LLM 同时充当考官和生成器，通过追加原子约束实现提示难度自适应，恢复奖励区分度。
📌 工作参考价值（4 点）
- 在搜索推荐中使用 LLM 评委评估生成质量时，可借鉴 append-only 约束生成方法，随策略能力提升动态增加评估提示的难度，避免奖励信号失效。
- Agent 训练中，固定任务指令易导致简单样本无区分度，可引入自适应难度机制：比较 agent 产出质量，对简单任务自动追加新约束，维持训练信号有效性。
- 工程实现上，复用单一 LLM 完成比较判别与约束生成，原子化约束的追加方式保证难度单调递增，无需外部调度模块，降低系统复杂度。
- 在广告文案或推荐理由生成中，可动态调整评估维度（如“增加情感诉求”、“限制字数”）来持续激发模型能力提升。
ResearchStudio-Idea：从顶会论文中学习可复用研究构思模式的技能套件
🧭 自动化研究构思 · 证据驱动生成
Nanyang Technological University · Microsoft Research · National University of Singapore · CF AR, A*STAR
从机器学习顶会论文中提取15种可复用构思模式，构建证据驱动的端到端创意生成工作流
📌 工作参考价值（4 点）
- 模式提取可复用到策略创意生成：类似地从历史高转化广告文案、高效召回策略中挖掘重复出现的“成功模式”（如特定痛点切入、差异化角度），形成结构化卡片，引导 Agent 批量生成新的营销方向或推荐策略。
- 证据准备度检查模板：在接收业务需求（如提升冷启动推荐效果）时，先让系统核查输入信息的充分性（类似 IdeaSpark 的 evidence readiness），避免基于不完整上下文生成低质量方案。
- 碰撞检测机制用于创意排重：在批量生成推荐理由或 push 文案时，可引入类似 Scoop-Check 的冲突检索，确保新颖性，防止重复已有内容或竞品方案。
- 审查与追溯卡片提升交付物可信度：对生成的推荐策略附上“提案卡片”，包含依赖的前人工作、可能失败模式，便于工程团队评估风险、追溯决策依据，尤其适合 Agent 辅助的离线策略推荐场景。
使用 LLM 增强电商赞助搜索相关性
🧭 LLM 助力搜索广告相关性判别 ★ 深度解读
Walmart AdTech
用 LoRA 微调 LLaMA2 7B 做 <query, ad title> 三分类，准确率 89.43% 优于 GPT-4 和 BERT
📌 工作参考价值（4 点）
- 用 LoRA 微调开源 LLM（LLaMA2 7B） 构建相关性模型，成本和隐私都优于依赖 GPT-4 API，适合公司内部部署。
- 将相关性定义为 三分类（Relevant / Partially Relevant / Irrelevant） 更贴合实际排序需求，可据此设计差控策略或加权打分。
- 直接使用 <query, ad title> 文本对 作为输入，无需手工构造特征，可快速迁移到商品搜索、内容推荐等其他文本匹配场景。
- 标注时采用 3 人投票取多数 保证质量，后续可搭配 模型自动标注 + 人工抽检 缩短迭代周期，降低标注成本。
UI-MOPD：面向持续GUI智能体学习的多平台在线蒸馏方法
🧭 GUI Agent 持续学习与跨平台适应
Tsinghua Shenzhen International Graduate School, Tsinghua University · Xiaomi · Harbin Institute of Technology, Shenzhen · Zhejiang University · Peng Cheng Laboratory
提出多教师在线蒸馏持续学习框架，动态选择平台教师，缓解跨平台GUI智能体的灾难性遗忘与行为冲突
📌 工作参考价值（4 点）
- 电商多端（APP/PC/小程序）自动化运营 Agent 可采用多教师在线蒸馏，避免不同平台操作惯例冲突，保留端侧特有行为模式，减少为每端单独维护模型的成本。
- 平台条件蒸馏通过环境信号动态路由选择特定教师，能使统一策略模型灵活适应多端环境，适合搜索推荐系统中跨端交互流程的自动化。
- 构建跨平台操作轨迹数据时，可借鉴 Uni-GUI 的收集策略（如多源采集、平台覆盖、操作可执行性过滤），提升训练数据质量与平台泛化性。
- 策略回放机制可迁移至电商 Agent 的持续学习中，防止新增端侧任务时旧端侧能力的灾难性遗忘。
研究最后一公里自动化：从论文到海报、视频与博客的智能生成流水线
🧭 多技能 Agent 组合与内容生成流水线
Microsoft Research · National University of Singapore · Nanyang Technological University · Tsinghua University · Peking University
将论文自动转化为可编辑的海报、视频与博客，通过共享提取器和硬性渲染门控保证可用性
📌 工作参考价值（4 点）
- 共享上游解析器 + 可组合技能设计：在电商场景中，可以复用同一套商品/内容分析结果，分别生成商品标题、详情文案、广告短视频脚本和直播口播稿，避免重复调用大模型，降低延迟与成本。
- 硬性渲染门控保证产出可用：生成推荐理由或广告语时，可引入格式校验（如字数、必含关键词）作为硬性检查点，避免产生无法直接上线的空泛描述。
- 可编辑的中间产物：生成推荐文案、商品标题时输出PPTX或DOCX等可编辑格式，便于运营人员二次修改，而非一次性渲染，保留人工干预入口。
- 跨模态内容联动导航：灵感可用于商品详情页，点击不同卖点段落时自动跳转至对应的讲解视频片段、图片位置或用户评价，提升交互体验。
阿拉伯语LLM的方言可控生成：稀疏神经元与分布式向量引导
🧭 推理时干预 · 模型可解释性
Mohamed bin Zayed University of Artificial Intelligence · Qatar Computing Research Institute, Hamad Bin Khalifa University · Tohoku University · RIKEN
通过识别并操控稀疏神经元或注入方言向量，在推理时无微调控制LLM方言输出
📌 工作参考价值（4 点）
- 推理时引导（steering）可零成本切换LLM输出风格，无需微调。在电商客服、商品描述生成中，可注入“亲和力”或“专业度”向量控制语气。
- 神经元稀疏分析定位领域知识（如品牌、品类），用于可解释性调试与受控生成，辅助发现模型内部的概念神经元。
- 向量抽取方法（对比样本对计算差异向量）可提取任意属性的激活方向，在推荐文案或Agent交互中实现细粒度属性控制，如情感倾向、正式度。
- 干预强度可调，提供“风格强度”旋钮，适合在线A/B测试与个性化体验的渐进式优化。
APeB：大模型智能体个性化能力基准测试
🧭 个性化产品搜索 · Agent评测 ★ 深度解读
The Chinese University of Hong Kong · ByteDance
构建真实个性化产品搜索基准，揭示LLM智能体在模糊意图与噪声历史下历史利用不足的核心瓶颈
📌 工作参考价值（4 点）
- 历史利用率短板是当前LLM Agent的致命伤：在模糊查询（如“校园风”）、强竞争候选下，直接喂入长历史效果甚微，应设计显式历史摘要或查询改写模块（如论文的VQRA），先凝练偏好再匹配，而不是端到端扔给LLM。
- 用“硬负样本”逼近真实场景：随机候选主要测语义匹配，硬候选（用户曾浏览但未买）才暴露个性化缺陷；业务评估推荐/搜索时，应构造同会话内的高度相似物品池来检验真实个性化能力。
- ReAct等工作流在模糊查询上未必加分：多步推理可放大意图理解错误；在query不明确时，先迭代改写query（用历史信息）再单步决策，可能比盲目增加推理步数更有效。
- LLM-as-a-Judge诊断中间推理路径：可定义意图推断、偏好提取、推荐对齐等分项指标，用LLM综合打分来定位模型失败节点，该方法可复用到电商Agent的离线优化流程。
HGenPush：面向工业推送通知系统的异构生成式推荐架构
🧭 生成式推荐 · 异构内容联合生成 ★ 深度解读
Kuaishou Technology
解耦自回归生成，以链式多token预测和行为偏好对齐统一推荐视频与作者，快手推送获+0.181% DAU提升。
📌 工作参考价值（4 点）
- 链式多token预测（Chained-MTP）替代自回归：用稳定的用户兴趣表示作为全局上下文，叠加前序语义ID的累计嵌入来建模层级依赖，整个序列的token可并行预测。相比Transformer级联方式，推理吞吐提升34%，效果基本持平，很适合需要高QPS的生成式推荐落地。
- 异构目标统一生成：对作者（或店铺、媒体源）采用行为偏好对齐得到偏好感知的embedding，经RQ-Kmeans离散化为语义ID，再与视频一级语义ID拼接成混合ID，用同一个decoder生成。这样在系统中自然融合商品推荐与信任源推荐，可直接借鉴到电商中“商品+店铺”或“文章+作者”的组合推荐。
- 用户消费偏好对齐（UCPA + GSISPO）：用点击后会话中真实消费行为（播放完成、点赞、转发等）作为奖励信号，序列级计算重要性采样权重并裁剪，避免token级优化的语义碎片化，同时保留高价值长尾行为的梯度。该RL对齐方案无需额外critic网络，能有效抑制标题党，提升深度消费指标。
- 多场景多视角行为融合：将长/短期feed行为、推送点击行为、推送发送行为与用户静态特征串联输入causal decoder，分别抽取[cls]表示供不同生成分支使用。这种跨场景行为组合及特殊token设计，可迁移到需要跨业务线联合建模的用户理解模块。
基于相关性的嵌入：用重排序器调用实现轻量级候选检索
🧭 轻量级候选召回 · 相关性嵌入 ★ 深度解读
Yandex
利用重排序器评分构造查询与物品的相关性向量，通过神经网络映射为嵌入，可近似任意复杂相关函数且参数极少。
📌 工作参考价值（4 点）
- 直接复用重排序器分数作为特征：如果业务中已有性能很强的重排序模型（如 CatBoost 或大型 CE），可将其对少量「支持集」的打分向量作为查询和物品的表示，无需额外特征工程，就能训练一个超轻量召回模型（参数量可低至 50K，而基线双塔有 300M+）。
- 支持集选择策略是核心杠杆：实验表明，简单的 KMeans 聚类中心或 l2-greedy 贪婪选点比随机选支持集提效显著（HitRate@100 相对提升 10~20 个百分点）。在电商推荐中，可直接按一级类目聚类、或用高频交互物品作为支持集，零额外成本提升召回质量。
- 训练时组合 CUR 近似与可学习残差：将初始化嵌入设为 CUR 分解得到的系数，再用浅层 MLP 学习残差，能稳定训练并进一步提点，这一技巧可迁移到任何用评分向量构建序列表征的场景。
- 灵活应对物品冷启与动态库：对新物品只需计算其与固定支持查询的相关性向量，立即获得嵌入，无需重训嵌入表；在物品集固定的情形下，也可以直接用可训练 embedding 代替 f_I，大幅减少线上重排调用次数。
将交错多模态推理统一为决策过程：BRAID框架
🧭 多模态推理 · 统一 MDP · 强化学习优化
Nanjing University · Tencent Youtu Lab · Shanghai AI Laboratory · Tsinghua University · University of Washington
提出 BRAID，把多轮文本-图像推理建模为统一 MDP，用 RL 联合优化文本与图像生成，并引入 VLM judge 提供稠密回合反馈
📌 工作参考价值（4 点）
- 电商多模态 Agent 联合优化：在商品文案配图、展示广告创意生成等多轮交互场景中，可将文本和图像生成纳入统一 MDP，用 RL 同时优化文本 token 和图像扩散去噪路径，避免只微调文本而忽略图像质量的半优化问题。
- 中间图像价值评估：引入 VLM judge 对多轮推理中每一张中间图像打分，提供稠密回合级奖励。在搜索推荐 Agent 的多步调用中，可类似地用 judge 评估每一步生成内容的“推理效用”，改善长程信用分配，加快训练。
- 模态原生策略梯度：BRAID 对文本和图像分别使用各自模态的策略梯度机制，但共享一个轨迹级优势函数。实际实现时，可参照其设计，将优势值统一后注入不同生成模块的损失函数，避免为每个模态单独设计奖励。
- 工程落地参考：扩散模型策略梯度需计算 score function 与 denoising path 的关联，BRAID 提供的实现思路可直接复用到广告图片生成的在线优化中，提升点击率。
OmniOpt: 现代优化器分类、几何与基准评测
🧭 现代优化器统一分类与基准评测
Shanghai Artificial Intelligence Laboratory · Shanghai University · Westlake University · Shanghai Jiao Tong University · UCAS
提出统一元流水线与LMO框架，构建双维度分类并系统性基准评测100+优化器
📌 工作参考价值（4 点）
- 训练推荐模型（如CTR、CVR预估、多任务学习）时，可根据双维度分类快速筛选优化器：若追求收敛速度与泛化，可优先考虑AdamW；若显存受限，可尝试Lion或分布式优化器。
- LMO统一框架帮助理解不同优化器的几何含义，方便在自研推荐模型时针对稀疏特征（如embedding）或稠密参数设计混合优化策略。
- 基准结果显示多数优化器只在少数目标上占优，建议在实际业务中根据优化目标（稳定性、超参鲁棒性、计算开销）组织小规模预实验，避免盲目跟风新方法。
- 论文提供了108个优化器的代码库和Hugging Face集成，可直接用于推荐模型的训练加速和对比实验。
全模态密集视频描述并行自回归解码
🧭 多模态事件描述 · 并行解码
National University of Singapore
利用事件间弱局部依赖重构解码依赖图，实现无损并行生成，大幅提升密集视频描述效率与性能
📌 工作参考价值（4 点）
- 推荐系统生成序列化推荐理由或事件描述时，可将文本分解为相对独立的语义块（如商品卖点、活动节点），利用块间弱依赖并行解码，降低端到端生成延迟。
- 借鉴潜在全局规划模块的设计，在Agent多步推理中预先规划步骤间的因果依赖，对无依赖的推理步骤并行执行，提升复杂任务的处理效率。
- 事件因子化解码机制平衡局部连贯与全局感知的思路，可用于电商直播合辑、广告创意序列等需同时保持单条内容紧凑性和整体叙事流的场景。
- 依赖图动态重构方案可迁移到搜索建议生成、会话式推荐中，根据输入意图的独立性自动分组，实现部分并行以加速响应。
三思而后行：将树搜索蒸馏为冻结VLA模型的动作评估
🧭 Agent 动作评估与测试时缩放
Nanjing University · Australian National University · Institute of Automation, Chinese Academy of Sciences · Nvidia
通过MCTS树搜索采集轨迹并蒸馏为轻量Q值模型，解耦动作提案与后果评估，在不微调VLA下显著提升泛化与效率
📌 工作参考价值（4 点）
- Agent 动作解耦范式：将动作生成（VLA）与长期后果评估（Q模型）分离，保持通用模型冻结，仅训练轻量评估器，避免微调带来的泛化能力损失，适用于电商推荐Agent中对话/多步决策的在线动作选择。
- 仿真树搜索蒸馏：利用离线仿真环境或历史日志构建奖励信号，通过MCTS充分探索候选动作空间并收集带回报的轨迹，蒸馏为Q值预测器。在搜索推荐Agent中，可对候选query/文案/策略进行前瞻性评估后再执行。
- 测试时缩放替代模型缩放：通过增加候选动作采样数（如pass@k）和评估器计算来提升性能，比直接扩大模型更具性价比。例如在低延迟要求下，用小模型生成多候选+评估器挑选，超过大模型效果。
- 不确定性正则化Q值：在选择动作时结合不确定性惩罚，平衡探索与利用，可借鉴到多臂老虎机或在线探索推荐场景，用于候选物品/文案的最终择优。