ProRetrieval：通过可执行程序合成学习编排混合检索
🧭 LLM检索编排 · 可执行程序合成 ★ 深度解读
East China Normal University · New York University · Matter Innovation Inc. · ThinRedLine · Shandong University of Science and Technology
将LLM训练为检索编排器，生成SQL+向量原语的DSL程序，4B模型在电商/邮件Hit@1超越GPT-5.5
📌 工作参考价值（4 点）
- 用 SQL 作为混合检索的融合骨架：让模型输出 sql + retrieval_list，向量检索 top-K 候选集通过 id IN <text_0>/<image_0> 占位符注入 SQL，天然支持 AND/OR/NOT 和嵌套。电商搜索/广告召回里，可以用同一套 DSL 统一编排品牌、价格、类目等结构化过滤与文本/图片向量召回，替代硬编码 RRF 或只支持 AND 的 self-query retriever。
- 小模型 + RL 比 few-shot 大模型更划算：Qwen3-4B 经 SFT + GRPO/DAPO 训练后在 DSL 检索编排上超过 GPT-5.5，执行成功 >99%，单 query 推理约 50ms。适合需要低延迟、低成本但复杂查询解析的线上检索服务，4B 部署在单张 RTX 4090 即可。
- 复杂动作空间下 SFT 存在多任务干扰，RL 是解锁多模态的关键：全 DSL SFT 反而不如只保留 SQL+text 的受限 DSL，但 RL 能让图片检索 Hit@1 从 0.323 提升到 0.716。如果业务只做结构化+文本检索，先上受限 DSL 的 SFT 即可；要加入图片召回，建议走 SFT→RL 路径。
- 分层奖励与 DAPO 稳定性值得复用：format→execution→result→length 的奖励设计天然形成隐式优先级，可以让小模型快速学会可执行程序格式；DAPO 非对称裁剪比 GRPO 更稳定，生产部署优先选 DAPO。工程上注意 SQL 转义问题（如品牌名含撇号）并加执行失败 fallback。
PuRo-2B：用 RTX 5090 以约 5090 美元级预算训练 Qwen2-1.5B
🧭 低成本 LLM 预训练 recipe ★ 深度解读
Tsinghua University · Pengcheng Laboratory
开源低成本预训练 recipe：RTX 5090 + FP8 + MuonH + 课程平均，约 $6.9K 训出接近 Qwen2.5-1.5B 的 2B 模型
📌 工作参考价值（4 点）
- 低成本训练 domain-specific 小模型：RTX 5090 的 BF16/FP8 每美元算力约为 H200 的 2.7 倍，业务侧可评估消费级 GPU 集群做 LLM 训练/微调，而不必只租 A100/H200；但需注意驱动改 P2P/GDR、InfiniBand 组网等工程风险。
- FP8 混合精度可从随机初始化开始，不需要 BF16 warm-up：参考 blockwise scaling（激活 1D 128，权重 2D 128x128），敏感状态保持 BF16/FP32，预期吞吐提升 1.3-1.4x 且质量损失很小，适合训练中小规模排序/召回或生成式推荐模型。
- MuonH 优化器对 attention/MLP 矩阵做 fixed-radius 投影，显式控制 effective LR，比普通 Muon 更稳；在总 token 预算不固定、需要持续训练时，WSD + 较长线性 decay 比短 decay 更划算，可迁移到训练中小型 Transformer。
- 数据课程与 checkpoint averaging：按源内质量分排序 chunk 的 coarse curriculum + 末尾常数 LR checkpoint averaging，不需要全局质量分就能提升下游任务；对多源推荐/搜索语料，可用 proxy 小模型评估各数据源的下游收益，指导 mixture 权重，显著降低数据筛选成本。
RedEvoAgent：经验驱动技能演化的自动红队智能体
🧭 LLM Agent 技能进化与安全红队 ★ 深度解读
City University of Hong Kong · Shenzhen MSU-BIT University
将攻击轨迹蒸馏为可读技能，并用验证棘轮做候选更新，提升黑盒 Agent 攻击效果与工具效率
📌 工作参考价值（4 点）
- 对商品推荐/搜索 Agent 的策略迭代：把召回-排序-重排或 query 改写策略写成可读 skill 文档，候选版本只有验证集或小流量指标严格优于当前策略才上线；失败候选进入 rejection context，减少反复生成无效配置。
- 在多工具 Agent 链路中做“决定性工具归因”：不按工具出现频率记功，而把成功案例归因到直接带来正向反馈的工具/动作，可避免策略坍缩到高频但低效的工具。
- 工具/策略先做隔离评分画像：对候选工具在固定数据上单独评估，再让 LLM 结合轨迹总结优先级；比检索全量历史轨迹上下文成本更低、可读性更好。
- 可零样本复用与安全测试：在一个模型/执行环境上进化出的 skill 可迁移到其他模型/harness，适合多租户电商 Agent 的对抗测试、鲁棒性评估；工具调用次数也可作为效率指标纳入评估。
人格-执行分离：一种在审计下演化 LLM Agent 的架构模式
🧭 Agent 架构模式 · 信任域分离 ★ 深度解读
Independent Researcher, Beijing, China
提出人格-执行分离（PES）架构，把 LLM Agent 的形象面与执行面分置不同信任域，以受治理契约桥兼顾自由演化与执行审计
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 中把“人设/话术”与“下单/券发放/支付”等执行面分到不同信任域；人设可高频 A/B 调优，执行侧规则/审计不变。用 MCP 工具调用 + ACL + deny/ask/allow 审批矩阵做唯一过境通道。
- 采用“绑定而非投影”：人设侧只持有 capability ID/SOP 引用，不复制执行逻辑或敏感数据；状态摘要可以回流，数据正文默认不流出，仅通过分级 DLP 脱敏例外（如订单号/金额摘要）。避免双份 persona 导致漂移。
- 对核心身份与表层人设分层：员工 ID/角色/SOP 绑定为审计锚点，不能随话术自由变更；审计 ledger 绑定核心身份而非 prompt 文本，防止 prompt 注入或 profile poisoning 污染执行记录。
- 工程化落地时，用 ADR 记录每个架构决策和 rejected alternative；如果必须单域实现，也要显式建立“类型化变更对象 + 外部执行门 + 稳定审计锚点”，否则单域方案会在更高耦合成本下重建 PES。
RLVR 多域能力融合范式深度对比
🧭 RLVR 多域融合范式对比 ★ 深度解读
Fudan University · Tencent
系统对比 Merge、Mix RL、MOPD，发现跨域关系决定性能，融合仅重排已有解不扩覆盖
📌 工作参考价值（4 点）
- 多能力 LLM 后训练融合选型：如果线上已有 query 改写、商品文案、Agent 工具调用等分别 RLVR 产出的 LoRA/全参 expert，优先试 Merge/Task Arithmetic，融合成本几乎为 0；但下单前先算 task-vector cosine，IF/Agent 类能力通常与其他域近乎正交，merge 后会掉点，需单独评估或提高权重。
- 如果没有现成 expert 且要训练统一模型，用 Mix RL 成本约为单域 RL 的 0.58-0.67x；数据混合比例不能简单按自然数据量，推理型任务（数学/代码/科学）可以互相增强并适度降低配比，指令遵循/Agent 类缺少正向迁移，必须保证足够的采样占比，否则对应 benchmark 会明显塌陷。
- MOPD 适合已有 domain experts 且要求各域精度不掉、可以接受端到端成本更高的场景；它的收敛快但被 teacher 上限约束，不适合期望超越单专家的场景。
- 融合只提升 pass@1、不扩大解覆盖，对搜索/推荐里首屏 top-1 质量优化有效；若目标是长尾多样性或生成式 item ID 覆盖，需要额外做采样、多样性约束，而不是靠单模型融合。
弱模型引导提升 RLVR 中 LLM 探索
🧭 LLM 强化学习 · 探索增强
Wangxuan Institute of Computer Technology, Peking University · National Engineering Research Center of New Electronic Publishing Technologies
用弱模型生成部分推理前缀，强制主模型续写陌生路径，缓解 RLVR 熵坍塌并提升 pass@k
📌 工作参考价值（4 点）
- 在搜索/推荐场景用 RLVR 微调 LLM（如 query 改写、商品文案生成、可验证奖励排序决策）时，可引入弱模型前缀：用轻量模型生成部分推理或候选文本，由主模型续写，以提升生成多样性，适合需要多个候选解的生成式推荐与 Agent 决策。
- 对 pass@k 有要求的生成管道（多路 query 建议、多候选推荐解释），熵保持比单条平均奖励更重要；该方法无需额外 SFT 或复杂奖励设计，可直接复用现有粗排/轻量模型，工程成本低，作为训练阶段的即插即用探索增强。
- 多模型协同（粗排-精排、teacher-student、Agent 层级）可借鉴跨模型扰动思路：刻意用弱模型产生分布不一致的前缀，让强模型适应陌生输入，提高策略鲁棒性；需注意差异过大可能引入噪声，应调节前缀长度或来源模型。
- 若 RLVR 奖励可验证（点击、转化等），可设计外部前缀机制，避免主策略在高奖励模板上过拟合，扩大覆盖的推理路径。
视觉检索头：揭示视觉语言模型如何定位与提取视觉信息
🧭 VLM 可解释性 · 视觉检索头
KAIST · Independent Researcher
发现 VLMs 中稀疏且因果的视觉检索头，负责将文本描述 grounding 到图像区域
📌 工作参考价值（4 点）
- 业务中用到 VLM（如商品图问答、广告素材理解）时，可通过 mask 少量 VRHs 快速验证定位能力是否关键，或做推理时的受控干预，提升输出可信度。
- 头打分方法（输出 token 对 GT 区域的 attention 求和）可作为诊断工具，评估多模态模型在特定业务数据上的视觉 grounding 质量，识别失败案例是模型定位偏差还是高层推理问题。
- VRHs 跨模型迁移（共享 LLM 主干）意味着可以在一个 VLM 上发现关键头，再迁移到同主干的其他 VLM，降低重复分析成本，用于模型压缩或推理加速。
- 整体上是机制解释的学术贡献，直接迁移到电商推荐/搜索系统还需结合具体业务数据做适配，不建议直接照搬。
Stageboost：基于反事实估计的商品详情页信号推荐模型
🧭 电商信号推荐 · 反事实估计
eBay India · eBay Israel · eBay USA
eBay利用两阶段XGBoost反事实估计在商品详情页优化信号展示，GMB提升0.08%
📌 工作参考价值（4 点）
- 借鉴反事实估计校正信号展示偏差：记录信号曝光与转化数据，用IPW/DR等方法估计每个信号对转化的因果增益，而非简单看CTR，避免位置偏差误导。
- 两阶段解耦价值评估与组合优化：先独立预测信号收益，再在placement容量约束（如Urgency最多1个，Conversational最多2个）下求最优组合，提升可解释性和工程可控性。
- 对高客单价商品强化信号推荐：实验表明高平均价格商品转化提升显著，可针对此类商品增强信任/紧迫感类信号（如库存、退货政策）的投放。
- 工程上采用XGBoost，训练快、可解释，适合电商大规模候选信号的线上快速迭代。
STAR：文档到文档机器翻译的句子翻译对齐率与偏好优化
🧭 LLM 文档级翻译的结构对齐评估与偏好优化
Soochow University, Suzhou, China · Alibaba Group, Hangzhou, China
提出 STAR 结构对齐指标与 StarPO 偏好优化，使紧凑模型在 Doc2Doc 翻译中超过 GPT-4o 且更省 token
📌 工作参考价值（4 点）
- 将 STAR 的句子级结构对齐思想迁移到生成式推荐/广告文案：对输入商品属性、卖点与输出文案做句子或字段级对齐检查，量化漏生成、幻觉、错位比例，作为离线评估或 reward 信号，避免 LLM 漏掉关键卖点或编造属性。
- StarPO 的动态掩码偏好优化可用于训练可控生成：先按结构对齐分数排序候选，构造偏好对时只对错位片段计算 loss / 梯度，减少无关 token 干扰，提升对业务约束（如必须包含关键词、数据字段）的遵守率。
- 紧凑模型 + 结构化偏好优化在特定任务可超过 GPT-4o 且 token 效率更高；在低延迟、高吞吐的电商生成场景中，可优先用小模型配合针对性的对齐训练，不必盲目依赖大模型 API。
- 对 RAG / Agent 多步生成也可借鉴：在检索结果摘要、reasoning 步骤输出中增加源-目标结构保真度检查，防止 Agent 遗漏关键检索信息或幻想额外事实。
SWE-Prime：用更少轨迹实现更好性能
🧭 轨迹数据筛选与分段SFT
Sun Yat-sen University · Huawei Cloud Computing Technologies Co., Ltd. · Chongqing University
提出多粒度两阶段SFT数据筛选，轨迹级选10%高质量子集并片段级屏蔽损失，训练效果超全量数据
📌 工作参考价值（4 点）
- 在电商导购/售后 Agent 的轨迹 SFT 中，可直接借鉴“成功轨迹 ≠ 优质监督”的假设：先按结果质量、过程质量、代表性筛掉含无效操作或高风险步骤的样本，再用小比例高质数据做 SFT，实验显示 10% 数据可超越全量；适合业务上语料噪声大、训练成本敏感的场景。
- 分段级 loss masking 很实用：保留完整轨迹作为上下文，但只让“对最终成交/解决方案有正向贡献、可学习且低风险”的 segment 参与梯度回传，能避免模型模仿冗余点击、重复搜索或危险操作。
- 三段评估指标可迁移：贡献度（是否影响最终结果）、可学习性（Agent 能否从该步骤归纳出策略）、风险（是否会放大幻觉/违规动作）可作为构建推荐/搜索 Agent 轨迹语料的自动过滤信号。
- 若是多步商品推荐/搜索召回 Agent，可按语义将轨迹切分为意图识别、query改写、候选筛选、解释推荐等片段，复用其片段级数据选择框架，只优化关键决策段。
Token 级广告：生成式原生广告的潜在广告主混合拍卖机制
🧭 生成式广告 · token级拍卖机制 ★ 深度解读
Renmin University of China · Baidu Inc. · Stanford University
提出 LAMA 将广告主影响直接嵌入 token 级生成过程，满足 Markov DSIC/IR 且近最优 KL 正则化福利
📌 工作参考价值（4 点）
- 把广告分配从固定 slot 迁移到 token 级生成轨迹：每次生成一个 token 都更新广告主后验，最终按后验采样赢家，适合对话式推荐、AI 搜索摘要中的品牌植入；可用温度 β 显式控制商业化侵入度，与用户自然性平衡。
- 报告由平台代理的工程方案很实用：共享 advertiser-conditioned LoRA 模型输出 advertiser-specific policy，一个 value head 锚定 root value，通过 Bradley-Terry 目标学习 local advantages；部署时只对检索后的小候选集做常数额外 forward，可降低多广告主生成式推荐的服务成本。
- 支付设计中的 Bellman consistency 消息空间可在线上验证报告一致性，随机 settlement 只对赢家收费，实现 outcome IR 和期望弱预算平衡，减少广告主对“参与即收费”的障碍，适合生成式广告冷启动。
- 评估指标同时覆盖 welfare/revenue/value/quality 四个维度，尤其将 GEM-Bench 用户质量独立于 KL 惩罚，对生成式广告上线监控有直接参考价值。
通过倒置非对称融合缓解多模态学习中的强模态坍缩
🧭 多模态融合中强模态坍缩抑制
Imperial College London · California Polytechnic State University San Luis Obispo
提出 Inverted Asymmetric Fusion，保留强模态通路并以弱模态蒸馏锚定融合，避免强模态退化
📌 工作参考价值（4 点）
- 多模态推荐/搜索中常出现文本、图像、行为等信号不均衡，直接对称融合可能损害主模态表征。可设计非对称融合结构，让强模态（如商品标题、用户历史）保持自身通路，弱模态仅作为上下文信息辅助，而不是强制相互注意力。
- 对图像、视频等弱模态先做模态感知知识蒸馏，使其在融合前尽可能逼近强模态或教师模型的语义空间，能减少融合时的噪声干扰，提高整体效果。
- 引入路径隔离评估：在融合前后分别测试各单模态内部准确率，快速定位是否发生融合退化，这在推荐模型迭代中可作为调试工具，避免“融合后反而变差”的隐性故障。
- 该思路可用于电商多模态排序、详情页理解等场景：文本描述通常是强模态，图片/视频是弱模态，可让视频/图片特征以文本特征为锚定，而非让文本特征被图像注意机制拉偏。
通过视觉文本纠错揭示视觉语言模型在图像文本理解上的局限
🧭 多模态评估 · 视觉文本纠错
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, CAS, Beijing, China · School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China · Fanyu AI Laboratory, Zhongke Fanyu Technology Co., Ltd, Beijing, China · Mohamed bin Zayed University of Artificial Intelligence
提出 ReViCo 基准，以视觉文本纠错任务评估 VLM 对图像内文字及其视觉上下文的理解能力
📌 工作参考价值（4 点）
- 电商/广告图像中大量文字（价格、促销、成分、资质）是决策关键。可借鉴 ReViCo 的视觉文本纠错任务，构建内部“商品图文字纠错”评测集，重点考察模型对价格数字、折扣文案、生产日期等易错文本的识别与修正能力。
- 业务用 VLM 做图文理解或信息抽取时，不要只依赖 OCR 指标；应增加“给出错误位置+修正结果”的输出要求，暴露模型在视觉上下文中误读文本的问题，降低后续 Agent 或推荐链路中的错误传播。
- 若需要快速提升，可参考其 targeted training 范式：用少量带标注的视觉文本纠错数据微调多模态模型，尤其针对业务中高频图像模板（banner、主图、详情页）提升鲁棒性；同时保留 prompt-based 基线做对比。
- 评估结果提示，即使 SOTA VLM 也可能误解图像内文字，设计 Agent 工作流时应增加校验环节，比如让模型输出原文与修正后文本，再由规则或 OCR 引擎交叉验证。
TraceBench：受控评估 LLM 智能体的时序根因归因
🧭 LLM Agent 时序根因归因评测
ETH Zürich · CSEM SA · Independent Researcher
提出 TraceBench 仿真基准，系统评估 LLM agent 在受控机械系统时序数据上的根因归因能力
📌 工作参考价值（4 点）
- 构建诊断/归因类 agent（如广告投放异常、推荐效果波动归因）时，显式提供系统或业务领域上下文能显著提升归因效果，应把领域知识入口作为核心设计。
- 让 agent 优先通过结构化数值/表格输出探索数据，而非依赖可视化；在工具接口上优先提供数值 console 输出，更符合 LLM 的使用习惯。
- 评估归因/诊断能力时，可用仿真或可控生成的数据集构造“参数是否变化+定位哪个参数”的判别式任务，量化根因归因性能。
- 避免强制 agent 生成 Python 脚本来输出标签，直接允许提交预测结果在多数场景下性能更好；若需脚本模式，应单独评估该环节的损失。
拓扑掩码统一骨干：联合特征交互与多域序列建模
🧭 统一序列与特征交互的CVR排序 ★ 深度解读
Shandong University · Tsinghua University
用结构化TopoMask注意力在同一token空间内显式路由特征交互与多域序列信息流
📌 工作参考价值（4 点）
- 在统一token backbone中，不要默认全量self-attention；仿照TopoMask为不同token组（用户特征、商品特征、各行为域、memory token）预定义query-key连接矩阵，保留源内局部交互、阻断无关行为域直接attention，可降低噪声并提升CVR/CTR排序稳定性。
- 引入可学习全局/域级memory token作为信息汇聚节点，替代直接对长行为序列做sum/avg池化；后续只用memory token和query token做readout，能压缩长序列且保留多域摘要，容量敏感度低（32/8降到16/4影响很小）。
- 候选感知的DualQ值得复用：对用户侧和item侧token做双向cross-attention，再用独立attentive pooling生成几组query token，并用FiLM按行为域对query做条件调制；这比直接concat用户/item特征或单侧query更早注入target-dependent交互信号。
- Dense特征不要压成单个token：字段分组或语义分组分别投影再进交互层，能保留字段结构；腾讯实验里 dense collapse造成AUC大幅下降（val -0.0094）。另可借鉴ID频率分桶、EMA权重平均、SwiGLU序列编码等工程trick。