批评更多不等于评审更好：EquiReview-R
🧭 AI 辅助评审 · 证据引导精炼
College of Systems Engineering, National University of Defense Technology
将 AI 审稿建模为证据引导的结构化问题集精炼，分离遗漏与过度批评，显著降低过度批评并控制遗漏风险
📌 工作参考价值（4 点）
- 将生成式任务（如推荐理由、商品亮点总结、搜索 query 推荐）重构为「结构化 concern set 精炼」：先校验已有候选点是否有证据支撑（降低 overcritique/幻觉），再从独立视角补充缺失点（降低遗漏），最后输出 stop/continue/defer 决定是否继续推理或转人工。
- 证据定位与 provenance：为每个 claim 绑定具体文档片段或用户行为证据，无法定位的候选点直接标记为不充分，可复用到 RAG 式推荐文案生成，减少无依据描述。
- 设置 stop/defer 机制：用 selective risk control 对 omission/overcritique 分别设定容忍上限，达到阈值即停止迭代或转人工审核，避免 Agent 过度调用 LLM 增加成本。
- 评估指标分离：不要只看 overall score，把「漏了重要点」和「说了没证据的话」分开度量，这在评估推荐理由、客服回答、商品描述质量时更利于定位问题。
让 LLM 在会议中拥有情境意识并替参与者发言
🧭 LLM Agent 在多方对话中的发言时机决策
University of Göttingen, Germany
提出 CAPA 架构，通过显式会议状态预测与校准，将缺席者发言沉默率从 51.4% 降至 2.5%
📌 工作参考价值（4 点）
- 在需要 LLM 实时判断“是否介入”的场景（客服对话、直播场控、主动推荐弹窗）中，显式维护结构化状态（立场、覆盖、发言权）比只堆原始上下文更能消除漏判；可借鉴 Perceiver 将历史对话压缩成可更新的状态表示。
- 将决策链拆成 Predictor→Controller→Generator，先预测下一 turn，再决定是否说话、说什么、怎么说；这种解耦便于在业务中单独调优“时机判断”和“内容生成”，也便于归因定位残差。
- 用真实下一 turn 对预测和动作做在线校准，形成 Recalibrator 闭环；在推荐或对话 Agent 中可引入类似机制，让系统根据后续用户反馈实时修正决策状态，而非静态离线训练。
- 评估协议值得复用：围绕实际语义单元（idea units）从 whether/when/what 三维打分，并用 schema 约束的 LLM judge 自动评估，Kappa=0.71 说明可替代部分人工标注；对生成式推荐/对话策略的离线评估尤其有用。
扰动如何在大型语言模型中传播：鲁棒性的多层分析
🧭 LLM 鲁棒性多层评估
INTI International College Penang · Independent Researcher · FPT University
在六个模型上从行为、隐状态几何和注意力头三层揭示输入扰动传播异质性，证明单指标鲁棒性评估不充分
📌 工作参考价值（4 点）
- 在电商搜索/QueryRec 的 LLM 链路（query rewriting、产品匹配、生成式 item ID 等）中，不要只看最终准确率：对拼写错误、OCR 扰动、词序打乱等输入，建议同时监控 hidden-state CKA、intrinsic dimension 或关键 attention head 的激活漂移，否则轻微行为变化可能掩盖内部计算崩溃。
- 对抗性 HotFlip 扰动比同比例随机 token 替换造成更强的行为与表示破坏，且行为影响跨 GPT-2/Qwen2.5 一致；若将 LLM 用于用户输入理解或 prompt 约束较弱的 Agent 规划，应优先做梯度引导攻击的鲁棒性测试，并考虑对抗样本增强。
- Copying score 与 token 替换/打乱下 activation patching 恢复高度相关，可在线上输入异常检测中把拷贝型 attention head 的响应作为鲁棒性代理指标，快速定位长尾扰动导致的失败。
- 模型版本升级或 prompt 修改时，用多层指标做回归比对，而不是只跑 benchmark 分数，避免“输出分数没变但表示已经漂移”的隐患。
RATL：检索历史残差用于鲁棒多变量时间序列预测
🧭 检索增强 · 残差反馈修正
Department of Automation, Tsinghua University · State Key Laboratory of Hydroscience and Engineering, Tsinghua University
将 RAG 思想用于连续预测：冻结基座模型，检索相似历史残差并路由融合以纠偏
📌 工作参考价值（4 点）
- 电商销量/流量/广告消耗等多变量预测场景，可维护基座模型的历史残差记忆库，上线后检索相似上下文残差做轻量级后处理纠偏，无需重训基座。
- 冻结已部署的预测模型，只额外训练残差检索与融合模块，降低迭代成本与上线风险，适合工程化快速验证。
- 利用验证集自动选择 correction strength 控制残差注入幅度，防止过度修正导致线上指标波动，该机制可迁移到任何 additive correction 的预估模型。
- set-aware router 按 forecast block 和 variable 维度选择残差，可借鉴到多指标联合预测（如 GMV、订单量、转化率），让不同指标学习不同的融合权重。
RISE：通过自外推策略蒸馏实现递归自改进
🧭 LLM 后训练 · RLVR 自外推蒸馏 ★ 深度解读
Salesforce AI Research
RISE 外推模型自身 RLVR 轨迹构造 token 级教师，实现递归自蒸馏，无需外部模型或特权条件
📌 工作参考价值（4 点）
- 对点击/转化/完成率等稀疏 reward 训练的推荐、搜索、对话/导购 Agent 策略，可以借鉴 RISE 的两阶段循环：先做一轮 GRPO/RLVR 得到 θ'，再把 θ' 与 anchor 的位移按 β 外推成“未来教师”，用 token 级蒸馏把稀疏 outcome 信号转成稠密监督；尤其适合多轮 Agent 的延迟奖励场景。
- 落地优先用 logit-space 外推：不物化 teacher 参数，只需缓存 anchor 与 post-RLVR 的 top-K logits（K=100，代码类可 K=20）并加 tail bucket；复用 RLVR rollouts，不增加采样成本，整体约 1.3–1.6× wall-time。
- 超参上建议 β0=1.2 并随训练线性衰减到 1；anchor 用 EMA（η=0.1）平滑更新方向，对噪声大的小模型或稀疏 reward 环境更稳；若 RLVR 单步方向已稳定可退回 previous checkpoint anchor。
- 必须有 reward grounding：去掉 RLVR 阶段仅外推自身位移会导致训练崩溃（MATH-500 掉到 2.4%，输出长度爆炸）；因此若业务 reward 可被 hack，需先保证 reward 质量或增加不确定性约束。
SciLENS：RL驱动的本地科学文献证据导航与综述智能体
🧭 Agent 科学文献证据导航
Tsinghua University · Renmin University of China · Institute of Information Engineering, CAS · USTC · Peking University
全本地科学文献Agent，以结构可视化与逆向分解过程奖励训练，性能对标GPT-5.2
📌 工作参考价值（4 点）
- 把“结构可视化”作为 agent 可调用工具放进推理循环：在电商知识图谱（商品、类目、品牌、共购关系）上先抽取多跳子图，压缩成图表/拓扑摘要喂给 LLM，避免原始实体列表塞满 context；适合类目规划、趋势综述、归因分析等宏观任务。
- 自动化标注管道：用已有行为图/商品知识图谱构建多跳子图问题，采用多模型共识（如 3-5 个强模型投票）过滤，零人工标注生成用于推荐/搜索 agent 的监督与 RL 训练样本。
- 逆向分解式过程奖励：奖励不只给最终答案，将最终证据链反推成“规划→检索→引用”的 rubrics，分别给过程 reward；可迁移到购物助手、搜索 agent 训练，约束中间过程必须引用真实商品/证据，提升可追溯性。
- 全本地双 tier 索引+LLM：若业务对隐私/合规有要求，可参考本地向量库+图索引服务约千万级商品/内容，既保证离线可部署，又降低 API 成本，适合电商搜索/推荐中的合规助手。
SelfDR：基于推理自蒸馏的 LLM 推荐框架
🧭 LLM 推荐 · 自蒸馏推理增强 ★ 深度解读
Tsinghua University · Quan Cheng Laboratory · Meituan
用推荐性能为 reward 训练 reasoner，再通过动态加权自蒸馏将推理增强迁移到直接推荐模型，在线推理零额外开销
📌 工作参考价值（4 点）
- 在线延迟敏感场景可直接复用：训练时用 GRPO 以推荐命中率为 reward 训练一个 reasoner 生成用户偏好解释，将解释拼入 teacher 输入得到更强排序分布；在线部署 student 直接输出候选 ID，不产生额外推理 token，实测推理时间与普通 SFT 模型相同。
- 动态蒸馏权重公式值得借鉴：根据 teacher 对正样本的排序位置、teacher 与 student 的 rank 差动态调整蒸馏 loss 权重，teacher 排序差时大幅降权，避免从噪声中学习；超参 β≈0.1、温度系数 1~2 较稳。
- 蒸馏损失用 reverse KL 而非 forward KL，让 student 分布集中到 teacher 高概率区域，适合候选 ID 排序场景（候选集有限，需要聚焦 top 候选）。
- 训练 reasoner 时对 rationale 做细粒度 mask（连续 3 个词与 item 标题重叠则 mask），防止信息泄露，提升 rationale 质量；此策略可迁移到任何用生成解释辅助推荐的 pipeline。
生成图像模型中的持久身份保持：基准与评估系统
🧭 生成式图像身份保持基准与评估
Phota Labs
系统对比三种身份表示范式，证明持久身份层显著降低身份漂移且独立于基础模型
📌 工作参考价值（4 点）
- 在电商商品图生成、虚拟试穿、广告素材合成中，商品/虚拟人身份一致性是核心痛点；可借鉴将主体身份作为独立的 persistent embedding 层，与基础生成模型解耦，替代每个主体一个 LoRA 的架构，既降低训练成本又支持跨模型复用。
- 评估生成结果时不要只看 FID/CLIP 等整体质量指标，应专门构建身份保持压力测试：迭代编辑（模拟多轮对话修改）、小尺寸主体（远距离商品）、严重退化（用户上传低质量图）、多商品组合（bundle 展示），否则身份漂移容易被掩盖。
- 多主体组合场景中身份退化显著，直接用于广告多商品合成时建议为每个主体引入独立身份表示并显式组合，避免将多个主体简单塞进同一 prompt 或共享 LoRA。
- 持久身份层与基础模型解耦的设计，与推荐系统中 embedding 表解耦思路一致，便于业务快速扩展大量 SKU/用户身份，并在更换或 A/B 测试不同生成基座时保持身份不变。
时序自蒸馏：无监督学习视频视觉状态跟踪
🧭 自监督时序自蒸馏训练视频状态跟踪
Mohamed bin Zayed University of Artificial Intelligence · ELLIS Institute Finland · Aalto University
用时间采样密度作为自监督信号，让稀疏帧学生匹配稠密帧教师的 next-token 分布，无需标签或额外教师即可提升视频状态跟踪
📌 工作参考价值（4 点）
- 视频/直播电商场景：对商品展示、使用过程、库存/数量变化等短视频，用稠密帧采样的同模型输出蒸馏稀疏帧模型，可在不增加线上推理成本的前提下提升状态/数量判断；souping/轻量视觉编码器适配可作为后续增强手段。
- 无标签数据利用：可以低成本生成合成 clip（物体颜色、数量、位置变化），用 S3T 式的自监督时序蒸馏预训练视频理解模块，再迁移到真实 UGC/广告素材的内容审核或卖点提取。
- Agent/多模态 LLM 训练：如果业务中有连续视频流（如智能客服/导购 Agent 看商品视频），将时间采样密度作为特权信息，让同一模型在自己的稠密/稀疏视图间做 next-token 分布蒸馏，不需要额外 judge，能提升跨时间状态跟踪，且不增加部署成本。
- 如果要改进现有 VLM 在电商视频问答上的表现，可优先考虑对视觉编码器做小规模适配+权重 soup，而非重新训练；论文显示这些组合能稳定提升状态跟踪。
顺序优于联合：On-Policy 蒸馏与 RLVR 的相互作用
🧭 RLVR 与 On-Policy 蒸馏两阶段后训练 ★ 深度解读
University of Alberta · New York University · NYU Shanghai · University of Chicago · University of Waterloo
两阶段 OPD-then-RL 在逻辑与数学推理上稳定优于纯 OPD、纯 RLVR 及所有同一步混合的方法
📌 工作参考价值（4 点）
- 若业务中有稠密教师信号（大模型打分/业务规则）与稀疏奖励（点击、转化），不要每步加权融合；先跑 OPD 把模型推到教师支撑边界，再切 RL 做 reward sharpening，可避免梯度信号打架。
- 切换时机用 OPD 的离线验证分数：验证分数饱和后再切 RL，否则会过早封顶最终效果；电商/推荐里可对应用离线 AUC/召回，验证不再提升时再上策略梯度。
- OPD 冷启动优于离线 SFT：推荐/广告中若只有日志式行为克隆，尝试 on-policy rollout + 教师 soft label 蒸馏，可扩大长尾 query/item 覆盖，再进入 RL 收益更明显。
- 监控 sign conflict ratio 可发现 RL 是否破坏教师阶段的关键参数方向；对 embedding 或 attention 层可设不同保护等级。
τ^τ-Bench：端到端真实Agent构建环境
🧭 Agent 构建基准 · 端到端环境
Sierra · Princeton University
把“构建Agent”本身作为评测任务，交付前需在真实业务记录、客户端需求和成本约束下完成客服Agent。
📌 工作参考价值（4 点）
- 构建面向业务的 Agent 时，评测不能只看单轮效果，应把“从需求梳理到部署上线”的完整交付流程纳入指标，尤其要考核模型对既有业务记录（SOP、历史工单、费率表）的深度理解和向客户主动澄清需求的能力。
- 在推荐/客服等场景改造现有系统时，显式给出 inherited codebase + production API 约束，驱动模型在存量工程上迭代，避免脱离实际从零设计，可以作为内部 Agent 开发工具的设计参考。
- 将 serving cost 和模型选择作为硬约束放进任务，引导模型在效果与成本之间做搜索；在电商推荐 Agent 的模型选型、缓存降级策略上可以借鉴这种显式预算约束。
- 论文发现当前模型“架构试验太少、直接上线第一版”，提示工程实践上可以增加强制性的架构探索步骤或多轮自我评估机制，防止 Agent 过早收敛到次优设计。
通过离散扩散实现 LLM 无损加速：扩散增强自回归模型
🧭 扩散增强 LLM 无损并行解码加速 ★ 深度解读
Institute of Foundation Models · University of Illinois Urbana-Champaign · Cornell Tech · Harvard University · Cerebras Systems
用 LoRA 扩散权重并行 draft + AR rejection 实现无损加速，8B Uno 在吞吐与质量上超过主流 d-LLM 与 speculative 方法
📌 工作参考价值（4 点）
- 可无损加速现有 LLM serving：为线上 AR 模型（如 Qwen/DeepSeek）添加 rank-128 LoRA diffusion adapter，训练只需几 B tokens（公开数据即可），不碰原始权重；与 EAGLE/DFlash 相比共享 KV cache 省显存，高并发 batch 下仍有 1.5× 以上吞吐，适合电商搜索/广告 agent 高并发调用。
- 借鉴 gated LoRA + block-causal attention 训练法：单次前向同时算 teacher/student logits，训练 context length 约 2×L，不随 block size 增大；L_TV loss 比 DCD 更直接地优化 speculative 接受长度，实际可优先选 α=0, β=1 或 L_TV 主导。
- 评估指标要区分 system throughput vs per-request throughput：batch=1 容易高估加速，业务中 agentic 多请求并发和 RL rollout 更应看重最大 batch 吞吐；可采用固定 1K input/8K output 的标准化吞吐测试。
- RL 训练加速：在 SFT 后冻结 diffusion adapter，RL 阶段只更新 AR 权重即可保留约 94% TPF，rollout 加速 40%；推荐/搜索模型若做大规模 RL 微调，可复用此方案缩短训练时间。
通过人机交互进行高效测试时自适应
🧭 Agent 个性化与测试时自适应
Carnegie Mellon University · University of Washington · Handshake AI · Stanford University · Princeton University
利用跨会话人机交互信号在测试时适配个体 Agent，写作与视觉创作任务成功率提升 4.5–20.9%，演化 rubric 可多捕获 16–22.3% 失败
📌 工作参考价值（4 点）
- 用跨会话交互数据做在线个性化：电商对话式导购/客服 Agent 可维护用户历史反馈，在推理时动态注入 context 或更新轻量权重，实现低成本的个性化，尤其适合长尾用户。
- 演化 rubric 模块可作为偏好对齐工具：将用户对推荐解释、商品描述、广告文案的反复反馈提炼为可进化的评价标准，既可作为奖励/过滤信号，也可用于自动标注失败案例，减少人工评审成本；论文显示比单用 LM 或人工能多捕获 16-22% 失败。
- 个性化策略具备跨用户迁移能力：即使目标是个人化，TAHI 训练的个性化策略也能提升其他用户最高 8.8%，提示可构建共享的“个性化底座”，通过少量交互迁移到新用户，缓解冷启动。
- 在生成式推荐场景，可将用户反复指出的标准显式化为 rubric 并注入 prompt 或评分器，实现可解释的偏好对齐与可控生成。
通过训练将自然语言规范编译为本地神经函数
🧭 自然语言规范编译为本地神经函数
University of Waterloo · Harvard University
通过教师模型生成示例并训练小适配器，将自然语言规范编译为可本地运行、可组合的神经函数
📌 工作参考价值（4 点）
- 在搜索/推荐/广告的高频文本规则场景（如 query 意图分诊、广告文案合规、商品标题清洗），可把 LLM 编译成轻量本地函数，替代每次远程调用；尤其适合高 QPS 或低延迟要求的在线链路，能显著降低 token 成本和尾延迟。
- 将自然语言规则视为可编译的"源"，用教师模型生成标注样本并训练小 adapter，使规则以模型权重形式版本化、可组合、可回滚；这比直接维护 prompt 或外部 LLM 调用更可控，也便于嵌入 ML pipeline 和 Agent 工具链。
- 编译时间约 1 分钟，准确率 83.6% 且语义匹配容错，适合作为模糊规则引擎的中间层；对关键业务可结合规则兜底或人工校验边界，避免在硬约束场景直接依赖。
- 该思路可推广到电商 Agent：把多个子任务自然语言描述分别编译成小函数，供 Agent 按需调用，减少对单一远程大模型的依赖，提升响应稳定性和可审计性。
Transfiver：通过共享可编辑状态实现人机协同推理
🧭 人机协同推理 · 共享可编辑状态
Korea Institute of Energy Technology (KENTECH)
提出 Transfiver 架构，让人类与 AI 共享同一可编辑持久状态，实现可验证的协同推理
📌 工作参考价值（4 点）
- 在电商推荐用户建模中，可将用户长期偏好维护为一个显式可编辑状态，让用户直接修改（例如对某类商品不感兴趣）并立即影响后续推荐，而不是依赖隐式行为推断或追加历史记录。
- 模型隐式更新状态时采用“修订已有项”或“创建新项”两种操作，有助于保持偏好状态的一致性，避免过期信息（如旧地址、旧兴趣）干扰推荐或搜索排序。
- 参数与状态分离的设计允许在部署期间动态更新状态而不重新训练模型，适合线上个性化记忆的实时更新，降低维护成本。
- 论文为架构性设想，缺乏具体实现与实验验证，落地前需要自行设计状态表示、更新规则和冲突消解机制。