Performance-Driven Policy Optimization for Speculative Decoding with Adaptive Windowing
基于性能驱动的自适应窗口策略优化用于投机解码
🧭 Training ★ 深度解读
提出PPOW框架，将草稿模型训练转为窗口级强化学习，结合性能奖励与自适应窗口采样提升投机解码效率
- 多智能体组合搜索可复用：在电商推荐模型的 CTR/序列模块中，可借鉴AIRA的11-agent协作模式，将Attention、MLP、Mamba等计算原语作为搜索空间，用固定GPU预算自动探索高效混合架构，减少人工试错成本。
- 小尺度评估+外推策略：对推荐模型结构搜索，先在百万参数量级快速评估候选设计，再extrapolate到生产级大模型，这种“低成本过滤”能显著提升搜索效率，可复用于召回、排序模型的架构迭代。
- 直接由Agent编写算子与脚本：AIRA-Design让Agent生成注意力机制和训练脚本，这一思路可迁移至长序列推荐场景（如用户行为序列），自动优化长程依赖处理，降低对专家手工设计的依赖。
- 固定预算下的多Agent竞赛机制：多个Agent在限定时间/资源内并行提出方案并相互评估，这种竞争性协作可应用于推荐系统的超参优化、特征工程自动化，快速找到性价比最高的配置。
- 关系抽取与图谱构建自动化：论文自动从文献抽取贡献并连接先决关系，可迁移到电商商品功能依赖图或产品迭代图谱构建，例如自动识别“某技术A的改进直接依赖于技术B”。
- 前提预测任务设计：预测哪些现有能力能促成未来发现，可类比到电商中预测哪些现有商品属性或技术会驱动下一代爆款，辅助选品和研发决策。
- 时序过滤回测评估：采用时间分割避免未来信息泄露，严格评估预测性能。在推荐系统中评估模型时，可借鉴这种严格的时间感知验证方法，防止数据穿越。
- 大规模自动化常识图构建思路：通过实体链接和句子级关系抽取构建领域知识图谱，可直接复用到电商知识图谱建设（如成分、卖点、适用场景的先决关系）。
- 图像扎根的记忆机制：根据帧多样性和视觉-文本对齐选择性保留历史帧作为上下文，可借鉴到多模态推荐中的时序行为建模，动态保留关键交互帧以增强长期兴趣理解。
- 递归证据聚合：分层聚合片段分数形成事件级决策，类似于 Agent 的多轮推理或层次化决策，可用于电商直播中的违规行为检测，从连续帧中逐步确认违规事件。
- 冻结 VLM 的测试时增强：不微调模型，仅通过外部记忆和聚合提升性能，适用于难以快速微调的大模型，可在商品描述异常检测或虚假评论识别中叠加类似轻量上下文模块。
- 解释一致性优化：显式要求事件级解释需跨段时间一致，对电商客服 Agent 的多轮对话摘要或推荐理由生成有参考价值，避免片段式、前后矛盾的输出。
- 推理时引导范式可迁移：在电商图文生成或Agent多模态响应中，若需精确控制实体间关系/属性组合，可利用预训练模型内部的交叉注意力图训练轻量组合分类器，在解码早期步骤注入梯度引导，避免重训基座模型。
- 冻结大模型+外部引导头：不微调生成模型本身，仅外挂一个基于冻结VLM backbone的分类器，保持基座模型的泛化能力，适合快速适配新的组合约束（如商品多属性描述、活动文案组合语）。
- 无布局/框的弱监督组合控制：无需用户提供空间布局或检测框，仅靠文本提示即可隐式约束组合关系，对电商场景中大批量自动化内容生成（如商品详情视频）有工程简洁性优势。
- 注意力特征重用：利用扩散模型已有的交叉注意力图作为组合性特征，训练开销小，可直接嵌入现有生成pipeline，适合资源受限的业务环境进行组合性提升。
- 电商中价格、折扣、广告预算等连续干预的因果效应估计，可借鉴该模型的元学习思路，预训练一个能快速适应新场景的基础模型，避免每次活动都从零建模。
- 利用合成数据生成丰富的因果训练集（类似论文的 prior over DGPs），可大幅降低真实业务标注成本，尤其适合干预变量连续且实验成本高的场景。
- Transformer 作为结构，以上下文学习方式直接输出个体处理效应曲线，相比传统的反事实预估模型，能更细粒度地刻画异质性，为个性化定价或补贴决策提供依据。
- 该模型展示的“摊销贝叶斯后验”思想，可启发我们在推荐系统中用统一的神经网络替代反复的 MCMC 推断，提升在线实验效率。
- 在电商/推荐 Agent 的多轮对话中，警惕序列长度自然增长可能触发隐藏后门，需监控对话轮次与 token 长度，设置安全阈值。
- 部署 LLM 前，应对位置编码相关的后门进行红队测试，不仅检测内容触发器，还要扫描与位置相关的异常行为。
- 系统提示、工具调用等敏感逻辑应分层隔离，减少后门泄密面；即使输入文本干净，也可能被位置触发泄露。
- 防御策略不能仅依赖文本可疑检测，应引入位置感知的防御机制，如限制上下文长度或对特定位置范围的输出加强审核。
- 多智能体辩论的轻量裁决机制：将全局论辩分解为小型局部论证图，通过选择性冲突解决避免全量计算，适合电商中多模态商品审核、虚假评论检测等需要快速结论的场景。
- 证据到论据的结构化转换：把多源证据转化为带出处和强度评分的支持/攻击关系，可借鉴到推荐系统的可解释性生成，让模型给出带置信度的正反理由。
- 不确定性感知的递进式仲裁：在冲突无法自动化解时触发人工审核或更强模型，这种分层决策思路可直接用于Agent客服的争议处理流水线。
- 透明可编辑的章节级报告：生成分块验证报告允许人工修正，适合生成式推荐中需要用户可见且可干预的决策说明。
- Agent 多步决策借鉴：CoP 的“先粗粒度检索 → 细粒度步骤分解”架构可直接用于电商场景的过程式 Agent，如根据订单状态图片自动检索售后退款流程并定位下一步操作。
- 多模态 RAG 实现：利用视觉线索检索结构化过程知识库的方法，能迁移到商品手册、安装教程的智能问答系统，通过图像匹配相关文档段落再生成答案。
- 数据构建思路：ProcedureVQA 的构建方式可用于内部评测 Agent 的多模态过程推理能力，暴露模型在细粒度跨模态对齐上的短板。
- 流程优化 trick：CoP 的语义分解模块对于长文本步骤的细化，可用于将用户粗糙的意图（如“退货”）分解为可执行的子步骤，提升推荐或客服 Agent 的指令可操作性。
Efficient Generative Retrieval for E-commerce Search with Semantic Cluster IDs and Expert-Guided RL
基于语义聚类ID与专家引导RL的高效电商搜索生成式检索
🧭 RecSys ★ 深度解读
Taobao & Tmall Group of Alibaba
提出语义聚类ID（CQ-SID）和专家引导GRPO，在电商搜索召回中大幅提升命中率并降低推理成本，在线GMV提升1.15%
Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design
基于智能体的神经架构自主发现：AIRA-Compose 与 AIRA-Design
🧭 Agent 驱动的神经架构自动发现
FAIR at Meta
用多智能体协作在有限预算内自主搜索 Transformer-Mamba 混合架构，性能与效率超越人工设计基准
📌 工作参考价值（4 点）
The Scientific Contribution Graph: Automated Literature-based Technological Roadmapping at Scale
科学贡献图：基于文献的大规模自动化技术路线图
🧭 科学发现自动化·前提预测
University of Arizona · Allen Institute for Artificial Intelligence
构建200万条科学贡献和1250万条先决边的大规模图谱，并提出科学前提预测任务
📌 工作参考价值（4 点）
Widening the Gap: Exploiting LLM Quantization via Outlier Injection
扩大差距：通过离群值注入利用LLM量化
🧭 LLM ★ 深度解读
ETH Zurich
首次通过注入离群值让LLM在量化后触发恶意行为，成功攻破GPTQ、AWQ等优化型量化
LATERN: Test-Time Context-Aware Explainable Video Anomaly Detection
LATERN：测试时上下文感知可解释视频异常检测
🧭 视频异常检测 · 上下文感知VLM
University of Iowa
通过上下文感知评分与递归证据聚合，使冻结VLM在测试时能生成连贯的事件级异常解释。
📌 工作参考价值（4 点）
Compositional Video Generation via Inference-Time Guidance
利用推理时引导实现组合式视频生成
🧭 组合视频生成 · 推理时引导
Tel-Aviv University · Independent Researcher · Bar Ilan University · NVIDIA Research
基于交叉注意力图训练轻量组合分类器，在推理时引导冻结T2V模型提升组合正确性，无需微调
📌 工作参考价值（4 点）
Causal Foundation Models with Continuous Treatments
连续处理下的因果基础模型
🧭 因果基础模型 · 连续处理
首个面向连续处理的因果基础模型，通过元学习和上下文学习实现个体处理效应曲线的零样本预测
📌 工作参考价值（4 点）
Forgetting That Sticks: Quantization-Permanent Unlearning via Circuit Attribution
量化永久遗忘：通过电路归因实现抗压缩的机器遗忘
🧭 LLM ★ 深度解读
Lexsi Labs
提出 MANSU 框架，利用电路归因与量级底线保证 4-bit 量化后遗忘不逆转
Quantifying and Mitigating Premature Closure in Frontier LLMs
量化与缓解前沿大语言模型的过早闭合行为
🧭 Eval ★ 深度解读
Stanford University
在医疗场景中，前沿LLM普遍在信息不足时给出不安全答案，安全提示可部分缓解但无法根除
MeMo: Memory as a Model
MeMo：将记忆建模为可插拔的专用模型
🧭 LLM ★ 深度解读
National University of Singapore · MIT · A*STAR · University of Tokyo · Liquid AI
一种模块化框架，通过训练小型记忆模型并采用结构化多轮查询协议，无需修改LLM即可融入新知识，同时捕获跨文档关系并抵抗检索噪声
MetaBackdoor: Exploiting Positional Encoding as a Backdoor Attack Surface in LLMs
MetaBackdoor：利用位置编码作为 LLM 后门攻击面
🧭 LLM 安全 · 后门攻击
Institute of Science Tokyo · Microsoft Azure · Microsoft Security Response Center
提出基于位置编码的无内容触发器后门攻击，能泄露系统提示或自我激活恶意行为
📌 工作参考价值（4 点）
Logging Policy Design for Off-Policy Evaluation
面向离策略评估的日志策略设计
🧭 Eval ★ 深度解读
New York University · Spotify
在已知/未知目标策略与奖励分布的信息条件下，推导最小化IPW估计均方误差的最优日志策略，揭示奖励-覆盖权衡
Contestable Multi-Agent Debate with Arena-based Argumentative Computation for Multimedia Verification
面向多媒体验证的竞技场式多智能体辩论计算框架
🧭 多智能体辩论与结构化论证推理
提出基于竞技场量化双极论证（A-QBAF）的竞争性多智能体辩论框架，实现透明可争议的多模态验证
📌 工作参考价值（4 点）
Chain-of-Procedure: Hierarchical Visual-Language Reasoning for Procedural QA
面向视觉过程问答的分层推理框架与基准
🧭 视觉过程问答 · 多模态分层推理
提出ProcedureVQA基准和CoP层次推理框架，通过先检索后细化的方式增强VLM的过程推理能力
📌 工作参考价值（4 点）
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330