带广义二阶路由的多状态线性注意力
🧭 多状态线性注意力长上下文聚合路由 ★ 深度解读
Princeton University · Google DeepMind
提出MERLIN，用段内keys的一/二阶矩恢复query-段对齐的均值与方差，提升多状态线性注意力聚合路由
📌 工作参考价值（4 点）
- 长期用户行为序列建模：若用分段线性注意力/记忆状态压缩用户历史（按会话、时间窗分段），可借鉴二阶矩路由。当前均值pooling只捕捉平均兴趣，二阶矩能捕捉段内兴趣峰值与多样性，对定位“某一次强购买意图”更准，有助于CTR/CVR预估或召回。
- RAG/LLM生成推荐理由或广告文案：在长上下文多文档、多商品描述中，用query与段落keys的一阶+二阶矩计算相关性权重，可缓解仅基于位置或均值导致的近因偏差，让模型更均匀地利用中前段关键信息，适合检索增强生成中的证据选择。
- 工程落地：额外缓存每段keys的一阶/二阶矩开销很小（dr=128时约4–13%内存增量，参数增量与meanpooling相当）。建议为路由使用独立的key/query投影（shared-KQ会明显掉点），并采用可学习gate混合均值/方差项，而非固定系数。
- 注意该方法需要mid-training将单状态backbone转为多状态，无法即插即用；如果业务已有长序列记忆或State Space模型，可将其作为继续预训练阶段加入。
当扩散推荐停止采样：保留生成多样性
🧭 生成式推荐 · 潜在扩散与采样多样性 ★ 深度解读
Criteo AI Lab · Sorbonne Université · CNRS · ISIR
DARTS 用三阶段潜在扩散解耦表示学习、生成与排序，缓解采样坍缩并提升排序精度
📌 工作参考价值（4 点）
- 业务上可直接复用三阶段解耦：先用 masked item modeling 冻结 item latent space，再在固定 latent space 里训练 diffusion，最后只 fine-tune decoder 做排序。不要在图里一边训扩散一边让 representation 漂移。
- 不要在 diffusion 轨迹上加 catalog cross-entropy/ranking loss：实验表明哪怕 α=0.1 的 CE 也会把采样方差比 R 从 0.30 打到 0.14、PR 从 4.7 打到 1.5，且 NDCG 不升反降。生成阶段就只做 latent regression，排序监督延迟到 decoder。
- 推理时用 posterior-predictive aggregation：同一 context 采样 M 个 latent，decoder 输出的 catalog softmax 做算术平均再排序，固定 slate size 下能稳定提升 NDCG。注意吞吐会降，但单样本已经比 DiffuRec 快 3.6 倍且指标更好。
- 采样多样性要有独立诊断指标：只报 Jaccard 会误读低质量乱序；建议同时看 latent 空间的方差比 R 和 participation ratio PR，区分“量级小”与“方向坍缩”，避免把 decoder 敏感性当生成多样性。
多 Token 预测的正确优化法：Soft-MTP
🧭 LLM 预训练 · Multi-Token Prediction
MIT
提出 Soft-MTP，通过一行代码改动移除标准 MTP 训练中的噪声残差梯度，只保留 KL 自蒸馏信号，全面提升性能与推理加速
📌 工作参考价值（3 点）
- 若内部训练 LLM 用于生成式推荐（如商品描述、搜索 query 推荐、对话式导购），MTP 是一个可落地的训练技巧。采用 Soft-MTP 的一行改动可同时提升模型困惑度和下游准确率，且无额外计算开销，适合直接加到现有预训练流程。
- 在需要 speculative decoding 加速在线推理的场景（如实时搜索建议、Agent 规划生成），Soft-MTP 训练出的 MTP head 能提供更准确的 draft tokens，显著提升 decoding 接受率和加速比，降低延迟。
- 该 KL gradient-recovery trick 可复用到其他共享输出头的自蒸馏任务，例如知识蒸馏或辅助损失设计，避免直接计算大词表 KL 导致的内存瓶颈，兼容现有 fused cross-entropy kernels，工程实现简单。
DuTri：双分支建模与三阶分解的多模态多场景推荐
🧭 多场景多模态推荐 · 双分支三阶分解 ★ 深度解读
深圳大学 · 深圳技术大学
提出 DuTri 双分支框架，用 CP 分解和残差量化学习三元协同偏好，指导多模态自适应融合，在多场景推荐上取得最优。
📌 工作参考价值（4 点）
- 多场景多模态推荐不要简单把多模态特征拼进现有 MSR 骨干，可尝试双分支：协同分支专注 ID 交互建模，多模态分支处理内容语义，通过偏好表示桥接，避免参数共享架构在多模态下退化。
- 用 CP 分解建模用户-场景-物品三维交互，得到用户、场景、物品因子，作为跨场景共享和场景特异的表示，可替代简单的共享嵌入，迁移到多场景 CTR 模型。
- 残差量化（RQ）将连续偏好因子离散化，提升表示稳定性和泛化，类似于 Semantic ID 的思路，可用于工业推荐中对用户/场景/物品表示进行量化压缩。
- 对比学习对齐协同物品表示与多模态表示，使协同信号和内容信号互相增强，可借鉴到多模态推荐或图文相关性建模中，提升融合效果。
EmbeddingGemma 2：统一高效多模态表征模型
🧭 多模态统一 embedding · 蒸馏与对比学习 ★ 深度解读
Google DeepMind · Google
744M 多模态 embedding 模型，以多阶段课程训练在文本/视觉/音频基准上达到新 Pareto 前沿，支持量化与截断部署
📌 工作参考价值（4 点）
- 统一商品多模态表示：图/文/视频/音频 natively 编码，适合电商搜索/推荐中的跨模态召回（如图搜商品、视频理解），避免先 ASR/OCR 再文本 embedding 的管线损失。
- 训练 recipe：先纯文本预微调（蒸馏）再多模态预微调（蒸馏），最后用对比 + spread-out + MRL 微调；加入 same-tower negatives 和 Plackett-Luce listwise loss，有利于排序/检索任务。
- 工程部署：用可调 vision token budget（70-1120）和 MRL 截断维度（768/512/256/128）做资源-质量 trade-off；QAT 后 int4 量化在手机上 <600MB，可在端侧实时出 embedding。
- 消融结论：多模态任务上 trainable vision encoder 比 frozen 大幅提升（MMEB-v2 52.27 vs 48.18）；native audio 比 ASR 提升 MSEB 69.54 vs 57.59，建议直接编码原始音频而非转写。
ETAMem：面向长期对话智能体的异构记忆解耦与多视图对齐框架
🧭 Agent 长期记忆 · 多视图解耦 ★ 深度解读
Nankai University · Tiangong University · University of Edinburgh
将对话记忆拆分为事件、情感、时间三视图并自适应路由检索，显著提升长期记忆中的多跳与时间推理。
📌 工作参考价值（4 点）
- 在构建用户长期记忆画像时，不要只按语义或时间组织；可拆成「事件 / 偏好情感 / 时间」三个视图：事实类用 semantic embedding，偏好类用 affect embedding，时间类强制按 Session→Day→Week→Month 建索引，避免偏好信息混在事件里导致检索错配。
- Entropy-based routing 可作为低成本的 query 级记忆路由：对 query 和各视图 leaf summary 算相似度分布，用归一化熵判断信号集中程度，再分配检索预算。相比 LLM routing 更稳定、开销更低。
- 工程实现上值得复用：内部节点摘要用 pending-change counter + lazy update，减少 LLM 调用；维护阈值用 Otsu + EMA 根据相似度分布自适应校准，避免长期运行后树结构退化；leaf split/merge 是必要维护操作。
- 层级 beam search 中混合 semantic embedding 与 BM25 打分，对品牌名、商品名等 exact term 查询尤其有效，可迁移到电商客服/推荐解释的记忆召回场景。
跟随梯度：将安全退化追溯到训练数据
🧭 LLM 微调数据安全筛选
DatologyAI · University of Illinois Urbana-Champaign (UIUC)
SimpleLoRIF 将低秩梯度归因扩至百万级数据，过滤梯度对齐不安全的样本，攻击成功率最高降22%
📌 工作参考价值（4 点）
- 在微调推荐/Agent LLM 时，可用“梯度方向对齐目标/非目标行为”的分数筛选训练样本，去除与广告合规违规、品牌安全、诱导点击等不良输出梯度对齐的隐式风险数据，不依赖文本表面。
- 工程实现上，只对最后 4 个 transformer blocks 回传并配合低秩投影计算梯度 embedding，可处理百万级样本；推荐团队可用类似方法对商品/query 日志做安全与质量滤除，无需全模型回传。
- 过滤比例与能力存在平衡：删除 top 20% 最对齐样本可显著降低攻击成功率且能力保持或提升；业务上可扫描过滤比例阈值，评估线上指标。
- 可构建定制化数据过滤 pipeline，按比例或子集过滤风险数据；类似思路可迁移到搜索词改写、推荐理由生成等场景的合规性治理。
GEPA-Curator：面向自改进 Agent 的策展式学习框架
🧭 自改进 Agent 的策展式提示优化
UC Berkeley · ICSI · LBNL · Furiosa AI · KAIST
用任务策展与成功轨迹检索过滤噪声失败，提升 reflective prompt optimizer 性能，多基准最高超 GEPA 20.7%
📌 工作参考价值（4 点）
- 在构建 agentic 流程（客服助手、推荐理由生成、自动选品）时，不要把所有失败轨迹都喂给 prompt 优化器；先做失败归因，区分 prompt 缺陷、工具/harness 不稳定、环境随机性和 judge 噪声，只保留可归因于 prompt 的失败，提升学习信号质量。
- 成功轨迹检索可迁移到电商场景：为某类商品生成文案或操作手册时，检索相似商品/任务的历史成功 trajectory 作为 few-shot context 注入优化器，稳定优化方向并减少灾难性遗忘。
- 若线上已使用 GEPA/ACE 等 reflective optimizer，可前置“任务是否值得学习”的判断，并维护带 embedding 索引的成功轨迹库做检索，工程成本可控且效果提升显著（最高 20%+）。
- 结果提示数据飞轮中噪声样本会污染优化器；在推荐/广告的自动 prompt 优化与失败样本筛选上，应引入置信度过滤和成功案例检索机制。
GTFormer：无语法图网络替代 Transformer 实现 8192× 长度外推
🧭 长序列建模 · 层次图网络替代自注意力 ★ 深度解读
Middlesex University, Department of Computer Science
用层次图树替代自注意力，N≤512 训练零样本外推到 4,194,304 tokens，线性时间与显存
📌 工作参考价值（4 点）
- 在电商用户长期行为序列或商品描述等长文本建模中，可借鉴 GTFormer 的二分树收缩 + 多通道凸门控：把 O(N^2) 自注意力降为 O(N) 的层次消息传递，并利用凸组合保证深层次表示不漂移，适合处理 10k+ 的用户事件流或商品属性序列。
- 处理跨 chunk 边界特征时，可加入一阶 local shift edge 来绑定相邻 token/事件，避免固定窗口分块导致连续 key-value 对或用户行为片段被割裂；这对推荐系统中的序列分块和流式特征工程有直接参考价值。
- 对 Agent 的长期记忆、审计日志或多跳检索场景，bottom-up 层次图 + 根节点读出可用作轻量级路由/记忆编码器，避免全量 attention 的显存爆炸；但 GTFormer 目前只在合成 benchmark 上验证，真实业务需先做小规模适用性测试，不宜直接替换生产 LLM。
- 消融显示凸门控对深度外推至关重要，去掉后精度从 98% 崩至 2-4%；在深层次用户兴趣聚合或标签体系建模时，应优先采用凸/门控聚合而非无约束 MLP。
环境感知调度：提升智能体强化学习采样效率
🧭 Agent RL 环境感知调度与批采样优化
PKU · XJTU · THU · Samsung Research · CASIA
通过环境感知调度任务与环境的 rollout 批次，提升 Agent 强化学习样本效率
📌 工作参考价值（3 点）
- 在电商 Agent（导购、客服）的 RL/偏好训练中，不同任务环境（交易流程、工具 API、校验逻辑）成本与难度差异大，可借鉴 EnvSched 思路：用历史 rollout 的 reward 方差/不确定性做任务调度，优先采样能拉大策略差异的样本，节省昂贵交互。
- 构建任务-环境图：企业内部可复用工具、状态定义和验证器关系，构建图并用节点相似度传播统计量，预测信息量，无需额外 pilot 采样即可冷启动调度。
- 通过 environment quota + similarity penalty 控制 batch 多样性，避免重复观察相似任务，提升每步梯度信息密度；该机制可直接迁移到多场景推荐/对话策略联合训练。
交易Agent群体中的测试时通信研究
🧭 多智能体通信与羊群效应
Infinite Ascent, Stockholm, Sweden
在无共享目标的交易Agent群体中量化通信带来的过度收敛与语言复用，并提出以无同伴基线衡量羊群效应
📌 工作参考价值（4 点）
- 多智能体系统中，若各Agent目标独立、反馈延迟且噪声大（如电商推荐中的用户偏好各异），通信可能造成不必要的收敛/同质化；可借鉴论文设置“无同伴基线”来测量超额收敛，评估协作机制是否真正带来收益而非仅同步行为。
- 监控通信中重复短语/决策规则复用可作为早期预警：在电商Agent协作中，可跟踪agent生成内容对同伴消息的n-gram复用率，识别羊群效应或信息级联。
- 实验设计上，对比隔离、竞争板、协作板、带唤醒pings、共享笔记五种机制，能为业务中选择Agent间通信接口（如共享消息流 vs 共享知识库 vs 定向提醒）提供成本-收益分析框架。
- 记录每个决策前agent读到的全部内容，对于事后归因和审计推荐/内容生成Agent的行为至关重要，尤其在多Agent联动可能产生协同偏差时。
可控环境合成下的工具使用智能体扩展律
🧭 可控环境合成与工具使用 Agent 扩展律 ★ 深度解读
Apple
提出 SynthAPI 可控合成工具环境，发现工具与数据库多样性比任务数量更关键，并推导可预测扩展律
📌 工作参考价值（4 点）
- 构建电商/推荐 Agent 训练集时，优先扩展工具与数据库状态多样性，而非单纯堆任务数量：当数据预算大于约 4k 任务时，增加 app/工具数（A）、每个任务的初始数据库实例数（S）、以及干扰数据深度（D）比新增任务 prompt（T）更有效；在商品搜索、下单、售后等多步工具场景可直接复用此结论。
- 用可执行环境合成代替 LLM 模拟 API 响应：SynthAPI 生成 Python db schema + API + verifier + oracle solver，所有轨迹可执行、可验证，避免模拟复杂状态转换出错；适合电商/推荐中涉及库存、价格、用户画像等有状态变更的场景。
- 采用 meta-tools 按需加载工具接口：agent 通过 list_apps/list_tools/get_tool_documentation 动态发现工具，降低上下文开销并提升对新工具集的泛化；搜索推荐 Agent 可设计类似工具发现层，按需检索可用商品/内容 API。
- 用 scaling law 指导数据预算分配：拟合 P(A,T,S,D) 形式的性能预测模型，可在小规模 grid search 后外推到大算力预算，避免盲目生成数据；团队可在自有合成 pipeline 上复现此方法。
KL-MOPD：面向生成式推荐的多目标在线策略蒸馏
🧭 生成式推荐 · 多目标蒸馏 ★ 深度解读
Zhejiang University · Alibaba Group · Alibaba International Digital Commerce Group
用初始学生与教师 token 级 KL 差异加权，解决生成式推荐多目标蒸馏中的 token 级不平衡，提升联合目标
📌 工作参考价值（4 点）
- 在生成式推荐（Semantic ID 逐 token 解码）中，多目标融合要下沉到 token 级做 on-policy 蒸馏，而不是只做 item 级 loss 或分数融合；否则中间步骤的 token 错误会直接导致正样本检索失败。
- 工程实现上，先用 initial student 和两个 teacher 计算每个 token 的 KL 散度，得到权重 alpha_{j,t} 并预计算一次；训练时直接作为 token 蒸馏 loss 的加权系数，不增加额外前向/反向开销，适合线上大规模部署。
- 若已有 CTR、CVR/GMV 等单目标 teacher，可以直接套用该加权方法：在每个 token 上给离学生更远的 teacher 更高权重，优先补强当前步骤的薄弱目标，缓解解码后期某目标被忽略的问题。
- 电商广告场景验证：十亿级工业数据离线 joint metric +3.19%，线上 A/B 广告收入 +1.63%、GMV +2.20%，说明 token 级多目标蒸馏能带来真实业务收益。
LCM-Promo：基于LLM的促销分配Uplift模型
🧭 LLM 微调 · 促销 Uplift 建模 ★ 深度解读
Prosus · iFood
微调LLM预测转化阈值，构造单调促销响应曲线，线上转化+1%成本-6%
📌 工作参考价值（4 点）
- 单token阈值解码构造单调响应曲线：促销/优惠券分配中，用LLM预测折扣标识符，将输出分布解释为潜在转化阈值PMF，通过累积概率得到自然单调的响应曲线，保证uplift估计的单调性，避免后处理强制单调。
- 用上下文作为prompt输入代替分cell建模：将配送班次、日期、用户表示等直接序列化进prompt，替代传统EWMA按segment-promotion分cell预测，使分配空间从50 segment扩展到1000+集群，从10钱包配置扩展到100万+促销组合，适合需要细粒度上下文的促销场景。
- 工程化降本：预计算用户表示并缓存，每天批量推理两次，对用户分组后随机采样估计平均响应曲线，使用自托管vLLM + BESH批量端点，8张H200每天仅运行1小时即可支撑生产，证明了LLM在中等规模推理任务上的可行性。
- 微调标签需与预训练目标兼容：waterfall augmentation（阈值顺序多标签软目标）因与next-token预训练目标冲突导致性能大幅下降，说明在LLM微调时不要随意改变输出分布形态，保持单token交叉熵更稳妥。
LESSRec：面向语义ID推荐的层级特定历史建模
🧭 生成式推荐 · Semantic ID 层级建模 ★ 深度解读
Chongqing University · Griffith University
发现并利用同层历史对语义ID预测更有效，提出层级隔离编码与层级对齐注意力
📌 工作参考价值（4 点）
- 如果你的语义 ID 生成式推荐或商品 token 化采用多层语义码本，预测第 r 层 code 时，把用户行为序列按 code 层级拆分，只让 decoder cross-attention 看到同一层历史 token。这可以用 attention mask 低成本实现，线上推理不增加候选大小，但能减少交叉层噪声。
- 保留 item 级语义序列作为补充：对每个历史 item 的各层 token 做平均池化 + MLP 残差，得到行为序列里的 item summary。再通过独立的 cross-attention 分支与层级分支做加权融合（alpha≈0.5）。类似 RAG/Agent 检索里同时提供细粒度 token 证据和 item 级摘要证据。
- 工程部署：LESSRec 的 mask 方式仍会计算全量 attention 矩阵；要用 LESSRec+ 把 encoder 按层级分组、每组只处理对应层序列，序列长度从 L*T 降到 T，attention 计算量下降 L^2，训练显存和每 epoch 时间显著降低（论文：峰值显存 -39.2%，每 epoch -33.7%），适合电商长行为序列。
- 如果要做长历史 / 长序列生成式推荐，层级隔离 + 分组 encoder 可以缓解长序列带来的无关 token 稀释，长历史桶收益更明显（+46.7%/+53.3%），值得在用户行为长度较大的场景优先实验。