OmniScope：面向全模态大语言模型的模态解耦Token压缩
🧭 全模态LLM推理加速 · 模态解耦压缩
Xiamen University · Alibaba Group
训练无关的模态解耦压缩框架，解决音视频跨模态显著度错配，实现高效全模态推理
📌 工作参考价值（4 点）
- 模态解耦思想可迁移到多模态推荐：在视频+音频+文本场景下，不同模态对点击/转化的贡献峰值可能不同时，应独立计算各模态token显著性再融合，避免跨模态指导遗漏关键信息。
- 训练无关压缩框架可直接嵌入已部署的多模态大模型，不增加微调成本；根据内容复杂度动态分配各模态token预算，适合工程化轻量实现。
- anchor-delta视觉剪枝策略保留全局上下文与时序变化，可用于商品展示视频或直播帧采样，保留关键变化帧的同时降低token数。
- 音频按秒合并的冗余去除方法可应用于直播语音或客服会话的压缩，减少后续模型输入长度，提升吞吐。
OxygenREC-v2：将判别信号内部化到生成式推荐
🧭 生成式推荐 · 行为内部化 ★ 深度解读
JD.COM, Beijing, China
通过行为指令条件生成与熵感知特权自蒸馏，将点击/加购/下单信号直接注入生成式推荐，无需外部奖励模型
📌 工作参考价值（4 点）
- 行为感知生成可直接复用：在解码器前缀插入行为指令（如“点击”、“加购”、“下单”），让模型在生成 SEMANTIC ID 时根据业务目标切换候选分布，无需为不同场景维护多个模型。
- 用可验证奖励替代人工奖励模型：以生成结果与真实交互 SID 的 token 级匹配率（几何加权）作为 RL 奖励，避免训练独立排序模型带来的分布外打分和奖励 hack 问题，大幅降低离线评估与维护成本。
- 特权未来蒸馏可融入训练流程：在训练时利用用户未来行为（点击及以上）作为教师前缀，提供更密集的偏好信号；通过熵门控只对低熵位置进行蒸馏，避免全位置蒸馏引入噪声，超参（蒸馏覆盖率 20%）可直接借鉴。
- 行为加权预训练即可带来明显提升：即使不使用后训练，在预训练时丢弃仅曝光样本，按行为价值加权损失，已能将 HR@512 提升 0.58pp，可作为轻量级基线。
弱到强在线策略蒸馏：用更弱的模型提升强学生
🧭 弱到强蒸馏 · 在线策略蒸馏 ★ 深度解读
University of Maryland, College Park · Microsoft Research · MBZUAI
通过对比弱模型提取能力方向并锚定到学生基模型，构造代理教师实现弱到强蒸馏，使强学生超越弱教师
📌 工作参考价值（4 点）
- 弱教师也能提升强模型：当没有更强的教师可用时（如前沿推荐模型或Agent策略网络），用一对更小的模型（如不同规模的基模型或不同训练阶段的专家）通过logit差异提取“能力方向”，可以继续提升强模型。
- 代理教师构造方法：在在线策略蒸馏中，代理教师 = 学生基模型 + α*(正模型 − 负模型) logits。这种构造避免了分布不匹配，α控制信号强度与分布邻近度的权衡（图4：α≈1.0最优），可直接用于多领域推荐模型或Agent策略的合并。
- 低成本多专家合并：多个弱领域专家（如不同品类推荐模型）可通过各自与基础模型的对比方向求和，一次性蒸馏进同一个学生，无需顺序微调或担心灾难性遗忘（Eq.12）。
- 保留通用能力：锚定学生基模型作为参考分布，使代理教师保持与学生分布邻近，避免直接蒸馏弱教师导致的通用能力退化，这对需要保持广泛推荐能力的系统尤为重要。
视频模型的视觉提示工程
🧭 视觉提示工程提升视频模型推理
Google DeepMind
自动修改任务图像（视觉提示）可显著提升视频模型推理性能，超过文本提示和测试时扩展
📌 工作参考价值（4 点）
- 商品图像预处理增强理解：借鉴 VIPE，对电商商品主图进行自动风格化（如光影优化、背景真实化），可提升多模态模型在属性抽取、类目识别上的准确率，无需重训模型。
- 测试时输入优化：在不改变模型权重的前提下，仅通过调用图像编辑API在推理前重绘输入，即可低成本提升下游效果，适合广告创意优选、直播封面自适应等场景。
- 视觉 Agent 的输入增强：在多模态 Agent 中，对采集到的画面做轻量预处理（去模糊、风格迁移）可提高后续推理决策的可靠性，作为 Agent 感知流水线的一个即插即用组件。
- 计算高效性：相比文本提示工程或多次采样，VIPE 仅增加一次图像编辑开销，是计算资源友好的提效手段，适合线上实时服务。
Shieldstral：策略自适应的3B多模态安全分类器
🧭 多模态安全分类 · 策略自适应
3B小模型通过二元问答统一异构审核任务，文本安全性能比肩7倍大模型，多模态达新SOTA
📌 工作参考价值（4 点）
- 统一二进制问答范式：将不同审核策略、类别标签统一为自然语言问题是 / 否判断，能融合来源异构的训练数据，降低多业务线接入成本，适合电商、社区同时管理商品描述、买家秀、评论等多模态内容安全。
- 策略自适应部署：同一模型可按需输入不同安全政策查询，动态切换审核标准，无需为不同场景（如广告创意审核 vs. 售后评价过滤）分别维护模型，显著降低工程维护复杂度。
- 小模型高吞吐：3B参数量支持高并发在线推理，可直接嵌入推荐 / 广告的实时投放链路，对输入素材、生成文案进行轻量级安全预筛，兼顾延迟与精度。
- 数据配方可复用：论文公开了54.1M训练样本的构建流程（包含人工标注、合成数据、细粒度评估集），可直接迁移到自建安全审核数据管线，尤其适用于标注成本高的垂类场景。
SpecFormer：通过谱感知Transformer缓解推荐中的嵌入与注意力坍缩
🧭 谱感知Transformer · 特征交互坍缩缓解 ★ 深度解读
Zhejiang University · Alibaba Group
揭示推荐数据异质长尾引发谱坍缩恶性循环，用动态谱软化与谱感知注意力打破瓶颈
📌 工作参考价值（5 点）
- 谱软化模块可迁移至任何Transformer特征交互模型：用可学习的幂律变换 (τ ∈ (0,1)) 动态压平奇异值分布，抑制主成分、激活长尾特征。此trick可直接插入现有推荐Transformer或LLM4Rec的注意力层前，成本低。
- Q/K用软化嵌入、V用原始嵌入的分离设计：实验证实，V用软化嵌入会扭曲语义、导致信息丢失。在工业级特征交互中，保留原始V可稳定聚合，软化Q/K则引导多样化的注意力模式，是简单有效的工程选择。
- 基于Taylor展开的谱残差偏置：用归一化奇异值的二阶多项式构造结构化偏置加回注意力得分，既补偿软化对主成分的压制，又为模型提供明确的谱感知归纳偏置。可抽象为一种增强Transformer表达能力的通用位置编码技巧。
- 两阶段训练稳定SVD模块：先用空间残差项预热5%数据，再开启主CTR训练。该策略解决了随机初始化下奇异值分布病态导致的数值不稳定，对有SVD/谱变换的模型尤其关键。
- 深度可扩展性与在线部署：9层SpecFormer注意力有效秩持续上升、AUC递增，而标准Transformer急剧坍缩。在线A/B中仅+5ms延迟换得CTR +1.34%、订单+16.72%，证明工业级极低成本获得显著收益。
统一生成式召回与多目标排序的单解码器序列模型
🧭 生成式推荐 · 统一召回排序 ★ 深度解读
Institute of Information Engineering, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Kuaishou Technology
用单个解码器Transformer和双查询前缀因果注意力统一生成式召回与多目标排序，表示耦合而优化隔离
📌 工作参考价值（4 点）
- 统一序列设计可迁移：将用户上下文、SID 生成轨迹、商品特征拼接为一个异构序列，在电商/广告的生成式召回+排序场景中可直接借鉴，消除两段式冗余编码，并且让排序阶段能直接消费召回轨迹中的语义信息，而不是只拿离散候选列表。
- 双查询前缀因果注意力 (DQ-PCA) 实现任务隔离：为召回分支提供前缀因果可见性，为排序分支提供双向注意力但仅关注用户画像和生成轨迹，同时共享基础注意力权重。这种设计能有效防止排序梯度干扰自回归生成，适合电商多任务联合训练。
- LoRA 作为优化隔离的低成本适配手段：在基础 Transformer 上冻结生成主路径，仅通过 Low-Rank 适配器为排序侧提供任务专用表示学习，既保护了生成式召回的质量，又恢复了排序侧的深层特征交互能力，对电商的稀疏目标（如赠礼、收藏）提升显著。
- 推理缓存复用与并行化部署：生成召回阶段计算的用户上下文和 SID 轨迹 KV 缓存可直接传给排序阶段复用，与外部策略过滤并行执行，大幅减少推理延迟（实验中减少 54% 推理时间），适合大规模电商/直播推荐系统的在线服务降本增效。
循环不代表可靠：状态绑定证据与类型化修订契约实现代理代码修复
🧭 Agent 可靠性保障 · 状态绑定证据与修订契约
Alibaba Cloud
揭示代码修复循环中正确补丁易丢失，提出状态绑定证据和类型化契约以保障代理可靠性
📌 工作参考价值（4 点）
- 代理迭代时保存“已验证状态”检查点，避免后续修订破坏已正确结果，电商搜索中的查询改写或排序策略迭代同样适用
- 引入类型化修订契约，强制每次修订后基于最新状态验证，而非依赖陈旧反馈，提升代理行为稳定性
- 设计审计接收凭据（auditable admission receipts），对代理关键动作（如投放决策、推荐生成）进行追溯和可靠性监控
- 评估代理时区分“曾经正确”与“最终正确”，避免将中途正确但最终破坏的情况误判为可靠
页面局部紧凑键摘要用于高效长上下文解码
🧭 KV cache 压缩 · 稀疏注意力
通过页面局部光谱摘要和稀疏选择，大幅减少长上下文解码中 KV cache 读取量，保持质量
📌 工作参考价值（4 点）
- 电商推荐中常需用 LLM 建模长用户行为序列，LOCKS 的页面级压缩可将序列分块，每块保留紧凑谱摘要，在生成时仅注意 top 块，降低长序列推理延迟
- 该选择机制只基于摘要估计注意力质量，不读取原始键值，适合在推荐 query 生成等需要可控延迟的场景中部署
- 可作为 vLLM 插件直接集成到现有推理服务，无需修改模型，对已部署推荐系统的 LLM 组件改造成本极低
- 长形式推理（如 Agent 多步规划）收益最大，若推荐 Agent 需要长上下文推理，此方法可明显提升响应速度
一图多益：构建单一高质量item-item图用于多模态推荐
🧭 多模态推荐 · item-item图复用
The University of Hong Kong · The Hong Kong Polytechnic University · The Hong Kong University of Science and Technology
预处理构建高质量item-item图，在表征增强、交互图增强和优化增强三阶段复用以全面提升推荐性能
📌 工作参考价值（4 点）
- 图构建方法可迁移：融合语义和共现信号，并通过三元闭合的NCER重加权边，能显著降噪。直接用于电商商品相似图构建，提升GNN召回或排序特征的质量，尤其适合多模态商品库。
- 残差门控机制RIG：自适应控制每个物品从近邻吸收多少信息，避免噪声平滑。可嵌入任何Graph SAE或注意力层，作为表征增强的插件，缓解过度平滑。
- 交互图增强解决冷启动：通过高置信度语义邻居创建虚拟user-item边，间接扩展交互图，对冷启动物品和长尾商品有明显增益。实现轻量，只需在线查表，适合大规模推荐系统。
- 优化增强INA：将正样本的top邻居作为折扣软正样本加入BPR，类似难例挖掘但更稳定。可直接应用于排序训练的目标函数，提升模型对相似商品的区分度，降低假阳性。
ClawRec: 一种Claw原生的推荐系统
🧭 Agent原生跨平台推荐 · 用户状态建模 ★ 深度解读
Renmin University of China · Meituan
提出Claw原生推荐范式，用证据关联的用户状态和边际策展实现跨平台互补推荐。
📌 工作参考价值（4 点）
- 跨平台用户状态建模方法：将不同端的行为标准化为统一事件，并维护证据关联的、带有时效状态（活跃/冷却/过期/抑制）的用户状态槽。可直接用于电商跨端（APP、小程序、网页）用户行为统一建模，避免将临时行为误判为长期偏好。
- 基于功能角色的检索规划：不依赖最近查询，而是从当前任务推断所需的信息支持类型（解释、指导、比较、官方验证等），再选择能提供对应功能的来源进行检索。这可以迁移到推荐feeds的版位规划，按任务需求分配不同功能的内容，提升整体的任务完成率。
- 边际效用策展优化推荐列表：选品时以增量价值为依据，覆盖未被服务的支持类型或互补功能，而非简单按相关性排序。可避免电商推荐中同类商品的重复展示，增强推荐列表的互补性和整体有用性。
- 利用行为轨迹模拟评估跨平台推荐：通过生活事件模拟和GUI代理生成跨平台行为序列，构造任务级推荐基准。可借鉴其方法构建更贴近用户真实跨端旅程的离线评估数据集。
从离线到在线：用生成模型与自适应实验优化广告创意
🧭 广告创意优化与自适应实验设计 ★ 深度解读
University of Michigan · Meta
用历史A/B数据训排序模型引导创意生成，结合自适应在线实验筛选，AI最佳创意较人工最优提升45%
📌 工作参考价值（4 点）
- 历史实验数据用于生成引导：将历史 A/B 测试中的创意比较数据训练 Bradley‑Terry 排序模型，在推理时作为“批评者”指导 LLM 生成变体，而不是直接用排序模型选 Top1 部署。这种用法可迁移到电商商品标题、推送文案的批量生成与筛选。
- 候选集召回 > 单点精度：离线评价模型时，改用 Recall@k（如 Top‑30 石板对高表现创意的召回率）取代 Top1 准确率，更适应“生成→在线实验筛选”的两阶段范式。可借鉴到搜索词推荐、广告文案生成的离线评估中。
- 自适应实验降低试错成本：在线阶段采用 Thompson 采样的分批自适应实验，能快速识别强势创意并将流量从弱臂移开，相比固定均匀分配可降低约 66% 的探索遗憾。在电商/广告多臂测试预算有限时，这种批量自适应分配可直接复用。
- 生成迭代火候控制：推理时对生成候选只做一次排序再精炼即可获得最大提升，进一步迭代会过拟合到排序模型。在类似“文本梯度优化”的营销文案自动生成中，控制一轮精炼是工程上的有效经验。
InMind：Agent 记忆系统隐式关联盲点基准
🧭 Agent 记忆评估 · 隐式关联盲点 ★ 深度解读
University of Science and Technology of China · Metastone Technology
提出 InMind 基准，揭示基于检索的记忆系统在间接查询中因缺乏相似线索而系统性地遗漏关键记忆，差距从 84% 跌至 14%
📌 工作参考价值（4 点）
- 业务场景的隐式关联风险：电商、推荐系统中用户历史行为（如拥有宠物）与当前查询（搜索“百合花”）之间缺少 token 或语义重叠，基于嵌入的检索会遗漏这种安全/偏好信息。可借鉴 InMind 的任务构造方式，主动设计跨域桥接问询，测试自身系统是否会“记得但不用”。
- 评估范式：三重控制分离失败原因：InMind 用直接查询控制存储成功、in-context 控制模型桥接能力、目标召回检查检索是否送达，将检索失败与存储或知识缺失剥离开。业务内部评测可复现这一范式，快速定位问题出在写入、模型还是检索端。
- 路由决策是核心开放问题：always‑in‑state 诊断（仅维持一次 200 行 profile）恢复大部分性能（68.8%），而 MemoryOS 这类带有可见 profile 的混合系统仍差很远，说明关键并非“有可见状态”，而是“决策哪些记忆必须始终可见”。对推荐中的长期记忆，可引入重要性路由，如根据未来可能桥接的风险（健康、安全）对记忆打标，强制进入上下文。
- 嵌入增强不能根本解决问题：从 384 维换到 3072 维 embedding，目标召回上升但应用率仍在低位，证明单纯增大 embedding 并无法掌握药理、法律等冷门桥接知识。在工程中不应仅依赖 embedding 相似度，可考虑配合结构化知识图谱或启发式规则来显式表达某些隐式关联。
Kimi K3：开源前沿智能体——2.8T参数MoE模型与强化学习实践
🧭 大规模 MoE 模型前沿训练与强化学习 ★ 深度解读
Moonshot AI
开源2.8T参数MoE模型，融合KDA、AttnRes和Stable LatentMoE架构，通过多领域多推理努力强化学习达到封闭前沿水平
📌 工作参考价值（4 点）
- 强化学习训练范式：部分回滚（partial rollout）方案允许长周期任务跨迭代训练，对搜索 / 推荐系统中基于用户长期反馈的强化学习优化具有直接借鉴意义。
- 多教师在线蒸馏（MOPD）：将多个领域、不同推理努力水平的专家策略融合为单一模型的技术，可应用于合并不同排序目标的推荐模型（如点击率、转化率、多样性等）。
- 推理部署优化：全后训练阶段集成的量化感知训练（QAT）及 EAGLE-3 投机解码微调，可降低大模型推荐 / 搜索推理成本，对线上部署有实际工程价值。
- 长上下文架构设计：KDA 与 Attention Residuals 的混合注意力可高效处理超长序列，可迁移至用户行为序列建模，支持更长行为记忆和更精准的长期兴趣提取。
Mage-VL: 高效编解码器原生的流式多模态基础模型
🧭 流式视频理解 · 高效视觉编码
Microsoft
利用类视频编码的 I/P 帧运动向量选择性编码动态区域，减少 75% visual token 并实现 3.5 倍推理加速的流式 VLM
📌 工作参考价值（4 点）
- 借鉴 Mage-ViT 的稀疏编码思路：在电商视频理解或用户行为序列建模中，可设计基于运动/变化量驱动的自适应 token 剪枝，只保留高熵片段，大幅降低 Transformer 输入长度与成本。
- 双系统架构（轻量 System1 事件门 + 因果 System2 解码器）适合实时推荐场景：用极低成本的事件门控持续监听流式交互，仅当检测到关键意图或状态变化时才唤醒重型推理模型，实现低延迟主动推荐。
- AI4AI 数据管线中的 prompt-code 联合优化与性能诊断方法，可迁移到商品文案生成、搜索词推荐的自动评估与迭代优化，用 AI 诊断模型产出调优建议，替代人工 badcase 分析。
- 论文发现 VideoQA 中的 SFT 数据存在大量冗余，实际只需少量高质量样本即可饱和；在推荐系统里的对话式推荐或解释生成任务中，可尝试小样本精调，避免全量标注成本。