解锁非均匀KV缓存压缩以高效支持多轮LLM服务
🧭 LLM服务 · 非均匀KV缓存压缩
Hanyang University · Rebellions
提出Tangram框架，通过静态预算预留、粗糙分页和提前负载均衡，使非均匀KV压缩在多轮LLM服务中可达最高2.6倍吞吐提升
📌 工作参考价值（4 点）
- 多轮对话推荐 / Agent 场景中，KV 缓存膨胀是吞吐瓶颈，非均匀头级压缩精度保持更好，Tangram 展示了如何通过离线校准头的保留模式并静态规划调度，避免运行时碎片回收开销，对自研推理引擎有直接参考价值。
- 可借鉴“预算预留”：请求调度时预先固定每头压缩后内存大小，消除 prefill 阶段的页面回收（原占 25% prefill 时间），减少延迟抖动，适合对延迟敏感的在线服务。
- “粗糙分页”将预算相近的头分入独立页表，将内部碎片转化为可回收内存，提升显存利用率，利于在有限显存下支撑更长对话历史。
- “提前负载均衡”离线计算 GPU 分区，彻底消除 decode 步中 15-20% 的动态重规划开销，这一思想可迁移到需要 GPU 并行推理的推荐模型部署中。
可检索梯度：无累积权重漂移的持续后训练
🧭 持续后训练 · 梯度检索与临时权重适应
Department of Computer Science and Technology, Tsinghua University
将梯度视为可检索的知识单元，通过即插即用的临时权重调整实现持续学习，避免参数漂移与灾难性遗忘。
📌 工作参考价值（4 点）
- 即插即用的知识更新：将新领域文档（例如新品详情、政策变化）预先计算梯度并存入梯度库，推理时根据query检索相关梯度临时调整模型，实现零遗忘的在线知识注入，避免全量重训。
- 可逆性与版本管理：梯度库天然支持知识卸载，移除对应梯度即可擦除引入的知识，适合广告/推荐场景中需要频繁上下线的商品或活动，无需回滚模型参数。
- 组合式适应：多个文档的梯度可以按需组合（如多商品叠加推荐），提供类似LoRA的模块化适配能力，但更灵活且无需事前训练适配器，降低工程复杂度。
- 元学习重塑梯度：通过任务驱动的元目标，将文档梯度优化为更通用的适应信号，可借鉴此思路将商品描述、用户评论等转化为对推荐任务有判别力的梯度，提升下游CTR预估等性能。
零资源语言LLM代码生成：评估与改进策略
🧭 LLM 适配零资源代码生成
针对零资源编程语言，通过权重差异迁移法在基础模型上注入指令跟随能力，实现低成本专用代码模型部署
📌 工作参考价值（4 点）
- 若业务中存在专有查询语言或领域特定语言（如内部配置DSL、搜索表达式），可以借鉴“基础模型继续预训练+权重差异迁移”的方式，低成本适配LLM，无需昂贵的指令微调
- 在对指令跟随要求高的场景（如Agent任务规划、推荐理由生成），避免直接在指令模型上做进一步预训练，以防损害其指令能力，而是采用先预训练再注入指令能力的两阶段策略
- 构建内部低资源语言基准时，可复用论文的基准构建思路：从有限代码库中提取函数签名、文档字符串和测试用例，自动化生成评测集
- 该方法模型与数据均轻量，适合资源受限的团队，可用于快速验证新语言或新领域的LLM生成效果
MMDiff：将冻结扩散变换器扩展为多模态生成系统
🧭 生成式模型多模态解码·扩散特征复用
University of Oxford, Visual Geometry Group
冻结扩散变换器，通过多时间步特征融合与轻量解码头，同时生成图像及密集感知模态
📌 工作参考价值（4 点）
- 冻结大模型 + 轻量任务头：可借鉴到推荐系统的多目标学习或内容理解，冻结预训练 LLM/生成式模型，仅训练极少量参数的任务头，大幅降低训练成本，快速产出多模态信号（如物品描述、属性标签、质量分）。
- 多时间步特征融合：在推荐或 Agent 场景中，若干任务需要序列或推理步骤的中间状态，可类似地融合不同阶段的隐状态，例如在会话推断中融合多步推理的中间表示，提升预测准确性。
- 注意力引导的可解释性：概念驱动的注意力提取可用于生成可解释的推荐理由或搜索解释，通过在生成式推荐模型中提取与特定概念对应的注意力图，提高对用户的理解。
- 大规模合成数据生成：在电商商品配图、广告创意图生成中，可利用此类方法同时产出商品分割图、景深图等多模态标注，低成本构造训练数据，提升下游模型性能。
MyPCBench: 个性化计算机代理评测基准
🧭 个性化Agent评测 · 桌面环境
Carnegie Mellon University
首个模拟真实用户数字生活的个性化计算机代理基准，揭示跨应用长链任务的高失败率
📌 工作参考价值（4 点）
- 在电商Agent评测中，可类似构建含用户历史订单、偏好、收货地址的模拟桌面/浏览环境，使评测更贴近真实部署。
- 关注长链跨应用任务（如搜索商品→比价→下单→售后）的评估，模型在这些场景下易失败，需专项优化。
- 引入用户数字踪迹（日历、邮件、聊天记录）作为上下文，可能提升Agent个性化表现，但评测显示当前模型仍难以有效利用。
- 对于需要登录态或隐私数据的工作流，离线模拟环境比在线评估更安全且可重复。
OneRank：统一 Transformer 原生多任务排序架构
🧭 多任务排序 · Transformer 原生架构 ★ 深度解读
Renmin University of China · Shopee · Nanyang Technological University · Beijing Key Laboratory of Research on Large Models and Intelligent Governance
通过任务专用 token、梯度分离与候选感知情境描述符，将多任务推理内建于 Transformer 栈，消除编码器‑预测器分裂。
📌 工作参考价值（4 点）
- 任务专用 token 与梯度隔离：为每个任务引入可学习 token，配合注意力掩码实现早期特征分离；反向传播时对跨任务注意力进行梯度 detach，仅保留前向知识迁移，有效缓解跷跷板效应，可直接复用到电商 CTR/CVR/加购等多目标场景。
- 候选感知情境描述符：使用可学习的 cross‑attention 聚合整个候选集的分布信息，为每个任务生成全局表示，桥接训练‑服务差异；电商排序中可将其设计为包含 session 时间、搜索词、用户画像等业务信号的模块，提升列表级排序质量。
- 动态匹配评分取代静态 MLP 头：任务全局表示与候选任务表示内积打分，替代多层 MLP，实现 session 级自适应排序；对广告、搜索推荐中需要实时适应上下文（如大促、时段）的业务尤其有价值，且可与现有 KV‑cache 配合降低在线推理成本。
- 灵活跨任务信息流配置：通过注意力掩码实现 parallel、cascade、null、hybrid 等多种跨任务交互模式，工业界可直接根据漏斗关系（click→cart→order）设定单向级联，或让同类任务双向共享，省去复杂的手工建模或搜索。
PermaVid：通过解耦上下文记忆实现跨编辑一致视频生成
🧭 视频生成 · 解耦多模态记忆
Shanghai Jiao Tong University · Stanford University · S-Lab, Nanyang Technological University · The Chinese University of Hong Kong · Shanghai Innovation Institute
提出解耦语义外观与几何结构的多模态记忆，结合编辑感知更新，实现视频编辑后的长期一致性生成。
📌 工作参考价值（4 点）
- 解耦记忆设计可启发多模态商品表征：在电商中，将商品视觉特征解耦为外观（颜色、纹理）与几何（形状、结构）分别记忆，可提升虚拟试穿、商品编辑等场景的一致性。
- 编辑感知的记忆更新策略可借鉴到用户兴趣模型：当用户行为发生突变（如切换品类）时，类似更新机制能避免过时记忆干扰，维持长期兴趣建模的连贯性。
- 多模态记忆引导的生成框架可应用于个性化商品展示：利用混合模态参考条件（图像+深度）生成一致性的商品视频或图片，增强生成式推荐的视觉质量。
- 整体上，主要贡献在视频生成，但解耦记忆与一致性维护思路对推荐系统的多模态序列建模有一定跨界启发。
RLVR稳定性梯度分析与赢家优势策略优化
🧭 RL训练稳定性分析与策略优化
Layer 6 AI
通过梯度分析揭示GRPO崩溃机制，提出仅对正优势序列更新的WAPO，提升训练稳定性与性能。
📌 工作参考价值（4 点）
- 在RL微调推荐/Agent模型时，只对奖励高于平均的生成结果（正优势）进行策略更新，可避免负优势样本导致熵增和输出崩溃，是一种简单的实现 trick。
- 裁剪策略梯度更新幅度（类似 PPO 的 clipping），防止梯度爆炸，保持训练稳定，可直接集成到现有 RL 训练流程。
- 论文提出的 token 级梯度分解与稳定性分类法可用于分析推荐模型的 RL 微调行为，诊断训练不稳定是由哪些 token 分布引起，指导超参调整。
- 使用在线采样（on-policy）而非重用旧策略样本（off-policy），可减少策略漂移带来的问题，在推荐系统的多步 Agent 训练中值得尝试。
视觉锚定思维：VLMs推理步骤与图像区域显式关联
🧭 多模态推理 · 视觉定位强化学习
University of California, Los Angeles
通过在文本思维中插入点/框级视觉定位，显著提升VLM计数和空间推理性能
📌 工作参考价值（4 点）
- 电商多模态Agent可借鉴该方法，对商品图片进行属性验证时，在推理链中显式锚定图像区域（如领口、logo位置），提升判别可解释性与准确率。
- 合成数据管线利用SAM3自动提取掩码并生成点/框监督，可低成本构建商品图像问答或合规审核的接地推理数据，减少人工标注。
- 接地感知RL（答案正确+密集接地奖励）的多奖励框架，可迁移到微调多模态推荐模型，使其输出推荐理由时精准指向图片关键证据。
- 点定位适合计数、框定位从空间奖励中获益更多的结论，可指导电商图文推荐中不同任务（如数量统计 vs. 布局合规）的接地策略选择。
谁应主导解码？跟踪可靠轨迹以集成掩码扩散语言模型
🧭 掩码扩散语言模型集成与解码动态
KAIST · AITRICS
提出TIE框架，通过跟踪解码轨迹置信度动态，实现MDLM的迭代知识融合，提升推理性能
📌 工作参考价值（4 点）
- 多Agent协作推理可借鉴：跟踪各Agent中间解码状态的置信度，动态选择轨迹更可靠的Agent主导生成，提升复杂推理准确性，适用于搜索推荐中的多步推理场景。
- 生成式推荐（如Semantic ID生成）可采用类似融合策略：集成多个生成模型，在每一步去噪或解码时评估中间状态质量，由当前最优模型接管，纠正其他模型的不可靠方向。
- 搜索查询改写或广告文案生成中，可交替利用不同LLM的互补优势：当某个模型生成过程中出现低置信度区域，注入其他模型的中间状态以稳定生成轨迹。
- 该方法强调在生成过程而非结果层面融合，为电商场景中多模型协同（如多路召回融合、多生成器投票）提供新思路：关注中间表示的置信度动态而非最终输出概率。
泰勒校准：混合线性注意力蒸馏的原则性初始化
🧭 高效 LLM 架构的蒸馏初始化
The University of Sydney · Together AI · University of California, Berkeley · The University of Texas at Austin · Microsoft
利用泰勒展开匹配教师注意力统计量，让混合线性注意力学生初始化更好，节省 4.9-9.2 倍训练代价
📌 工作参考价值（4 点）
- 电商推荐场景的用户行为序列 Transformer 可部分替换为 Gated DeltaNet，并用 Taylor-Calibrate 初始化，无需重训即可获得低延迟推理与更小 KV cache。
- 知识蒸馏时，可直接借鉴定量匹配教师注意力的初始化策略，避免学生早期不稳定的动态重建，加速推荐大模型压缩。
- Agent 的长期记忆模块若使用线性注意力，可复用泰勒统计初始化思想，用少量数据对齐教师记忆读写门控，提升记忆一致性。
- 方法仅需少量校准数据、无反向传播，可在线快速将预训练推荐模型转为高效推理架构，大幅降低工程上线成本。
TokenPilot：双粒度缓存高效的智能体上下文管理
🧭 Agent的上下文缓存管理 ★ 深度解读
Zhejiang University · University of Electronic Science and Technology of China · Xi'an University of Electronic Science and Technology · HomologyAI
通过前缀稳定化和残值驱动的驱逐实现缓存感知的上下文管理，大幅降低长时程LLM代理推理成本
📌 工作参考价值（4 点）
- 前缀稳定化：将系统提示中的动态变量（如工作目录、时间戳）替换为静态占位符，并将工具定义移至提示尾部，最大化跨轮次KV缓存命中。可直接应用于多轮对话式推荐助手，降低每次推理的预填充成本。
- 带安全网的观测压缩：对工具返回的环境消息（HTML、终端输出等）进行规则化瘦身和去重，同时保留恢复工具，允许代理在需要时拉取完整内容。类似思路可运用于电商Agent的页面抓取和处理，减少冗余token但不丢失关键信息。
- 残值驱动的生命周期管理：不立即清除已完成子任务的上下文，而是通过轻量估计器评估其剩余价值，只有在不再被后续任务依赖时才批量驱逐。这种保守策略能维持缓存连续性，适用于长期运行的商品搜索或营销任务流。
- 缓存感知的成本建模：评估上下文管理时，应直接统计缓存命中与未命中的token数，而非仅看总输入token，以此指导系统优化，使成本降低体现在实际计费上。
文本-视觉协同指令的图像编辑
🧭 文本视觉协同的图像编辑
The Hong Kong Polytechnic University · OPPO Research Institute
融合文本语义与拖拽/点击等视觉指令，实现空间可控且语义保真的图像编辑
📌 工作参考价值（4 点）
- 文本与视觉提示协同的思路可借鉴到多模态商品检索，如允许用户上传图片并辅以文字说明区域编辑意图，提升交互精准度
- 利用视频帧间差异自动构建编辑指令对的数据构造方法，可迁移到商品视频生成任务中，用于获得带空间标注的训练数据
- TV-Edit-Bench 的多维度评估（语义忠实度、空间对齐、视觉一致性）可启发电商图像编辑场景的离线评估指标设计
- 将稀疏视觉指令提升为语义感知控制表示的模块化设计，可启发多模态推荐中融合细粒度空间意图的架构
AC-ODM：基于Actor-Critic的LLM预训练在线数据混合
🧭 RL指导预训练数据混合 · Actor-Critic
BRAIN, Renmin University of China · Shanghai Jiaotong University · Shanghai Artificial Intelligence Laboratory · China Electronics Technology Group Corporation 15th Research Institute · LiblibAI
提出轻量Actor-Critic在线调控领域采样权重，最大化梯度建设性干涉，大幅加速预训练并提升下游表现
📌 工作参考价值（4 点）
- 动态数据采样策略可迁移至推荐模型训练：在多任务/多领域推荐场景中，常需平衡样本配比，AC-ODM的在线Actor-Critic框架可以低开销地学习每步采样权重，替换静态或启发式配比，提升训练效率。
- Proxy模式节省大规模训练成本：先在小规模模型上训练数据混合策略，再外推到大模型，适用于电商搜索推荐中从蒸馏模型到全量模型的迭代过程，避免直接在大模型上试错。
- 极低工程开销：每步仅增加0.4%计算和2%显存，几乎不影响吞吐，可直接嵌入现有分布式训练管线，适合对训练延迟敏感的业务。
- 最大化梯度建设性干涉的思想可泛化：该文理论证明策略等价于线性代理优化梯度干扰，这一思想可借鉴到多任务推荐中的损失加权或正负样本均衡，减少有害梯度冲突。
超越正信号：释放隐式负向行为以增强序列用户建模
🧭 隐式负反馈融入行为序列建模 ★ 深度解读
Tencent Inc.
在CTR行为序列中按时间交错正负行为，用极轻量的极性感知校准即可让多种架构一致提升1.9%–9.6% AUC
📌 工作参考价值（4 点）
- 序列构建零成本升级：将用户曝光但未点击/快速划过/低完播的隐式负向行为直接作为普通token，与正向行为按时间戳交错，保持序列长度不变，推理成本零增加，即可在现有模型上获得明显收益。适用于广告、电商、信息流等场景。
- 极性编码即可获得大部分增益：最简单的极性偏置嵌入（PBE）已能解锁混合序列的主要价值，只需为每条行为增加一个可学习的极性embedding，适合快速上线验证。
- TAPF作为轻量级增强：若资源允许，可进一步使用目标感知极性融合（TAPF），通过在注意力前增加目标相关的门控残差，重平衡正负token的注意力分配（如从75%:25%调整到59%:41%），带来额外0.3%–0.8% AUC提升，且仅增加线性层和元素级运算，对在线时延影响小。
- 数据质量管理：负向行为必须是真实且近期的，随机采样或错误极性标签会严重退化效果；建议按实效性排序采样，避免远历史负信号。在低活跃用户或冷启动商品上，混合序列的增益更大，可重点在此类群体应用。