CONF-KV：面向长序列LLM的置信度感知KV缓存淘汰与混合精度存储
🧭 长上下文LLM推理 · 置信度驱动KV缓存淘汰
Carnegie Mellon University
利用模型生成时的置信度动态调整KV缓存预算，结合混合精度存储和分层金字塔预算，在低内存下保持长文本理解精度。
📌 工作参考价值（4 点）
- 电商Agent等长对话/工具调用场景中，KV缓存迅速膨胀，可借鉴置信度感知淘汰策略：当模型对下一token预测不确定时保留更多历史，减少关键信息丢失；预测置信时激进剪枝，节省显存。
- 混合精度存储（FP16/INT8）可有效压缩KV缓存，结合淘汰策略进一步降低内存占用，适合资源受限的在线服务部署。
- 金字塔逐层预算分配（浅层保留较多token，深层保留较少）可平衡信息保留与计算开销，可结合具体模型结构调整各层预算比例。
- 保护最近窗口（如固定最近若干token）保证局部连贯性，与置信度驱动预算结合，简单有效，可直接应用于现有Agent系统。
方向对齐缓解语言模型强化学习中的奖励黑客
🧭 RL训练优化 · 奖励黑客防御 ★ 深度解读
University of British Columbia · Vector Institute · Amazon
提出信任方向梯度对齐(TDGA)，将RL梯度投影到干净子空间，显著延迟奖励黑客并保持真实性能。
📌 工作参考价值（4 点）
- 在推荐/Agent的RL微调（如RLHF）中，可利用少量干净标注数据提取参数更新的SVD主导方向，构造投影矩阵，将每一步梯度限制在该信任子空间内，避免模型学到利用代理奖励的捷径（如电商中仅优化点击而非成交）。
- 投影秩K越小，对奖励黑客的抑制越强，但会限制模型适应能力，实践中可设为可调超参，根据验证集真实指标（如转化率）在线选择。
- 该方法与梯度正则化、SAM等互补，可在现有训练流程中即插即用，只需几行代码对梯度做矩阵乘法，计算开销低。
- 对于多轮Agent场景，可将信任方向扩展为轨迹级投影，防止在长链交互中累积的奖励黑客，尤其适用于基于推理步数的奖励设计。
LLM Agent应看到多少个工具？用机会校正指标回答
🧭 工具选择深度自适应与评估 ★ 深度解读
Meta Platforms
提出Bits-over-Random（BoR）度量评估工具搜索深度，并用作RL奖励学习自适应截断，显著降低提示长度同时保持覆盖率。
📌 工作参考价值（4 点）
- 在电商工具检索或推荐候选集裁剪中，可用 BoR 替代固定 Top-K 评估检索深度，自动惩罚过度展示而无需手工设计惩罚项。
- 将 BoR 作为强化学习奖励，训练轻量策略网络动态决定每个 query 展示多少工具/物品，实现自适应截断，减少 LLM 调用成本和上下文干扰。
- 下游验证表明：更短的候选列表能显著提高 LLM 选择正确工具的概率（93.1% vs 87.1%），尤其在中等难度查询上（76.8% vs 60.9%），这对多工具 Agent 或生成式推荐中的物品选择有直接借鉴。
- BoR 的自修剪特性依赖检索器质量；当检索器极弱时（如 BM25 在语义场景下）自适应深度会退化为展示全部工具，需结合更强的语义匹配或多路召回。
Macaron-A2UI: 面向个人助手的生成式UI模型
🧭 生成式UI · 智能体交互
Mind Lab
提出Macaron-A2UI，通过LoRA微调与强化学习训练，无需模式提示即超越全模式基线，让智能体动态生成交互界面。
📌 工作参考价值（4 点）
- 对话式电商中的偏好收集：可借鉴轻量级UI动作生成（如多选、滑块、确认按钮），在对话推荐中动态收集用户偏好，避免纯文本交互的低效。
- 高效微调大模型：使用LoRA对70B+模型进行参数高效微调，在生成式UI任务中取得强效果，对需要定制化界面生成的电商Agent有直接工程复用价值。
- RL优化生成质量：将UI生成视为序列决策问题，通过奖励模型优化整体交互体验，可迁移至对话式推荐系统的多轮交互优化。
- 评估基准构建：A2UI-Bench提供可控评估维度，可参考其设计思路构建面向电商场景的UI生成评测集，衡量信息收集、偏好精炼等子能力。
NITP：用下一隐式Token预测增强LLM预训练表示
🧭 LLM预训练 · 表示级监督 ★ 深度解读
School of AI, Shanghai Jiao Tong University · Xiaohongshu Inc. · University of Science and Technology of China · The Chinese University of Hong Kong
用模型浅层表示作为连续自监督目标，显式约束隐藏状态几何，有效缓解NTP的表示退化
📌 工作参考价值（4 点）
- 低成本的表示质量提升手段：仅增加约2%的训练FLOPs，无需额外推理开销，可移植到任何基于Transformer的推荐模型预训练中，改善物品/用户表示的各向异性与退化。
- 浅层作为语义锚点：利用模型自身浅层输出作为连续监督目标，无需外部编码器，这一自蒸馏思路可直接用于序列推荐中的状态表示学习，例如用中间层表示约束最终隐藏状态。
- 余弦相似度作为稳定辅助损失：相比MSE或KL散度，余弦损失在跨层表示对齐中更稳定，可避免梯度尖峰，适合在工业级大模型训练中作为正则项。
- 几何正则化的显式设计：论文揭示了NTP目标在表示空间的零空间问题，并通过理论证明NITP在该零空间引入正曲率，这对于理解并缓解推荐模型中常见的嵌入维度坍缩有直接启发，可尝试为召回/排序模型添加类似隐式预测目标。
谱检索：基于 token 嵌入多尺度 sinc 卷积的局部化重排序
🧭 多尺度重排序 · 局部化检索 ★ 深度解读
Cisco Systems, Inc.
在 token 嵌入上施加多尺度 sinc 卷积，以 max-over-scales 聚合实现逐 token 至均值池的平滑插值，显著提升窄片段相关性召回
📌 工作参考价值（4 点）
- 无训练即插即用的重排序器：直接复用现有双塔模型的 token 级嵌入，只需在候选文档（K=100 左右）上做多尺度卷积+max聚合，代码量极小，不改变索引和召回阶段，适合快速上线。
- 多智能体角色感知检索：每个 agent 用同一 query encoder 但不同 prompt，谱检索可让同一份文档对不同 agent 产生差异化的高得分（安全 agent 看到漏洞段落，运营 agent 看到维护记录），丰富辩论输入，避免所有 agent 拿到相同 top-k。
- 与 ColBERT 正交互补：谱检索相当于单 query 向量版的 ColBERT，二者可堆叠；若已有 ColBERT 索引，可直接加多尺度卷积提升长文档中的局部匹配，成本仅增加 O(K·S·N·d)。
- 尺度网格选择简单：默认 {1,3,5,7,10,15,20,30} 覆盖窄到宽的相关性宽度，无需调参；对于电商中商品描述（短文本）可缩为 {1,3,5}，对于长法律/政策文档可增加 L=100 端点，计算开销线性增长。
STREAM：基于流媒体挖掘高价值任务型对话的数据中心框架
🧭 任务型对话数据合成 · 流媒体挖掘 ★ 深度解读
Harbin Institute of Technology · Byering Technology
从公开直播/短视频中提取真实交互信号，合成大规模富含策略的任务型对话数据StreamDial
📌 工作参考价值（4 点）
- 利用公开流媒体替代人工标注：直播、短视频中的客服咨询与用户弹幕可提取为（问、答、策略）三元组，低成本构建垂直领域对话语料。
- 对话蓝图（Conversational Blueprint）显式规划对话节奏：将对话阶段、关键节点、应对策略结构化，可借鉴到电商售前咨询场景，提升多轮谈判、需求挖掘的连贯性。
- RAG增强的对话生成模式：结合知识库与历史对话样本检索，生成知识密集型回复，适用于商品推荐、库存查询等需实时信息注入的对话。
- 四元组数据格式提供丰富监督信号：<用户人设，客服人设，对话蓝图，历史>的结构可同时训练角色扮演和策略跟随能力，有利于构建可控的对话推荐Agent。
ARES：面向可扩展LLM强化学习的自动化评分标准合成
🧭 LLM 强化学习 · 自动评分标准生成
University of Science and Technology of China · Alibaba Group · National University of Singapore
从预训练文档自动生成问题及实例级加权评分标准，实现开放性任务的大规模强化学习
📌 工作参考价值（4 点）
- 电商客服评价可借鉴：自动生成多维度加权评分标准（如态度、准确性、完整性），取代单一点赞/点踩信号，实现细粒度 RL 训练。
- 生成式推荐中的解释文本评估可用类似 pipeline：从商品知识库生成问答对，合成评估标准，训练模型生成更符合多维质量要求的推荐理由。
- 数据增强策略可复用：利用领域标签和角色信息控制生成多样性，结合 self-containment、faithfulness 等过滤器保证合成数据质量，适合构建领域 RL 训练集。
- 对于 Agent 工具调用等开放性任务，可将任务要求转化为评分标准，自动构造 RL 数据，减少人工设计 reward 的成本。
逼近近似注意力计算的 I/O 最优性
🧭 I/O 高效近似注意力计算
Huawei Technologies
将近似注意力与 I/O 高效算法结合，使数据传输量几乎线性于序列长度，逼近理论下界
📌 工作参考价值（4 点）
- 在长序列场景（如电商用户行为序列或 Agent 长时间交互记忆）中，可参考其近似框架，用多项式展开或低秩分解替代精确 softmax，大幅减少显存访问与传输量。
- 工程实现上，可将近似注意力与 tile 策略结合，在 GPU 共享内存有限的推理环境下获得比 FlashAttention 更低的 I/O 开销，适合边缘部署。
- 论文提供 I/O 下界分析，可用来评估自研注意力近似方案的数据搬运效率是否接近最优，指导算法选型（例如多项式次数、分块大小）。
- 对于生成式推荐中的语义 ID 序列建模，长上下文注意力是瓶颈，借鉴此近似方法有望在损失微小精度下换取显著的训练/推理速度提升。
长视频关键帧检索：查询分解为工具调用与布尔合并
🧭 长视频理解 · 查询分解与工具调用 ★ 深度解读
University of Illinois at Urbana-Champaign
ToolMerge 用 LLM 规划器将查询分解为多个轻量视觉工具调用，并通过布尔运算符合并排名，在长视频关键帧检索上取得领先
📌 工作参考价值（4 点）
- 查询分解与工具融合范式：在电商搜索或商品推荐中，可将一个复杂查询（如“红色连衣裙，有蕾丝，适合晚宴”）分解为多个独立检索流（颜色、材质、场景），每个流用专用 scoring 工具，再用布尔 rank 合并（AND/OR）代替简单加权，可提升多属性检索精度。
- 轻量级检索 + LLM 规划器分离：工业级系统可沿用 SigLIP/CLIP 等轻量模型做粗筛，OCR 等规则做精准补充，再由 LLM 规划器决定如何组合，无需对每一帧或每一件商品调用大模型，大幅度降低延迟和成本。
- 无标注 RL 优化检索策略：GRPO 训练规划器时，仅使用基于时间戳的召回分数作为奖励，无需人工标注最优工具调用序列。这一思路可直接迁移到商品推荐或 RAG 场景，用用户点击或检索命中率作为奖励，通过 RL 优化查询分解策略。
- NMS 去重维持多样性：在最终帧选择中使用的贪婪 NMS（保证最小时间间隔），可借鉴到推荐系统的多样性约束，选择相似度高的候选项进行步进式过滤，平衡相关性和多样性。
Co-ReAct：将评估标准作为ReAct智能体的步骤级协作者
🧭 Agent 步骤级评估标准引导 ★ 深度解读
Qwen Applications Business Group of Alibaba · Tsinghua University
训练一个基于评分标准的生成器，以步骤级方式指导ReAct智能体的搜索决策，并通过列表式GRPO优化与专家排名的一致性，显著提升深度研究任务性能。
📌 工作参考价值（4 点）
- 电商搜索Agent构建中，可引入步骤级评分标准（rubric）明确每步目标（如“需覆盖2023-2025年新品”、“指定英文源”），提升信息收集的精准度与全面性。
- 训练一个轻量评判标准生成器，用列表式RL微调使其输出具有甄别力的准则，可作为即插即用组件注入现有ReAct、Best-of-N等方案，平均提升1-15%性能且无需改动原有决策机制。
- 注入+验证+重试机制：动作执行前用生成的标准进行校验，未达标则带反馈重试，此模式可有效降低错误动作率，适用于推荐系统的分步式查询扩展或多轮决策。
- 排名对齐的列表式奖励设计（Spearman相关系数）对生成式推荐中Semantic ID排序、候选动作评估等场景有借鉴意义，用全局排名代替逐对偏好能提供更丰富的梯度信号。
Complete-muE：面向MoE模型的最优超参数迁移与缩放
🧭 MoE 超参数迁移 · dense-to-MoE 迁移
Adobe Research
提出 Complete-muE 双桥框架，实现从密集 FFN 到任意 MoE 配置的超参数零成本迁移，实现“调参密集一次，迁移所有 MoE”。
📌 工作参考价值（4 点）
- MoE 推荐模型快速冷启动：在电商推荐系统中采用 MoE 结构时，可先用小规模密集模型调优超参数，再通过 Complete-muE 规则直接迁移到各类 MoE 配置（多专家、稀疏度、共享专家等），省去高昂的超参搜索成本。
- Agent 多智体路由的超参数复用：多智能体系统中的路由网络若设计为 MoE，可从单智能体密集策略网络迁移学习率和初始化，加速 MoE 路由策略的收敛。
- 生成式推荐的 MoE 架构探索：在生成式推荐（例如使用 transformer 生成行为序列）中，可先将模型设计为密集 FFN 调参，随后灵活扩展为 MoE 并迁移超参数，无需重新搜索。
- AdamW 超参统一缩放规则：文中的完整 μE 规则（宽度和专家数缩放下的 LR、WD、初始化方差调整）可直接嵌入训练框架，在模型放大或改变专家数时自动调整超参，提升工程效率。
从正确到偏好：个性化Agentic RL训练框架
🧭 个性化Agentic RL与偏好评分解耦训练 ★ 深度解读
University of Science and Technology of China · Alibaba Group
提出PARPO解耦通用质量与个性化偏好奖励并用用户锚点稳定训练，结合偏好解耦奖励模型与演化图记忆，实现闭环个性化智能体优化
📌 工作参考价值（4 点）
- 奖励解耦+用户锚点校准：在电商客服或推荐Agent中，可将通用任务质量（如回答准确性）与用户偏好（如风格、倾向）分解为两个优化通道，用用户历史平均偏好作为稳定基线，避免跨用户奖励尺度差异导致训练震荡。
- 偏好解耦降噪：用户行为常混杂从众与环境因素；采用双分支（兴趣/从众）建模，并利用流行度加权和正交约束分离真实兴趣信号，得到的偏好奖励更干净，可直接用于RL优化。
- 演化图记忆PSGM：构建包含用户、技能、工具、场景、轨迹的异构记忆图，通过层次社区发现和两步检索提供个性化上下文；电商Agent可借鉴此结构存储商家操作技能，实现跨场景技能复用与个性化检索。
- 训练闭环设计：将偏好识别、策略优化、技能累积形成闭环，训练过程中自动提炼可复用技能，适合构建需要持续进化的个性化Agent（如营销策略推荐、旅行规划等）。
CoSPlay：测试时无监督自博弈协同进化代码与单元测试
🧭 代码生成 · 无监督自博弈 · Test-Time Scaling ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Institute of Deep Perception Technology, JITRI, Wuxi, China
提出无监督、无训练的测试时自博弈框架，代码与自生成的单元测试通过执行矩阵双向验证协同进化，显著提升代码生成正确率
📌 工作参考价值（4 点）
- 可复用的协同进化机制：在电商多智能体系统中，可让策略生成器与自生成的验证规则（类似单元测试）形成双向反馈循环，通过执行成功次数信号清理低效策略、修复缺陷行为，实现无监督的迭代优化。
- 共识聚类提升最终选择可靠性：当多个候选策略/推荐结果得分相同时，利用随机输入下的输出一致性聚类进行二次筛选，正确策略因行为一致而聚集，此技巧可迁移到推荐模型的融合、多臂老虎机决策等场景。
- 探索-攻击驱动的验证样例生成：先探索解决方案思路，再针对潜在失败模式生成判别性测试，这种“生成后攻击”的方法可用于电商Agent的鲁棒性测试，自动挖掘边界异常输入。
- 成本-性能优势：在相同推理预算下，将算力投入执行驱动的自博弈比单纯扩大采样规模更高效，该思路适用于任何具备可验证反馈的生成任务（如生成式推荐的质量评估）。
CVSearch：基于认知视觉搜索的多模态大模型高分辨率图像感知
🧭 多模态LLM高分辨率认知视觉搜索 ★ 深度解读
哈尔滨工业大学（深圳） · 鹏城实验室 · 中国科学院深圳先进技术研究院
训练自由的认知评估-搜索框架，通过语义引导自适应分块与动态自底向上搜索，实现覆盖与效率平衡的高分辨率视觉搜索。
📌 工作参考价值（4 点）
- 搜索框架可作为电商图像理解的即插即用组件：在商品详情图、用户评价图等场景中，需要对高分辨率图像中的小目标（如标签、瑕疵）进行细粒度感知，可借鉴CVSearch的训练自由范式，无需重新训练即可集成到现有MLLM工作流中。
- 语义引导的自适应分块避免固定网格碎片化：电商图像中商品常跨多个裁剪区域，SGAP方法利用视觉专家特征进行超像素聚类，生成语义一致的块，可用于优化多模态检索或生成式推荐中的图像预处理，减少语义断裂。
- 动态自底向上搜索提升小目标召回：在商品搜索或Agent视觉导航中，小物体（如细颗粒度属性）容易被忽略，采用从局部到全局的底向上搜索策略，并结合视觉复杂度优先探索有价值区域，可提高感知鲁棒性，减少错误传播。
- 评估-搜索工作流平衡效率与鲁棒性：对于需要处理大量图片的推荐系统，可以设计类似的信息充分性评估机制，仅对困难样本启动昂贵的搜索过程，从而在保证精度的同时大幅降低整体延迟。