基于后悔值的多轮澄清基准：评估LLM助手的澄清策略
🧭 对话Agent澄清策略的后悔值评估基准
MBZUAI · BKAI Research Center, Hanoi University of Science and Technology · INSAIT, Sofia University "St. Kliment Ohridski"
提出基于后悔值的多轮澄清基准RegretBench，衡量LLM助手澄清策略的效率与效用，避免仅看最终成功。
📌 工作参考价值（4 点）
- 对话推荐中的澄清策略评估：在电商对话推荐中，用户需求往往模糊，可借鉴RegretBench的后悔值度量，评估系统是否在正确时机提问、何时停止，避免无效追问或过早错误回答，优化用户交互体验和转化效率。
- 优化Agent的停止决策：后悔值框架量化了“多问一轮”的机会成本，可直接用于强化学习稀疏奖励设计，训练Agent在信息增益低于阈值时果断停止，减少对话轮次和用户流失。
- 隐藏意图数据构建：RegretBench的隐藏意图设定可用于生成大量用户意图不确定的模拟训练数据，提升推荐Agent对模糊查询的处理能力，特别适合冷启动或用户画像缺失的场景。
- 多指标评估体系：该工作提醒不要仅看最终准确率，而应同时关注交互成本、无效澄清率，对应搜索推荐中的“结果页翻页深度”或“对话轮次”，可迁移到消息推送频率、主动推荐时机的决策中。
基于随机设计的 KV 缓存驱逐误差证书
🧭 随机化 KV cache 驱逐实现误差归因
Technical University of Munich
随机化 KV 缓存驱逐使系统能给出每步注意力误差的置信区间，用于归因缓存导致的失败
📌 工作参考价值（4 点）
- 在电商搜索/推荐/Agent 长上下文推理中，采用随机化逐出（如 Poisson 采样尾部 token）并计算误差证书，可在线检测 KV cache 压缩是否导致注意力偏差，触发全量重算或回退逻辑。
- 证书虽然预测失败的能力弱于输出 log-probability，但归因能力（AUC 0.73–0.75 vs. 0.47–0.54）可用于调度资源：仅对证书超阈值的高风险请求重新分配计算，避免浪费。
- 确定性 top-k 驱逐无法自我诊断（Theorem 1），因此生产系统中不应依赖保留状态计算的自检指标；改用随机化设计是从根本上获得可观测性。
- 工程实现上，可沿用论文的 Hájek 校正（单 logit 偏移）和调查抽样方差估计，无需大幅改动模型推理管线，即可获得每步无偏误差估计和 0.97 经验覆盖率。
检测人-LLM合作文本中的LLM生成Token
🧭 细粒度LLM生成文本定位与检测
University of Birmingham · Shanghai University of Finance and Economics · London School of Economics and Political Science
提出基于自适应带宽核平滑的token级检测方法，无需标注数据即可定位LLM生成片段。
📌 工作参考价值（4 点）
- 在电商评论、客服对话等场景中，可基于现有token级生成概率分数，结合局部平滑算法定位LLM生成内容，无需额外标注数据，快速部署。
- 自适应带宽选择策略（Lepski规则）能根据局部作者变化动态调整平滑程度，可迁移到其他需要局部自适应的检测任务，如点击序列异常检测。
- 方法简单，可直接替代固定阈值或全局分类，适用于自动化内容审核、欺诈评论识别等场景，降低人工审核成本。
- 开源实现和网页工具便于快速实验，可作为业务中检测混合作者文本的基线方法。
渐进式填塞：可靠Token压缩及其揭示的局限
🧭 LLM token压缩与表示容量研究
FusionBrain Lab · HSE University · Innopolis University
逐token扩展压缩目标直至重建失败，定位可靠压缩边界，并揭示早期层交互致下游崩溃
📌 工作参考价值（4 点）
- 在推荐/搜索系统中将用户行为序列压缩为少量 token 时，即使自回归重建准确率高，也可能严重削弱 LLM 的推理与生成能力，评估应以下游任务为准，不能只看重建误差。
- 渐进式 cramming 提供了一种确定序列压缩极限的方法，可用于测试不同长度用户序列能被无损编码的边界，指导压缩程度的选择。
- 因果注意力 knockout 表明压缩嵌入主要通过模型早期层引入干扰，尝试在早期层后插入压缩表示或进行针对性微调可能缓解能力退化。
- 对 Agent 长程记忆压缩的场景，该工作提示“完美重建”并不等同于保留可转移的语义，需关注压缩对代理决策的实际影响。
可控且基于内容的推荐框架：用文本瓶颈实现用户干预
🧭 可控推荐 · 文本瓶颈介入
Concordia University · Université de Montréal · Laval University · HEC Montréal · Mila – Quebec AI Institute
通过在协同过滤中嵌入文本瓶颈，让用户通过文本直接控制推荐方向，且文本概要从物品内容（图像/音频/视频）自动生成。
📌 工作参考价值（4 点）
- 文本瓶颈实现细粒度用户控制：电商场景可直接复现——用户输入短文本（如“更多休闲风、亮色”）即可调整推荐方向，无需重新训练。可将此模块嵌入已有协同过滤模型，作为实时干预层。
- 从商品多模态内容自动生成可控概要：利用商品图片、音频或视频自动抽取文本描述作为控制柄，避免人工标注。对图像电商、短视频带货等场景，可低成本构建可控推荐系统。
- 与现有模型即插即用：CCBR 作为协同过滤的插件，不影响原有模型推理效率，且维持竞争性推荐性能。工程上可先训练基础模型，后接入文本瓶颈，降低落地风险。
- 支持文本与多模态混合干预：允许用户同时用文本和示例图片调整偏好，适配导购、搜索重排序等场景，提供更灵活的用户体验。
KroQuant：基于Kronecker结构化块变换的扩散模型高效训练后量化
🧭 扩散模型训练后量化：Kronecker块变换
提出KroQuant，用学习的Kronecker结构化块变换对激活做32元素块量化，比SmoothQuant更快且精度更高
📌 工作参考价值（4 点）
- 在推荐模型量化部署中，可借鉴KroQuant的块级Kronecker变换抑制激活异常值，参数少、在线开销低，适合实时推理。
- 将量化变换设计为32元素块的小GEMM，直接利用GPU Tensor Core加速，延迟更低。
- 离线LoRaQ权重校准可吸收量化后残差，提升精度，可作为PTQ流程的通用后处理步骤。
- 局部块变换替代全矩阵变换的思路，在保持量化质量同时大幅降低计算成本，适合搜索推荐系统的高吞吐需求。
扩散模型推理时缩放：渐进式种子剪枝
🧭 扩散模型推理时缩放 · 渐进剪枝
California Institute of Technology
在固定计算量下，通过早期评分并逐步剪枝扩散去噪轨迹，显著提升生成质量
📌 工作参考价值（4 点）
- 生成式推荐中，若采用扩散模型生成物品语义ID，可借鉴PSP思路：在去噪早期使用轻量评分器筛选候选序列，剪枝低分路径，不增加总去噪步数却提升最终ID质量。
- 当业务需要从多个随机种子生成的候选集（如LLM生成多条搜索词）中择优选时，可实施渐进式剪枝：用部分解码结果与指令的相关性进行早期评估，提前丢弃不佳生成，节省完整推理开销。
- 多步推理Agent的动作序列搜索可类比种子筛选，采用粒子滤波式剪枝，在动作分支早期保留高价值路径，控制整体推理成本的同时提高最终任务完成率。
- 工程实现上，PSP的核心是设计一个与最终奖励对齐的中间评分机制；可借鉴其“前端重探索、后端重利用”的调度策略，在固定Token预算下优化生成结果。
扩展流映射：支持可变维度与变长序列的生成模型
🧭 生成式流模型 · 可变维度生成
University of Pennsylvania
提出扩展流映射(EFM)，将生成模型从固定维度/长度解放，支持可变大小图和序列的少步生成
📌 工作参考价值（4 点）
- 电商推荐中常需生成可变长度的商品序列（如个性化feed流长度不固定），EFM的expand operator可直接建模输出长度本身，将序列长度作为可控自由度，避免预设最大长度带来的浪费或截断。
- 广告创意生成或搜索query推荐中，需要生成可变长度的文本，EFM在离散simplex上的扩展支持变长token序列生成，可端到端学习生成过程的长度分布，替代现有固定长度或启发式终止的方案。
- 通过蒸馏为少步生成，EFM可在在线推理中实现低延迟；对于推荐系统的实时生成场景，可将训练好的变长生成流蒸馏为仅需几层计算的网络，兼顾效果与效率。
- 图生成在推荐中可用于建模物品关系图或用户行为图，EFM的可变大小图生成能力可用来直接生成适应不同规模的结构化数据，省去预先定义图尺寸的麻烦。
LAMAR：开放的语言感知多语言对齐重排序器
🧭 多语言RAG重排序 · 语言感知对齐
Korea University
提出语言感知多语言重排序器LAMAR，通过英语锚定蒸馏和偏好对齐，同时优化语义相关性和语言一致性。
📌 工作参考价值（4 点）
- 在电商搜索重排序中引入语言偏好特征，优先展示与查询语言一致的商品描述，可提升多语言用户体验和转化率。
- 使用英语作为锚定语言进行跨语言相关性蒸馏，统一多语言语义评分，可直接复用至多语言召回/排序的 teacher 模型构建。
- 偏好对齐（如 DPO）可显式控制排序中的语言一致性，结合点击/转化等业务信号微调，比规则加权更精细。
- 多语言 RAG 场景下，重排序考虑语言一致性可减少下游生成的语言混淆，对多语言客服 Agent 或知识库问答有直接帮助。
LO-FAR：面向工业广告推荐的稀疏特征成本感知局部过滤
🧭 稀疏特征选择 · 工业广告推荐 ★ 深度解读
Meta Platforms, Inc.
仅用CPU的局部过滤方法独立评估稀疏特征预测信号，实现低成本快速排序并保持下游CTR/CVR竞争力
📌 工作参考价值（4 点）
- 低成本快速特征筛选流水线：仅用 CPU 即可在 2 小时内完成数百个稀疏特征的排序，适合嵌入到日常迭代中，避免与训练抢 GPU 资源。
- 独立并行化设计：每个特征独立打分、易于并行，适合拥有大量稀疏特征池的电商/广告团队快速收敛候选特征集。
- 两阶段筛选策略：可先用 LO-FAR 快速剔除大量低信号特征，再对保留的特征用更昂贵的交互感知方法（如 BSN）做精细选择，兼顾成本与效果。
- 直接控制存储与参数规模：通过特征预算直接决定嵌入表数量，实现 40%~75% 的稀疏存储压缩，降低训练和推理的内存压力。
MemTools：面向智能体记忆互操作性的统一研究框架
🧭 Agent 记忆系统模块化框架
Institute of Automation, CAS · University of Chinese Academy of Sciences · Beijing Academy of Artificial Intelligence · Zhongguancun Institute of Artificial Intelligence
提出模块化、可互操作的智能体记忆框架，解耦生命周期与评估，支持异构记忆统一接口
📌 工作参考价值（4 点）
- 记忆组件模块化设计：将记忆写入、检索、压缩等生命周期阶段解耦，可灵活组装或替换，在电商推荐Agent中可快速试验不同记忆策略（如用户行为摘要、商品知识图谱记忆）而无需重构整个系统。
- 评估与数据正交分离：在构建购物助手记忆评测时，可复用其评估协议与数据集分离的做法，避免评测逻辑与特定数据捆绑，便于横向对比不同记忆模块在推荐任务上的效果。
- 异构记忆统一接口：支持符号、神经、多模态记忆协同，实际场景中可混合存储用户长期偏好（向量）、实时行为（符号）和商品图片特征（多模态），提升记忆的丰富性和检索灵活性。
- 工程化参考实现：该框架提供了标准化的数据契约和运行时接口，可直接借鉴其架构构建公司内部的Agent记忆实验平台，加速记忆增强推荐系统的开发和迭代。
弥合结构鸿沟：适配自回归生成的推荐系统
🧭 生成式推荐 · 语义ID结构优化 ★ 深度解读
Tencent · Shenzhen University · Sun Yat-sen University
通过恢复 item 边界、路径重排与双路解码，缓解生成式推荐中的语义漂移
📌 工作参考价值（4 点）
- ICA 模块可直接插入现有 Transformer 编码器前，通过可学习 query 做跨注意力得到 item 上下文，再用可训练门控融合回 token 序列，几乎无额外参数开销，能有效恢复被扁平化破坏的 item 边界信号。
- HPR 是一种轻量级、无需标签的路径重排方案：用解码器初始隐状态作为用户意图锚点，与累积路径嵌入做对比学习，训练后仅在 beam search 每层重排 top-N 候选，不增大 beam width，可直接迁移到任何基于分层 codebook 的自回归生成管线。
- DPD 的 OSQ‑VAE 通过可学习正交旋转将嵌入空间拆成两个互补子空间，形成双通道语义 ID；配合双解码器 + OR 融合，在 recall 阶段以极低成本获得显著互补增益，尤其适合大规模 item 库中长尾与冷启 item 的召回增强。
- 代码本采用「前大后小」的递减配置 (512,256,128,64) 且全部可学习，省去随机碰撞 ID，既保证粗粒度分类的容量，又控制总参数，适合工业级部署；推理时双路 beam search 并行，延迟与单路基本持平。
面向高维LLM嵌入的快速近似最近邻搜索
🧭 向量近似最近邻搜索加速
Visual Computing Group, HTW Berlin · vviinn, Berlin
通过EVP量化与1D预排序优化图索引构建，大幅提升LLM嵌入向量搜索的构建速度与缓存效率
📌 工作参考价值（4 点）
- 工业推荐系统向量召回阶段，可借鉴EVP空间划分量化，加速图索引构建，同时配合定向重排序保证召回率。
- 处理非归一化嵌入（如LLM特征）做MIPS时，使用维度扩充技巧转换为欧氏距离搜索，复用成熟ANN库而不必重新实现内积索引。
- FLAS一维预排序方法能显著改善图遍历时的内存局部性，适合在线服务低延迟要求，可集成到现有HNSW等图索引构建流程的前置步骤。
- 资源受限线上环境（如8核CPU、24GB内存）下，本文技术组合提供了一个低开销高性能的ANNS方案参考，便于算法落地。
面向数据异质的隐私保护联邦提示微调：子空间分解专家方法
🧭 联邦学习 · 子空间分解 · 多专家提示
Beihang University · Renmin University of China · Beijing Jiaotong University
用子空间分解建模多专家提示，以低秩因子通信替代全量专家，在差分隐私下平衡个性化与泛化
📌 工作参考价值（4 点）
- 联邦多场景推荐中的参数低秩解耦：可将全局共享基础表示与私有残差分离，通信仅传递低秩因子，减少隐私噪声，适合跨商家数据协同训练，例如用户偏好共享底座+店铺私有调整。
- 动态专家路由用于多域推荐融合：Instance-aware Expert Fusion 的思路可应用于多场景推荐系统，在服务端缓存各领域 logits，客户端轻量路由实时融合，降低推理延迟。
- 隐私约束下的多任务 LoRA 合并：将多个 LoRA 专家表示为共享低秩空间+私有残差，可在不暴露原始参数下进行安全聚合，适合联邦 fine-tuning 场景。
- 通信效率与效用平衡的工程灵感：通过固定公共基底避免每轮传输全量专家，对带宽敏感的边缘推荐模型部署有直接参考价值。
面向推荐的离散扩散语言模型
🧭 生成式推荐 · 离散扩散语言模型 ★ 深度解读
The Hong Kong Polytechnic University · Tencent Inc.
提出离散扩散替代自回归生成，通过迭代去噪和协同感知 token 化实现更优推荐
📌 工作参考价值（4 点）
- 推荐生成范式转换：在需要生成商品集合或预测下一个交互对象的场景中，考虑用离散扩散替代自回归。扩散的迭代去噪可纠正早期错误，且双向建模更能捕捉 item 间的全局依赖，尤其适用于行为顺序含有噪声的电商推荐。
- 协同感知 tokenization 设计：借鉴 CAST 的多跳随机量化思路，用 GNN 提取用户/商品的协同信号，通过温度调控的多码本随机映射生成离散 token，可保留协同相似性，与 LLM 集成时比单纯 ID 或文本摘要更有效。
- 课程式微调策略：在 LLM 推荐微调中，可先采用 item 级掩蔽对齐（同时掩蔽 token 和文本描述）来建立离散 token 与语义的对应，再过渡到 token 级掩蔽并引入偏好对比损失，逐步从语义理解迁移到推荐任务。
- 投票式推理稳定化：在扩散推理阶段，不丢弃中间预测，而是累积各步 log-prob 进行投票，对稳定位置早停，在不确定性高的位置融合更多信息，可提升推荐生成的鲁棒性和一致性，也可用于 interpretable 推荐或多轮交互式推荐。