分层稀疏注意力HiLS：端到端分块选择实现无限上下文建模
🧭 分层稀疏注意力 · 超长上下文外推与高效推理
Tencent HY Team · ShanghaiTech University · The Hong Kong University of Science and Technology · University of California, San Diego
提出HiLS Attention，端到端学习分块选择的分层稀疏注意力，推理加速且外推超64倍训练长度
📌 工作参考价值（4 点）
- 在电商推荐的长用户行为序列建模中，可借鉴HiLS的分块检索与端到端选择机制，自动关注关键历史块，突破全注意力计算瓶颈，同时保持预测性能。
- 对于RAG或Agent长上下文场景，分层地标（landmark）压缩文档/对话历史，实现高效检索式注意力计算，既能大幅降低KV缓存，又能外推到极长序列，适合在线长对话或长文档问答。
- HiLS提供全注意力模型的轻量级继续预训练转换方案，已有模型（如推荐系统、对话模型）只需少量训练即可获得超长上下文能力和推理加速，便于业务快速升级。
- 推理时只缓存被选中的分块KV，降低解码内存和延迟（预填充加速9.3x，解码加速15.7x），适合在线服务对长序列实时响应的要求。
HERMES：面向预训练数据混合的多粒度分层标注基板
🧭 预训练数据混合 · 多粒度标签
Wizard Quant · Peking University · University of Science and Technology of China
提出一种基于残差矢量量化的多粒度数据标注框架，使预训练数据混合从固定标签转变为可重用粒度层次导航。
📌 工作参考价值（4 点）
- 在电商推荐模型训练中，可借鉴 HERMES 的语义嵌入 + 残差矢量量化构建商品或用户行为的多粒度类别体系，替代固定的 taxonomy，实现 training data mixture 的动态粒度调节。
- 实验中发现的“粗粒度下等比例覆盖 + 质量前 30% 混合规则有效，细粒度下因候选池收缩而失效”现象，提示在推荐数据采样时需根据当前粒度调整采样策略，避免直接在极细粒度下套用同一种比例规则。
- 该层次标签基板可复用于推荐模型的预训练、微调或持续训练阶段，作为 data loader 的输入，按不同前缀长度控制样本分布，探索多任务能力 Lift。
- 工程实现上，3 阶段 RVQ 编码开销可控，可离线一次性为全量数据集标注，后续只需通过前缀截断切换粒度，适合工业级海量数据场景。
基于矩阵分解MDP的候选列表规划
🧭 动态感知的MF候选生成规划 ★ 深度解读
AI VK · Lomonosov Moscow State University
在固定MF嵌入上增加闭式秩一更新的前瞻规划，使检索列表感知用户状态变化
📌 工作参考价值（4 点）
- 对现有MF检索管线几乎零改动：仅需缓存后验矩阵 \(A^{-1}\)、复用已有item embedding，用闭式 Sherman‑Morrison 更新完成单步前瞻（Plan‑1），计算成本 \(O(d^2)\)，可快速集成到粗排或召回后重排。
- 必须用余弦相似度替代内积：内积与物品流行度高度纠缠，导致规划偏向热门 item，余弦相似度是让规划生效的前提，业务上务必做相似度形式的消融验证。
- 在全局时间切分（GTS）下规划增益不一定成立，因为物品流行度、用户行为分布会随时间段漂移，乐观的“推荐即接受”假设失效；实际部署前必须用未来时段数据验证，只在验证显示序列结构时启用 Plan‑K。
- MCTS 可采用 ANN 索引限制每个节点的候选动作数（Wolpertinger 风格），配合余弦先验的 UCT 探索项保持对数遗憾界，控制树搜索开销。
基于强化学习的视觉接地自我反思训练框架
🧭 视觉接地自我反思 · 强化学习
The University of Texas at Austin · New York University
通过轨迹前缀掩码与经验回放缓冲区训练视觉语言模型在分布外场景下进行视觉接地的自我反思与修正
📌 工作参考价值（4 点）
- 在多模态对话推荐 Agent 中，可借鉴前缀掩码训练策略：随机遮盖 CoT 前半段，迫使模型仅从中间错误状态恢复，提升对推荐理由或商品比较链路的自我纠正鲁棒性。
- 搜索广告系统中的多模态创意理解模块，可引入经验回放缓冲区存放历史失败案例，通过 RL 让模型反复修正不准确的视觉描述或关键词，增强对长尾商品图片的把握。
- 利用 RL 直接优化自我反思能力，而非仅依赖 SFT 模仿正确链，可让对话推荐 Agent 在陌生领域（如新品、冷启商品）更有效地利用视觉信息进行纠正，避免单一依赖文本模式。
- 轨迹前缀掩码思路也可用于文本 Agent 的自我修正训练：在搜索 Query 改写或回复生成中，随机删除前序推理步骤，让模型学会从半途错误中恢复，降低对初始思路的依赖。
基于 RFM-AGOP 的快速多维拒绝子空间提取
🧭 LLM 安全对齐 · 多维子空间提取
Télécom SudParis, Évry-Courcouronnes, France · ENS Paris-Saclay, Gif-sur-Yvette, France
利用递归特征机算法高效识别大模型的多维拒绝子空间，速度提升显著且消融效果更优
📌 工作参考价值（4 点）
- 电商/Agent 场景中若使用 LLM 生成推荐理由或交互回答，可借鉴该方法快速定位“拒绝回答”或内容过滤相关的激活子空间，低成本实现安全对齐。
- RFM 算法的高效性允许多轮在线监控，适合对延迟敏感的生产环境，比如在 Agent 每次响应前实时检测有害意图。
- 该方法只需少量探测样本即能初始化，可迁移到垂直领域的偏好控制（如避免生成竞品信息），无需从头训练分类器。
- 消融实验结果提示 RFM 提取的子空间比传统方法更精确，能减少对正常回复的误伤，适合需要保持转化率的推荐文案生成。
基于神经元感知的无标注自蒸馏数据选择方法
🧭 无标注LLM自蒸馏与数据选择
University of Pittsburgh
通过神经元激活筛选无标注数据和构造上下文，实现无监督LLM自蒸馏，提升领域性能且保持泛化
📌 工作参考价值（4 点）
- 可利用神经元激活计数筛选模型易答对的未标注样本进行自训练，降低电商/推荐领域高质量标注依赖。
- 通过神经元激活重叠度检索少样本上下文构造教师提示，提升伪标签质量，可借鉴到LLM生成式推荐的教师模型构建。
- 采用逆向KL蒸馏 + EMA教师稳定训练，避免校准崩塌，适合需校准概率的推荐场景（如CTR预估）。
- 纯离线、无奖励信号的迭代框架，适合无在线交互的广告/搜索系统日志后训练。
基于神经元感知的主动少样本学习用于大语言模型
🧭 LLM少样本选择 · 内部表征利用
University of Pittsburgh
通过神经元激活模式替代输出层信号，同时考虑多样性和易幻觉样本，更有效地挑选少样本标注数据
📌 工作参考价值（4 点）
- 电商/搜索推荐场景中，若需用少样本示例将通用LLM适配到特定垂直领域（如商品分类、Query意图识别），可借鉴NeuFS的神经元激活模式筛选样本：用激活向量聚类保证样例多样性覆盖领域知识，同时通过神经元共识度量化样本的“易幻觉”程度，优先标注这类高信息量样本，减少人工标注量。
- 内部神经元信号比外部embedding（如SimCSE）更能捕捉模型自身知识缺口，在做LLM评测或诊断时，可以分析神经元激活分歧来定位模型在哪些Query/商品上更容易产生幻觉，进而针对性补充训练数据。
- 该方法依赖对LLM神经元激活的访问，对于仅提供API的黑盒模型不适用；但在自有部署的开源LLM上（如LLaMA），可将其集成到数据飞轮流程中，实现持续、低成本的模型垂直调优。
- 双准则选择策略（多样性+幻觉倾向）可解耦后单独使用：多样性准则可迁移到推荐系统的物品表征学习或Review示例选取；幻觉倾向量化可为对话式推荐Agent的回复可靠性评估提供信号参考。
基于图Spanner的HNSW精度保证框架
🧭 近似最近邻检索 · 精度保证
University of Toronto · The University of Texas at Arlington · IIT Bombay
通过Certify-then-Rectify框架，动态认证HNSW搜索并利用spanner理论提供最坏情况正确性保证
📌 工作参考价值（4 点）
- 可在线部署轻量级认证器评估HNSW召回质量，避免因贪婪搜索遗漏关键近邻，适合高召回率场景（如广告匹配）。
- 利用极值理论估计spanner拉伸因子提供距离上界，无需重建索引即可动态平衡效率与准确性。
- 过滤搜索扩展可直接应用于带属性约束的商品向量检索（如分类、价格筛选），提升复杂查询的可靠性。
- 分层纠正策略允许在绝大多数查询中保持HNSW速度，仅在必要时触发精确搜索，适合大规模在线服务。
将 Agentic Search 引入地球观测数据发现
🧭 Agent 驱动的搜索与重排序 ★ 深度解读
University of Maryland, College Park · University of Florida
利用论文-数据集引用图构建超大评估集，并通过 NN-SSC 域修正+BM25 融合及 Agentic 工具调用将检索精确率提升超 5 倍
📌 工作参考价值（4 点）
- 借鉴引用图谱构造评估集：如将用户实际购买/点击的物品作为 silver label，构建百万级 query-item 对，低成本获得高质量的离线评测数据。
- NN-SSC 轻量域适应：冻结通用 Encoder，仅训练一个 3 层 MLP 头（46 万参数）修正域偏移，可快速部署到任何已有向量召回服务上，成本极低。
- 混合检索的解析融合权重：利用训练集上各检索支路的性能之比（π_n/(π_ℓ+π_n)）自动计算融合系数 α，无需网格搜索，直接用于 BM25+向量分数的凸组合。
- Agentic 重排序提升 GMV：在候选集确定后，让 LLM 自主调用商品百科、用户问答、外部网页等工具补充上下文，可有效解决长尾 query 和歧义商品的排序问题，尤其适合高客单价决策场景。
解锁语音-文本组合能力：无需指令微调的遵循指令语音语言模型
🧭 语音语言模型 · 权重组合跨模态迁移
University of California, Santa Barbara · MIT-IBM Computing Research Lab, IBM Research
仅通过一次语音预训练后与文本指令微调向量权重相加，零语音指令数据实现指令遵循语音模型
📌 工作参考价值（4 点）
- 多模态助手低成本构建：可将已有强大指令遵循能力的文本LLM快速扩展为语音助手，仅需一轮语音适配预训练，无需昂贵的大规模语音指令数据，适合电商语音搜索、客服等场景快速原型。
- 权重算术即插即用：方法本质是模型融合（基座+任务向量），工程实现极其简单，可直接复用现有文本LLM的训练成果，减少重复训练成本，为Agent系统增加语音交互通道提供新范式。
- 模态能力解耦升级：当文本LLM基座或指令微调版本迭代时，只需重新计算任务向量并与原有语音适配权重组合，实现语音能力的快速升级，适合迭代快速的业务场景。
- 可推广到其他模态：该组合策略不限于语音，可借鉴用于图像、视频等模态的指令遵循迁移，为统一多模态推荐交互（如语音搜索、图像评论理解）提供统一框架。
具身智能体架构设计的自动搜索
🧭 Agent 自动化架构搜索
Australian Institute for Machine Learning, University of Adelaide
首次系统评估在具身模拟环境中用架构搜索自动化设计Agent，揭示噪声与局部最优等局限
📌 工作参考价值（4 点）
- 架构搜索范式可迁移：将 Agent 设计视为图编辑任务，用“提议-批判-实验-蒸馏”循环自动优化，可用于电商推荐 Agent 的模块组合（如召回/排序/记忆/工具调用），减少人工试错。
- 类型化图运行时：AgentCanvas 把 Agent 表示为可编辑节点-连线程序，支持带类型校验的执行和回滚，类似思路可用于搭建推荐系统 Agent 的可视化编排与自动搜索。
- 关注搜索噪声与局部最优：具身环境中 rollout 噪声会掩盖真实信号，导致搜索陷入局部编辑盆地，提示我们在业务 Agent 架构搜索中需设计鲁棒的评估策略，如多次采样平滑、引入对抗验证。
- 引入反思机制：KDLoop 在优化停滞时触发反思，可借鉴到电商 Agent 的持续优化中，当线上指标不再提升时，自动回溯日志、重提假设，防止过早收敛。
扩展会改善基于LLM的社会模拟吗？
🧭 社会模拟扩展定律评估
Stanford University · Open Athena
发现LLM社会模拟在多数任务上随规模改善，但行为偏差校准等任务不随扩展改善
📌 工作参考价值（4 点）
- 1. 当用LLM模拟用户行为（如点击、购买）做离线评估时，扩大模型可提升主流用户群的模拟准确度，但小众群体或风险偏好等认知偏差校准不会随规模改善，需额外校准或引入心理学模型。
- 2. 纵向用户兴趣预测扩展缓慢，若用于推荐系统中的长期用户建模，应结合真实行为序列，不宜单纯依赖大模型模拟。
- 3. 可利用本文的分层评估思路：对多数群体用大模型模拟生成训练数据，对少数群体做针对性数据增强或微调。
- 4. 行为模拟中的认知偏差问题提示：大模型未必自然具备人类的非理性决策（如从相关任务学习奖励），在强化学习环境或Agent模拟中需显式设计偏差机制。
LACUNA：评估 LLM 遗忘定位精度的测试平台
🧭 LLM 知识遗忘评估 · 参数定位精度
Mila – Quebec Artificial Intelligence Institute · McGill University
首个提供参数级定位真值的 LLM 遗忘基准，揭示现有方法定位不准且易受攻击，精准定位可大幅提升遗忘鲁棒性。
📌 工作参考价值（4 点）
- 在需严格删除用户隐私（如 GDPR 合规）的推荐或对话系统中，参数级精确遗忘比仅监控输出更可靠，可降低数据泄露风险。
- 定位思想可迁移到模型纠偏或概念编辑：先定位存储不良偏见的参数，再定向修改，提升推荐公平性。
- 提醒从业者：行为级遗忘评估（输出不可见）可能只是“掩藏”而非真正擦除，应增加参数级验证，防止被攻击还原。
- 通过受控注入合成数据构建私有测试集的思路，可用于测试模型对特定知识（如促销活动）的记忆强度与遗忘效果。
LLM 人格何时支持可视化设计？跨模型颜色分配与图表选择研究
🧭 评估 LLM 人格模拟的可靠性
Stony Brook University
评估 LLM 人格模拟在可视化设计中的稳定性，发现模型依赖性强，任务上下文比人格更能决定选择
📌 工作参考价值（4 点）
- 用 LLM 模拟用户人格辅助设计决策时，必须加入“无 persona 基线”以剥离任务语义的驱动效应，避免将模型默认行为误判为人格效应
- 人格-行为耦合高度依赖模型版本（GPT-4o-mini 全军覆没，GPT-4.1-mini 一致，GPT-5-mini 部分一致），切换模型需重新验证，多模型交叉对比可降低误判
- 抽象概念（如品牌色感）的人格信号强，具体概念（如产品功能色）信号弱，模拟用户时对不同任务粒度需差异化建模
- 推荐业务中若用 LLM persona 模拟用户偏好，优先关注任务上下文和 prompt 框架，人格标签的贡献可能被高估
LLM在线安全监控的简单阈值方法
🧭 LLM在线安全监控与风险控制
UvA Bosch-Delta Lab, University of Amsterdam · University of Wisconsin Madison · Johns Hopkins University
简单的阈值监控结合风险控制校准，在线安全检测性能媲美复杂序贯检验方法
📌 工作参考价值（4 点）
- 在Agent或搜索推荐系统的在线生成链路中，可外接一个安全验证器（如毒性分类器），对其输出分数做阈值判决，实现实时拦截有害内容。
- 阈值通过风险控制方法（如设置可接受误报率上限）在线校准，无需依赖标注数据，适合动态生产环境。
- 简单阈值方案工程成本低且效果好，与复杂的序贯假设检验监控器性能相当，可优先尝试。
- 监控粒度为流式 token 级别时，可将验证器部署在低延迟推理管道，及时中止不安全生成，避免后续风险。