LESSRec：面向语义ID推荐的层级特定历史建模
🧭 生成式推荐 · Semantic ID 层级建模 ★ 深度解读
Chongqing University · Griffith University
发现并利用同层历史对语义ID预测更有效，提出层级隔离编码与层级对齐注意力
📌 工作参考价值（4 点）
- 如果你的语义 ID 生成式推荐或商品 token 化采用多层语义码本，预测第 r 层 code 时，把用户行为序列按 code 层级拆分，只让 decoder cross-attention 看到同一层历史 token。这可以用 attention mask 低成本实现，线上推理不增加候选大小，但能减少交叉层噪声。
- 保留 item 级语义序列作为补充：对每个历史 item 的各层 token 做平均池化 + MLP 残差，得到行为序列里的 item summary。再通过独立的 cross-attention 分支与层级分支做加权融合（alpha≈0.5）。类似 RAG/Agent 检索里同时提供细粒度 token 证据和 item 级摘要证据。
- 工程部署：LESSRec 的 mask 方式仍会计算全量 attention 矩阵；要用 LESSRec+ 把 encoder 按层级分组、每组只处理对应层序列，序列长度从 L*T 降到 T，attention 计算量下降 L^2，训练显存和每 epoch 时间显著降低（论文：峰值显存 -39.2%，每 epoch -33.7%），适合电商长行为序列。
- 如果要做长历史 / 长序列生成式推荐，层级隔离 + 分组 encoder 可以缓解长序列带来的无关 token 稀释，长历史桶收益更明显（+46.7%/+53.3%），值得在用户行为长度较大的场景优先实验。
学习何时思考：效用引导的自适应推理用于高效文本检索
🧭 推理增强检索 · 自适应深度 ★ 深度解读
Carnegie Mellon University · University of Pittsburgh
提出 AURA，用检索特异性监督中间推理状态并训练效用估计器，在推理时自适应停止，以更少步骤取得最优检索
📌 工作参考价值（4 点）
- 电商搜索/推荐中，对 query 改写、LLM 生成式召回、Agent 推理链路不要无限展开。用线上日志构造“正样本 + 曝光未点击/难负样本”，在每个推理/改写中间态计算 specificity margin 作为 utility label 监督，可抑制过度改写和语义漂移；论文证明该信号与 corpus nDCG 相关达 0.97。
- 部署时训练一个轻量 MLP（10M）预测当前上下文 embedding 的检索/推荐效用，线上连续 p 步不提升就停止生成。论文中延迟从 4.6s 降到 0.76s，指标反升；这比 full trajectory 或按 token entropy 停止都更可靠。
- 多任务联合优化生成+对比检索/推荐时，建议对 embedding 损失做 gradient isolation：不回传到前缀 token，避免生成能力被对比损失干扰。论文消融中去除后 nDCG 从 34.7 掉到 29.8。
- 推理时用 greedy expansion 比 best-of-k 更划算：每步生成多个候选，用 utility estimator 选最优继续，而不是采样完整轨迹；对 query 改写、Agent 多步检索、搜索词生成都可复用。
自适应稀疏监督下的LLM稀疏检索对齐
🧭 LLM稀疏召回 · 自适应稀疏对齐 ★ 深度解读
Soochow University
用动态α-truncation对齐SPLADE词表，1B LLM稀疏检索在L0=182时接近Lion-sp效果且延迟降11倍
📌 工作参考价值（4 点）
- 在搜索/广告召回中若要用LLM做稀疏召回，可复用「投影到SPLADE词表 + max-pooling + log(1+ReLU)」结构，用1B模型+LoRA即可与倒排索引兼容，避免在线生成式开销
- 训练阶段用SPLADE作为anchor，对每个输入按累积激活质量动态选取监督support（α-truncation），比固定Top-K更稳：在消融中MRR@10从α-mean的0.303提升到0.322
- 两阶段训练值得借鉴：先做稀疏对齐预训练，再做对比学习+KL蒸馏+FLOPS正则，可让索引条目减少40.7%，同时MRR@10从0.3619提升到0.3998
- 推理时无需额外truncation，只靠训练获得的稀疏性；对query和document分别设置FLOPS正则系数，可把L0从1170压到182，避免83GB索引和>1s查询延迟
可学习软Top-K与逐项阈值自适应稀疏优化用于高效检索
🧭 神经稀疏检索自适应稀疏化
University of California, Santa Barbara
提出可学习软Top-K、逐项阈值和FLOPs正则化联合稀疏化方案，大幅缩短LLM稀疏检索向量长度并保持效果
📌 工作参考价值（4 点）
- 可学习软Top-K替代硬Top-K：将稀疏化过程变成可微操作，允许端到端训练时动态调整保留项数量，避免离散选择带来的梯度断裂，适合嵌入到现有召回模型的训练流程中。
- 逐项阈值（per-term thresholding）：为每个词项学习独立的剪枝阈值，而非全局统一阈值，能更好适应长尾词频分布，在电商搜索词表极大且稀疏的场景下尤其有效。
- FLOPs正则化直接约束推理计算量：相比仅用L1正则，显式优化FLOPs能更精准地控制延迟和资源消耗，可以在保持召回质量的前提下，为线上服务设定计算预算。
- 工程收益明确：在MS MARCO和BEIR上显著降低平均查询/文档长度，可直接迁移到大规模电商搜索或推荐召回，减少倒排索引存储开销和查询延迟，适合对延迟敏感的生产环境。
非对称动态路由：平衡超图RAG中的推理深度与计算效率
🧭 查询自适应超图RAG路由
School of Software Engineering, Xi’an Jiaotong University · State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University · EHV Power Transmission Company of China Southern Power Grid Co., Ltd
提出意图条件路由框架ADR，用轻量分类器动态调度三种非对称拓扑遍历算子，减少48.7% token和45.3%延迟
📌 工作参考价值（4 点）
- 在电商知识问答/导购Agent中，对用户query做轻量意图分类：事实型查询（如“某商品材质”）走局部事实锚定，减少全图遍历；对比/推荐理由类查询走自底向上邻接扩散，获取关联实体；策略/选品建议类查询走自顶向下洞察接地，引入高层抽象知识。
- 可复用“非对称遍历算子”设计：不同意图对应不同图计算代价，避免静态RAG对所有查询执行同等深度检索，显著降低prompt token和端到端延迟，适合高并发在线推荐场景。
- 若已有商品知识图谱或用户-商品异构图，可参考ADR的层次路由思路：在召回/排序前置一个轻量分类器，动态决定图扩散深度与方向，平衡效果与算力，尤其利于边缘部署或成本敏感业务。
- 结果表明动态路由能在保持推理质量前提下节省近50% token，对依赖LLM做导购解释、推荐理由生成的业务，可降低API成本并提升响应速度。
Jev-Mobile：将 Jev 作为移动 GUI Agent 的执行器
🧭 Agent 分层执行 · 高低频解耦
Rice University
在移动 GUI Agent 中把 VLM 高频规划改为低频目标设定，由轻量 Jev 在结构化动作空间中高频执行，实现成功率相近、延迟与成本大幅下降
📌 工作参考价值（4 点）
- 高低频分离策略可迁移到电商 Agent：将昂贵 LLM 的职责限制在设定子目标或局部状态，把高频操作交给轻量决策模型或规则系统，在结构化候选空间内做选择，可大幅降低 API 成本与延迟。
- 结构化动作空间是落地关键：用 accessibility tree / DOM / schema 预先枚举可执行动作，而不是让 LLM 自由生成坐标或文本，能减少非法动作并简化执行器模型设计；在移动端自动化、RPA、购物助手中可复用。
- 单次 LLM 决策驱动多步执行：借鉴“一次规划、多次执行”的模式，让 LLM 输出局部目标或子任务序列，由轻量执行器完成中间交互，避免每步都带全量上下文调用 VLM。
- 评估指标同时看成功率与效率：业务部署中不仅关注任务完成，也要跟踪端到端时长和模型调用成本；即使成功率略降，成本/延迟大幅下降的方案可能更值得上线。
REFLEX 结合 Jev 实现 LLM 智能体的高效选择性控制
🧭 Agent 选择性控制与强模型调用优化
Nanyang Technological University
REFLEX 用 Jev 做快速类型决策层，低置信或需生成时调强 LLM，100 任务基准上 95% 成功并减少 72.7% 强模型调用
📌 工作参考价值（4 点）
- 架构拆分：在电商导购/广告投放 Agent 中，把“选哪个工具、参数是否合法、是否继续”等有限集合决策从生成式 LLM 中剥离，用轻量分类器或 Jev 类模型先做 typed decision；仅当置信度低于阈值或需要自由文本生成时再调用强模型，可省 70%+ 强模型调用，降低延迟与成本。
- 回退设计：对边界场景（如退款/价格修改等高风险动作）要保守，即便轻量模型置信度不低，也设置 authorization boundary 附近强制回退或人工/强模型复核；因为论文显示授权边界附近的 near-valid alternatives 是主要失败来源。
- 动作空间控制：候选工具/动作数量不要过大，尽量合并语义相近的 action；论文指出可靠性依赖 action-set size，过大会削弱 Jev 选择质量，可先在业务数据上测 action-set size 的影响曲线。
- 先做基线：如果已有便宜生成式模型（如 GPT-4o mini/Gemini Flash）的 cascade 路由准确率已经很高，typed decision layer 可能收益有限；建议先做离线对比实验，再决定是否引入 Jev，而不是直接上。
Jev-Mem：System-One 控制的 Agentic Memory 实现高效 AI Agent
🧭 Agent 记忆系统效率与效果优化 ★ 深度解读
Department of Computer Science, The University of Texas at Dallas
提出将高频记忆控制与生成式推理分离的 System-One/Two 记忆架构，在 LoCoMo 上以 6.6 倍构建提速和 36.7% 延迟下降取得最佳回答质量
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 的用户记忆与客服长期记忆中，把“该不该存/归什么类/和哪条历史相关/该不该停”等高频小决策从 LLM 生成中拆出，换成轻量分类器、规则或小模型；LLM 只做最终答案/推荐理由合成，可大幅降低 Token 成本与延迟。
- 多关系图 memory（semantic/temporal/causal/entity）对用户行为、商品浏览、事件关系有直接迁移价值：保留原始行为不做过早过滤，用确定性索引先召回候选再让轻量模型判断关系，工程上可避免长对话场景 O(N) 全量 LLM 比较。
- 检索改成闭环：根据 query 动态给不同关系视图分配预算，并在证据充分或边际收益低时提前停止。适合搜索/推荐 Agent 在多轮交互中控制上下文成本，避免无关信息稀释推荐理由。
- 可参考其“写读同一控制平面”思想：在用户画像/会话状态记忆中，构建与检索使用同一套关系判断模块，避免两套逻辑不一致；对成本敏感的场景尤其值得落地。
Graph Machine：边驱动的稀疏动态路由预训练
🧭 稀疏动态路由预训练架构
IterLabs
以可微指针边实现 O(n) 状态 + O(1) 稀疏动态路由，替换 Qwen3-0.6B 75% 层后检索 2-4 个 token 即保持或改善 loss
📌 工作参考价值（4 点）
- 电商推荐中的用户行为序列常达数千甚至更长，可借鉴 GM 的 O(n) 状态 + O(1) 动态稀疏访问思想：用可学习的边/指针替代固定窗口或全局 attention，在序列建模中同时保留长程状态并控制计算与 KV cache 成本。
- 对 Agent 或多轮对话场景，referral mechanism 可看作一种可微的记忆寻址：比固定 top-k 的 RAG 检索更灵活，可以尝试在召回或知识引用模块中引入类似 pointer chasing 的更新，让模型自己学该引用哪些历史状态。
- 工程上，GM 稀疏层每个 KV head 只取 2-4 个 token 即能保持 loss，意味着在线推理时可大幅减少 KV cache 读写和 attention 计算；在推荐模型做长序列或全生命周期建模时，这可能直接降低延迟和显存。
- 注意这是通用 LLM 预训练工作，迁移到电商推荐或搜索需在领域数据上验证混合比例（论文为 75% 稀疏层）、检索 token 数和边更新频率对 CTR/CVR 等业务指标的影响。
LeVJEPA：无需启发式的高效可扩展视频预训练
🧭 高效视频自监督预训练 · 无坍塌目标
German Cancer Research Center · Mila · Université de Montréal · Brown University · Advanced Machine Intelligence (AMI Labs)
首个在 LeJEPA 无坍塌目标下训练的视频编码器，用 token dropping 与 block-causal attention 大幅降低预训练算力
📌 工作参考价值（4 点）
- uniform random token dropping 能同时降低注意力序列长度和提升下游指标，可直接迁移到电商短视频/直播内容或用户行为序列的预训练：在 Transformer 输入前按固定比例随机丢弃 token，无需重要性采样，工程实现简单。
- SIGReg 的 collapse-free 单分支目标替代 EMA target encoder + stop-gradient + predictor，可简化多模态/行为序列对比学习架构，减少显存与超参；若团队在用 Two-tower 或 CLIP 式预训练，可尝试用带正则的 invariance loss 去掉动量编码器。
- block-causal attention 让帧表示只依赖过去观测而几乎不损失精度，适合直播流式场景或推荐中的时序行为建模：使用块级 causal mask 可避免未来信息泄漏，并使模型支持在线推理。
- 若已有商品视频/直播数据，token dropping 后的视频预训练在匹配 FLOPs 下接近图像预训练的 appearance 指标，且 motion 指标近乎翻倍，可考虑用视频底座替代静态图底座，增强对动态商品展示的理解。
门控循环Transformer：通过循环调制实现深度表达力
🧭 高效Transformer架构 · 循环深度共享
The German University in Cairo · Technical University of Munich · Cerebras Systems Inc.
用门控循环共享核心层，在固定算力或参数预算下达到甚至超越稠密Transformer质量，大幅减少参数与解码内存
📌 工作参考价值（4 点）
- 共享核心层 + 固定 prelude/coda 的架构可作为在线大模型推理的轻量化替代：用 3 层共享核心迭代 R 次匹配 12 层稠密模型精度，峰值解码内存降低约 59%，适合内存受限但延迟容忍度较高的生成式推荐/文案生成服务。
- 门控循环更新机制（elementwise gate 结合隐藏状态、prelude 输出与每步重采样噪声）能让同一组层在不同循环步动态调制输入，避免深度共享导致的表达坍缩；该 trick 可迁移到推荐序列建模中的共享 Transformer 层，在参数不变的情况下提升序列多样性建模能力。
- 采用 isoFLOPS / isoPARAMS 评估方式做架构选型，对实际部署有指导意义：在固定算力或参数预算下，优先考虑增加循环深度而非堆叠唯一层，可以获得更好的 loss/质量与内存 tradeoff。
- 对于广告文案生成、搜索 query 推荐等需要大模型但受限于显存和参数规模的场景，GRT 提供了一种可复用的参数高效化路径，且其代码已开源，便于快速验证迁移效果。
重新思考 Test-Time Training 中的表达力与效率
🧭 高效长上下文 Test-Time Training
Karlsruhe Institute of Technology (KIT) · National University of Singapore · Fraunhofer IOSB · Lamarr Institute for Machine Learning and Artificial Intelligence · University of Bonn
提出 E²-TTT，通过闭式状态转移并行化分块 TTT 训练，在保持每 token 更新时序结构的同时匹配分块方法吞吐
📌 工作参考价值（3 点）
- 长序列用户行为建模：电商推荐中的用户长期历史、会话依赖往往超过常见上下文长度，E²-TTT 可作为替代或混合 attention 的序列建模模块，尤其在需要长度外推时，其 8× 训练长度外推能力可减少重新训练成本。
- Agent 长任务记忆：多步 Agent 需要持续从长 horizon 任务中学习，TTT 的权重更新机制比 KV cache 更紧凑，E²-TTT 的并行分块训练使在线学习用户偏好或任务适应在工程上更可行。
- 工程实现参考：论文中的闭式状态转移 + 分块并行训练思路，可迁移到任何需要高效时序递归更新的模块，避免简单 chunk-wise 近似丢弃中间状态，同时保持吞吐。
LycheeMemory V2：语义片段级巩固的 LLM Agent 长期记忆框架
🧭 LLM Agent 长期记忆构建与检索 ★ 深度解读
Harbin Institute of Technology, Shenzhen
将逐轮记忆巩固改为语义片段级批量编码，写侧 token 降最多 86% 且 LoCoMo/LongMemEval-S 精度 SOTA
📌 工作参考价值（4 点）
- 在对话式推荐/导购 Agent 中，不要每轮都调 LLM 写画像；改成按语义完整片段批量生成 typed memory records（偏好/事实/约束/事件），写侧 token 可降低 75%–86%，适合长期用户画像积累。
- 分段触发别用固定窗口，可用 embedding 相似度 + cohesion drop 在线检测语义边界，保留事件和话题结构；固定窗口在消融中精度掉 6.8pp，语义分片能提升多跳和开放域问答。
- 把非结构化对话提炼为 typed records，并建立 entity/topic/temporal/event-frame 结构化索引；查询时 planner 一次性规划多路召回（record/节点/时间/原始 turn），再用 RRF 融合，能有效处理多跳、时序、偏好追踪类查询，且避免多轮 LLM 检索带来的 query token 上升。
- 评估记忆系统时，把 construction tokens 和 query tokens 分开核算，不要只比精度；该方法在精度提升 20pp 以上的同时，query tokens 反而比 A-Mem 低 28%–43%。
声明级可靠性评估：高效测试时推理
🧭 LLM测试时推理 · 声明级证伪
Sina Weibo Inc.
提出声明级证伪的测试时计算重分配框架CLR，用关键声明验证替代额外采样，提升推理准确率并节省37% token
📌 工作参考价值（4 点）
- 在Agent多步工具调用或推理链中，不要对整条trace打分，而是先抽取决策关键声明（decision-critical claims）进行定向验证，可避免常规token噪声稀释错误信号，提高错误步骤召回率。
- 利用“构造难、证伪易”不对称性：对候选答案做语义证伪而非整体重生成，通过查找单点致命矛盾淘汰错误候选，比多数投票更省token且更准；可应用于排序/召回中的多候选融合。
- 推理服务资源受限时，把额外算力从“多采样”转移到“验证器”：用轻量模型或规则对声明级证据做检查，工程上可获得类似本工作37% token节省，同时准确率提升。
- 设计非线性可靠性评分抑制高置信错误共识，而不是简单平均置信度；对电商搜索中的query改写、答案生成等场景，可提升最终输出聚合质量。
TSPORec: 基于偏好优化的LLM序列推荐令牌选择
🧭 LLM序列推荐 · 令牌选择与偏好优化 ★ 深度解读
通过偏好优化自动选择信息令牌，在提升序列推荐准确率31%的同时推理开销降低63%
📌 工作参考价值（4 点）
- 处理商品长文本描述时，可采用类似的令牌选择策略压缩输入序列，优先保留内容词（名词、形容词、实体），滤除高频功能词，在电商推荐中减少 LLM 推理延迟。
- chunk-level 选择提供了灵活的粒度控制，工程上可通过调节 chunk size 在性能和效率间取得平衡，离线预计算 item 令牌子集后直接用于在线服务。
- 偏好优化的 proxy reward 设计简单有效：对比两次采样子序列的交叉熵，无需外部标注，该范式可迁移至搜索、广告创意排序等需要精简文本输入的场景。
- 三阶段训练（预训练→策略学习→重训练）虽然额外增加训练耗时，但模型一次训练长期部署，适合推荐系统离线优化的节奏，推理效率的提升远大于训练成本。
无需固定截断深度的精确自适应混合检索
🧭 自适应混合检索 · 精确Top-K无截断
Southwest Jiaotong University
提出可按需继续的精确稠密-稀疏融合方法，保证完全列表Top-K一致且避免固定截断，平均加速23-30倍
📌 工作参考价值（4 点）
- 多路召回免截断融合：电商/推荐场景中，embedding 召回与倒排召回融合时，可借鉴 EAHR 的按需增量获取机制，不再硬性固定每条通道的截断数，避免截断过小丢失关键文档或过大引入冗余计算。
- 可恢复的精确排序：使用 PVS 量化向量索引 + PBM 块最大索引，支持随时恢复并继续拉取下一个未读高分项，工程上可设计成流式/游标式接口，方便在多路融合中按需拉取。
- 边界裁剪节省算力：计算未读候选的融合分数上界，仅当上界可能挤入当前 Top-K 时才继续请求，多数 easy query 可提前终止，大幅降低平均延迟（实测加速 23-30 倍），同时保证融合结果与完整列表完全一致。
- 无需依赖历史查询调参：实验证明固定深度无法从历史查询可靠迁移，EAHR 的自适应策略省去了繁重的离线参数调优，更适合动态语料与长尾查询。
基于 PLAID 质心向量的伪相关反馈查询扩展
🧭 质心感知的伪相关反馈优化多向量检索
University of International Business and Economics · University of Glasgow
利用多向量检索索引中的质心向量进行伪相关反馈，以很低计算开销提升检索效果
📌 工作参考价值（4 点）
- 低计算量查询扩展用于检索：直接复用 PLAID 索引中的质心向量作为“伪 token”，避免对返回文档进行重编码或 token 聚类，适合电商搜索等低延迟场景。
- 质心选择策略可迁移：采用“高用途且多样化”的挑选方式，防止冗余；在商品搜索中可对初检结果提取代表性语义向量作为扩展词，提升长尾查询召回。
- 反馈检索流程简单：扩展后的查询仅需再次运行同一索引的向量检索，无需额外模型或复杂工程，易于集成到现有流水线。
- 思路可泛化到生成式推荐：若将推荐对象编码为多向量或 token 序列，可利用类似质心反馈机制对用户表示进行实时调整，捕获近期行为偏好。
扩散语言模型的自适应多步前瞻解码
🧭 扩散语言模型自适应解码优化
Michigan State University · Morgan Stanley · IBM T.J. Watson Research Center
提出自适应前瞻解码框架，动态决定前瞻深度，在扩散语言模型上实现更优的准确率-步数权衡
📌 工作参考价值（4 点）
- 自适应前瞻机制可迁移至多步Agent决策：当中间状态不确定性高时触发更深入的规划，避免固定深度造成的浪费或不足。
- 基于候选评分方差的动态探索停止策略，可直接用于推荐系统的多步重排序或生成式推荐的解码过程，节省计算量。
- 并行解码与前瞻结合的思路，可启发电商搜索中的批量query生成或文案生成，在效率与质量间取得更好平衡。
- 从中间状态重新触发前瞻的机制，类似于Agent在任务执行中根据中间结果重新规划，可用于复杂推荐流程的实时调整。
VideoChat3：全开源高效通用视频多模态大模型
🧭 高效通用视频多模态大模型
Nanjing University · Shanghai AI Laboratory · Nanyang Technological University · Peking University
提出膨胀3D ViT与自适应帧分辨率，结合三阶段合成数据，4B参数即超越更大模型，实现高效通用视频理解。
📌 工作参考价值（4 点）
- 视频特征提取效率：I3D-ViT 将 2D ViT 权重直接膨胀到 3D，无需重新训练时空融合模块，可直接迁移到商品视频表征、直播切片理解等场景，大幅降低训练成本。
- 流式处理设计：自适应帧分辨率（Adaptive Frame Resolution）根据视频动态调整抽帧策略，适合电商直播实时分析、监控流式视频中的行为事件，提升吞吐且保持精度。
- 多领域数据合成流水线：通过结构化提示合成多样视频问答对（通用、长视频、流式），可借鉴为推荐系统生成多模态训练数据，例如为商品视频生成属性描述、使用教程等指令微调数据，缓解标注稀缺。
- 全开放生态：模型权重、代码、数据全开源的策略，方便团队快速复现并适配垂直业务，降低自研视频理解模型的门槛，尤其适合需要定制化视觉问答或视频审核的电商场景。
通过关联递归记忆扩展大语言模型上下文
🧭 递归记忆增强的 LLM 长上下文扩展
MBZUAI · Lomonosov Moscow State University · Weizmann Institute of Science · Institute for Advanced Study, Princeton · London Institute for Mathematical Sciences
提出 ARMT 训练方案，在长文本任务中用 30% 更少计算量保持性能并泛化到更长序列
📌 工作参考价值（4 点）
- 长序列用户行为建模：在电商推荐中，可利用 ARMT 以恒定内存处理超长用户交互序列（如跨月行为），突破原生 Transformer 的上下文限制，且 FLOPs 降低 30%，适合线上 RT 服务。
- 合成数据与课程学习策略：面向特定领域的 LLM 微调（如商品长描述生成、多文档促销文案），可借鉴其合成长文本 + 逐步延长的课程学习方案，稳定提升长上下文泛化。
- 选择性记忆集成：在推荐精排或生成式推荐模型中，仅部分中间层插入关联记忆模块，平衡额外计算开销与长程依赖捕捉，可作为模型架构渐进增强的思路。
- 分布外长度泛化：训练时使用有限长度数据，推理时自动泛化到更长序列，对广告竞价中实时拼接的多源长特征流处理有参考意义。
不再猜测何时停止测试：用恰到好处的数据高效评估模型
🧭 自适应评估 · 顺序测试
IBM Research
提出自适应顺序测试框架，用 CI 宽度和递减收益动态停止评估，节省最高 80% 计算成本并保持统计显著性
📌 工作参考价值（4 点）
- LLM-as-Judge 评估成本削减：在使用 LLM 评估推荐结果或 Agent 生成质量时，设置目标 CI 宽度或最小可检测效应量，动态决定何时停止评估，可大幅减少推理计算开销。
- A/B 测试早期停止：在线对照实验中，当所需置信度已达成或效应量已无法进一步显著时提前终止，加速迭代，原理与框架中的递减收益检测一致。
- 模型选择与排行榜构建：在多个候选召回/排序模型对比时，用顺序测试自适应分配流量，避免固定测试集浪费，尤其适合需频繁重新评估的场景。
- 工程实现注意：需预设停止准则（如 CI 半宽 < 2.5 个百分点或效应量低于阈值），并确保重采样/数据顺序随机，防止偏差；可集成到现有评估管线中。
Switch-Reasoner：强化学习驱动多模态LLM自适应选择推理模式
🧭 自适应推理模式选择 · 强化学习
Wuhan University · Xiaomi Inc · Wuhan University of Technology · Nanyang Technological University · The Hong Kong University of Science and Technology
通过GRPO与双层正则化，让多模态LLM学会何时直接回答、何时显式推理，在异构任务中兼顾精度与效率
📌 工作参考价值（4 点）
- Agent 自适应开销控制：在搜索推荐 Agent 中，对简单用户意图直接调用推荐 API，复杂意图才触发链式推理，降低 Token 与延迟成本。
- RL 训练稳定性借鉴：双级正则（全局模式占比约束 + 样本级收益监督）可防止策略坍缩为“始终详细解释”或“始终简单回复”，适用于对话推荐策略的 RL 微调。
- 虚拟工具抽象：将“思考”视为工具调用，可与现有的检索、推荐、排序等工具统一管理，便于在 Agent 框架中插拔式扩展推理能力。
- 推理效率优化：在多任务推荐系统（如商品描述生成、问答推荐）中，可训练模型判断问题难度，仅对必要样本进行深层推理，显著节省推理算力。
基于 Trie 的 IR 管道实验计划：提升级联检索评估效率
🧭 IR 管道实验优化 · 计算重用
University of Glasgow
用 trie 数据结构规划级联 IR 管道比较实验，共享重复组件，实验时间减少 26%
📌 工作参考价值（4 点）
- 搜索/推荐管道离线评估中，当需要对比多个召回+排序变体时，可采用 trie 结构共享公共阶段（如相同召回结果复用），避免重复运行高成本模型，大幅减少实验耗时。
- 推荐使用类似 PyTerrier 的声明式管道框架，通过运算符组合变换器（transformers），自动识别并缓存可重用的中间结果，适合快速迭代实验。
- 在业务实验规模扩大时（如多路召回、多版本精排、多轮重排的排列组合），trie 实验计划能节省 20% 以上评估时间，可以直接落地到离线实验平台。
- 将实验计划的思想融入内部实验管理工具，让研究员只需声明管道变体，系统自动生成最优执行计划，降低重复计算成本，提升实验吞吐量。
AOHP：面向个性化、高效、安全交互的开源OS级代理框架
🧭 OS级代理原生支持
Tsinghua University · Peking University · The University of Hong Kong
将AI代理视为一等OS角色，通过个性化服务组合、高效接口与安全信息流，提升任务完成率21.12%，降低51.55% token成本
📌 工作参考价值（4 点）
- 移动端Agent架构设计：将Agent作为OS一等公民的思路可直接用于电商/购物助手App，实现跨应用（如搜索、商品详情、支付）的无缝服务组合，提升用户转化。
- 降低LLM调用成本：高效代理接口通过系统级能力暴露减少对LLM的频繁调用，在需要多步推理的推荐场景（如对比商品、下单建议）中可显著节省token消耗。
- 敏感数据安全控制：细粒度信息流隔离机制适用于处理用户支付、地址等隐私数据，在推荐系统集成支付或用户画像查询时可借鉴其权限分级策略。
- 真实环境评测基准：开源的AOHP平台可作为移动端Agent能力评测的测试床，用于验证搜索推荐Agent在Android系统中的实际表现与安全合规性。
HAKARI-Bench：统一条件下对比检索架构与效率设置的轻量级基准
🧭 轻量级检索基准 · 效率与质量权衡
构建轻量级检索基准，高保真复现大规模排名，支持快速模型选择与效率权衡分析
📌 工作参考价值（4 点）
- 覆盖 BM25、稠密、稀疏、后期交互、重排序等多种检索家族及量化/降维等效率变体，可直接用于推荐系统检索模块的快速选型和配置对比，避免每次全量评估。
- Nano-sets 轻量数据集重构方法（保留排名一致性且规模仅 20%~50%）可借鉴到电商搜索/推荐场景，构建离线快速实验评估集，加速模型迭代。
- 统一格式与固定候选集实现模型无关评估，并绘制质量-效率帕累托前沿，可指导线上模型压缩与加速策略，平衡推理成本与效果。
- 多语言检索任务（43 种语言）可测试跨语言搜索推荐场景，评估模型在多语言电商或内容推荐中的泛化能力。
扩散模型中时间步嵌入的冗余性研究
🧭 生成架构简化与冗余去除
Independent Researcher, Lima, Peru
证明扩散模型可在无显式时间步嵌入下达到最优，输入可隐式推断噪声尺度，实现更高效生成架构
📌 工作参考价值（4 点）
- 在基于扩散的推荐模型（如 DiffRec）中，可尝试移除时间步嵌入，利用用户交互序列或物料特征直接隐式推断噪声尺度，减少额外调制参数
- 简化时间步调制后，推理阶段无需处理时间编码，降低工程复杂度与延迟，适合在线推荐场景
- 无时间步嵌入的扩散模型可能更鲁棒，尤其在数据稀疏的冷启动场景，模型会更关注内容结构而非时间信号
- 注意力可集中于去噪网络本身的结构设计，为序列推荐中利用上下文长度、时间间隔等信息提供新思路
MCompassRAG：话题元数据作为段落级检索的语义指南针
🧭 RAG 检索优化 · 话题元数据引导
University of British Columbia · University of Salerno · ServiceNow Research
用话题元数据增强段落嵌入并通过LLM蒸馏训练轻量检索器，实现高效、精确的话题感知检索
📌 工作参考价值（4 点）
- 电商搜索/推荐场景的文档切分优化：商品描述、评论往往混合多主题，直接使用粗粒度段落会引入语义噪声。可借鉴用商品类目、属性等元数据增强段落embedding，让检索结果更精准。
- 低延迟检索器蒸馏：用LLM作为教师蒸馏一个轻量双编码器，推理时无需调用LLM，显著降低线上检索延迟和成本，适合高并发实时推荐系统。
- 话题感知的Agent检索：在多跳推理或Agent工作流中，当需要从大规模非结构化文档中提取证据时，可引入话题元数据引导检索，减少无关片段干扰，提升事实准确性。
- 工程实现简单：只需在现有dense retriever基础上注入话题embedding，无需改动索引结构，易于迁移到商品库、帮助中心文档等场景。
LLM智能体也能“看见”代码仓库：视觉结构提升效率的秘密
🧭 多模态Agent · 代码仓库可视化
Shanghai Jiao Tong University · Xi’an Jiaotong University · Zhejiang University
首次系统评估多模态仓库可视化对LLM Agent任务解决的影响，发现视觉辅助可降26% token开销且不损精度。
📌 工作参考价值（4 点）
- 混合模态Agent架构：在电商/推荐Agent中，可将系统拓扑图、服务依赖图、商品知识图谱等可视化信息作为补充输入，与文本上下文结合，使Agent更高效地理解复杂环境结构，减少纯文本描述带来的冗长token消耗。
- 故障定位阶段的视觉加速：在推荐系统排障、多Agent协作调试等场景，提供可视化调用链路或状态快照，能帮助Agent更快定位问题来源，类似论文中视觉在fault localization阶段的突出效果。
- 自主探索深度控制：让Agent根据视觉结构的复杂程度自行决定探索深度，避免不必要的文本查询，可以迁移到Agent规划（如动态选择RAG查询层级、多级推荐链的探索）中，实现按需获取信息。
- 工程实现借鉴：论文的混合模态设计验证了“视觉结构图 + 文本浏览”的比纯视觉或纯文本更具性价比，可直接套用在需要Agent理解大型项目结构（如推荐pipeline、微服务架构）时，用图表快速建立全局认知，再用文本精读关键部分。
CompRank：通过Token级压缩与免解码评分的LLM高效重排序
🧭 LLM高效重排序 ★ 深度解读
Shanghai Jiao Tong University · Eastern Institute of Technology (Ningbo) · University of British Columbia · University of Waterloo
提出CompRank，通过文档表示解耦、分段式token压缩和CopyNet式监督，仅保留10.2%文档token即接近全量重排序性能，并实现显著加速。
📌 工作参考价值（4 点）
- 用稀疏注意力代替全量文档token：在重排序时，仅保留文档中10%的token（如每10个取1个）即可保持性能，大幅降低交互成本。电商搜索/推荐中候选列表长，可直接应用此分段式压缩策略减少LLM重排序延迟。
- 免解码式评分避免生成错误：训练时用CopyNet直接优化注意力得分，推理时无需自回归生成ID，消除生成重复或超范围ID的问题。在推荐系统中，当候选集大小变化时，该方法比生成ID法更稳健，避免了分布偏移带来的解码失败。
- 文档表示解耦实现可复用KV缓存：将文档块与查询解耦，文档侧KV状态可预先计算并缓存，特别适合反复检索相同文档的Agent或RAG场景。在电商多轮对话或商品复筛流程中，可离线预计算商品表示，在线仅需处理查询侧计算，大幅降低在线延迟。
- 训练与推理一致的注意力对齐目标：使用CopyNet指针分布监督文档级得分，使训练直接服务于排序目标，优于SFT式的逐token生成。在建模用户与物品的相关性分数时，可直接采用类似pointer机制，让模型聚焦于候选集分布而非整个词表。
FAST-MEL：快速、精准、低存储的多模态实体链接方案
🧭 多模态实体链接 · 高效向量索引
Univ. Rennes · INSA Rennes · CNRS · Inria · IRISA
提出紧凑固定向量表示，在维持SOTA准确率的同时实现千倍加速与储空间缩减。
📌 工作参考价值（4 点）
- 紧凑的统一表示：为每个实体生成固定尺寸的多模态向量（文本+视觉），可直接用于电商知识图谱构建，将商品标题、图片与实体快速对齐，无需维护异构特征。
- 极速检索：通过向量化索引实现近似最近邻搜索，实体链接速度提升三个数量级，适合大规模商品库的实时实体消歧、搜索词到商品的映射。
- 存储优化：存储需求降至最快系统的1/10，适合部署在资源受限的终端或边缘节点，例如移动端商品识别或本地缓存Agent知识。
- 多模态融合思路：轻量编码器架构可借鉴至生成式推荐中的Semantic ID生成，将图文特征压缩为固定向量，平衡语义保真度与推理效率。
用于生成式检索的门控双向线性注意力
🧭 生成式推荐 · 线性注意力 ★ 深度解读
Yandex
提出GBLA混合编码器，以1:2交错自注意力与线性注意力，在长序列生成式检索中匹配双向自注意力质量，推理加速最高8.2倍
📌 工作参考价值（4 点）
- 混合编码器是工程落地的优选策略：在生成式推荐编码器中，以[SA, LA, LA]模式（1个标准自注意力层 + 2个线性注意力层）替换全自注意力，能在几乎不损失召回率的同时大幅降低长序列下的延迟，适合历史行为序列极长的电商或流媒体场景。
- GBLA的三个轻量组件可以直接复用：针对线性注意力添加上下文卷积（Conv1D）、Key门控（soft forgetting）和RMSNorm门控输出，每个组件带来约0.5-1个点的Recall提升，实现成本低，可在自研模型里快速实验。
- 双向注意力对编码器至关重要：实验表明编码器用双向掩码比因果掩码在Recall@10上绝对高出9个百分点以上，设计生成式推荐编码器时应坚决保留双向上下文。
- 长序列推理加速的临界点：在H100上，序列长度超过4096时线性注意力开始反超FlashAttention-v3，到32K时加速8.2倍；这提示在用户序列长度上万级别时，线性注意力是延迟瓶颈的有效解法。
长上下文LLM的全池Setwise重排序：双端选择加速排名构造
🧭 LLM重排序 · 全池Setwise · 双端填充 ★ 深度解读
The University of Queensland
在长上下文LLM中一次调用同时选出最相关和最不相关的段落，将排名构造的串行调用数减半。
📌 工作参考价值（4 点）
- 当候选池可完整放入长上下文时，采用 双端选择（DualEnd） 策略：每次 LLM 调用要求模型同时给出最相关和最不相关的物品，将排序构造所需调用数从 N−1 降至 N/2，显著降低延迟与成本。
- 电商推荐重排可参考全池（Whole-Pool）思想：不再用滑动窗口拼凑全局序，直接一次看到全部候选，避免窗口间不一致，提升排序质量，尤其适合召回池在 100 以内的场景。
- 注意长上下文中的位置偏差，DualEnd 对输入顺序敏感；工程落地时可结合随机打乱或自一致性技巧来减弱偏差，或保留原始 BM25 序作为暖启动。
- 该方法的代价有效性曲线表明：用极少的 nDCG@10 损失（-0.018）换取近 50% 的调用量下降，对实时性要求高、预算受限的业务（如在线重排）很有吸引力。
早期Token压缩完成快速视频理解
🧭 多模态视频理解效率优化 · Token压缩
Zhejiang University · Westlake University · Alibaba Cloud Computing
提出训练无关的视觉编码器内部早期token压缩框架EarlyTom，显著降低TTFT和计算量
📌 工作参考价值（4 点）
- 视觉编码器内压缩可大幅降低首Token延迟：在实时视频理解或推荐场景（如短视频内容分析、直播审核），可以直接借鉴EarlyTom的帧合并策略，在编码器中间层提前丢弃冗余帧，无需重新训练模型，即刻提升推理速度。
- 解耦空间Token选择减少压缩偏差：在生成式推荐（如基于视觉的个性化feed）中，对图像/视频帧的空间信息进行压缩时，采用独立于通道的选择方式（如空间注意力引导的token保留）可以避免重要细节丢失，保持推荐准确性。
- 训练无关方法易于集成：该方案不依赖额外训练，可直接插入现有Vision-LLM流水线，适合快速迭代的工业级系统，尤其在对延迟敏感的Agent或多智体交互中，能快速实现多模态模块的加速。
- 对视频多模态系统的工程启示：揭示了视觉编码器在端到端推理中的时间占比过高问题，从业者应优先优化编码器而非仅关注LLM部分，类似思路可用于电商场景中的商品视频理解、虚拟主播驱动等任务。
重思Agentic RAG：从复杂后端到LLM驱动的逻辑检索
🧭 Agent RAG的检索接口与控制权设计 ★ 深度解读
Fudan University · Shanghai Kingstar Software Technology Co., Ltd.
提出LLM用布尔逻辑直接操控倒排索引，匹配混合检索性能同时大幅降低构建与推理成本
📌 工作参考价值（4 点）
- 电商搜索/Agent RAG可借鉴“LLM生成结构化查询+倒排索引”的组合，用AND/OR/NOT精确控制召回，避免稠密检索的语义漂移与冗余结果，尤其在多轮澄清场景下能显著降低无效重试。
- 当知识库规模大、更新频繁时，跳过离线Embedding与FAISS索引，用OpenSearch等倒排引擎直接响应LLM的布尔表达式，可节省41倍构建时间与约3倍在线延迟，适合高频变动商品库。
- 答案不可用时的幻觉降低（0.128→0.083）源于显式约束失败可被LLM解读为“证据缺失”，这一信号可借鉴到Agent的拒绝回答策略中，提高推荐或问答系统的可靠性。
- “重脑轻手”架构将复杂推理留给LLM，检索端仅做确定性执行，该边界划分可简化整个系统迭代——检索索引成为无状态工具，更易维护和扩展。
基于在线策略知识边界增强的高效智能体强化学习
🧭 Agent 工具调用效率优化 ★ 深度解读
Tencent Inc · The Chinese University of Hong Kong · Shenzhen MSU-BIT University
通过在线双路径 rollout 探测知识边界，构建细粒度监督信号，在不牺牲准确率的前提下减少冗余工具调用 18%。
📌 工作参考价值（4 点）
- 在 Agent RL 训练中引入双路径（with-tool / no-tool）rollout 来动态评估模型是否真正需要工具，这一探测机制可直接用于电商对话 Agent 或推荐 Agent 的工具调用决策，避免因盲目调用搜索、计算等工具而增加延迟和成本。
- 将问题按知识边界分为四类（Tool‑dependent / Efficiency / Hallucination / Both‑wrong）并差异化构建监督信号，这种细粒度策略可迁移到多智能体协作或生成式推荐场景，用于优化不同情境下的资源调度与动作选择。
- 该方法作为即插即用模块，与 GRPO / DAPO / GSPO / AEPO 等多种主流 Agentic RL 算法兼容，无需修改奖励函数或优化流程，适合在现有业务 RL 训练框架上快速叠加实验。
- 训练过程中轨迹类别的分布变化（如 Efficiency 比例上升）可作为知识内化的可解释指标，帮助监控 Agent 对工具依赖的演化，为线上策略调整提供信号。
逐层令牌压缩以提升文档重排效率
🧭 文档重排序效率优化 · Token 压缩 ★ 深度解读
Amazon AGI · Amazon AWS
在中层Transformer层进行自适应令牌池化，保留早期交互并加速计算，吞吐量最高提升116%
📌 工作参考价值（4 点）
- 电商搜索/推荐的重排序阶段常使用 cross-encoder，文档/商品描述较长导致推理延迟高；可借鉴 LTC 在中间层做 token 池化，根据吞吐需求调节压缩率与层位置，平衡效果与速度。
- 训练时必须加入压缩，让模型学习鲁棒的压缩表示；推理时直接对未压缩模型应用压缩会导致效果崩塌（尤其低层高压缩率）。微调成本低，but 效益显著。
- 在 listwise LLM 重排（如商品列表排序）中，通过文档掩码仅压缩物品 token 而保留 query/instruction，可大幅提升吞吐（+73%），同时效果不降甚至提升，可复用到多物品评分场景。
- 轻量压缩（如保留 80% tokens）可能产生正则化作用，使得模型在未见过的长文本上泛化更好，可用来处理商品描述长度差异大的情况，无需额外训练。
停止过度思考：以最简推理解锁高效列表重排序
🧭 RAG ★ 深度解读
Beijing Institute of Technology
提出长度正则化自蒸馏，剪枝冗余推理，在保持排序效果的同时减少 34–37% 的推理 token
主动学习实现高效PRP重排序
🧭 生成式检索重排序 · 噪声成对比较主动学习 ★ 深度解读
Universidad de San Andrés
将PRP重排序建模为噪声成对比较的主动学习，通过自适应调度和随机方向提示，在低预算下大幅提升Top-K质量
📌 工作参考价值（4 点）
- 在LLM成对重排序场景中，用主动排序（如Mohajer锦标赛+堆提取）替代冒泡/快速排序，在相同调用预算下NDCG@10可提升9点以上；工程上只需替换调度逻辑，不改变提示、不增加模型推理。适合电商搜索/推荐中候选商品重排等预算敏感场景。
- 随机方向提示仅需一次LLM调用完成成对比较，将系统性的顺序偏差转化为零均值噪声，直接削减50%的调用成本，且不损失排序质量。实现简单：随机化文档在prompt中的顺序即可。
- 若存在可靠的先验排序（如BM25或粗排分），PAC主动排序进一步用少量锚点比较快速收敛至top-K，调用量可低至180次左右，适合极低延迟场景。
- 两种主动排序均支持查询内并行：莫哈杰的各锦标赛之间、PAC的锚点比较均可并发，实际延迟可通过批量推理大幅压缩，适合高吞吐线上服务。
Forcing-KV: 面向高效自回归视频扩散模型的混合 KV 缓存压缩
🧭 Multimodal ★ 深度解读
ZJU · Video Rebirth · HKUST · BJTU
发现自回归视频扩散模型注意力头分为静态和动态两类，提出混合 KV 缓存压缩，结合静态结构剪枝与动态相似性剪枝，实现最高 2.82× 加速和 30% 显存减少