相关性不等于适用性：个人 GUI Agent 的经验激活框架
🧭 Agent 个性化 · 经验激活
NTU · Alibaba
提出 ExpActivator，将个性化从检索历史改为按当前情境激活适用经验，提升执行与主动建议效果。
📌 工作参考价值（4 点）
- 在 Agent 或推荐系统中，不要把大量相关历史一次性塞入上下文；改用“按当前决策时状态匹配历史动作/经验”的方式，可显著减少 token 并提升每步效果。
- 主动推送/建议（如 push 文案、routine 触发）可引入“条件充分才激活，否则 abstain”的机制，降低打扰率，提高 MCC 类指标。
- 使用冻结骨干的 latent 空间做 screen/state 匹配作为参考动作，无需微调，容易接入现有 LLM/VLM 系统；对电商 Agent 多步操作（如下单、搜索）可借鉴。
- 评估个性化不应只看整体成功率，需区分第一步与后续步骤，关注经验是否在每个决策都“适用”；可设计类似 step-level success 指标。
学习多模态嵌入与证据对齐读出
🧭 多模态嵌入检索 · 证据对齐读出
The Hong Kong University of Science and Technology (Guangzhou) · Tencent Yuanbao · Tsinghua University · ARC Lab Tencent · The University of Hong Kong
EviAlign 将语义证据生成与边界读出耦合，在共享 MLLM 中按语义单元边界读取状态，提升多模态检索嵌入质量
📌 工作参考价值（4 点）
- 可借鉴「生成证据 + 边界读出」的嵌入训练方式：让 MLLM 先按语义单元（如实体、属性、关系、场景）生成结构化证据，在每个单元边界读取 hidden state 后 mean pooling 作为最终向量，相比只取末尾 hidden state 能提升检索 Recall@1，且保持单向量索引，线上 ANN 检索成本不变。
- 在电商/搜索的多模态商品或内容表示中，可以用生成任务强制模型在特定语义边界产生可读状态，联合 contrastive retrieval 目标训练；生成部分不一定要作为最终特征，但能起到对齐读出位置、增强表示的作用。
- 若业务中已经使用 LLM 生成 CoT、标签或文案，不建议只把生成文本作为额外特征输入；利用生成过程的中间状态做读出，可能获得更紧凑、更适配检索的单向量表示。
- 论文发现仅靠证据组织本身增益有限，需与证据边界读出共同设计；因此在工程实现时，要同时调整训练目标的证据 span 和读出位置，不能只改 prompt 或只改 pooling。
意外的成功，重复的失败：熵引导信用分配用于LLM推理探索
🧭 RLVR token级信用分配 · 熵引导探索
KAIST · DeepAuto.ai
提出EAPO，利用策略熵与response advantage符号不对称分配token级信用，强化高熵成功、惩罚低熵失败并保留失败中的探索机会
📌 工作参考价值（4 点）
- 在电商/导购Agent的RLVR微调中，可直接利用每步生成时的策略熵作为信用分配信号，无需额外reward model或人工标注；将成功轨迹中高熵决策（如“不确定时尝试新工具/新query”）给予更强正反馈，鼓励探索新策略。
- 对失败轨迹区分“确定性错误”与“探索性失败”：低熵token（模型很自信却错，如错误价格比较结论）施加更强惩罚，快速纠正重复错误；高熵token（模型尝试不确定路径，如生成长尾query）减轻惩罚，保留未来恢复可能性。
- 若在生成式推荐/搜索query改写上做RL，可借鉴EAPO的token-level advantage redistribute：用response-level奖励按熵加权到token，避免对整条失败样本均匀惩罚，有助于维持候选多样性。
- 工程实现上，EAPO只用现有rollout信号（entropy/advantage），可轻量嵌入PPO/GRPO等在线RL流程；适合稀疏reward场景（如用户最终购买/点击），提升覆盖与多样性。
预训练中量化注意力 Softmax：校准与直通梯度设计的影响
🧭 低精度注意力 Softmax 训练 ★ 深度解读
University of Illinois Urbana-Champaign
系统研究量化 softmax 前向与反向规则对预训练稳定性的影响，给出可复现的设计选择
📌 工作参考价值（4 点）
- 工业推荐/Agent 里若对 Transformer 做 QAT 或量化 softmax 部署，不要用 .detach() 隔离 calibration 统计量（row max/min）；必须让 row extrema 反向传播，否则训练前 25-30M tokens 看似正常，之后 loss 突然恶化，末尾可差 0.65-3.07 nats。零和投影不能修复。
- 做 hard rounding 量化时，优先 Prob-STE（在归一化后概率上放 STE），或校准从 MinMax 换成 fixed window to max（FWM）。在 K=4、124M/2.5B tokens 下 MinMax+Weight-STE 差 softmax 0.89 nats，而 FWM+Prob-STE 只差 0.019；K=16 时 FWM+Weight-STE 差 0.004。
- 如果允许可微实现，优先 LERP（分段线性插值）而非 Nearest hard rounding；K=4/16/32 在 2.5B tokens 都能收敛到 softmax 0.005 nats 以内。
- 评估时必须用训练时的 native forward；训练后替换成 exact softmax 会使 gap 扩大，LERP K=2 从 +0.005 跳到 +1.814 nats，说明权重已经依赖训练算子。
ActKV：面向智能体LLM推理的动作引导KV缓存管理
🧭 Agent KV缓存压缩与推理优化
University of Science and Technology of China · Suzhou Institute for Advanced Research, University of Science and Technology of China
提出首个面向Agentic LLM推理的KV缓存压缩框架，以动作生成贡献度为准则压缩缓存
📌 工作参考价值（4 点）
- 动作导向的KV淘汰策略：在电商导购、购物助手等Agent推理循环中，可优先保留对后续动作（如商品检索、推荐API调用、订单操作）生成贡献大的KV条目，而非全局文本质量，降低缓存占用且不损失任务成功率。
- 置信度驱动的自适应预算分配：利用LLM生成动作时的内在置信度（如token概率）动态调整KV缓存预算，适配不同任务阶段对动作关键记忆的波动需求，可集成到现有Agent serving框架中提升长时多轮交互的吞吐。
- 页式压缩管理与定制内核：将缓存压缩抽象为淘汰、预算分配、页管理三个原语，并配合定制CUDA kernel实现实际吞吐提升，适合高并发场景下Agent推理服务的工程化落地。
- 评估指标转向动作质量：业务中应关注最终动作成功率和任务完成度，而非仅看文本生成困惑度或BLEU，ActKV的实验设计可借鉴到Agent/推荐对话系统的离线评测中。
陈旧文档毒化：过期检索覆盖模型正确答案
🧭 RAG 时间适用性 · 陈旧文档毒化 ★ 深度解读
University of Southern Denmark
发现RAG中过时文档可使模型在原本正确时被翻转，并定位为选择性信任失败
📌 工作参考价值（4 点）
- 在电商/客服 Agent 的 RAG 知识库中，为文档增加生效/失效日期或 supersession 关系，检索后先判断文档是否仍在适用期，而不只是发布时间或相关性。可作为索引字段或后置过滤。
- 提示词里避免全局“遵循检索文档”指令，改为要求模型结合文档的适用期限判断；必要时显式给出“该推荐自 X 日期起失效”，能显著提升大模型对过期内容的抵制。
- 检索侧可加 recency-aware hybrid re-ranker，但必须确保时间元数据可靠；日期缺失或错误时收益消失甚至反转，因此需要元数据治理。
- 评测 RAG 时增加“反向毒化”指标：只统计未检索时答对、检索后答错的样本，观察过期文档是否推翻已有正确知识；同时测试匹配的当前文档是否被遵循，以区分全面失败与选择性信任失败。
CoWindow 注意力：全因果覆盖是头集合的集体属性
🧭 LLM 稀疏注意力 · 集体因果覆盖 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Beijing Academy of Artificial Intelligence · Université Paris Cité
用 KV 头互补长程窗口实现全因果覆盖，训练/解码延迟降 7.4x/3x 且质量接近 FullAttn
📌 工作参考价值（4 点）
- 长上下文 LLM 用于用户行为轨迹、会话日志或 Agent 工具调用历史时，可考虑把 FullAttn 换成 CoWA 式结构：近邻窗口保留最近行为/当前会话，prefix-sink 固定放 user profile 或 system prompt，远处历史按 KV head 切分互补窗口，训练和推理都能省显存省 FLOPs，同时不牺牲关键关联召回。
- 静态位置窗口比动态 router/indexer 更适合线上：不需要额外检索选择，避免了线上 TopK 漂移和 router 延迟；如果业务里做长序列检索式注意力，可以借鉴 position-defined sparsity + collective coverage，把长程访问做成确定性分片，工程实现更稳。
- 多 GPU 部署时按全局 KV head 索引分配窗口，与 tensor parallelism 对齐，每个 rank 只持有互补窗口的 KV cache，可降低长上下文推理显存和 KV cache 访问；适合商品描述生成、Agent 多步轨迹分析等长上下文服务降本。
- 用 synthetic associative recall 快速评估长序列建模是否保留 item 关联，比直接跑长上下文 benchmark 更便宜，适合在推荐系统用户行为序列建模上线前做快速 ablation。
当用户改变主意：LLM Agent 的意图漂移测量与修复
🧭 Agent 意图状态维护与多轮任务评测 ★ 深度解读
HKUST · CUHK · LIGHTSPEED
构建可控意图漂移基准 INTENTFLUX，提出显式状态折叠 StateForge 显著修复多轮任务性能下降
📌 工作参考价值（4 点）
- 多轮购物/搜索助手场景：用户会持续改条件（价格、品牌、词槽）或撤回约束，直接拼历史容易让已撤销的筛选条件污染推荐结果。可在生成前用一个轻量 tracker 维护“当前有效意图状态”，对每个条件做 ADD/DELETE/REPLACE，且同时删除依赖该条件的推导结论（如“预算升高导致推荐高端品”），再输入生成模型。
- 工程上不必用主力大模型做状态追踪：9B tracker 已与 122B 无统计差异；2B tracker 经 on-policy distillation 能从 0.266 提到 0.445。在电商 Agent 架构中可以把意图状态维护拆成小参数模块，降低成本与延迟。
- 评测/回归验证时，务必避免在收尾轮次重述最终意图，否则会掩盖 drift 缺陷；可借鉴 clean vs drift 配对、CAR/IDG 指标，以及长度匹配无漂移对照，逼出真实的多轮意图追踪能力。
- 压缩/摘要式 history management（滚动摘要、两阶段压缩）对意图漂移不可靠；如果业务中有多轮查询改写/约束增删，应优先考虑显式状态折叠，而不是依赖通用 long-context 或摘要。
DoSA：点稀疏注意力无损剪枝加速长上下文索引器
🧭 LLM 稀疏注意力推理加速 ★ 深度解读
Dots Studio, Xiaohongshu Inc.
为有符号多哈希索引器构建可证上界，利用种子阈值无损筛除多数 key，避免全头打分，长上下文预填充最高快 2.74 倍
📌 工作参考价值（4 点）
- 在长用户行为序列/商品库的 LLM 检索或生成式推荐中，可借鉴“种子阈值+分数上界”的无损剪枝：先用少量头部或代理模型计算上界，只对可能进入 Top-K 的候选项算完整分，避免全量打分。特别适合有符号多目标融合打分，负头不能简单丢弃时，用激活频率支撑聚合保住下界紧度。
- 工程实现可复用：将剪枝与 GPU kernel 融合，规则 screening 用 Tensor Core，SIMT 做 bound 评估和候选 compact；refinement 阶段同组查询共享 key 加载，稀疏写回只写达到阈值的记录，明显降低 HBM 带宽。若自建长上下文检索/推荐打分服务，这套数据流可直接参考。
- 成本分析给了一个重要信号：上下文越长，选择 token 的索引器占比迅速上升（~1M 时 73%-90.8%），加速索引器比加速注意力本身收益更大。用 Amdahl 定律可提前估算优化收益，避免把力气花在低占比模块。
- 解码阶段利用时间相干性，用近期选中 key 的分数做阈值下界，压缩选择输入，这种“候选记忆 + 阈值预测”思路可迁移到实时推荐/搜索的候选生成与重排中，减少重复打分。
多智能体规模扩展：析取型与补偿型任务分析
🧭 多智能体协作任务结构分析
引入 Steiner 任务分类，发现多数投票在析取任务上几乎不随团队规模提升，同模型平均在补偿任务仅降 6% 误差
📌 工作参考价值（4 点）
- 在电商 Agent 团队中，若任务是“从候选 query/文案/商品中找出正确或最优项”（析取型），同模型多实例多数投票基本无效：正确概率随团队规模增长 5–20 点，但投票后几乎没实现（预测到 0.5 点内）。不要靠扩同模型实例数，优先用多轮 revision，且只需 1 个 peer 即可，可大幅节省算力成本。
- 对于补偿型任务如 GMV/CTR/库存/响应时间估计，同模型多采样平均只能降低约 6% 误差，因为共享 item-level bias 占 87%。建议混合模型家族（不同训练/结构）来聚合，或先做 bias 校准；单模型多采样收益很低。
- 多智能体规模不是越大越好：机制与任务结构决定上限。在系统里可先判断任务属于析取还是补偿，再选择组合机制（投票 vs 平均 vs 混合）和团队大小；避免盲目 29 agents 的工程浪费。
- 多轮 revision 的收益来自 peer 存在而非团队规模，因此 2-agent debate 可能比 30-agent 更划算，适合在搜索推荐 Agent 的决策或评估环节作为轻量级增强方案。
EAServe：面向多模态大模型的编码感知分离式服务
🧭 多模态 LLM 推理服务 · 分离式流水线优化
University of Georgia · Western Digital · University of Texas at Arlington
将多模态 LLM 的 Encode 阶段作为 EPD 流水线控制点，通过自适应微批处理、部分卸载与动态 SM 划分，在 SLO 约束下显著提升 goodput
📌 工作参考价值（4 点）
- 把轻量前置阶段作为控制点：参考 EAServe 将 Encode 作为 EPD 流水线控制点的思路，在推荐系统中将图像/视频 embedding、特征编码等轻量前置阶段与主模型解耦，通过速率控制动态调节下游请求流，避免下游 Prefill/Decode 饥饿。
- 动态 SM 划分实现可预测共置：当需要把多个阶段部署在同一 GPU 上时，采用动态 SM partitioning 保证各阶段的算力隔离与可预测性能，适合广告/推荐系统中多个小模型或 embedding 服务共置的场景。
- 配置自动搜索减少人工调参：借鉴 HAS 的两阶段方法——先用 per-stage capacity profiling 剪枝明显不均衡的配置，再用 TPE 贝叶斯优化精细搜索，可自动化调优推荐系统多阶段推理 pipeline 的 batch size、worker 分配等参数。
- SLO 约束下的 goodput 优化：直接关注在尾延迟 SLO 下最大化吞吐，这对电商/广告在线推理服务更具业务价值，而非单纯追求平均延迟或吞吐。
缓解虚构共识：多智能体辩论合成的主动来源门控
🧭 多智能体辩论的主动来源验证与分歧处理
Institute of Computer Science, Warsaw University of Technology
在MAD合成阶段引入主动来源验证与条件阻断，显著提升来源保真度并抑制虚构共识
📌 工作参考价值（4 点）
- 在多Agent决策或推荐解释生成流程中，增加「来源审计」层：对最终输出逐条验证是否被上游日志/数据支持，防止模型生成流畅但无据的结论。
- 采用「自修复→硬阻断」策略：先尝试修正无支持的声明；若无法修正，则直接阻断并输出分歧报告，而非强行发布。在电商推荐理由生成、代理协商结果等场景可显著降低事实幻觉风险。
- 设置发布前质量门（gate）：当证据不足或置信度低时，主动降级为明确的不确定性提示（如“无法给出可靠推荐”），而不是给一个看似合理的错误答案。
- 用户研究表明，在关键场景下，用户更偏好明确的失败信号而非虚假的流畅共识。在产品设计中应优先保证可信度与透明度，而非一味追求文本流畅性。
KeyRec：面向流式与长视频理解的有界视觉记忆框架
🧭 多模态长视频流式推理视觉记忆压缩
University of Virginia · Google
训练免费的视觉记忆框架，用事件银行与近期缓存分离存储，在固定预算下高效压缩长视频视觉 token
📌 工作参考价值（4 点）
- 借鉴“近期缓存 + 事件银行”的双层记忆结构：在电商用户行为序列或会话流建模中，可保留最近交互的细粒度 token（如点击、浏览），同时将较旧历史压缩为结构化事件表示（如会话摘要、关键行为节点），避免每次推理全量回放，降低长序列注意力成本。
- 采用 query-agnostic writing + query-dependent readout 的两阶段设计：离线阶段持续更新记忆，查询到来时用轻量 text-only router 自适应分配固定 readout 预算到近期与事件记忆，无需重处理历史帧。可在 Agent 记忆系统中应用，控制上下文窗口，降低 LLM API 费用。
- 事件合并与逐出策略（add-merge-evict）可用于用户兴趣画像维护：根据 novelty 决定是否新增事件，合并相似兴趣，淘汰过时兴趣，保持画像有界且信息密度高。
- 对于直播电商、商品视频理解等场景，可复用 KeyRec 的视觉 token 压缩思路，仅保留 10% 的 visual token 预算即可保持接近密集处理的性能，显著降低推理成本。
KuaFu：十亿规模长用户行为压缩与理解的统一层
🧭 用户行为压缩 · LLM 理解 ★ 深度解读
Tencent Inc., Shenzhen, China
以单行为 item 为最小压缩单元，双轴投影将每条行为压到 2–4 token，四阶段训练抑制幻觉，部署后 GMV 提升 1.37%
📌 工作参考价值（4 点）
- 可迁移点 1：采用 item 级压缩而非 sequence 级压缩，使 embedding 只依赖 item 本身，可离线缓存、跨用户/任务复用；缓存随 item inventory 增长而非 #users×#tasks，极大降低每周十亿用户画像刷新成本。在电商/广告中，商品、内容、广告素材均可预先压缩存储，在线只拼接。
- 可迁移点 2：双轴投影（token 轴 8→2，width 轴 2560→128，约10×/20×压缩）配合残差与 Down/Up 低秩投影，能把单 item 缓存从10KB降到0.5KB；适合长行为序列 KV cache 或 prompt 侧压缩，注意压缩宽度对细节丢失的影响，需按 task 选择 ratio。
- 可迁移点 3：四阶段课程训练：重建→压缩 QA→压缩+生成协同→幻觉感知 RL。尤其基于长度的五桶课程（1,1–3,1–200,1–500,1–1200）是收敛必要条件；直接混合长度 loss 卡在2.27。可借鉴到长序列 LLM 训练。
- 可迁移点 4：对生成式用户画像/推荐文案，用分组 DAPO RL 加按危害加权的四类幻觉惩罚（fabrication 0.45、date misattribution 0.24、logic 0.24、missed detection 0.07）并单独给 completeness bonus，可显著降低 fabrication（33.5→4.5）且不诱发拒答；业务上可用较强 judge 做分层中间评测，缩短反馈闭环。
LocUS：面向目标激活转向的头部选择与子空间投影
🧭 LLM 推理时激活转向 · 低秩子空间
Area Science Park, Trieste, Italy · Institute of Science and Technology Austria · Université Côte d'Azur, Inria, LJAD, Maasai Project Team, Nice, France
LocUS 将激活转向约束到输出词汇子空间并稀疏选择注意力头，以干预<6%参数匹配或超越 SOTA 并更好保持通用能力
📌 工作参考价值（3 点）
- 在电商客服/导购 Agent 中，可用 LocUS 做实时安全/合规控制：基于对比数据估计转向方向，但通过 unembedding 子空间投影和稀疏头部选择，仅干预 <6% 参数，避免大幅损害商品推荐能力。
- 利用模型原始 unembedding 矩阵作为属性子空间来源，无需额外训练即可定位特定属性（如“负评倾向”）对应的输出方向，并在局部修正，此法可复用于生成式推荐中的风格/属性控制。
- 对 LLM 生成推荐理由或商品描述的场景，可对生成的语义属性（如情绪、说服力）做 targeted steering，同时不改变物品 ID 或事实准确性，保持通用能力不下降。