MassAlloc Attention：让注意力自主分配计算
🧭 高效注意力 · 自适应计算分配 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Beijing Academy of Artificial Intelligence · Université Paris Cité
提出MALA，保留完整QK打分，按归一化注意力贡献度跳过低价值后处理，显著降低长上下文训练/推理计算且保持精度
📌 工作参考价值（4 点）
- 在长用户行为序列建模或长上下文推荐中，可借鉴 MALA 思路：保留完整 QK 打分以捕获任意长程兴趣依赖，但用归一化贡献阈值跳过低贡献 tile 的 V 加载和 PV 累积，从而降低线上推理延迟和离线训练 FLOPs，且精度损失极小。
- 统一阈值 τ/L_q 的设计省去逐层/逐头/逐输入单独标定，适合电商场景中用户序列长度动态变化（从几十到几千）的部署；可根据线上延迟要求全局调整 τ，无需重新训练。
- 反向传播复用前向保存的 finalized normalizer，仅用标准 attention 状态推导嵌套支持，不额外存 mask 或索引，内存开销与 FullAttn 持平，对显存受限的推荐模型训练尤其有吸引力。
- 与 MoBA、DSA 等提前丢弃 QK 的稀疏方法不同，MALA 保留完整 QK 打分，适合需要精确长程关联检索的任务（如跨会话用户兴趣召回、长文档中的商品关联），可作为底层注意力替换方案集成到现有长上下文 LLM 推荐或 Agent 系统中。
MoSAR：语义注意力机制混合，学习自适应可近似注意力几何
🧭 LLM 高效注意力 · 自适应几何 ★ 深度解读
Università degli Studi di Bari Aldo Moro
在 RoPE 后通过 query/key 路由器混合短中全局 regime，学习可离散化的距离衰减注意力几何，500M 预训练外推最优
📌 工作参考价值（4 点）
- 在电商搜索/推荐的长用户行为序列建模中，可借鉴「可学习距离衰减 + 轻量路由器」替代固定窗口或硬截断：用 query/key 双侧路由选择短/中/全局 regime，让不同 token/item 自适应选择交互范围，既保留长程依赖又降低注意力成本。
- 推理时采用 top-1 离散化先把 attention support 确定，再计算稀疏 QK。论文显示 support density 随上下文长度下降（0.154→0.104），说明在商品描述、会话历史等长序列场景中，这种路由可带来亚二次的注意力开销，适合在线扩容。
- 若需要显式压成本，可参考 MoSAR-Cost：在 LM loss 上加入归一化期望 reach 正则，以很小的困惑度代价换取更低的预期注意力范围；在推荐排序 loss 里也可以加入类似 expected attention cost 项，实现推理成本可控。
- 结论「平滑可控衰减优于硬 mask」可直接用于改进用户长期兴趣序列的 RoPE 截断或滑动窗口设计，避免硬截断带来的语义不连续。
OPTQ 的泛化行为与正则化作用
🧭 模型量化泛化理论
University of California, San Diego
为 OPTQ 及其随机变体建立泛化误差上界，并提出更优的正则化参数选择
📌 工作参考价值（4 点）
- 在做 LLM 部署量化（如推荐系统的排序大模型、Agent 规划模型做 INT4/INT8 量化）时，OPTQ 校准集的正则项 λ 不要沿用默认值，可参考文中理论选择方式，可能显著降低线上量化误差。
- 若业务场景数据分布随时间漂移（电商大促、季节性变化），可考虑 stochastic OPTQ 这类随机化量化，其泛化误差界不依赖特定校准集，对分布鲁棒性更强。
- 论文提供量化误差与校准集大小、分布匹配的理论关系，可用于指导校准集构建：尽量保证校准集与线上分布同源、样本量足够，避免离线效果好但线上掉点。
- 总体学术性较强，除上述适用点外，大部分理论结果难以直接落地；业务团队可关注其 λ 选择建议或对量化工具的超参数默认值做调整实验。
PIA：将健康对话转为记录并将记录转为理解的个人智能体
🧭 Agent 结构化长期记忆与读写决策
KAIST · NAVER Corp.
提出个人智能体记忆系统，自主决定读写，将对话转为类型化临床记录并合成轨迹级理解
📌 工作参考价值（4 点）
- 结构化事实抽取：用户特征/行为事件先落 schema 化字段（事件日期/数值/类别/来源），不要全用 embedding top-k；便于后续聚合、筛选和趋势计算。
- 读写解耦与自主决策：让 agent 根据请求类型判断是否需要写记录、读哪些结构，减少无效检索与上下文污染；可在推荐对话/导购 Agent 中分离“用户画像写入”和“上下文读取”路径。
- 时间与别名归一化：相对时间“昨天/上周”必须解析为绝对时间戳；商品/活动名、用户标签做 alias dictionary 和规则映射，避免 LLM 随意解读。
- 因果去噪：对生成的 causal links 用静态规则先过滤结构噪声，再进入下游推理；业务中可用活动规则/类目约束过滤无意义关联。
评估 KV 缓存重用技术的准确性
🧭 LLM 推理评测与 KV cache 复用
Huawei Technologies Ltd. · Department of Computer Science, ETH Zurich
指出当前 KV 缓存重用评测方法高估效果，提出无歧义精度损失评测法并推出 Boxoffice 生成挑战性数据集
📌 工作参考价值（4 点）
- 若业务中用 RAG 为推荐/广告/搜索文案提供上下文，评估 KV cache 复用方案时必须把「复用带来的精度损失」与「检索质量/模型生成质量」分开测，否则会高估技术收益，建议设置隔离变量实验。
- 位置无关 KV cache 复用比 prefix caching 更灵活，但跨 chunk attention 缺失是主要精度损失来源；落地前应重点验证恢复跨 chunk attention 的 token 数量与位置对下游任务（如用户意图识别、商品描述生成）的实际影响。
- 借鉴 Boxoffice 的程序化生成评测集思路：构造具有不同 chunk 重复频率、乱序、跨 chunk 依赖的查询，模拟真实 RAG 中重叠/交错上下文，提前暴露复用策略在长尾模式下的退化。
- 若在 Agent 多步检索生成中启用 KV cache 复用降低 prefill 延迟，需要同时监控端到端业务指标（如点击率、转化率），因为微小的 token 级精度损失可能在业务链路上被放大。
PriceBench：LLM 预订智能体价格、质量与品牌偏好诊断基准
🧭 LLM 采购智能体偏好诊断
London School of Economics and Political Science
提出 PriceBench，用 logit 选择模型从酒店预订选择中恢复 28 个 LLM 的价格质量品牌偏好，发现高能力模型偏好更强更一致
📌 工作参考价值（4 点）
- 在把 LLM 用作导购、选品或下单代理前，先诊断其隐式偏好：不要只看任务完成率，要在满足约束的候选中看它实际选了哪个；可用 logit 离散选择模型从历史对话或推荐日志中恢复价格、质量、品牌的权重。
- 弱模型容易受 listing order 影响或锁定单一选项，工程上避免直接让弱模型做最终购买决策；要么换更强模型，要么在 prompt 中显式注入价格约束并随机化候选顺序，降低位置偏差。
- 同一模型系列内价格敏感度差异可能超过一个数量级，上线代理或做 A/B 时需按具体模型版本/checkpoint 测量，不能沿用“同系列偏好差不多”的假设。
- 对 LLM 生成推荐/购物结果，把平均客单价或 booked price 漂移纳入离线评估；论文中 $247 到 $393 的差异意味着模型选择会直接改变收入与成本，不能只做事后观察。
PrismQuant：分组量化器的最优零空间旋转对齐
🧭 LLM 量化 · 零空间旋转对齐 ★ 深度解读
Nanyang Technological University · Nanjing University of Posts and Telecommunications · Nanjing University · Qualcomm AI Research
把激活主特征空间对齐到分组非对称 INT4 的组内常量子空间，实现 W4A4KV4 下 SOTA 且近乎无损
📌 工作参考价值（4 点）
- 部署 LLM 在线推理（Agent / LLM ranker / 生成式推荐）时，W4A4KV4 是可用压缩点；不要只做 Hadamard 式“把能量摊平”，而应把 activation 的主成分旋转到 per-group 常量方向，让已有 fp16 zero-point 吸收大能量，减少组内 range。这个思路可直接复用到你的 activation quantizer。
- 分组大小 g 不仅决定 scale 分辨率，还决定可供对齐的零空间维度（d/g 个零 slot）。在相同 activation bit 预算下，优先用更细 group（g=128）而不是在更粗 group 里加额外 affine 方向；实测 g=128 单方向优于 g=256 三方向。对 KV cache / item embedding 表量化同样有借鉴意义。
- 如果业务模型是 MoE（多领域 / 多场景 Expert 推荐或 MoE LLM），每个 expert 单独估计 activation 二阶矩并给独立 R4，router 保持 bf16 且 R1 fold 进 router 输入以保持路由不变；冷 expert 用 pooled covariance shrinkage，能恢复大部分 Hadamard 损失。
- 工程实现上，旋转可折叠进相邻权重，避免在线 dense rotation；对不可折叠的 down-projection 输入，用 rank-k compact WY 修正 + block Hadamard，Tensor Core 两 kernel 实现，增加约 2.4% decode latency，但 prefill 1.51× / decode 1.22× vs FP16。部署 LLM 特征提取或排序模型时，可把旋转离线折进权重，线上只保留小 rank 修正。
日志结构Transformer：分离残差与扩展嵌入以压缩KV缓存
🧭 Transformer架构改进 · KV cache压缩 ★ 深度解读
University of Illinois Chicago
提出日志结构Transformer，用每层32维扩展嵌入替代全宽KV缓存，使924M模型持久注意力内存减少104倍且长上下文更优
📌 工作参考价值（4 点）
- 对于需要处理长用户行为序列或长文档上下文的电商/搜索推荐LLM，可借鉴双通道设计：将注意力KV输入改为低维log-structured扩展嵌入，回合间释放全宽KV缓存，显著节省显存，支持更长用户历史。
- 架构改动仅影响注意力输入，与GQA、量化、层复用等现有压缩技术正交；论文显示Extender+GQA在参数更少情况下仍优于MHA Transformer，可直接叠加到现有推理优化栈。
- 推理工程上可采用 ephemeral kv-cache 策略：持久保存x*缓存，按需重投影KV，适合多轮Agent或低频长上下文请求，避免长期占用大量显存。
- 分离下一token预测残差流与注意力记忆通道的思想，可能提升长序列建模能力（如多key检索类任务），在用户行为建模或长文档理解场景值得验证。
Scaffold：基于支撑图理论的图神经网络稀疏化框架
🧭 图神经网络稀疏化 · 支撑图理论
Pacific Northwest National Laboratory · University of Texas at Dallas · University of North Carolina at Charlotte · Adobe · Boise State University
用支撑图理论联合控制 dilation 与 congestion 的拓扑稀疏化方法，在 GNN 上大幅降存提速且保持性能
📌 工作参考价值（4 点）
- 在大规模 user-item 二部图或商品知识图谱上训练 GNN 时，可将 Scaffold 作为预处理边稀疏化步骤，替代随机采样或度中心性采样，在 10%-50% 边保留率下接近全图性能，显存占用减半以上，适合电商推荐中的大规模图训练。
- dilation-congestion 联合约束可以直接借鉴到构建轻量图子图或缓存图结构：删边时评估替代路径长度（dilation）和路径集中度（congestion），避免切断关键通信路径，对实时推荐或增量更新子图有工程价值。
- 方法在异配图（heterophilic）上同样有效，可用于处理社交关系、用户共现等噪声连接较多的场景，提升 GNN 抗噪能力。
- 已开源实现，作为独立预处理模块可快速接入 PyG/DGL 训练流程，端到端训练时间（含稀疏化开销）仍低于全图训练，适合线上迭代。
Target 零售商品搜索的实用混合检索方案
🧭 电商搜索 · 混合检索与结果融合
Target Corporation
Target 混合词法-向量检索，加权交错融合，线上 CTR/转化提升并零结果减半
📌 工作参考价值（4 点）
- 电商搜索/推荐候选生成不要用向量完全替代词法或协同信号：保留双通道，向量通道承接自然语言和长尾查询，词法/ID 通道保证精准意图与品牌/SKU 命中；同时把 zero-result 作为上线必须观测指标。
- 多路融合优先实验 weighted interleaving：相比简单分数归一化或串行合并，它能更稳地控制各通道曝光与排序多样性，本案例线上 CTR、订单转化和每访客需求均获得提升。
- 将精度控制作为最终结果集独立环节：对向量召回噪声做词法命中、规则或分类器过滤，再交给精排，尤其适合电商 SKU/品牌/规格等硬约束场景。
- 生产部署把 embedding 计算、ANN 索引、缓存和融合放关键路径优化，并对向量通道做降级与超时控制，保证低延迟；可复用到实时搜索和推荐召回。
TemplateCraft：智能体驱动的视觉模板生成
🧭 多智能体视觉模板生成与反馈修订 ★ 深度解读
Peking University · Kuaishou Technology
多智能体系统将自然语言创意转化为可复用的客户端视觉模板，通过 Planner-Evaluator 反馈回滚与记忆提升生成成功率
📌 工作参考价值（4 点）
- 阶段级回滚机制：Evaluator 先定位最早需要修改的阶段（plan / material / effect workflow），再定向修订，只重跑下游阶段；在电商素材/广告模板生成流水线中可减少全量重试成本，避免单次失败就丢弃整个流程。
- 持久资产与用户输入分离：将 style reference 等持久资产打包进模板，用户只替换输入，显式要求生成并使用持久资产能提升跨输入风格一致性；生成式广告创意/商品模板可复用这一设计，把品牌视觉资产固化到模板内部。
- 长短期记忆配合小模型：Evaluator 使用长期记忆跨任务存储错误与修订轨迹，上下文接近阈值时压缩为摘要；这种 Reflexion 式经验复用让较小开源模型在复杂多阶段任务上逼近 GPT-4o Planner-only，适合生产环境控制推理成本。
- 模板级评测设计：TemplateBench 每个任务带 5 个固定测试输入，评估生成成功率、adherence、reusability 和跨输入风格一致性；可借鉴到推荐/创意生成场景，不只评单次生成质量，还要评模板或策略在不同用户输入下的泛化复用。
无需学习停止的自监督置信度训练提升推理效率
🧭 自监督置信度训练提升推理效率
University of Maryland · Capital One
自监督置信度训练仅用600题微调，不改变标准生成，最高减少25%推理tokens且精度匹配
📌 工作参考价值（4 点）
- 对推荐理由、Agent规划/反思、query改写等长推理LLM链路，可在不引入长度惩罚或早停的前提下，增加置信度预测头做自监督辅助训练；线上仍用标准解码，避免额外控制逻辑。
- 中间置信度标签可通过模型自身采样轨迹构造：以最终答案对错/一致性作为软标签，几百条样本即可启动试验，适合业务低成本验证。
- 若线上有大模型生成链路，可优先在数学/逻辑类子任务（如价格计算、规则校验）复用；推荐主链路需设计点击/转化等业务置信度信号再验证。
- 论文显示效率提升来自元认知信号，而非抑制某些推理行为；这提示我们保留推理组成，可能比强制缩短更稳。
X-Tree：将可复用经验分词为技能树以高效泛化智能体
🧭 Agent 技能层级挖掘与 RL 训练 ★ 深度解读
University of Waterloo · Duke University · National University of Singapore
把智能体轨迹中可复用动作片段按频次/长度/成功率挖成层级 X-Tree，并以数据、奖励、上下文三种方式训入权重
📌 工作参考价值（4 点）
- 动作/行为序列先做 canonicalization：把点击、填表、搜索等映射为 verb⟨role⟩ token，去掉具体商品/页面 id，再做频次挖掘；比直接使用原始 action 文本更容易发现跨商品、跨 query 的复用流程，适合从电商 session 日志抽取“浏览→筛选→加车→下单”等宏动作。
- 离线无仿真环境时，不要只对整段 trajectory 做 SFT/RL；把高频且成功的子序列节点当作 RL 实例，用 gold prefix 做 partial rollout，奖励设为 step-matching + depth-scaled completion bonus。WebArena 上同样数据比整轨迹 SFT 高 +4.5 SR，说明细粒度子过程很值钱。
- 在线 RLVR 面临稀疏 verifier reward 时，可以加一个 adaptive skill bonus：按 group win rate 线性衰减，只在 verifier 不能区分 rollout 好坏时生效；这样既提供早期稠密梯度，又不会在后期污染奖励。推荐/搜索 agent 的在线探索奖励可借鉴。
- 用 OPSD/self-distillation 训练策略时，教师上下文中的 LLM 写 skill bank 可替换为从日志挖掘的 X-Tree 渲染文本，效果相当且零 LLM 成本；对无法频繁调用大模型做抽象的工程场景很有用。
先高亮后摘要：学习为长上下文理解压缩证据
🧭 长上下文推理 · 证据压缩与强化学习 ★ 深度解读
Peking University · Baidu Inc. · Tsinghua University
提出 Highlight-Then-Summarize：先定位证据再生成问题条件摘要，压缩长上下文并提升推理
📌 工作参考价值（4 点）
- 在电商/Agent 场景中，对长商品说明、多跳用户评论、客服对话或政策条款，可让模型先输出「证据块 ID + 关键 span」再生成「问题条件摘要」，最后作答；这样既保留溯源能力，又减少无关内容对推理的干扰。
- 借鉴 H2S-RL 的过程奖励设计：不要只奖励最终答案，把 evidence grounding、span F1、summary ROUGE-L 和结构完整性分开给确定性的 programmatic reward；不依赖在线 LLM judge，适合离线训练和工程化。
- 给上下文分块并分配稳定 ID 的做法很实用：在搜索/推荐系统里对长文档、商品详情、用户历史做地址化，可支持后续引用、归因和审计，成本低。
- H2S 在 4K 输出预算下接近 16K 的表现，说明把压缩外化为显式 intermediate 比放任长 CoT 更省 token；在线上低延迟/低成本约束下，可优先考虑先压缩证据再推理的架构。
新 LoRA 技能应只读不写
🧭 LoRA 技能组合与参数高效训练
Shanghai Jiao Tong University · Xi'an Jiaotong University · The Hong Kong University of Science and Technology (Guangzhou) · Jinan University
提出 READ 只读扩展机制，冻结旧 LoRA 输出子空间并折叠组合更新，实现多任务 LoRA 增量组合且无推理开销
📌 工作参考价值（4 点）
- 线上同时挂多个 LoRA（query 改写、类目预测、广告文案生成等）时，避免直接 weight-space merge；用 READ 式只读耦合追加新技能，旧技能输出子空间不被写入，能减少跨任务干扰，适合增量上线。
- 将每个 LoRA 先重写为 balanced canonical form，保持 ΔW 精确不变但对齐因子坐标，可作为 adapter 入库/发布前的规范化步骤，利于后续组合与版本管理。
- 组合更新可折叠进 base weights，无额外推理开销、无 routing 规则，适合推荐/搜索高 QPS 在线服务，不需要为多任务维护多个前向路径。
- 业务方管理大量 task adapters 时，可借鉴每次仅训练耦合矩阵中一行来追加新技能，训练成本极低，避免对历史任务数据全量重训。