SpecPilot：投机解码的自主算法发现与系统优化
🧭 投机解码 · 自主 Agent 优化
University of California, Berkeley · Princeton University · Stanford University · NVIDIA
用自治 Agent 循环自动发现投机解码的算法与系统优化，单请求加速比提升 2.4 倍、批处理提升 2 倍
📌 工作参考价值（4 点）
- 用 cost model 定位部署瓶颈：在电商/推荐 LLM 推理服务中，单请求 vs 批处理、不同 GPU 上的优化重点不同，可先构建理论 ceiling 模型，自动识别当前系统最大可优化 gap，避免盲目调优。
- Token forcing 防 reward hacking：在自主优化或自动调参时，逐 token 对比基线输出确保无损，可借鉴到在线模型自动更新、推理参数搜索等场景，防止质量劣化。
- 批量场景的分级验证与合并机制：论文发现的两级验证和三种 batching 机制可迁移到多租户推荐请求合并处理，降低 per-request overhead，提升吞吐。
- 12-bit 无损权重格式：如果验证可行，可直接应用于部署中的大模型量化，在保证输出质量前提下节省显存、加速 decoding。
非对称跨 LLM 上下文迁移：KV 缓存跨模型复用
🧭 LLM 异构部署 · KV cache 跨模型迁移
Tsinghua University, Beijing, China
提出 ACCT，将源模型 KV 稀疏转换为目标模型可直接消费的状态，削减 75% KV 仍匹配原性能
📌 工作参考价值（4 点）
- 在电商多模型/Agent 路由中，可以把共享长上下文（会话历史、商品详情、检索文档）先由低成本源模型做 prefill，再由同 family 的大目标模型复用其 KV，省掉重复 prefill，适合动态路由频繁切换模型的在线服务。
- 借鉴 Cartographer 的 query-relevant 稀疏化：对每层每个 KV head 分别选择与当前 query 相关的 context token，比全局 Top-K 更精细；推荐系统里长用户行为序列或多模态商品上下文也可以按 query/候选 item 做非对称稀疏化，而不是固定截断。
- Allocator 的“全局 KV 预算下逐层/逐 head 分配”思路可用于模型服务：给深层/浅层或不同 attention head 分配不同的缓存 token 数，在 latency/cost 约束下最大化长上下文任务效果。
- 工程实现上，Compiler 把不同 hidden size 的源 KV 映射到目标模型，意味着上下文计算与最终推理可解耦，适合 Agent 系统里同一上下文被多个异构模型消费的架构，能简化上下文缓存服务。
基于层级树索引器的次二次方注意力机制
🧭 层级树索引稀疏注意力加速长上下文
Zyphra Research
提出层级树结构索引器对KV cache递归压缩，使注意力总成本随序列长度亚线性增长，实现次二次方缩放
📌 工作参考价值（4 点）
- 电商长序列建模：用户历史行为、商品序列、会话记录可视为 KV cache，借鉴层级树压缩摘要，在推理时自上而下检索相关 token，实现长上下文稀疏注意力，降低 inference cost。
- 轻量适配存量基座模型：仅需数亿 token 的 KL 蒸馏，业务侧可为已有 LLM 加装该索引器，无需重新预训练。
- 树深度稳健：即使 6 层深树也不显著掉点，工程上可自由调整索引层级，在精度与延迟间取平衡。
- Agent 场景收益：长上下文 agentic coding 性能不降，适合需要超长工具调用历史 / 文档上下文的电商导购 Agent 或智能客服，可直接扩展 context window 而不更换模型。
潜在稀疏注意力：面向亚二次超长上下文注意力
🧭 高效注意力 · 超长上下文
提出潜在稀疏注意力 LSA，通过可学习层次聚类实现超长上下文亚二次注意力且保持精度
📌 工作参考价值（4 点）
- 长上下文 Agent 会话/记忆管理可借鉴：电商导购、客服等 Agent 维护超长多轮历史时，用 learned latent space 对 keys 做层次聚类，query 只打分聚类中心，大幅降低 decode 阶段的 KV cache 访问与计算，适合在线低延迟场景。
- 已有预训练模型不想重训的情况下，D-LSA 蒸馏提供低成本升级路径：仅在注意力层增加分层聚类索引，用原模型蒸馏对齐，可离线验证精度损失后逐步上线。
- 若从零训练或大规模训练长上下文模型，N-LSA 原生训练同时降低训练与推理成本（128k tokens 单层训练 1.6x），对自建基础模型或微调有参考价值。
- 局限与注意：方法依赖键空间聚类稳定性，电商推荐中商品/query 分布快速变化，需评估索引重建频率与召回误差；目前验证集中于语言模型，迁移到推荐特征需要额外实验。
SecPO：面向提示注入安全的原理性对抗训练
🧭 LLM 安全 · 对抗训练防御 Prompt Injection
UC Berkeley · Anthropic · Google DeepMind
提出 SecPO 损失与对抗训练管线，将 Qwen3.6-27B 在 AgentDojo 上的提示注入 ASR 从 78.8% 降至 8.8%，且无良性性能损失。
📌 工作参考价值（4 点）
- 在电商/客服 Agent 使用不可信外部数据（商品评论、工单、邮件）时，应将 prompt injection 视为高风险，采用防御性微调而非仅依赖系统提示词；SecPO 思路：构造注入不变且保持业务 utility 的偏好对，替代以原始不安全模型为参考的 DPO。
- 可搭建红队自动化对抗训练流水线：持续合成强注入样本（论文 best@240 水平的攻击），加入微调数据，比只用弱模拟攻击有效；对电商场景可针对商品描述注入、用户评论注入等生成专用对抗样本。
- 上线前评估应采用 AgentDojo 类自适应攻击和 ASR@N 指标，覆盖攻击者后手（AttackerMovesSecond）等更贴合真实 agent 工作流的位置，而不仅是单轮 prompt 测试。
- 安全微调可以与工具调用、指令遵循等能力保持兼容：通过多任务/多基准联合训练与监控，避免为了安全牺牲业务核心能力。
异步流图语言模型（aFMLMs）
🧭 并行语言模型 · 异步流图
KAIST · Purdue University · The University of Tokyo
将 token 预测顺序通过异步流图编码进单步并行语言模型，实现高质量一步生成
📌 工作参考价值（4 点）
- 延迟敏感场景（如搜索结果摘要、推荐理由、广告文案）可借鉴 aFMLM 将教师迭代生成的顺序知识蒸馏到单步学生模型，保持生成质量的同时把推理从多步降到一步，显著降低 RT。
- 学习 state-adaptive 的 token 时间调度可作为一种隐式排序机制：模型根据上下文决定哪些 token 先“成熟”，适合需要动态优先级生成的推荐解释或对话式推荐。
- 蒸馏流程可复用到生成式推荐中的 Semantic ID 序列生成：用教师模型（AR 或扩散）生成顺序信号，训练单步模型快速输出 item ID 序列，降低线上生成延迟。
- 该方法在 Sudoku 和代码生成等结构化推理任务上有效，提示在需要约束生成的任务（如商品标题、属性组合生成）中，显式建模 token 顺序可能比纯并行生成更优。
TextSeal2：基于Copula混合与无记忆竞速的无失真LLM水印
🧭 LLM水印·投机解码
Meta Superintelligence Labs
合并多密钥为虚拟密钥并结合无记忆指数竞速，使LLM水印在投机解码下保持无失真且检测率提升
📌 工作参考价值（4 点）
- 电商AIGC文案/广告/商品描述等场景可直接叠加无失真水印做内容溯源与反爬，TextSeal2证明水印不影响输出分布和多样性，不会牺牲文案质量。
- 多业务线共用同一LLM生成推荐理由或广告素材时，可将多个secret keys合并为单个虚拟key，统一检测且不稀释信号，便于集中部署水印验证服务。
- 若线上生成链路已用speculative decoding加速，TextSeal2的无记忆竞速机制保证加水印不改变acceptance rate、不引入延迟，可直接嵌入现有推理优化，无需改造采样内核。
- 检测信号可作为训练数据治理的风控输入，例如过滤AI生成的商品评论或UGC内容，防止污染推荐模型训练集。
训练无关 MoE 专家剪枝中的替换算子与路由语义
🧭 MoE 专家剪枝 · 替换算子与路由语义 ★ 深度解读
School of Electrical Engineering and Computer Science (SEECS), National University of Sciences and Technology (NUST) · Deep Learning Laboratory, National Center of Artificial Intelligence (NCAI), NUST
固定剪枝掩码，系统比较 MoE 专家替换算子与门控尺度，提出倾斜新手算子并揭示 trained-scale rule
📌 工作参考价值（4 点）
- 部署 MoE 推荐/Agent 模型时，剪枝后不要默认 renormalize 幸存者 gate；先检查原模型 router 是否在训练时做了 top-k renormalization，保留与其一致的 gate scale（trained-scale rule），否则可能掉 0.8–8.5 个点，甚至反转 rerouting 是否优于均值常数。
- 若要对剪掉的专家做廉价替代，可用 tilted novice：只存一个低秩输入映射（rank-32 甚至 rank-8），参数增加约 1.2–1.8%，在多项选择和生成任务上稳定优于均值常数，且对 3/4-bit 量化鲁棒；比保留更多专家更省参数。
- 评估剪枝模型不能只看 MCQ；务必加入 GSM8K、代码生成等推理/生成任务，因为 25% 剪枝时 MCQ 可保留 92–97%，但 GSM8K 仅 5–65%、代码 0–17%，结论可能反转。
- 校准数据域对剪枝 mask 影响很大（4–9 倍于重采样），推荐/Agent 场景应使用与线上分布一致的校准数据，并报告不同校准切片的结果；仅用通用文本可能掩盖领域退化。
预填充解码长度预测的基本极限
🧭 LLM推理调度与基准协议
Xi'an Jiaotong University · Shandong University
揭示解码长度预测中的系统误差主导性，推导出所有基于预填充的方法必须遵守的统计界限
📌 工作参考价值（4 点）
- 在 LLM 生成式推荐或 Agent 对话系统中，解码长度预测可用于响应时间预估、超时设置与批量调度；可直接借鉴论文中的正态/CLT 模型对长度分布建模，用均值和方差快速估算尾部风险，无需部署复杂预测器。
- 评估任何解码长度预测模型时，必须固定模型版本、数据分布、采样参数（temperature/top-p/top-k），否则预测精度数字不可比；应同时报告相对误差指标，避免被绝对 MAE 误导。
- 若要在业务中优化推理资源或做容量规划，先训练一个简单 MLP 逼近理论界限，作为系统误差基线；若复杂模型（FiLM、MoE 等）无法显著超过该基线，则不需要引入额外复杂度，节省工程成本。
- 方差律 σ=αμ+b 可直接用于线上 SLA 估算：只需统计平均解码长度即可估算方差区间，辅助确定告警阈值、超时上限以及 GPU 并发调度策略。
带广义二阶路由的多状态线性注意力
🧭 多状态线性注意力长上下文聚合路由 ★ 深度解读
Princeton University · Google DeepMind
提出MERLIN，用段内keys的一/二阶矩恢复query-段对齐的均值与方差，提升多状态线性注意力聚合路由
📌 工作参考价值（4 点）
- 长期用户行为序列建模：若用分段线性注意力/记忆状态压缩用户历史（按会话、时间窗分段），可借鉴二阶矩路由。当前均值pooling只捕捉平均兴趣，二阶矩能捕捉段内兴趣峰值与多样性，对定位“某一次强购买意图”更准，有助于CTR/CVR预估或召回。
- RAG/LLM生成推荐理由或广告文案：在长上下文多文档、多商品描述中，用query与段落keys的一阶+二阶矩计算相关性权重，可缓解仅基于位置或均值导致的近因偏差，让模型更均匀地利用中前段关键信息，适合检索增强生成中的证据选择。
- 工程落地：额外缓存每段keys的一阶/二阶矩开销很小（dr=128时约4–13%内存增量，参数增量与meanpooling相当）。建议为路由使用独立的key/query投影（shared-KQ会明显掉点），并采用可学习gate混合均值/方差项，而非固定系数。
- 注意该方法需要mid-training将单状态backbone转为多状态，无法即插即用；如果业务已有长序列记忆或State Space模型，可将其作为继续预训练阶段加入。
MoE 解码的通道选择无需校准数据
🧭 MoE 推理加速 · 通道选择
KAIST · DeepAuto.ai
证明 MoE 通道选择用 top-k 即可，无需离线校准阈值；并提出基于模型权重的三值草图+低秩恢复读取器，以 17.8% 读取量保持 98.1% 精度
📌 工作参考价值（4 点）
- 部署 MoE 大模型做电商/推荐场景的在线推理或 Agent 时，通道选择直接采用 top-k 分数筛选，不必维护离线校准阈值；阈值会因输入分布变化导致实际读取比例漂移（文中 18% 预算实际仅读 12.9%），top-k 则天然固定每 token 读取预算，便于做延迟 SLO。
- 若沿用阈值方案，需警惕生成任务中的重复循环崩溃，尤其在长文本/Agent 多轮输出中风险更高；可优先切到 top-k，并用生成类 benchmark 而非只看困惑度验证。
- 文中 reader 完全从模型权重构造，用 ternary sketch 筛选通道 + low-rank map 恢复被跳过通道，不依赖校准集；这可作为无校准数据的稀疏化插件，适合线上数据分布频繁变化的场景。
- Triton kernel 在 batch 1 比 vLLM 快 1.60–1.90×，大 batch 达 2.69×；如果自建 MoE 推理服务，可参照其通道读取+恢复实现，在 interactive decoding 小 batch 场景降低 expert weight 读取带宽。
需要时才看：基于证书引导的视觉路由实现高效扩散视觉语言模型
🧭 扩散视觉语言模型高效解码
KAIST · AITRICS
提出 LOWN 解码方法，每步自适应决定是否处理图像，平均省 65% 解码 FLOPs 而保留 99.6% 分数
📌 工作参考价值（4 点）
- 多模态 LLM 在商品图像理解、广告文案生成等场景中，视觉 token 占输入 90% 以上，且不是每一步都需要细看图像。可借鉴 LOWN 的路由思想：先用无图像轻量预测，只有与历史图像条件预测产生分歧时才重新处理图像，避免重复编码视觉特征。
- 工程实现上，LOWN 无需训练、无需调阈值，可以直接插入现有扩散解码流程，适合快速验证收益。结合 KV cache 和视觉 token pruning 可进一步降低在线推理成本。
- 在电商搜索推荐 Agent 中，多模态状态下视觉内容不是每个 reasoning step 都要消费。可设计类似的“证书”机制，复用之前的视觉理解结果，只在置信度下降时触发视觉重算，降低长程任务推理延迟。
- 该方法证明了自适应路由比固定 schedule 更有效，因为不同输入对视觉依赖差异很大。业务上可对商品主图、详情图、视频帧按需求动态分配算力，而不是一刀切缩图或抽帧。
SPOT：通过提交顺序预测增强扩散语言模型的推测解码
🧭 扩散语言模型推理加速 · 推测解码
Technion – Israel Institute of Technology · Ben-Gurion University of the Negev
提出SPOT小模型预测扩散语言模型的下一个提交位置，构建候选树实现无损推测解码，吞吐最高提升3.4倍
📌 工作参考价值（4 点）
- 若业务使用扩散语言模型生成文本（如商品描述、推荐理由、query 扩展），可部署 SPOT 这类 0.62M 参数的 drafter，仅读目标模型输出分布预测更新顺序，目标模型单次 pass 验证，实现无损加速，额外计算成本极低。
- 非自回归生成场景（如并行生成多个推荐解释、多位置 mask 填充）可借鉴“顺序外置”思路：训练轻量模型预测哪些位置先提交，减少大模型前向次数，适合低延迟实时推荐。
- SPOT 的 drafter 只依赖目标模型输出分布，具备跨模型迁移能力，可以在多个不同扩散语言模型间复用，降低频繁换模型的部署成本；业务上可训练一个通用 drafter。
- SPOT-Sets 支持动态阈值解码下一次性提交多个位置，适合同时生成多个字段（标题、标签、摘要）的任务，在 SDAR-8B 上平均提升 59% 吞吐，可借鉴到多字段并行生成的工程实现。
公共模型库中量化 LLM 工件非功能性失效及其检测
🧭 LLM 量化模型验收与发布测试
Independent Researcher
审计 Ollama 与 Hugging Face 量化模型发现 2.3% 低比特小模型功能失效，并证明校准可修复
📌 工作参考价值（4 点）
- 发布内部量化/蒸馏模型到模型库或线上前，构建轻量功能 smoke test（如代码生成 15-50 条业务相关 prompts）拦截“看似正常但输出失效”的模型，尤其对 2-4bit 小模型。
- 量化配方要作为模型元数据记录并在发布前验证：是否使用 importance matrix/calibration 数据；对低比特小模型优先做校准，论文中 Qwen2.5-Coder-3B 从 0 提升到 76-113/164，说明校准是关键开关。
- 模型验收不能只校验 hash/张量一致性；该研究显示 registry 文件与原权重张量完全一致但仍功能失效，需在目标推理栈上跑端到端任务，而非只做格式或数值对比。
- 对线上 Agent/推荐 LLM，建议建立“模型健康度回归集”，按量化级别和参数规模分层采样测试；低比特（≤4B 参数）模型发布应强制功能测试，避免上线即不可用。
BeNice!：通过 KV 共享弥合循环架构推理内存差距
🧭 LLM 循环架构 · KV-cache 共享
University of California, San Diego · Together AI
用随机深度预训练加末层KV广播后训练，实现循环模型跨层KV共享且不掉点
📌 工作参考价值（4 点）
- 部署 LLM 作为长用户行为序列编码器或生成式推荐 backbone 时，如果采用 looped/weight-tied Transformer，KV cache 不再随循环次数线性占用显存；BeNice 的末次循环 KV 广播 + 首次循环适配可作为低显存长上下文推理方案，适合 Agent 长会话和超长商品描述场景。
- 两阶段思路可迁移：想要模型获得 KV-shareability，不是直接微调，而是在（继续）预训练中引入 stochastic depth / 随机层丢弃，让残差路径收缩到近似固定点；否则同结构不同初始化可能不具备共享性质。
- 后训练可以保持不变原模型主体，只训练首次 recurrence 对末次 KV 的兼容层（或轻量适配器），避免破坏已收敛表示；这与 MLA、GQA、Kimi delta attention 以及 fp8/nvfp4 等量化方案可叠加，可直接纳入现有推理优化 stack。
- 若当前线上不是 looped 架构，建议先把该特性纳入生成式推荐 / Agent 长上下文模型选型：循环 backbone 的参数效率高，但需配套 KV 共享/压缩能力才能获得端到端低显存收益。
DIAL：蒸馏指令遵循等级的可操控语言模型
🧭 语言模型细粒度指令遵循控制
School of Computing, National University of Singapore, Singapore · Singapore-MIT Alliance for Research and Technology Centre, Singapore · CSAIL, Massachusetts Institute of Technology, USA · School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore
轻量steering adapter+CFG蒸馏实现LLM指令遵循程度细粒度控制，并保持高吞吐与跨指令泛化
📌 工作参考价值（4 点）
- 在电商导购/客服 LLM 中，可用 DIAL 式的 steering adapter 对“回复长度/促销语气/品牌人设”做连续数值控制，避免仅靠 prompt 导致过短或过啰嗦；同一 base LLM 可部署多档风格服务不同场景，例如售前简短答疑与售后详细说明。
- 对 Agent 工具调用、商品属性抽取等可验证约束，可借鉴其“结合 prompting 提升 verifiable instruction following”：把价格、材质、适用人群等作为 verifiable 约束，在生成时动态加强遵守，降低后校验和拒识成本。
- 共享 text-conditioned classifier 的设计使得新增指令/风格无需重新拟合 adapter，便于在推荐文案、搜索广告标题、push 文案等多任务上用一个模型快速扩展；离线训练只需 instruction+request 文本，省去大量标注 response。
- 其 closed-form steering edit 推理开销极小，吞吐保持 96–99%，适合推荐/搜索/广告在线高 QPS 场景；可在流量侧按用户特征或场景动态选择 adherence level，实现个性化响应风格。
基于测试时回归的序列压缩方法
🧭 高效序列压缩 · test-time regression
The Chinese University of Hong Kong · Token Foundry, Alibaba Group
提出 TTR-Compressor，将序列压缩视为测试时回归并用闭式解聚合 token，在稀疏注意力和视觉 token 合并上优于 pooling/投影
📌 工作参考价值（3 点）
- 长用户行为序列压缩：电商推荐中用户历史行为 token 通常很长，进入 LLM 前可用 TTR 替代 mean/attention pooling；它联合拟合所有 token，保留交互，闭式解推理开销可控。
- 多模态商品信息合并：商品图、标题、属性等多模态 token 合并进 LLM 时，可借鉴 TTR visual merger 减少视觉 token 数并保持理解性能，适合多模态搜索或商品描述生成。
- Agent 长程记忆与上下文管理：面向 LLM agent 的对话推荐/搜索助手，用可学习回归压缩替代固定窗口截断或摘要，可能提升长上下文检索与推理（如 RULER）；工程上可将回归维度设小、分块计算闭式解。
可预测的性能意味着次优：对模型路由的启示
🧭 模型路由与级联优化
Max Planck Institute for Intelligent Systems, Tübingen · Tübingen AI Center
证明性能预测仅在模型次优或预测器容量大时才优于模型自置信度，级联路由同理
📌 工作参考价值（4 点）
- 模型路由基线选择：将候选模型自身的 self-confidence（输出概率）作为默认路由依据，不要盲目训练额外性能预测器；当模型已通过微调接近任务最优时，复杂预测器增益很小。
- 如果业务中必须使用预测器（如小模型 + 大模型级联），把预测器资源分配给最弱的模型或最难的子任务，因为预测器优势与模型次优性正相关，模型越好增益越少。
- 重校准可复用：训练出的性能预测器若优于模型自置信度，可通过 recalibration 将该优势直接转化为模型 log loss 改进，类似用预测器蒸馏/矫正模型的不确定性估计，提升线上校准和风险控制。
- 级联路由设计：优先提升第一级模型本身（微调、领域适配）而非仅优化路由策略；当第一级模型足够强时，基于 self-confidence 的阈值路由与预测器路由差距缩小，工程更简单且更稳定。
深度增长与循环如何塑造语言模型中的上下文学习
🧭 深度增长/循环模型的 ICL 偏置
Technical University of Munich · Helmholtz AI, Munich · Munich Center for Machine Learning (MCML) · Google, Paradigms of Intelligence Team
证明深度增长与循环模型共享更强的上下文学习归纳偏置，并揭示归纳头传播机制
📌 工作参考价值（4 点）
- 若用 LLM 做 few-shot 推荐/排序（例如通过示例商品-用户偏好映射），可优先评估 depth-grown 或 looped 基座：它们更依赖上下文信息，可能比 dense 模型更少靠权重记忆固定关联，适合动态偏好学习。
- 预训练推荐/Agent 模型时可借鉴渐进深度增长：先训浅层再复制层继续训练，可能在更少步数内获得 ICL 能力并降低训练成本；同时可用“早期 induction heads 传播”作为训练监控信号。
- 用 induction head 排名做模型诊断与剪枝：识别对 few-shot 关键的头，保留或蒸馏到轻量模型，或用于验证提示工程中的示例格式是否有效。
- 资源受限的多轮 Agent 场景可考虑 looped/共享层结构，减少参数与 KV cache 压力，同时强化对上下文规则的依赖，适合反复调用工具/策略的推理。
谁在谄媚谁？自信 LLM、人类顺从与信任校准崩溃
🧭 人机交互 · 信任校准与反向谄媚评估
Amrita Vishwa Vidyapeetham · Netaji Subhas University of Technology · Indian Institute of Science (IISc)
当 LLM 自信且一致地犯错后，人类会反向顺从：虚假事实被采纳约65%，置信校准从0.70降至随机
📌 工作参考价值（4 点）
- 电商导购/客服 Agent 不能只评估模型是否迎合用户；应同步统计用户是否反向顺从错误答案。可仿照 Human Deference Index，在会话日志中标记用户是否采纳 LLM 输出的商品属性、政策解释或推荐理由，并与真实值比对，重点关注错误采纳率。
- RAG / 商品事实问答中，仅靠 LLM 自信表达无法阻止错误被吸收，且用户事后信任几乎不下降。应把“高置信但无依据”的内容做逐条可信度标注、来源展示或要求用户确认，不能寄希望于用户自行校准。
- 搜索推荐 Agent 生成的候选 query、推荐理由或商品描述，避免所有输出都用肯定语气。对低可靠性字段加不确定性提示、可核验来源或二次确认，尤其要防止高置信错误被直接采纳。
- 用户回看/互动多不等于系统更可靠：本实验中更差的助手反而导致更多回看，但回看伴随更多错误吸收。工程上不要把 session 回看次数当作质量正向指标，应结合正确性结果或任务完成度。
隐喻的几何：在大语言模型中探测与操控隐喻表征
🧭 LLM可解释性与表征操控
Institute for Logic, Language, and Computation, University of Amsterdam
用机制可解释性定位多规模LLM中的隐喻因果子空间，并实现对分类与生成任务隐喻性的操控
📌 工作参考价值（4 点）
- 在电商/广告文案生成中，可借鉴“概念方向”表征工程：定位“创意/隐喻/促销/正式”等风格的因果方向，通过激活空间 steer 控制文案风格，无需微调大模型。
- 用 probing 先行定位模型内部可操控子空间，再做 causal intervention 验证，成本低，适合快速验证 LLM 是否存在某种可调的风格维度。
- 可迁移到搜索推荐 query 改写、push 文案：按场景调节隐喻度/创意度，例如信息流标题更含蓄有吸引力，搜索广告关键词更直白匹配意图。
- 该工作主要是学术贡献，业务直接应用需自行构建风格标签、验证集和离线评测，但方法框架可复用。
不同任务不同去噪步：扩散语言模型的任务-时间感知量化
🧭 扩散语言模型 · 混合精度量化
Technion – Israel Institute of Technology · INSIGHT Lab, Ben-Gurion University of the Negev
发现扩散语言模型量化敏感性随任务与去噪步变化，提出无标签信号驱动的混合精度量化框架T2Quant
📌 工作参考价值（4 点）
- 若部署扩散语言模型做生成式推荐/Agent文本生成，可对去噪过程不同时间步做混合精度量化，而非全程统一位宽：在任务敏感步分配更高精度，其他步降低精度，能在固定显存/算力预算下提升生成质量。
- 采用无标签的敏感性信号（如全精度与量化模型输出分布的KL散度）离线为不同任务、不同时间步生成量化位宽策略，避免每个下游任务都需真实标注或评测指标，便于快速适配新业务场景。
- 该混合精度框架可与现有量化方法叠加（即插即用），工程上只需在推理时按步动态切换激活精度，不涉及模型重新训练；对需要反复去噪的扩散generation pipeline（如商品标题、推荐理由、Agent规划）可有效降低推理成本。
- 注意：这一结论源于扩散语言模型，若业务使用自回归LLM则借鉴有限；但若采用扩散或迭代解码架构，应避免沿用AR静态量化假设，需重新评估时间步/任务维度的敏感性。
Cola2：连续语义压缩与平衡离散生成的协同自适应层次语言建模
🧭 层次语言建模 · 连续压缩离散扩散生成
The University of Hong Kong · ByteDance Seed · Peking University · Renmin University of China
提出Cola2，通过连续语义压缩、离散重建-生成平衡与连续-离散协同适应，346B tokens训练8任务平均60.10超越Llama-3-8B部分任务
📌 工作参考价值（4 点）
- 对生成式推荐/Semantic ID：将物品语义压缩为连续 latent，再离散生成语义 ID；负反馈控制压缩率可省去辅助 loss 调参，适合对商品描述或用户行为序列做自适应语义摘要，减少 token 预算。
- 对搜索/广告文案生成：block-causal masked diffusion 解码器在 clean/noisy/dropped latent 条件下训练，能提高对 query/商品属性缺失或噪声输入的鲁棒性；Classifier-free guidance 可显式调节文案对约束的重建忠诚度和自主创意之间的平衡。
- 对 Agent 多轮交互：推理时 re-encode under fixed span layout 保持隐历史与实际文本一致，可缓解多轮生成中 latent history 漂移；stop-gradient 分离 Flow Matching 先验与表示学习，适合多任务/多阶段训练，避免先验目标干扰主任务表示。
- 对工程实现：continuous latent 压缩+离散解码可减少长序列 token 数，提升长文本/长行为序列建模效率；训练用 clean/noisy/dropped latent 条件成本低，可作为增强 decoder 鲁棒性的通用 trick。
基于流的谱核学习用于非平稳注意力
🧭 注意力核学习 · 线性注意力
The University of Hong Kong · National University of Singapore · Universidad Carlos III de Madrid
FSKA 用归一化流学习非平稳注意力核，移除 QK 投影并固定正交 V 投影，减少参数 40-47% 且保持线性注意力
📌 工作参考价值（4 点）
- 在电商用户行为序列 Transformer 中可替换标准 softmax 注意力为 FSKA：线性注意力内存扩展适合处理长点击/购买序列，避免截断，尤其适合用户长期兴趣建模。
- 投影参数减少 40-47% 的思路可直接用于压缩 CTR/CVR 或 Agent 策略网络的 Transformer 层：移除 query/key 投影、使用固定正交 value 投影，能降低参数量和过拟合风险，适合中小规模业务数据。
- 可学习的非平稳核比固定 softmax/RBF 更灵活，可适应行为序列中时间间隔、事件类型等异构 token 交互；其谱密度正则化方式可迁移到其他基于内积的匹配或聚合层。
- 注意论文聚焦通用序列建模，在推荐/广告数据上的效果需自行验证；更偏组件级参考而非端到端推荐算法。
LLM 分类器的电路化组合与成本优化
🧭 LLM 多分类器自适应组合与成本优化
Harvard School of Engineering and Applied Science · Kempner Institute for the Study of Natural & Artificial Intelligence · School of Electrical and Computer Engineering, Georgia Institute of Technology · Department of Electrical and Computer Engineering, University of California, Santa Barbara · Center for Computational Mathematics, Flatiron Institute
将多个 LLM 分类器组织为自适应查询电路，以更低成本突破路由/级联的准确率前沿
📌 工作参考价值（4 点）
- 在电商/广告/搜索中，LLM 常用于意图分类、商品属性打标、内容审核、相关性评分等；借鉴电路思想，将不同 prompt/模型/温度配置视为带成本的分类器，基于混淆矩阵动态调度，比固定级联更省调用成本。
- 工程实现上，可把每个 LLM 分类器封装为统一 Query/Decision 节点，离线用验证集估计各节点的 per-class 错误率和成本，再用动态规划搜索给定预算下的最优执行路径；在线按查表决策，适合批量打标和实时流量。
- 需要低成本高可靠性的 LLM 评审或 guardrail 场景，可先用便宜模型筛简单样本，对不确定性样本再追加强模型或 self-consistency，但要预先校准各分类器的条件错误率，避免误差传播。
- 对 Agent 评估 / 自动评测 / 推荐理由质量把关等任务，论文结论支持在多个弱监督信号之间做电路化融合，不等同于简单投票或级联，能更高效利用算力预算。
什么造就好的去掩码策略？扩散语言模型学习式去掩码的受控研究
🧭 扩散语言模型高效解码策略
NTU Singapore · Institute for Advanced Intelligence and Computing (IAIC), A*STAR · Centre for Frontier AI Research (CFAR), A*STAR
系统解耦学习式去掩码策略，提出轨迹收缩目标，856K参数策略在LLaDA-8B上取得最优精度-效率前沿
📌 工作参考价值（4 点）
- 若在搜索补全、推荐理由生成、query 改写等场景尝试 diffusion LM 或并行解码，可用「轨迹收缩目标」替代“与最终输出一致”作监督：只监督不会导致后续偏离参考轨迹的 commit，避免低 NFE 下过度激进解码。
- 策略输入不要只用 hidden states 或只用 confidence；二者结合的小型策略（856K 参数）即可达到最优前沿，且约 10% NFE 下降就能抵消 policy 开销，适合实时推荐/搜索的低延迟约束。
- 把解码过程视为 teacher，蒸馏出轻量 unmasking policy，能显著提升吞吐；在自回归 LLM 为主的生产环境中，若未来引入 diffusion LM 生成结构化输出，可复用这套精度-NFE frontier 和 throughput 评估方式选型。
- 该策略在 LLaDA-8B 上训练后基本迁移到 Dream-7B-Instruct，说明轻量 policy 有一定跨模型泛化性，可作为多模型共用的推理加速组件。
通过跨层潜向量量化实现逐层嵌入的极致压缩
🧭 LLM 嵌入压缩 · 向量量化
Mohamed bin Zayed University of Artificial Intelligence · Westlake University · Zhejiang University · University College London · Weizmann Institute of Science
提出 OPTIC，每 token 只存一个共享量化码，各层用仿射解码器还原层嵌入，实现约 100 倍 PLE 压缩并保留 97.8% 性能
📌 工作参考价值（4 点）
- 对超大 embedding 表（如 item/user ID embedding、多粒度语义 ID、序列模型 token embedding）做压缩时，可以借鉴「每 token/item 只存一个共享 code tuple + 各层/各任务用轻量仿射解码器」的结构，避免为每个层或每个上下文单独存储完整向量，显著降低参数量和存储成本。
- 压缩时不要只做向量重建，要直接拟合输出路径或下游任务损失。业务中可改为用蒸馏 loss 或 CTR/CVR 损失联合训练 codebook 和 decoder，比单纯最小化 embedding MSE 更能保留排序/推荐质量。
- 在生成式推荐或 LLM4Rec 场景，如果使用多层 Decoder 的 per-layer item/token embedding，OPTIC 的 shared token code 可等价为仅存一份 item 语义码，逐层 affine 解码出适合不同层表征需求的 embedding，适合推理端内存敏感的服务部署。
- 工程上可借鉴其 29.7% GPU 内存下降、几乎不增加延迟的结果：对 embedding 表做高倍压缩能直接释放显存，支撑更大 batch 或更长序列，但要避免 decode 过程引入高额计算，建议用简单仿射变换而不是复杂网络。
推测扩散：双重权衡下的速度-质量前沿
🧭 LLM 推理加速 · 推测解码与扩散模型
University of California, Los Angeles · Independent Researcher
联合调节扩散努力与推测解码宽松度，可扩展速度-质量 Pareto 前沿
📌 工作参考价值（4 点）
- 在电商/广告的 LLM 在线推理场景（如生成推荐理由、商品描述、Agent 工具调用），可考虑用扩散 LLM 作为 draft model 进行推测解码，其并行 token 生成能力有助于突破 AR 解码的内存带宽瓶颈。
- 当业务对 latency 敏感但可接受一定质量损失时，不必固守 lossless speculative decoding，可以显式引入 acceptance leniency 参数，快速获得有损加速。
- 工程实现上，不要只调 draft model 的 diffusion steps，应同时扫描 diffusion effort 和 speculative acceptance threshold 两个维度，找到适合自身业务的 Pareto 最优配置。
- 对需要动态权衡质量与延迟的系统（如搜索推荐中的 LLM 重排、对话式推荐），可构建类似的双参数调节机制，让线上策略根据流量状况实时切换。
网络搜索大模型中的数据空洞漏洞利用
🧭 LLM 安全 · 数据空洞攻击与防御
New York University Abu Dhabi
仅需一个攻击者页面即可在31%的联网LLM回答中植入内容，提示语气与模型选择防御效果有限
📌 工作参考价值（4 点）
- 对引入 LLM 联网搜索或 RAG 的电商问答、商品摘要、客服系统，需检测检索结果是否落入“数据空洞”（长尾/稀疏 query），对低权威源降权或强制多源交叉验证。
- 在 RAG pipeline 中实现对引用来源的域名权威度、数量与多样性阈值，避免单页攻击操纵合成答案；可设计“来源稀缺度”指标作为 abstain 或 flag 条件。
- 用户侧提示词（如“请怀疑”）仅有微弱防护，不能依赖 prompt 防御；需要在检索后排序/过滤层做硬约束，例如黑名单、域名信誉、时间/一致性校验。
- 生成式推荐/Agent 若使用 Web 检索来丰富商品信息或热点内容，攻击者可在小众商品/关键词下埋内容；上线前用红队模拟数据空洞攻击，评估模型引用行为。
大规模流语言模型：连续流实现并行生成与自推测加速
🧭 连续流语言模型 · 块并行解码加速
UC Berkeley · Amazon · KAIST · Carnegie Mellon University
Lafa 8B 连续流语言模型用 <30B token 训练达到 AR 质量，并以自推测解码实现 2.54 倍吞吐
📌 工作参考价值（4 点）
- 连续流语言模型可直接适配预训练 AR 模型，只用不到 30B token 训练即可达到匹配或更好的指令跟随/推理/编码质量，对业务中已有 LLM 的低成本改造有参考价值；在搜索 query 生成、广告文案生成等高吞吐场景，可将 AR 模型转为流式并行解码。
- 自推测解码方案用同一模型生成流式草稿并自回归验证，无需额外 draft 模型，相较 multi-token prediction 和离散扩散方法吞吐提升显著（2.54 倍），可直接用于线上推理降本。
- blockwise 流建模 + prefix caching + 块并行解码的组合可以作为工程参考：前缀因果注意力保证与 AR 的兼容性，块内双向异步流提升并行度，适合生成式推荐的 prompt 长、重复前缀多的场景。
- 流训练带来的 multi-token prediction 效应能保留甚至提升预训练 AR 能力，说明可以在业务微调阶段引入流训练做能力增强，而不只是推理加速。
基于变分解码的并行语言模型
🧭 并行解码 · 变分推断 · LLM 推理加速 ★ 深度解读
University of California, Irvine · ETH Zurich · Charité Berlin · Hasso Plattner Institute
用潜变量路由 token 间依赖，单次前向生成多个一致 token，实现接近自回归质量的 2.3-5.7 倍推理加速
📌 工作参考价值（4 点）
- 在线 LLM 服务加速：如果业务中大量调用 LLM 做搜索 query 改写、导购 Agent、商品文案生成，可尝试把现有 AR 模型改造成 PLM 风格的 block-parallel decoder；通过 β 调节质量/吞吐，SFT 时只对 response token 计算损失，保留 prompt 作为 context，直接复用到指令跟随与对话场景。
- 辅助变量 / Semantic ID 设计：Geometry-aware auxiliaries 使用 embedding 空间的加权 V oronoi 划分而非词表顺序，对生成式推荐中的 Semantic ID 构建有直接启发：用 item embedding 聚类/划分 codebook，比随机 ID 更保留语义，也能提高解码确定性。
- 偏好对齐可复用：PLM 的 DPO 用 response-restricted composite score 并做 length normalization，同时优化 AR encoder 与 parallel decoder；在电商 Agent 的 RLHF / DPO 流程中可以借鉴，避免并行解码分支在偏好优化后掉点。
- 工程验证点：relaxed speculative acceptance 相比严格 speculative decoding 接受率平均提升 46.5%，质量损失小；若迁移到 vLLM 服务，建议先在小参数模型上验证 2-5× QPS 提升，确认长 context、beam search 与自定义 attention mask 的兼容性。
扩散语言模型解码速度随任务与语言变化
🧭 扩散LM推理成本与解码速度分析
University of California, Los Angeles · CIS, LMU Munich · Munich Center for Machine Learning
扩散LM前向次数由输出新颖性与词稀有度决定，解码速度加权候选可提升推理准确率4.2点
📌 工作参考价值（4 点）
- 生成式任务可借鉴“解码步数作为难度/置信度信号”：在生成推荐理由、广告文案、搜索词推荐时，用前向次数或解码速度对候选结果排序或早停，低成本的候选往往更可靠。
- 对不同类型的生成任务设置差异化资源预算：复制/改写类任务（如 query 改写、标题生成）成本低，开放式生成（如创意文案）成本高，可在系统中动态分配超时或批大小。
- 多语言场景需额外考虑每 token 成本：高 tokenization 的语言不仅 token 数多，每 token 前向次数也更高，在估算延迟或做多语言资源分配时应加权而非只看 token 数。
- 用解码速度加权候选答案优于多数投票，在集成多个生成结果时可以在不增加额外成本的前提下提升可靠性，适合用于生成式推荐或 Agent 的最终答案选取。
MemT-1.0：迈向记忆原生进化的基础模型架构
🧭 记忆原生 LLM · MoS 扩展容量 ★ 深度解读
MemTensor Team
提出 MemT-1.0，用 Gated DeltaNet-2 与 MoS 将记忆内化为模型原生状态，128K 历史下较 full KV cache 提速 1.86×、存储降 66×
📌 工作参考价值（4 点）
- 会话/用户记忆建模：用固定大小的 recurrent memory state 替代全量 session KV cache，适合电商导购 Agent 的长期用户偏好、历史订单与多轮上下文压缩；持久状态可在多个 query 间复用，摊薄历史准备成本。
- 训练方法：冻结推荐/对话 backbone，只训 memory 参数，用 full-context teacher 做 top-K KL 蒸馏 + CE；业务上可用线上完整上下文模型蒸馏出轻量记忆模块，避免重训大模型。
- MoS dense routing：当记忆容量不够时扩展多个 memory expert，读写分开路由，比稀疏 MoE 更稳定；可用于用户分群/场景差异化的记忆写入与读取。
- 经验内化：把检索到的成功操作流程（如售后、选品、谈判策略）写入 memory state 来指导多步 agent，而不是每次都塞进 prompt；可降低 token 成本并提升行为一致性。
Meta Expert：跨层专家共享的存储与检索高效 MoE
🧭 MoE 架构优化 · 跨层参数共享 ★ 深度解读
Tsinghua University · Shanghai AI Laboratory
用跨层共享的 Meta Expert 替代层私有专家，在 Iso-FLOPs 下仅需 70-80% 专家数即可匹配 Vanilla MoE
📌 工作参考价值（4 点）
- 推荐/广告大模型 MoE 层可直接复用：如果业务中训练 MoE 结构的 LLM（如生成式推荐、用户行为序列建模），可将中间的若干层专家改为跨层共享的 Meta Expert 池，保持每层激活专家数不变，FLOPs 不变，但能节省 20-30% 专家存储参数，降低显存占用和加载成本。
- 多场景/多域专家共享借鉴拓扑设计：论文发现“前两层 + 最后两层保持 Local Expert，中间层共享 Meta Expert”以及“Meta 池分成 2 个 interleaved 子池”效果最好。这可以迁移到多域推荐模型：边界层保留场景特有专家，中间层共享通用专家池，既保留差异化又减少冗余。
- 专家冗余度量可用于模型诊断：用线性 CKA 的 Gini 系数衡量专家功能重叠，可以搬到推荐模型的分析中，识别哪些塔/专家在做重复工作，指导剪枝或共享决策。
- 双向 residual pathway 视角启发架构设计：共享参数层相当于在单次前向中让浅层和深层相互读取同一存储，等价于增加隐式跨层连接。在用户表征学习或序列建模中，可以考虑类似的“共享模块”让不同深度互相访问，而不必显式增加跳跃连接。
基于f散度的排序偏好对齐方法（f-RPO）
🧭 LLM 排序偏好对齐 · f-divergence ★ 深度解读
Purdue University · Michigan State University
将f-divergence对齐框架扩展到排序偏好，提出f-RPO，在排名恢复和生成质量上优于排序baseline
📌 工作参考价值（4 点）
- 可直接利用用户点击/转化排序数据训练LLM对齐策略：f-RPO的目标函数形式简单（TV/RKL变体）：L_TV = ½ E[Σ_i ρ_i(−σ(r_i) + Σ_{j>i} q(j|i) σ(r_j))]，用隐式奖励 r=β log(π_θ/π_ref)，无需显式reward model，可嵌入现有DPO流程。
- 构造排序数据时，采用异质生成器（不同温度/模型）产生候选，再由reward model打分并过滤低置信度样本（最小相邻margin≥0.5），可显著提升排序监督质量，适合电商场景下用LLM-as-judge批量生成偏好数据。
- 权重设计ρ_x(i)∝k−i, q_x(j|i)∝j−i 天然满足rank-favored条件，且理论保证排序一致性；这种高排名更大权重的列表级损失可直接迁移到学习排序任务。
- 方法用LoRA微调0.5B-9B小模型即获得明显排序能力提升，适合在广告/推荐轻量级模型上部署，可作为生成式推荐（如Semantic ID排序）的对齐模块。
RouteWeaver：将模式选择与执行编织进统一 LLM 路由
🧭 LLM 路由 · 模式选择与执行联合优化
Nanyang Technological University · Huazhong University of Science and Technology · University of Illinois Urbana-Champaign
统一 LLM 路由框架，联合学习执行模式与模型选择，COMET-GRPO 分层信用分配+渐进式探索，五领域平均准确率提升 11.03%
📌 工作参考价值（3 点）
- 在构建 LLM 路由/调度层时，不要把执行模式（单次调用、多轮、Agentic）写死，可用一个策略联合选择模式与模型；在电商搜索/客服 query 复杂度差异大时，让策略学会按需降级或升级，能平衡成本与效果。
- COMET-GRPO 的信用分配思路可迁移：如果路由器需要同时决定“调用哪个工具/模型”和“用几步完成”，将整体奖励分解为模式级和步骤级优势信号，能缓解稀疏奖励导致策略坍缩；在 Agent 编排中分别奖励“是否选择 Agent 模式”和“Agent 内模型选择”，可避免只选单轮或只选多轮。
- Progressive exploration 类似课程学习：先用规则/预设模式训练执行能力，再放开让策略自主选择；在业务中可用固定策略冷启动或基于历史数据预训练路由，再逐步切换到在线强化学习，防止早期策略坍缩到某个低风险模式（如全部走单轮）。
TokenGate：可学习 token 剪枝加速 LLM 预填充且精度不降
🧭 LLM 长上下文预填充加速 · 可学习 token 剪枝 ★ 深度解读
Stanford University · UC Berkeley
提出可插入组件 TokenGate，通过类 MoE 的 token-gated attention 端到端训练 token 剪枝，大幅加速长上下文预填充且精度不降
📌 工作参考价值（4 点）
- 在电商/Agent 场景中，长文档（商品详情、用户评论、搜索广告上下文、RAG 检索文档）的预填充是延迟和内存瓶颈；可借鉴 TokenGate 在模型中间层引入可学习 token 剪枝，相比 FastKV 等启发式方法，端到端训练能显著提升速度且精度无损，且可与 LoRA 一起微调，训练开销仅约 1.3x/step，总体甚至更少。
- token-gated attention 是关键 trick：把不可微的 top-K 剪枝通过类似 MoE 的门控值乘到 attention logits 上，让 scoring network 获得梯度，同时让模型骨干自适应剪枝后的稀疏注意力；该思路可迁移到任何需要在 Transformer 中间层做软筛选的任务，如多文档 RAG 中对检索片段做软裁剪。
- 训练时使用 dual budget sampling（全量 + 对数均匀采样的剪枝预算各一半损失），使单个模型泛化到不同 token 预算，无需为每个压缩比重新训练；这对线上需要动态调整 TTFT 和内存的推荐 / Agent 系统非常实用，可以一次训练，推理时按需调整 K。
- 工程实现上，将 per-key gate bias 融合进 FlashAttention 内核、剪枝后 forward 用 CUDA graph 固定 padding、KV cache 选择性裁剪等做法可直接复用到自研推理引擎，降低集成成本。
深度融合记忆：大语言模型的块级参数化记忆
🧭 参数化记忆 · 隐藏层深度融合
LUMIA Lab, Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory
提出块级参数化记忆DFM，训练数据构造检索量降低32倍，并深度融合进隐藏状态，无需在线检索
📌 工作参考价值（5 点）
- ### 对电商 / 广告 / Agent 的可借鉴点
- 在电商导购、广告文案或客服 Agent 中，需要给 LLM 注入领域知识（商品库、活动政策、广告规范）。DFM 提供一种冻结主干的参数化记忆方案：推理时无显式检索步骤，延迟低，比 RAG 更适合高 QPS 线上场景；可训练轻量 memory predictor + fusion 模块，把领域知识压缩进隐藏状态。
- 块级记忆监督是关键技巧：用 chunk embedding 作为预测目标，而非 token 级目标，训练数据构造的检索 query 可减少 32×、检索条目减少 2048×。业务数据量大、离线检索成本敏感时，优先考虑把知识切块并做块级记忆，能大幅降低知识注入成本。
- 门控 cross-attention 融合比输出层插值更深，能让知识影响中间表征；工程上可只插入少数层，冻结原模型，避免灾难性遗忘。适合给已有的推荐/Agent 底座模型做领域适配而不破坏通用能力。
- 可迁移到实时交互场景：让 memory predictor 根据对话或行为前文预测 chunk 级记忆，动态融合到解码过程，省去显式检索模块，简化架构并降低运维复杂度。
FuTransformer：面向 Hopper 的 Llama 式推理 FP8 Prefill 与 INT4 Decode
🧭 LLM 推理 GPU Kernel 与量化优化
在 H100 上实现 Llama 风格 Transformer 推理 CUDA kernel，prefill 用 FP8，decode 用 INT4 权重和旋转 INT4 KV cache，单步解码从 8.1ms 降至 2.8ms
📌 工作参考价值（4 点）
- 在线推荐/Agent 系统中 LLM 推理延迟敏感，可借鉴其 INT4 decode 方案：权重 INT4 + KV cache INT4，在 H100 上 batch=1 的 Llama-3.1-8B 单步从 8.1ms 降到 2.8ms，适合低延迟实时交互。
- 将量化权重和 keys 直接按 Tensor Core fragment layout 存储，避免生成完整中间 tile，减少显存读写和 kernel 复杂度；这项工程优化可复用到线上 embedding lookup 或 attention 模块的低精度部署。
- 使用 block-diagonal Hadamard 旋转抑制异常通道对 KV cache 量化误差的影响（旋转后 cache 量化仅增加 0.20 PPL），对用户行为序列、长历史 cache 的压缩存储有参考价值。
- 把固定 RMSNorm gain 折叠进权重、FP8 输出直接写入并采用 delayed scaling，合并多个独立 kernel 为 GEMM+epilogue，减少 kernel 启动和中间结果搬运，适用于实时特征服务中的算子融合。
词汇参考系：以原生语义解读LM残差流
🧭 LLM可解释性 · 残差流原生语义
Monash University · Chongqing University · Technical University of Munich
利用模型自身剩余层读取隐藏状态，构建词汇参考系，使残差流可读、可归因、可操控，早期退出可跳过近半层
📌 工作参考价值（4 点）
- 线上LLM推荐/搜索生成可集成LexFrame[1]做early exit或self-speculative decoding：在中间层检测confident readings，跳过约45%层，延迟降低且输出差异仅0.16 nats。
- 归因分析替代attribution patching：lexical frame的系数更忠实反映预测来源，用于电商推荐/搜索模型审计，定位影响query或item生成的关键token段。
- 用lexical basis做受控steering：在不影响其他token前提下引导预测，可应用于电商文案/搜索词生成，如注入品牌词、规避敏感词、约束推荐理由风格。
- 该方法不依赖对模型输出的拟合，直接复用前向过程，工程实现轻量，适合嵌入现有LLM推理框架作为内省工具。
DLite：面向 Agentic AI 的无历史投机解码框架
🧭 LLM 推理加速 · 历史无关投机解码
Shanghai Jiao Tong University · Shanghai Innovation Institute · Tsinghua University · Infinigence-AI
DLite 复用目标模型隐藏状态进行局部投机预测，避免维护历史 KV cache，在 agentic 任务中接受长度达 2-6 并超 DSpark 最高 70%
📌 工作参考价值（3 点）
- 在电商/推荐系统的多轮对话 agent（如客服、导购）中，长历史上下文会让 draft model 接受长度骤降且 KV cache 开销大；可借鉴 DLite 的 history-free 思路：不单独维护 draft model 的历史 KV cache，直接复用 target model 的隐藏状态做局部预测，大幅降低显存和延迟。
- 两阶段训练策略（先对齐隐藏状态再训练 sequential head 恢复块内因果依赖）适合训练自定义轻量 draft 模块，在效果和资源间取得平衡，可复用于需要低延迟的在线推理服务。
- 局部简单预测替代全局上下文建模，在 agentic 多轮交互中接受长度仍能保持 2-6，说明牺牲部分长程依赖换取更低的系统开销是可行的工程折中，适合高并发场景。
EMO：交替上下文优化与 logits 引导的闭环测试时计算框架
🧭 测试时计算 · 上下文优化与 logits 引导
Peking University · Samsung Research Beijing
训练免费的测试时框架 EMO 交替进行上下文估计与 logits 引导，平均提升 9.1 个百分点。
📌 工作参考价值（4 点）
- 在电商文案/搜索 query 生成等场景，可复用 EMO 的闭环测试时优化：用在线反馈或 LLM 评判器生成文本梯度，仅更新任务上下文提示而不微调模型，快速适配热点词、活动规则或用户意图变化。
- M-step 的 logits 对比修正思路可借鉴为轻量级生成控制：在同一 prefix 下对比“优化后上下文”与“旧上下文”的 next-token 分布，得到方向向量后对输出 logits 加权，类似 contrastive decoding / classifier-free guidance，无需额外训练，适合控制推荐理由或广告标题的风格/关键词偏向。
- 结果提示测试时算力分配：候选生成 + 验证/选择优于单纯增加 best-of-N 采样数量；成本敏感的生产环境可优先用更少候选 + 更强验证器，而不是堆采样数，尤其对 Llama 等模型效果更明显。
- 对 Agent 类系统有借鉴：外部评判器的文本反馈可作为上下文更新信号，让 agent 在多次交互中自我修正，无需访问 ground truth；但需额外日志与延迟预算，适合离线批处理或准实时场景。
扩散语言模型的多目标少样本提示
🧭 扩散语言模型 · 少样本多目标填充
University of Texas at Austin
用扩散语言模型在共享画布中同时填充多个掩码区域，并通过似然比奖励提升少样本示例跟随能力
📌 工作参考价值（4 点）
- 在电商文本结构化改写（如根据 2-3 个示例将商品描述转换成标题+卖点+属性标签等多字段）中，可借鉴扩散 LM 的多目标掩码填充：一次生成多个字段，利用左右上下文约束，比自回归逐 token 生成更连贯且避免重复。
- 选择性掩码+似然比奖励的思路可以迁移到 LLM 解码或 prompt 设计：只对关键槽位计算「有示例支持 vs 无示例支持」的概率比，作为过滤或重排分数，提高生成结果对 few-shot 示例的忠实度，减少随意发挥。
- 在需要格式转换/API 迁移的工程任务（如商品数据批量清洗、旧接口字段映射新接口）中，可以把每个字段当作一个掩码目标，展示少量成对示例后让扩散 LM 同时填充多个目标，减少多步串行生成的误差累积。
- 若团队已在探索生成式推荐中使用 diffusion LM 生成 Semantic ID 或多属性 token，这种共享画布的多目标填充可用来同时预测多个 token（如类目+属性+ID），相互提供上下文。
迈向正确的循环模型：拓扑、输入注入与循环状态设计（第一部分）
🧭 高效循环 LLM 架构设计
Institute of Foundation Models · USC · CMU
系统消融循环LLM的拓扑、输入注入和循环状态设计，证明Huginn架构在稠密和MoE模型上均优于Ouro且参数效率更高
📌 工作参考价值（4 点）
- 循环 Transformer 是低成本部署 LLM 的有效架构：在电商搜索、推荐系统等需线上低延迟、低显存的场景，可采用 prelude–recurrent block–coda sandwich 结构，以相同 FLOPs 将 resident 参数减少约 75%，适合高频更新和边缘部署。
- 把 input injection 看作增强知识检索与上下文利用的专项机制：在做 query 改写、搜索 suggestion、商品描述生成或 RAG-based 推荐时，可专门设计输入注入层，将用户上下文、商品知识等注入循环块，而不用改变整体拓扑。
- 循环状态设计应从简：论文显示 separate H/L recurrent states 和 random initialization 无稳定收益，因此工程实现中不要过度设计循环状态，优先使用简单共享状态和标准初始化，降低实现复杂度。
- MoE 与循环结合可行且路由更均衡：推荐系统的大规模稀疏 MoE 模型可借鉴 Huginn-style loop，用更少 resident 参数维持性能，同时改善专家负载均衡，适合多域/多任务推荐联合训练。
面向连续扩散语言模型的 Transformer 架构设计
🧭 连续扩散语言模型 · Transformer 架构优化
Polyadic Research Group · Dots Studio, Xiaohongshu · Peking University · SAGA Lab, The Chinese University of Hong Kong, Shenzhen · The University of California, Los Angeles
提出 LangDiT 架构，通过多项归一化与梯度路由改进，显著降低生成困惑度，刷新连续扩散语言模型 SOTA
📌 工作参考价值（4 点）
- 如果业务中尝试用扩散模型做文本生成（如商品描述、推荐理由、query 扩写），LangDiT 的 QK 归一化、更宽噪声条件和梯度路由技巧可直接迁移，降低生成困惑度。
- 连续扩散语言模型支持并行解码，适合低延迟文本生成场景，可探索用于实时推荐理由或广告文案生成。
- 置信度门控训练自条件可在训练时随机用模型自身预测作为条件，提升采样质量且不增加推理成本，适合作为生成式推荐模型的训练 trick。
- 架构级改进（而非单纯堆参数）对扩散生成质量提升明显，验证了在生成式模型中骨干网络设计的重要性，可借鉴到自研生成式推荐模型的 backbone 优化中。
N-Gram 记忆两比特量化：LLM 查找表压缩
🧭 LLM 条件记忆嵌入表压缩
Dnotitia Inc. · KAIST
共享 Gaussian trellis 与 norm restoration 将条件记忆行压缩为 2-bit 码，KL 较 2-bit RTN 降低 41-63%，DeepSeek 表由 203GB 降至 51GB
📌 工作参考价值（4 点）
- 大规模稀疏 embedding 表（用户/商品 ID、行为序列记忆、检索索引）可借鉴 CP 的“短码 + 局部 scale + 共享重建程序”：每行仅存 2-bit 码与 scale，离线共享解码器，线上仅解码被查行，显著降低 GPU 显存占用。
- 独立可解码行记录对推荐推理友好；线上 batch 只查少量 ID，无需全局反量化，可将压缩表常驻 GPU 或高速存储，保持稀疏 lookup 延迟。
- 先统计业务 embedding 坐标是否接近高斯，再选择非均匀量化/格码；若不满足，可先做归一化或白化，配合 norm restoration 使用，避免直接 round-to-nearest 的精度损失。
- 同等存储预算下，共享 trellis 优于 per-table 拟合码本和低秩残差；优先采用全局共享重建结构，训练时联合微调局部 scale，可进一步提升压缩效率。
微调前可线性读取的知识在微调后更能泛化
🧭 LLM 线性可读性与微调泛化
Center for Information and Language Processing, LMU Munich · Munich Center for Machine Learning (MCML)
预训练表示中原关系的线性可读性越强，新构造关系微调后的泛化越好，模型内 Pearson r=0.87–0.92
📌 工作参考价值（4 点）
- 微调电商/搜索领域的实体属性映射前（如品牌→类目、商品→属性、query→品类），先用线性探针测量预训练表示中该映射是否线性可读；可读性高时，小样本微调更可能泛化到长尾实体，可节省标注和算力。
- 若要做生成式推荐或 Semantic ID 映射等新任务，可构造“原属性→任意新标签”的代理任务，快速预判模型能否在新实体上泛化，避免在不可泛化的监督信号上做无效微调。
- 线上模型出现错误标签时，可将错误标签映射回原答案，并通过线性探针的 top 预测辅助诊断：错误可能不是模型没记住事实，而是共享结构没有被线性编码；这能指导后续是继续微调还是补充预训练/表示学习。
- 对 Agent 或 LLM4Rec 中需要模型进行规则归纳、实体聚类、属性补全的场景，优先选择预训练表示中已线性可分的特征作为监督目标，能显著提高微调后的 held-out 泛化。
超越专家排序：混合精度 MoE 量化的对比校准
🧭 MoE 混合精度量化与敏感度校准 ★ 深度解读
Nanjing University of Posts and Telecommunications · Tylogi AI Lab / TAIL · Southeast University · Microsoft · University of Cambridge
NatScale 用对称 KL 目标校准专家敏感度对比度，在固定存储预算下提升 MoE 量化保真度
📌 工作参考价值（4 点）
- 部署 MoE 大模型（如生成式推荐、精排 reranker、Agent 策略模型）做混合精度量化时，不要只看专家重要性排序：用 power transformation 校准敏感度对比度，可将不同层/模型放在共同信息尺度上，默认 τ=1 nat 是无调参的实用起点。
- 工程实现上把 joint gate/up/down 误差、结构化先验和校准权重解耦并预缓存，之后扫预算或 τ 只需重跑线性规划分配器，无需额外前向/反向，适合线上反复调整内存配额。
- 分配单元下探到 expert 内部 projection，而不是整层统一精度，可在同层内差异化 bit-width，压缩比与效果更优；电商推荐模型若含 MoE 或专家模块可沿用同一思路。
- 注意 PPL 与 native KLD 可能偏好不同 τ：若目标是输出分布对齐（如广告创意生成、query 改写），优先看 KLD/Top1 而不是 PPL。
当 KV Cache 慢于 GPU：面向上下文并行预填充扩展远程 KV 层
🧭 LLM serving · 远程 KV 层性能优化
Multiverse Computing
用成本模型解释远程 KV 命中何时不如重算，并通过分片、按 rank 分区和异步加载把 p99 从 83.32s 降至 0.67s
📌 工作参考价值（4 点）
- 部署远程 KV cache 前先用成本模型估算：带宽需超过 sR（本例 2.53 GB/s），且存在固定 per-hit 开销 T0≈0.33s，短于 ~17k token 的 prompt 命中根本不如 recompute；电商/Agent 的 long-context 服务中可用于决定启用远程缓存的阈值。
- 远程 KV 层按 PCP rank 分片、一个 server per rank 无协调，能将 GET 带宽提升 6.3 倍；可复用该思路给多卡并行推理服务，避免所有 rank 读写同一实例导致瓶颈。
- 将远程 KV 加载改为异步，能避免同步加载造成 GPU 空转、队列不稳；实测 p99 从 83.32s 降到 0.67s，对实时推荐/搜索的 LLM 在线服务很有参考价值。
- 修复客户端 bug 对稳定性影响大；如果接入 LMCache 等库，注意 unbounded stall 问题，及时同步 upstream 补丁。
解释 MoE 大语言模型在个性化中的专家角色
🧭 MoE LLM 个性化与可解释性
University of Copenhagen
用 MoE LLM 做个性化并通过 crosscoder 定位可解释个性化 latent 与专家路由，验证其因果作用
📌 工作参考价值（4 点）
- 可尝试把个性化底座从 dense LLM 换成 MoE LLM：论文显示 MoE 个性化性能与 dense 有竞争力，但只激活一小部分参数，适合电商/广告等对推理成本敏感的场景；在线服务时稀疏路由也能降低尾部延迟。
- 用 crosscoder 对「个性化前后模型」的成对激活学习可解释 latent，能直接定位哪些专家在编码个性化特征。业务上可以用类似方法做个性化模块审计，找出哪些专家/层负责特定用户群偏好，便于后续剪枝、蒸馏或加约束。
- 文中通过 boosting 相关专家让非个性化模型向个性化模型靠拢，说明个性化行为有可操控的专家路由路径。可以借鉴为「可控个性化开关」：对某些用户群或场景，只强化对应专家，避免全量微调或 prompt 注入。
- MoE 降低 polysemanticity 的结论提示：如果线上模型需要更强的可解释性、便于合规审查（如推荐理由、广告定向），选择稀疏架构比 dense 更容易解耦特征。
首达注意力机制（First Passage Attention）
🧭 注意力机制 · 选择性上下文擦除
University of Bergen
用路径极值替代累加衰减，实现选择性上下文擦除并压缩 KV cache 到 25% 仍保持长程检索
📌 工作参考价值（4 点）
- 长序列用户行为建模：FPA 的“路径极值”允许选择性擦除中间事件（如误触、临时会话）而保留早期长期偏好，适合电商用户序列编码。
- 多轮 Agent/对话上下文管理：可借鉴其栈式存活 key 机制，在 RAG 长对话中自动丢弃已撤销指令或中间推理，降低噪声并压缩 KV cache。
- 工程优化：FPA 在约 25% KV cache 压缩下保持 8 倍训练长度 passkey 检索，可直接用于长上下文推理降本，对搜索推荐 LLM 服务有实用价值。
- 可尝试将 FPA 头部作为用户序列编码器，替代 additive forget gate，提高对层级事件（加入/删除购物车、订单状态变更）的敏感度。
SpectrumQuant：面向LLM量化的谱对齐旋转方法
🧭 LLM 量化 · 正交旋转 ★ 深度解读
Indian Institute of Science
通过协方差最大化推导出闭式数据感知正交变换，大幅降低LLM量化校准成本
📌 工作参考价值（4 点）
- 数据感知旋转替代固定 Hadamard：在电商/搜索推荐场景部署 LLM 时，若采用旋转量化（如 QuaRot、SpinQuant），可直接用激活协方差特征向量作为对齐组件 U，再与 Hadamard/Butterfly 混合，无需迭代优化即可获得与学得旋转相当的精度，适合快速适配领域数据（如电商 query、商品描述）。
- 闭式解大幅降低校准成本：SpectrumQuant 仅需估计激活协方差并做特征分解，70B 模型校准仅 43 分钟（单 A6000 GPU），内存占用 22 GiB，相比 SpinQuant 加速 21 倍、省 9.8 倍内存，且支持 CPU 校准，适合资源受限的线上服务或边缘部署。
- 旋转可完全吸收进权重，零推理开销：正交旋转矩阵可合并到相邻权重中，实测 MacBook 上推理吞吐与无旋转基线一致，不影响在线延迟，适合对实时性要求高的搜索推荐/Agent 系统。
- Butterfly 矩阵作为高效混合组件：理论证明满足 |v_{ki}|=1/√d 的正交矩阵（Hadamard、特定角度 Butterfly）均为最优混合组件，Butterfly 乘法 O(d log d) 可进一步降低在线计算，替换 R3/R4 中的 Hadamard 不影响精度。
Jeva：从第一性原理构建系统一模型
🧭 LLM 决策原生架构 · 系统一模型 ★ 深度解读
National University of Singapore
提出 Jeva 决策原生架构，解耦候选编码与请求判断，实现空结果感知、置换不变、候选可扩展与跨请求缓存
📌 工作参考价值（4 点）
- 候选库（商品/广告/工具/标签）用独立 encoder 离线编码成 option memory，在线请求只做 state refinement，尤其适合候选项重复率高的推荐/广告检索场景；set cache + hybrid cache 可大幅降低 p50 延迟。
- 输出层 factorize 为 coverage gate + conditional softmax：在推荐/广告中区分“无可用商品/不投放”和“候选间排序”，避免直接 softmax 的 logK 先验，提升拒答与空结果判断。
- 候选顺序不敏感：用 permutation-equivariant aggregation 天然保证重排商品/工具候选不翻转决策，无需数据增强或一致性 loss。
- 用 LoRA 适配大模型做 decision head，统一 Choice/Noul/Score 接口，支持多任务（是否推荐、选哪个、打分）共用同一决策栈。
快手摘要注意力 V2 技术报告：C-KSA 与 S-KSA
🧭 长上下文高效注意力 · 二级KV压缩与稀疏索引 ★ 深度解读
Kuaishou
在 Hybrid KSA 上新增 C-KSA 与 S-KSA，把 Summary 同时用作可二级压缩 KV 记忆和稀疏索引，128K 下 KV cache 减少 40.4%、prefill 达 1.51×
📌 工作参考价值（4 点）
- 如果业务中已有或计划引入 Summary/landmark token 机制，可参考 C-KSA 的二级压缩：把每 km 个 Summary KV 池化为 layer-local Meta entry，Summary 序列继续按原粒度前向传播，远程缓存按 ks*km 倍压缩。这样可以从已有 Hybrid 模型低成本 retrofit，不用重新设计 chunk size。
- S-KSA 的 block-level routing 比 token-level 索引候选数少 b 倍，适合在电商搜索/广告 Agent 的长候选列表、长商品序列中做稀疏读取；其默认参数 b=4、remote budget K=4096、local window 1024 可作为起步配置，block size 放大到 8 会明显掉点，需谨慎。
- 如果只允许训练新模块，可冻结 backbone 做 module-only 适配：C-KSA 先对齐 attention 输出再全参微调，S-KSA 用 dense teacher 蒸馏 block 选择，18.5B tokens 即可接近 parent；block teacher 用 max pooling 不要用 sum pooling，后者会稀释 salient token 信号。
- 注意失败模式：频繁词提取等全局聚合任务在 128K 下从 45% 跌到 26.67%。若业务需要跨长上下文做类目频次、属性统计等聚合型召回/排序信号，应保留 dense 分支或额外聚合结构，不要完全依赖 sparse attention。
ReaDy：循环状态作为动态上下文加速混合线性注意力大模型投机解码
🧭 LLM 投机解码加速 · 循环状态
StartLux · University of Chinese Academy of Sciences · The University of Hong Kong
首个利用混合线性注意力循环状态做位置特定上下文检索的投机解码方法，平均3.16倍解码加速
📌 工作参考价值（4 点）
- 如果业务里用 Hybrid Linear Attention 类模型（如 Qwen3、Gated DeltaNet 等）做对话式电商助手或 Agent 长链路生成，可以把目标模型已计算过的 recurrent states 作为草稿模型的辅助上下文，而不是只用最后层 hidden states；这类状态累积历史 token 关联，对预测后续位置更有帮助。
- 工程实现上，参考 ReaDy 的低秩状态读取（low-rank state reads）和 fused operators：将额外上下文投影到低秩空间再融合进 draft representation，避免草稿模型显存带宽和 I/O 显著增加，适合在线推理服务做低延迟 speculate。
- 采用两阶段轻量适配：先冻结 backbone 只训练 query/reader，微调 sequential prediction head；这种改造方式可在已部署的生成模型上低成本引入投机解码，无需全量重训，利于快速线上验证。
- 论文在单卡 B200 上对 Qwen3.8-27B 平均 3.16x 加速，吞吐比 DSpark 提高 7.97%。如果业务需要大量长文本生成（自动文案、Agent planning、多轮推荐解释），可以把 speculative decoding 作为默认推理优化方案之一。
复制粘贴语言模型
🧭 LLM 预训练 · 上下文复制机制
Cornell University
在 LM 头旁增加轻量 Copy-Paste 头显式建模上下文复制，提升训练效率与下游表现
📌 工作参考价值（4 点）
- 商品名/品牌词/SKU/Query 需要精确复现：在微调或继续预训练时，可在 LM head 旁加一个 pointer/copy 分支，从输入序列直接复制 token，降低改写错误与幻觉。
- RAG / 长上下文用户行为建模：模型常需从知识库或历史序列中复现实体，CPLM 思路可帮助提升长程复制准确率；可对现有 LLM 做轻量适配，不必重训 backbone。
- Agent 工具调用：API 名、参数、ID 等必须逐字复制，copy head 能增强此类能力；建议在工具选择评测中对比标准 LM head 与 copy 分支。
- 实际成本：增加头参数极少，推理可结合 KV cache 实现高效复制计算，适合对延迟敏感的生产环境。
任务导出评分细则，证据得出判断：工具增强的逐点 Rubric 奖励模型
🧭 LLM 奖励模型与 Rubric 评估
University of Tennessee · University at Albany
提出 ReVeR，从指令本身推导评分细则并用工具增强逐点评分，通过标签盲蒸馏训练，超越 pairwise rubric RM
📌 工作参考价值（4 点）
- 从指令本身推导评分细则，避免响应偏置：在电商推荐/Agent 评测中，构建 reward 或评估模型时，不要仅从已有候选回答归纳准则，先从任务指令或用户需求出发生成硬规则和分级原则，提升评估的泛化性与公平性。
- 工具增强判官提升机械约束处理能力：对于需要精确标量、结构化约束或事实核验的推荐文案、搜索改写、Agent 动作评估，让 judge 主动调用工具（如代码执行、数据库查询）从证据得出判断，而非单纯阅读，可显著提高指令遵循类指标。
- 标签盲蒸馏降低数据成本：用偏好标签仅过滤教师模型输出，生成大量 rubric-reasoning 与 judging 轨迹，可复用到需要大量过程监督数据的奖励模型训练中，适合资源有限的业务场景。
- 偏好准确率与下游策略效用不必然一致：部署奖励模型时不要只盯偏好准确率，需联合下游生成策略的线上指标和 rubric fidelity 联合验证，尤其在 RL 微调后可能出现“高分低质”脱节。
虚拟头注意力：线性重参数化实现双重 KV 压缩与质量提升
🧭 长上下文 LLM · 注意力重参数化 ★ 深度解读
Baidu Inc. · Peking University
通过 Q Premix 与 Linear Postmix 将训练后模型吸收为标准 GQA-2，实现 KV cache 4 倍压缩、训练 FLOPs 下降且质量提升
📌 工作参考价值（4 点）
- 线上长序列生成式推荐/Agent 工具调用受 KV cache 限制时，可参考 VHA：训练时加入线性头间混合，推理时重新参数化为标准 GQA-2，无需改推理框架；已有 GQA-8 服务可尝试降到 2 个 KV heads 并配合 Premix/Postmix，保持质量同时降低 4 倍缓存。
- (I+BA^T) 低秩 identity-residual 结构可迁移到多场景/多任务序列建模的输出融合，低秩约束提供隐式正则化，防止跨 head 混合过拟合；电商多业务场景可用其做 soft routing 而非共享 attention。
- Premix 的 per-group query transform 能实现 group-conditioned query specialization，在用户长期行为序列中根据不同 KV group 学习不同查询方向，不增加缓存即提升注意力多样性。
- 消融显示单纯 halve heads 会损失质量，必须同时在 query 侧做虚拟扩展、在输出侧做跨组融合；如果要在推荐模型中压缩 attention 头数，应同时设计两侧补偿，缺一不可。
FreeSolo：零样本长度外推的线性时间稀疏注意力
🧭 线性时间稀疏注意力 · 长度外推
National University of Singapore · University of Toronto · Sea AI Lab, Singapore
短程滑窗+长程 keypoint 选择的稀疏注意力，线性变体短 CPT 即可零样本长度外推
📌 工作参考价值（4 点）
- 在电商/广告/搜索推荐中，用户行为序列可能长达数十万 token，完整 attention 成本过高；FreeSolo 的“短程滑窗 + 长程 keypoint 选择”可直接启发用户长期记忆或 Agent 记忆模块设计：用 keypoint 表示长历史中的关键类目/商品节点，显著减少 KV cache 和推理延迟。
- FS-L 表明通过较短的继续预训练即可学会前缀剪枝，并获得零样本长度外推能力；已有 4k/8k 底座、需要扩展到 64k/256k 行为序列的团队，可以避免昂贵的全量长上下文 CPT，采用类似的稀疏化微调路径。
- FS-B 的 radix-sort + 平衡树 O(N log²N) 构建成本，为大规模商品/内容索引的层级化检索提供工程思路：离线构建可剪枝树状索引，在线做 query 相关的 top-k 节点选择，兼顾精度与时延。
- 可复用 S-NIAH/RULER 作为长上下文模块评估指标，相比单纯 loss 更能暴露零样本长度外推能力。
DualQuant：LLM 免校准双尺度权重激活量化
🧭 LLM 量化 · 免校准 W4A4 ★ 深度解读
d-Matrix
用权重重构误差最小化导出的列尺度兼作激活重缩放，实现免校准 W4A4 量化，支持 INT4/MX/NVFP4
📌 工作参考价值（4 点）
- 在电商客服机器人、端侧推荐模型等隐私敏感或无法稳定获取校准数据的场景，可直接用 DualQuant 替代 SmoothQuant，省去校准集采集和分布敏感问题；其纯权重驱动特性也适合模型频繁更新、快速验证低比特推理的迭代节奏。
- 借鉴双尺度思路：对推荐模型中的 Embedding 或 MLP 层做量化时，引入列尺度抑制异常值，并让该列尺度同时作用于激活输入，可有效降低激活量化误差；工程上把列尺度融合进激活量化 kernel，避免额外 kernel launch。
- 格式感知投影是关键：如果硬件支持 MX 或 NVFP4（如 Blackwell），务必把尺度投影到格式允许的离散集合（E8M0/FP8 UE4M3），否则会出现 SINQ+ 那种尺度越界导致的完全发散；投影可在每次闭式更新后做最近邻取值。
- 离线量化成本极低：BCD 每次更新是闭式表达式，无需 Hessian 或反向传播，可以快速对新上线模型进行量化，适合电商/广告侧需要频繁部署新 LLM 或量化多版本模型的场景。
Orthros：相位感知异构注意力，高效 Transformer
🧭 高效 Transformer 注意力架构 ★ 深度解读
The Hong Kong Polytechnic University · University of Chinese Academy of Sciences · Independent Researcher · University of Sydney
Orthros 注意力按预填充/解码相位解耦：线性复杂度预填充加全注意力解码，长上下文召回近无损并大幅加速推理
📌 工作参考价值（4 点）
- 对于推荐/搜索/Agent 中长 prompt、短输出的场景（如基于大段用户行为序列生成推荐理由、商品描述改写），这类相位解耦注意力可将 TTFT 降低数倍，适合在线低延迟要求；若输出很短，收益尤其明显。
- 现有 LLM（如 Qwen3、Llama3.1）可通过 80B token 级继续训练转换为 Orthros 结构，且性能不降，业务方可在已有模型上低成本验证和部署；转换时注意保留窗口大小 128 的设置。
- 双流设计（滑动窗口 + 全注意力）通过复制输出 token 实现全局召回，可复用到需要长上下文记忆的对话式推荐、个性化解释生成等任务，避免线性注意力带来的召回损失。
- 工程落地需注意：当前实现基于 FLA/SGLang，解码时额外 token 会增加 FLOPs，但在 I/O bound 解码阶段可被掩盖；若使用 MoE 或需要 KV cache 压缩，需要定制路由和缓存策略。
任务上下文塑造语言模型中组件角色
🧭 语言模型组件角色的任务上下文依赖性
University of Pennsylvania · Yale University
任务上下文改变共享注意力头响应的事实及其对后续计算的影响，线性响应图可预测干预效果
📌 工作参考价值（4 点）
- 在多任务电商/搜索 LLM 中，共享注意力头的角色随任务 Prompt 改变：可测量不同业务任务（query 改写 vs 推荐理由生成）下各头的影响分布，识别任务关键头，指导稀疏微调或任务特定低秩适配，避免全参更新。
- 线性响应图可作为轻量任务行为代理：为不同业务 Prompt 构建组件间线性映射，用早期激活变化预测后续层响应，降低线上任务切换时的行为漂移监控成本。
- 激活编辑切换行为而不改指令：在可控生成或 Agent 风格切换场景，只编辑早期内部激活即可让模型读取不同事实/知识，无需重写 Prompt，可用于无感干预或 A/B 隔离测试。
- 但整体属于机制可解释性研究，业务直接收益有限；其干预测量与影响分数方法可迁移到诊断推荐/搜索任务间泛化失败原因，但需自行设计干预目标。
ReplaySSM：缓存 SSM 输入而非状态
🧭 LLM 推理加速 · SSM 状态缓存优化
Princeton University · NVIDIA
通过 checkpoint 加近期输入缓冲替代逐步状态读写，显著降低 SSM 状态 I/O 并支持高效投机解码与混合精度
📌 工作参考价值（4 点）
- 在线推理中若使用 Mamba-2、Gated DeltaNet 等 SSM 或混合模型，可参考 ReplaySSM 的 checkpoint + input buffer 设计，将状态更新从逐步改为周期性批量更新，减少约一半状态内存流量；直接降低首 token 延迟和长序列 decoding 成本，对搜索推荐场景中的 Agent 长链推理和工具调用尤其有用。
- 投机解码的 rollback 可以从复制/恢复完整状态改为只移动输入 buffer 的指针，极大降低回滚开销；在推荐系统里做批量候选生成或 LLM 推理时，可为投机验证阶段节省内存和计算，提高吞吐。
- 混合精度技巧：输出计算使用低精度 checkpoint，循环更新使用高精度 checkpoint，两个副本分离，避免量化误差进入后续 recurrent state。如果在线模型需要对状态做量化压缩，可采用此方法降低 KL 散度和下游效果损失。
- 工程实现上可以直接集成到 vLLM 等现有推理框架，不要求替换模型结构；业务中若已使用 vLLM 部署 SSM 或混合架构，可评估开启 ReplaySSM 获取 1.2-1.47x 标准解码加速或 1.8x 于投机解码的吞吐提升。
语言模型何时该弃权：策略学习与校准答案选择
🧭 LLM 弃权策略与答案选择校准
CICATA Qro., Instituto Politécnico Nacional, México · Facultad de Informática, Universidad Autónoma de Querétaro, México
在 Qwen3-14B 事实问答上，独立答案选择器比模型置信度过滤显著提升效用，但跨数据集可靠弃权仍未解决
📌 工作参考价值（4 点）
- 在业务中若想让 LLM 客服/导购助手“不确定时闭嘴”，可以优先训练一个独立的答案选择器（用模型置信度、问题难度等特征），而不是直接微调生成策略；论文显示选择器比直接对模型概率做阈值过滤更稳定。
- 奖励设计要显式惩罚错误答案，避免只用正确率：若错误和弃权得分相同，模型会倾向乱猜；引入较大错误惩罚能改变弃权行为。
- 上线前务必在目标分布上重新校准：论文中 TriviaQA 有效的方法在 NQ-Open 上仍低于“全部弃权”，说明弃权策略跨数据域泛化差，不能拿一个公开基准的阈值直接用于电商/广告流量。
- 对推荐/生成式场景，可以为每个生成结果同时输出 confidence 或单独跑一个弃权打分器，只展示高于阈值的推荐理由、商品知识回答，降低事实错误带来的负面影响。
语言模型能玩维基百科游戏吗？
🧭 LLM 信息检索导航能力评测
The Alan Turing Institute
构建大规模本地维基与引文图，评测 LLM 跨语言/跨领域导航检索，最佳模型与人类相当但未超越
📌 工作参考价值（4 点）
- 借鉴 Wikipedia Game 评测框架，用本地构建的商品/内容链接图（如商品详情页关联、类目树、百科内链）替代依赖外部 API，低成本评测 LLM 在业务知识图谱上的多跳导航与检索能力，提前发现跨类目/跨语言失效模式。
- 在选型 LLM 做检索或 Agent 路径规划时，不要只看平均分：模型在不同语言/话题下排名会反转，业务上应按店铺类目、搜索语言分别评测，针对性部署或路由。
- 把 TF-IDF 和人工导航成功率作为双 baseline：当 LLM 只是“与人类相当”时，适合做辅助或候选生成，不建议完全替代人工；工程上可设置阈值或 human-in-the-loop 校验。
- 若构建商品/论文/类目大规模图并导航，可复用该工作已开源的 Wikipedia 与 OpenAlex 图构建代码，作为本地 RAG/GraphRAG 的路径探索与评测数据集。
自适应 DHiSparse：负载自适应分层 KV 上的投机解码
🧭 长上下文 LLM 推理 · 分层 KV 投机 ★ 深度解读
Umans AI
把 DSpark/DFlash2 投机解码接入分层稀疏 KV，并用可回收 optional residency 随负载调整 GPU 驻留，显著提升长上下文吞吐
📌 工作参考价值（4 点）
- 长上下文 Agent / LLM4Rec 场景：不要全量 resident 或全量 offload，用「固定 hot cache + 可回收 optional history」；低负载多驻留 GPU，高负载按整请求回收，host 永远有备份，能同时保吞吐和并发。
- 接入投机解码时，draft KV 用窗口 ring 限制大小，按 W + Kmax 加 page 对齐分配；验证阶段多个 query 的 top-k 选择做 union 去重，同一 miss row 只 host copy 一次，本文中可减少约 29% fetch。
- verification staging 按 live layer group 复用，而不是给每层分配；GLM 78 个 payload 层只留 4 个 arena，staging 从 24.0 GiB 降到 1.23 GiB，这对多 query 验证和长上下文服务非常关键。
- 调度上可用式(13)判断投机是否划算：当 speculative 与 non-speculative 的 active session 比低于 TPOT 改善比时，投机不再增加吞吐，应动态收窄 block 或关闭投机，避免高负载下白白等待 slot。
驾驭激活波：分析 LLM 隐藏状态信息与几何以支持推测解码
🧭 LLM 推理加速 · 推测解码层选择
Qualcomm AI Research · Stanford University
提出基于矩阵熵与 CKA 的 LLM 多隐藏层选择框架，在 EAGLE3 推测解码中优于固定层选择
📌 工作参考价值（4 点）
- 在 EAGLE3 类推测解码中不要盲用 [2, N//2, N-3] 等固定层，可用矩阵熵（informativeness）+ CKA（diversity）选择低冗余、高信息层，改善 draft 模型质量与加速比。
- token-entropy filtering 可过滤低预测熵 token 后再计算层选择统计，避免高频简单 token（如电商搜索中的常见 query、模板化文案）污染层重要性评估。
- CKA 跨层相似度分析能定位 decoder 中的几何/信息 compartment，帮助工程上决定哪些层适合共享、蒸馏或做 KV cache 优化。
- 对于用 LLM 做实时生成式推荐、搜索词/广告文案生成的业务，选择 hidden states 子集而非全部层，可在不显著掉质量的情况下减少 draft 模型输入维度，节省推理成本。
LLM引导的分块特征工程：将长文本转化为可执行预测特征程序
🧭 LLM 驱动的自动化特征工程 · 程序合成
City University of Hong Kong · Qfin Holdings, Inc. · Tianjin University · Carnegie Mellon University
LLM-BlockFE离线把长文本构造成可执行特征程序，在线零LLM调用，用带回滚和并行轨迹的分块搜索提升特征质量
📌 工作参考价值（4 点）
- 在线零 LLM 调用：在推荐/搜索/广告的高 QPS 场景，把 LLM 仅用于离线生成特征代码块，线上只执行提取逻辑，避免大模型推理时延与成本。适合处理商品评论、用户反馈、搜索日志等长文本，转化为可复用结构化特征。
- 可解释且可维护的特征工程：生成的是可执行代码块而非黑盒向量，便于沉淀到特征平台、版本管理和审计，满足风控、广告审核等强合规场景。
- 块级回滚与多轨迹搜索：用 depth-calibrated credit allocation 识别低质量代码块并回滚，减少贪心搜索局部最优；交错推进多条搜索轨迹共享方向描述，降低冗余探索，适合在特征探索阶段降低 LLM 调用次数与成本。
- 业务迁移方向：可用于电商退货/纠纷预测、广告点击转化中的文本信号提取，例如从商品标题和评论中自动构造用户意图、质量风险、价格敏感度等特征，替代部分人工特征工程。
门控记忆：面向对话 AI 的准入控制式记忆形成
🧭 对话 AI 长期记忆写入的准入控制与上下文绑定
Samsung Research America
在记忆写入前增加准入门控与条件增强，使事实形成质量成为可测量的记忆约束
📌 工作参考价值（4 点）
- 在客服/导购 Agent 的记忆模块中，写入用户画像前增加 admission gate，区分永久属性（如“我有糖尿病”）与临时状态（如“今天想买无糖零食”），避免 transient 信息污染长期记忆。
- 对写入的每条事实记录 provenance（直接陈述/推断）与适用条件，并做实体范围约束：禁止写入上下文中未出现的实体，可减少 LLM 抽取幻觉带来的记忆污染。
- 将事实分解为原子事实并带时间/地点锚定，可支持后续检索时的时效性过滤和条件匹配，适合电商场景中需要根据“最近偏好”做推荐的系统。
- 轻量、模块化设计，可作为现有 RAG/记忆管线的独立中间层，不改变检索和生成即可验证记忆形成质量收益。
排练一切，记住无物：Attic-KV 只排练将被读取的内容
🧭 LLM 长上下文 KV 缓存压缩 ★ 深度解读
Nanyang Technological University
提出训练无关的 Attic-KV 排练策略，以自生成 QA 与内容自适应锚点取代全文重读，大幅提升极限压缩下的长上下文问答与缓存复用
📌 工作参考价值（4 点）
- 电商商品详情、文档库做预计算 KV 缓存时，可用 LLM 对每个商品/文档生成“读者可能问的问题+原文引用答案”作为 rehearsal，再做 3-5% 预算的 KV 淘汰；比全文重读更能保住属性、价格、政策等答案片段，且 5% keep ratio 可把缓存容量放大 20 倍。
- 选择 rehearsal 长度不要固定比例，按内容稠密自适应：锚点数量=目标 keep ratio，再扩展到包含锚点的句子长度；商品参数表、FAQ、规格列表会被排练更多，营销 prose 少排练，避免预算浪费。
- 可直接替换现有 KVzip/KVgrad/RestoreKV 的 rehearsal，不改变 scoring、不重训；适合已有推理加速链路的团队，先用 KV2+Attic 低成本验证，再决定是否引入 restore tokens。
- 自生成 QA 放在离线/一次性路径，每个商品或文档只生成 6 个 Q&A（≤256 tokens），压缩耗时反而低于全文重读；适合大规模语料缓存、RAG 文档库与 Agent 长对话记忆。
PreSTO：预测子树预取加速 LLM 幂采样
🧭 LLM 推理加速 · 幂采样预取
University of Texas at El Paso · Georgia Institute of Technology · Morgan Stanley
将 MH 串行接受/拒绝展开为决策树批量预取，不改转移核，加速 LLM 幂采样 1.7-2.3 倍
📌 工作参考价值（4 点）
- 若业务在 LLM 推理中采用 self-consistency / best-of-n / 拒绝采样（含 MH 接受/拒绝），可将串行“提出-判断”展开为决策树，用一次 batch 请求预取多个可能分支，再沿原始接受规则回放，分布不变但大幅减少模型调用轮次；适用于生成 item 标题、搜索 query 改写、广告文案等多候选投票场景。
- 预测性子树遍历规则：用轻量模型预测哪些分支更可能带来更多有效转移，优先预取高收益子树，减少无效 KV cache 与计算；在 Agent 多轮推理、RAG 多跳 query 改写中可借鉴“先预测路径价值，再决定 speculative 分支”的思路。
- 工程核心是 batch 内做子树级 speculative execution 并保证 kernel 不变，无需改模型或采样器；已有推理框架若支持 batch prefill/continue，可低成本实验。
- 整体偏学术，若业务对延迟不敏感或没有大规模 MH 采样，直接收益有限；主要价值在 LLM inference optimization 的方法论。
VFold：对称性感知的跨层 Value Cache 压缩
🧭 LLM 推理 KV cache 压缩
Johns Hopkins University · George Mason University
利用 value cache 跨层对称性做无损合并，不改模型结构，可与量化/剪枝组合进一步压缩
📌 工作参考价值（4 点）
- 适合长上下文 Agent/RAG/LLM 排序服务：在不改模型结构、不重新训练的前提下，于 decode 前对 value cache 做跨层对称合并，可直接降低显存占用，线上可插拔。
- 可与 KV cache 量化或 key cache pruning 组合：先做 VFold 式 value 合并，再做高压缩比量化/剪枝，能在 memory 受限条件下换更大 batch 或更长上下文；需用 LongBench/RULER/多轮工具调用等业务指标回归。
- 工程实现上只需读取 value cache 并做轻量融合/索引，对注意力结构无侵入，适合已经冻结模型参数的线上推理框架（如 vLLM、TensorRT-LLM）外挂使用。
- 可离线检测各层 value 表示的余弦相似度/CKA，定位高冗余层，再决定合并范围；若用 LLM 做序列推荐或用户行为编码，类似跨层冗余也可能存在，值得做一次成本极低的探测。
并行草稿上下文校正用于投机解码
🧭 LLM 推理加速 · 投机解码
DCOCO通过并行上下文评分恢复并行草稿块内依赖，在多种解码设置下取得最高吞吐，最高6.6倍加速
📌 工作参考价值（4 点）
- 若在线上用 LLM 做搜索 query 生成、商品文案、Agent 对话等文本生成服务，可引入投机解码降低首 token 延迟，DCOCO 的并行上下文校正比顺序校正更适合高并发请求，实测 4–32 并发下提升 6–23%。
- DCOCO 在保留 drafter 并行性的前提下，通过轻量 scorer 恢复块内 token 依赖；类似思路可用于生成式推荐的 beam search / 候选生成，在保持并行推理的同时加入相邻候选的相容性打分，避免完全独立采样导致的低质量序列。
- 部署时要关注 drafter 与 verifier 的 KV cache 管理，DCOCO 的候选打分机制只增加很小开销，适合与 continuous batching / vLLM 等 serving 框架结合。
- 顺序校正（如逐个用上下文修正）在高并发下可能因为 kernel launch 开销反而退化，选择并行打分方案更稳。
大型语言模型基础：预训练、生成、提示、对齐与推理
🧭 LLM 基础理论与技术体系
Northeastern University · NiuTrans Research
系统梳理LLM预训练、生成建模、提示、对齐、推断与推理六大基础主题的技术参考书
📌 工作参考价值（4 点）
- 对齐章节可指导生成式推荐中的偏好优化：将点击/转化作为偏好信号，用 RLHF/DPO 类方法微调 LLM，避免纯 SFT 导致推荐结果多样性差。
- 推理章节中 CoT/self-consistency 可迁移到电商 Agent 的查询理解与任务规划：对复杂购物意图引入结构化推理轨迹，提升 query 拆解与商品召回准确率。
- 预训练与生成模型基础解释了 Semantic ID 建模本质：把 item 表示成 token 序列并用 LLM 生成 next token，可复用书中的解码策略（温度、top-k/top-p）和训练技巧。
- 工程部署时可参考推理章节的 KV cache、批处理与量化基础，对线上低延迟生成式推荐与导购 Agent 有直接帮助。
解码感知剪枝：面向 LLM 高效推理的 SparseDecoding
🧭 LLM 推理剪枝与稀疏计算优化
Westlake University · Ant Group
提出解码感知的剪枝框架，用生成过程激活校准并优化N:M稀疏SpMV内核，实现1.48x解码加速
📌 工作参考价值（3 点）
- 校准数据选择：剪枝/量化 LLM 时，让 dense 模型自回归生成并从各层收集激活作为校准集，而非离线静态文本，能缓解分布偏移导致的性能下降；在电商推荐理由生成、Agent 长回复等 decode 为主场景尤其适用。
- 系统内核优化：线上 LLM 以 decode 为主时，应重点优化 SpMV；采用 N:M 结构化稀疏配合 bitmask 索引与固定步长遍历，可有效降低 memory-bound 延迟，在商品描述生成、对话式推荐等长输出服务中提升吞吐。
- 训练后剪枝无需微调，工程成本低，适合对已有搜索推荐 LLM 服务做快速压缩迭代，保留任务性能的同时降低 A100/H100 推理成本。
面向大语言模型的通用文本教学
🧭 LLM 文本知识蒸馏 · Primer ★ 深度解读
Westlake University
提出 UTT，无需参数更新，将 Teacher-Student 知识差距蒸馏为可迁移的自然语言 Primer，显著提升推理与代码生成性能
📌 工作参考价值（4 点）
- 业务中有强模型（如 GPT-4/Claude）和弱模型（如开源小模型或 API 便宜模型）时，可借鉴 UTT 对困难 query/商品/广告创意做配对评估，自动生成可复用 prompt/Primer，无需微调弱模型即可提升效果，尤其适合只能调用 API 的模型。
- 知识差距选择比随机选择更有效：先找出教师答对、学生答错的样本，再让教师针对性生成教学指令和演示，比直接让教师总结全量数据更利于迁移。可用于构建困难样本集或优化 few-shot 示例。
- 验证门控机制实用：每次更新 prompt/Primer 前，用小批量验证集确认不降低学生已有能力，避免自动 prompt 优化或 Agent 指令库更新时出现退化。
- 跨模型迁移性提示：同一个文本提示可在不同版本/不同家族的模型间复用，适用于多模型路由、灰度发布或模型升级时的知识继承。
潜在空间判定：语义保持压缩实现高效生成式奖励模型
🧭 生成式奖励模型 · 潜在推理压缩
Soochow University · University of Cambridge · Chalmers University of Technology · Peking University · Tsinghua University
LatentGRM 用语义分块与压缩替代逐 token 评估，在保持判断质量下将推理耗时降低 6-7 倍
📌 工作参考价值（4 点）
- 在电商/广告场景中用 LLM-as-a-judge 做数据筛选、候选评分或 A/B 评测时，可借鉴 LatentGRM 的思路：对多准则评价过程做语义分块与压缩，不逐 token 展开文本，而用连续潜在轨迹完成判断，能显著降低推理成本。
- 其 rubric-guided 压缩方式可迁移到「相关性+广告质量+商品匹配」等多维度评估 prompt：按准则边界压缩关键语义段，保留任务相关的偏好信息，避免生成冗长解释。
- vote@k 场景下节省明显：LatentGRM-8B 在 vote@5 时总推理时间降低 6.1-7.0 倍，适合批量生成候选排序信号时的成本控制。
- 独立解释器从潜在轨迹重建评估文本，提供离线可审计性：生产环境若需追溯 LLM 判断依据，可在不增加在线成本的前提下抽样重建解释。
增量开放式深度研究：结构化 Harness 框架
🧭 LLM 深度研究 · 结构化增量更新
Xiaohongshu Inc. · Zhejiang University
用结构化 Harness 将深度研究报告视为可演化状态，实现增量更新，保持质量同时显著降低成本。
📌 工作参考价值（4 点）
- 可将大模型生成的内容（商品描述、用户画像、知识库条目）视为可演化状态，通过结构化大纲和证据映射实现局部更新，避免每次从零生成，显著降低 token 消耗和搜索调用。
- 持久结构化证据池设计值得借鉴：为搜索/推荐系统沉淀外部检索结果（如市场趋势、用户评论），按证据引用关系缓存，支持跨轮次复用，减少重复检索成本。
- 选择性更新策略可迁移到需要频繁迭代的内容场景，如广告文案、活动页、商品详情页，仅对受新信息影响的小节触发重新生成，保持历史内容连续性的同时控制成本。
- 评估框架中引入内容级 ROUGE-L 和 outline 级 EM F1 度量报告连续性，可改造用于评价推荐理由生成或 item 描述更新的历史一致性。
AI 的真实长期记忆：5000 万 token 窗口，比重算更快更省
🧭 LLM 推理 · KV 卸载长期记忆 ★ 深度解读
Corbenic AI
将 KV state 加密落盘并按需恢复，实现 50M token 零重算长期记忆，恢复比重算快 2.8–4.3 倍、省 8.8–12.3 倍 GPU 能耗
📌 工作参考价值（4 点）
- 在电商/广告/推荐 Agent 中，若大量 prompt 反复包含同一用户历史、商品序列或政策知识，可把已处理 prefix 的 KV 状态落盘复用，而不是每次 RAG re-read：单 block 恢复比重算快 2.8–4.3×，能耗降 8.8–12.3×，且 TTFT 不随历史深度增长，适合长 session 个性化。
- 对含敏感 PII 的长期用户记忆，可用 AES-256-GCM 加密 KV store 作为组织级 durable memory；字节精确恢复避免文本重读和潜在泄露，同时小模型/大模型共享同一存储，日常请求用小模型，复杂问题用大模型读取同一个 memory。
- 评测长期上下文时，采用盲摄入 + needle/decoys + negative control + 存储审计的防作弊协议，避免仅靠前缀缓存命中或 keyword match 假阳性；业务侧做 A/B 时可借鉴分离「状态恢复命中率」和「模型回答准确率」两个指标。
- 注意：方案依赖 local NVMe 和 sliding-window attention 的低 KV footprint（Gemma 4 12B 仅 36.4 KiB/token），对 full-attention 模型需评估存储成本；当前只做单块 restore，不扩大单次 attention 窗口，也不做 learned retrieval。
面向大语言模型的参数内记忆增强
🧭 LLM 参数化记忆增强综述
The Hong Kong University of Science and Technology · Hong Kong Baptist University
以参数放置与获取时间为两个正交轴，系统梳理部署期 LLM 参数化记忆方法
📌 工作参考价值（4 点）
- 在生成式推荐/对话 Agent 中，用 LoRA 或 prefix 参数封装长期用户偏好、商品知识或交互经验，替代每次拼接长历史，可显著降低 prompt token 与重复编码成本；在线更新 LoRA 可以跨会话沉淀用户兴趣。
- 按数据形态选择参数放置：稳定领域事实/类目属性适合固化在 FFN 或 MLP 层；时序行为、短期兴趣更适合 Attention 或 Hybrid 放置，离线训练 adapter 作为商品/类目记忆库，请求时即插即用。
- 与 ICL 协同：把长期稳定知识放进参数，短期促销、会话上下文仍走 ICL，减少上下文占用；多租户/多活动场景要评估 LoRA 合并时的 interference，避免用户偏好记忆互相污染。
- 购物 Agent 可用 online LoRA/TempLora 把成功决策、用户反馈实时写入参数形成私有记忆，而非无限堆积历史消息，对长会话和跨 session 个性化尤其有价值。
SpecFold：折叠多分支冗余加速扩散语言模型推测解码
🧭 扩散语言模型 · 推测解码加速
Georgia Institute of Technology
利用多分支推测验证中的隐藏状态冗余，通过残差门控与折叠注意力/FFN降低计算，最高实现1.64倍吞吐提升
📌 工作参考价值（4 点）
- 若线上用 multi-branch speculative decoding 加速 LLM 生成（如 query 改写、商品文案、Agent 回复），可借鉴 SpecFold 的 parent-child 分支隐藏状态复用：draft branches 往往只额外 unmask 少量 token，大部分 hidden states 与父分支高度相似，可做 token-level residual gating 跳过重复 attention/FFN 计算。
- 算法-系统协同设计值得参考：将细粒度重用逻辑用 Triton kernel 实现为稀疏多分支执行，避免框架层 overhead，否则算法上的 FLOPs 节省难以转化为端到端吞吐增益。
- SpecFold 与 temporal caching 正交，可与 KV cache、前缀缓存等叠加；若未来在生成式推荐中使用扩散模型生成 Semantic ID 序列，同样存在跨步/跨分支冗余，可借鉴类似折叠思想。
- 论文验证了在多个 DLLM 上吞吐提升且精度不降，说明这种近似重用在文本生成任务上风险可控，适合延迟敏感的搜索/推荐在线服务。
循环投机解码：让多次草稿共用一次验证
🧭 LLM 推理加速 · 投机解码 ★ 深度解读
NAVER AI Lab · NAVER AI Search Platform · Korea University
DLoop 让一次验证覆盖多个草稿阶段，通过置信度门控与 loop-aware 训练，在多种投机解码上把 wall-clock speedup 提升 5–41%
📌 工作参考价值（4 点）
- 如果线上 LLM 链路（query 改写、商品/广告文案生成、推荐理由生成）采用 speculative decoding，可在 drafter 后加置信度门控：对每个 draft block 累加 log probs，与阈值比较决定是否再 draft 一轮；不增加模型和模块，只增加少量 draft forward cost，能减少 target model 验证次数，尤其适合草稿接受率高的结构化/模板化输出。
- 对已有的 EAGLE/MTP 自回归 drafter 或 DFlash/Domino/DSpark 并行 drafter，可以按 DLoop 做 loop-aware 微调：训练时用 draft model 自己的 hidden states 多轮 unroll，损失只加在最远端 block，N 取 3；不改变架构，可在既有 draft weights 上继续训练，显著提升长草稿链上的可靠性。
- 门控阈值 g 比较鲁棒，论文统一用 -0.5 或 -0.75；在业务数据上小规模扫描即可，不必训练额外 head。该方法也可与 tree verification 叠加：若已有 tree 推理加速，可沿最高分路径继续延长，进一步减少验证次数。
- 注意并发 serving 下增益会随 batch 负载上升而衰减；建议在低并发、长尾或单请求延迟敏感的场景使用，或结合动态批调度/regrouping 优化。
HLA：基于分块动态混合的高表达混合线性注意力
🧭 高效长上下文注意力机制 ★ 深度解读
Monash University · Zhejiang University
将历史 chunk 表示为仿射转移并用查询相关门控动态混合，提升长上下文检索
📌 工作参考价值（4 点）
- 对长序列用户行为/会话建模：可将历史按固定长度切 chunk，用 self-attentive pooling 得到 chunk 代表向量，再基于当前 query/item state 计算 sigmoid 门控，稀疏选择相关历史 chunk；论文中 chunk size 256、pooling window 32 是最优 trade-off，可作为初始超参。
- 工程上：HLA 用 chunk 级仿射转移 (A_j,B_j) 压缩历史，缓存规模为 N(d^2+Pd)，chunk=256 时比匹配 KV cache 省 50%；推理时权重<0.1 直接置零且不重新归一化，可跳过零权重状态转移，适合长会话推荐或 Agent 记忆系统做稀疏检索。
- 训练目标：用 effective support（Hill number）构造 L_budget/L_support，鼓励每个 query 只路由到少量历史 chunk，提升推理稀疏性和长程泛化；业务上可只训练 router、冻结 backbone，低成本改造已有 GDN/线性注意力模型。
- 局限：论文未评测 Agent 多轮工具调用、持续记忆等场景，且推理延迟增加约 10–19%；若用于长程 Agent 记忆或电商超长上下文排序，需自行补充多轮、跨任务、工具反馈评测。
KV²：一种自精炼 KV 缓存压缩方法
🧭 LLM 推理 · KV cache 压缩 ★ 深度解读
Karlsruhe Institute of Technology
用轻量代理选少量锚点做选择性重建，在 2% KV 预算下大幅优于 KVzip 等基线
📌 工作参考价值（4 点）
- 对 Agent 长期记忆、用户历史、商品知识库等“一次缓存、多次 query”场景，优先用 query-agnostic 压缩；KV² 两阶段思路可复制：先用便宜业务信号（如 key 相似度、商品/行为 embedding）挑锚点，再做局部 max-attention 打分，比全量重建省钱。
- 可将 KV 预算压到 2%–5%，适合电商搜索/推荐的超长上下文（长用户序列、多商品文档），降低缓存显存和 decode 带宽；chunk size 4K 是性价比甜点。
- 默认单轮即可，别急着上多轮 self-refinement；只有在 proxy 很弱或 reconstruction 比例极小时才考虑 2–3 轮。
- 落地注意：论文基于 kvpress 的 masking 实现未物理 compact，需配合 headwise 变长 attention、paged cache 和重复 query 服务后端，才能把压缩阶段收益转成实际 decode 收益。
通过模型路由与协作实现集体偏见缓解
🧭 多 LLM 协作路由去偏
Nanyang Technological University · National University of Singapore · Harbin Institute of Technology · King's College London
提出 Collective Bias Mitigation，用多 LLM 路由与协作降低偏见，Committee 在 top-7 将年龄偏见从 0.25 降至 0.10
📌 工作参考价值（4 点）
- 在生成推荐文案、广告语、客服话术等 LLM 输出场景，可先对业务敏感维度（性别、年龄、地域、消费能力）做细粒度偏见评估，按问题类型路由到该维度偏见更低的模型或 LoRA 专家，而不是全局换大模型。
- 借鉴 Committee 拓扑：多个异构 LLM 对同一 prompt 生成候选，再用低成本聚合/仲裁模型投票或改写，能明显降低 biased 输出；线上可按 top-k 控制成本，用较小 committee 在偏见与推理成本间取平衡。
- Debating 拓扑适合高价值、低 QPS 场景（如公关文案、敏感 push 文案），让模型互相挑战后再产出；普通推荐解释或 query 改写可用 Committee 的轻量投票。
- 工程上把偏见分数作为模型路由特征：离线为每个模型×敏感属性×任务类型建立 bias profile，路由时查表选择，避免每次实时前向全部模型。
从用户生成主题语料中学习数据结构化
🧭 LLM 驱动的语料属性 schema 自动归纳
Bar-Ilan University
用 LLM 全自动迭代发现领域属性 schema，无需预定义本体即可抽取结构化数据
📌 工作参考价值（4 点）
- 用户生成内容（评论、社区帖、客服对话）中自动发现隐性属性：不用预设 taxonomy，先让大模型从语料归纳候选属性，再合并语义重叠、分配结构类型，快速搭建商品/内容属性体系，适合冷启动或长尾品类。
- 成本控制：schema 发现用大模型，值抽取用较小指令微调模型；可根据模型 scale 评估精度-成本曲线，选择合适模型，对百万级评论抽取能明显省成本。
- 属性集在 10 轮内稳定，说明迭代流程可产品化：可周期性对新语料运行，自动维护和增量更新属性字典，减少人工梳理。
- 结构类型分配与值抽取 F1 0.8，可用于生成推荐/搜索特征，例如抽取用户提到的具体症状、偏好、使用场景，丰富用户画像和 query 扩展。
低精度 Transformer 推理中的随机舍入：小 GPT-2 变精度仿真研究
🧭 低精度推理 · 随机舍入策略
Krembil Centre for Neuroinformatics, Centre for Addiction and Mental Health · Université Paris-Saclay, UVSQ, LI-PaRAD
系统研究低精度 Transformer 中随机舍入与就近舍入的逐位置权衡，发现 MLP 输出宜用 SR、LM head 宜用 RN，混合配置可显著降低困惑度损失
📌 工作参考价值（3 点）
- 在低比特部署 LLM 时，不要全局统一舍入策略：对长 reduction 的 MLP 输出（尤其 down-projection）优先尝试随机舍入 SR，可显著抑制误差累积；而在 LM head 保留就近舍入 RN，避免引入非均匀 logit 方差导致 softmax 损失增加。
- 混合精度方案可将 SR 用于 MLP、RN 用于 head，实验中在 t=6 时把 perplexity 损失从等位 RN 的约 2.21x 降至 1.10x，减少约 28%，这对电商搜索/推荐中的文案生成、query 改写等低比特小模型很实用。
- 借助 PRISM 变精度随机舍入（VPSR）算法可离线评估不同层/操作的舍入策略，无需真实低精度硬件即可进行 what-if 分析，适合在量化工具链中作为 auto-tuning 组件。
LLM2Jev：LLM 已是 Jev 风格决策模型——何时及如何微调
🧭 LLM 决策建模与结构化输出
Microsoft
提出 LLM2Jev 框架，直接利用括号数字标识符的 next-token 概率提取校准决策，无需训练即可让 4B LLM 匹配专用 Jev 模型
📌 工作参考价值（4 点）
- 电商/广告中的意图路由、分类、证据校验等决策任务，可直接用 LLM 输出括号数字标识符（如 [1]、[2]），从 next-token 概率 读取每个选项的概率分布，完全跳过文本生成与解析，降低延迟并消除格式错误风险。
- 面对任意数量的候选选项（如商品类目、投放策略），无需预先确定选项个数，框架天然支持动态选项集，适合线上 A/B 测试和策略切换。
- 对于弱基座模型或高难度多选项任务，用 LoRA + 树因子化 listwise loss + KL 锚定 微调可稳定提升决策准确率，同时保持对话/文本生成能力不退化；强基座模型则可直接零样本使用，节省训练成本。
- 多模态决策支持：可直接对图像输入（如商品图）做决策，无需额外适配，适合电商图文混合场景。
外部观察者或更清晰：基于隐藏状态探测的大模型跨模型跨度级幻觉检测
🧭 LLM 幻觉检测 · 隐藏状态探测
LIX, École Polytechnique · LIPN, Sorbonne Paris Nord · School of Electrical and Electronic Engineering, Nanyang Technological University
提出用隐藏状态探针定位幻觉起始与延续 token，并发现外部小模型观察者可匹敌生成模型自检测
📌 工作参考价值（4 点）
- 在生成式推荐或 Agent 链路中，可用隐藏状态探针做幻觉 onset 实时检测：不必等整段生成完成，发现 onset token 就触发回退、改写或检索，用于商品描述、广告文案等高价值生成场景。
- 跨模型监控架构值得借鉴：用一个小模型作为外部观察者读取大模型生成时的 hidden states，成本低且可独立部署，适合做大模型生成内容的在线质量守门。
- 相比 RAG 外部检索，内部探针没有额外网络延迟，适合隐私受限、需要本地推理的搜索/推荐场景；可把探针作为轻量插件挂在 Transformer 特定层输出上。
- 训练检测头时建议从 token 级升级到 span 级标注，业务上更对应“哪一句开始跑偏”，便于精确定位和修复；可构造自己的 span 标签（如商品属性不一致片段）来训练。
消融即剂量：抵消权重与自修复的假象
🧭 模型可解释性 · 自修复机制
Lexsi Labs
提出自修复源于消融前已有的反事实增益，组件响应服从仿射定律并可由固定权重预测
📌 工作参考价值（3 点）
- 在 LLM 推荐 / Agent 的模块消融中，不要只看“删掉某个 LoRA / 记忆模块后指标变化很小”就认为该模块不重要；自修复会掩盖因果贡献。可把干预强度连续化（如缩放隐藏状态 λ），拟合 E_r(λ)=own_r+γ_rλ，用斜率而非二进制消融判断真实作用。
- 若你的业务要对 LLM 中的风险 / 偏见子模块做 unlearning 或 circuit 剪枝，先测量下游单元的 γ_r 符号与幅度；固定权重可预估哪些单元会抵消删除信号，避免越高删、下游补偿越大。
- 对于 Agent 多模块 pipeline，当移除某工具 / 检索模块后整体效果“没掉”，要区分是模块没用还是其他模块在补偿；建议用多档剂量干预（0, 0.25, 0.5, 1, 2 等）替代单点消融，找出剂量 - 响应曲线，定位真实瓶颈。
用 LLM 验证推理检测模型规范中的不一致
🧭 LLM 规范审计与一致性验证
University of Virginia · University of Pennsylvania · The University of Texas at Austin
提出 VeriSpec，通过保留自然语言并用 LLM 作为验证器，直接审计模型规范文本以检测规则冲突
📌 工作参考价值（4 点）
- 电商/推荐系统中存在大量业务规则（合规、风控、用户体验、商业目标），这些规则可能在特定场景下冲突，可将规则文档视为规范，用 VeriSpec 的思路自动提取结构化规则并构造 topic-guided graph 聚类相关规则，再用 LLM 逐对/逐组验证冲突。
- 对于 Agent 或多智能体系统的策略规范，同样存在多策略冲突问题，可采用"保留自然语言 + LLM-as-verifier"的方式避免形式化损失，直接审计规范文本，提前发现策略缺陷，而不是等行为测试或线上事故。
- 在检索/推荐评估中，如果有多个评估标准或 rubric，也可以用该方法检测标准之间的不一致，提升评估体系的可靠性。
- 该方法成本较低（每个已验证不一致 $11.12），适合周期性对业务规则进行离线审计，作为规则上线前的检查步骤。
层次连续扩散语言模型
🧭 连续扩散语言模型 · 离散连续耦合去噪
University of Illinois Urbana-Champaign · Amazon.com, Inc.
HC-DLM 将离散 token 生成与连续潜变量去噪耦合，在 Sudoku/Countdown/LM1B 上超过匹配规模扩散基线
📌 工作参考价值（4 点）
- 面向需要全局约束或双向推理的文本生成任务（如广告文案、商品标题、搜索 query 改写、推荐理由），可考虑扩散式生成替代自回归，便于多步修改并满足关键词、违禁词、风格等多约束。
- 可借鉴 HC-DLM 的“离散 token 读出并反馈为脚手架”机制：在生成式推荐中使用连续向量表示全局用户意图/会话状态，每步读出候选 item 或 Semantic ID 后反馈调整潜变量，保持序列内依赖，避免并行解码时 token 独立采样的问题。
- 训练目标基于 token 似然的变分下界，把离散生成目标与连续去噪过程对齐，比将连续上下文简单附加到离散链更稳定；实现时可在每步去噪后做 token readout 作为下一步条件，降低训练与推理不一致。
- 注意扩散模型多步去噪带来的推理延迟，适合离线批量生成或对延迟不敏感的约束复杂规划场景（如选品组合、活动文案库生成），不适合超低延迟在线实时推荐。
几乎零成本优化循环Transformer解码
🧭 循环Transformer对比解码优化
Apple
训练无关的LoopCD对比解码，利用循环中间状态引导最终预测，提升推理质量并大幅降低计算量
📌 工作参考价值（4 点）
- 对比解码不依赖额外小模型或微调：可直接复用模型自身不同深度的输出，在 logit 或 hidden state 空间做差值引导。对线上已有 LLM 推理服务，可即插即用地提升生成质量，无需重新训练。
- 隐藏状态空间变体（LoopCD-Hidden）几乎零额外开销：适合对延迟敏感的电商搜索 query 生成、推荐理由生成等场景，无需增加输出层计算，直接对中间 hidden state 做对比。
- 循环 Transformer 架构下可动态调整深度：根据请求复杂度决定循环次数，再用 LoopCD 弥补浅层损失，实现精度与 FLOPs 的 trade-off。对需要弹性算力调度的在线推理系统有参考价值。
- 中间状态作为弱预测的直觉可迁移到其他多阶段推理模型（如 MoE 不同专家输出、多步推理的中间结果），利用“弱-强对比”放大模型确信信号，抑制不确定 token。
扩展与蒸馏文本嵌入以提升扩散语言模型适用性
🧭 扩散语言模型 · 文本嵌入蒸馏
University of Michigan
通过扩展嵌入模型并用解码概率软标签蒸馏，使连续扩散语言模型生成有效文本，Gen PPL 17.8 优于 GPT-2-M
📌 工作参考价值（4 点）
- 在生成式推荐或 Semantic ID 场景中，若用扩散模型生成 item/query 嵌入，不要直接使用过度判别的预训练编码器；可借鉴“教师解码概率作为软标签”的蒸馏方式，使相近候选嵌入更聚拢，提升解码有效性和生成质量。
- 对 query 推荐/改写、push 文案生成等文本生成任务，可在训练连续扩散 LM 时加入 embedding 蒸馏阶段，让潜在空间更连通，减少无效输出（如解码到不存在的 token 或语义 ID）。
- 评估生成式模型时，除 PPL 外可引入“生成熵 vs. Gen. PPL”曲线，判断模型能否在真实文本熵水平下保持低困惑度，作为业务中生成质量的上线 benchmark。
- 这种先缩放再蒸馏的思路也可迁移到多模态或商品图文表示：用更大 teacher 的 soft targets 蒸馏轻量 embedding，提升下游扩散/生成模型的稳定性。
绕过计算上限：Galahad 字节精确记忆使 LLM 阅读成为一次性成本
🧭 LLM 推理优化 · KV cache 复用
Corbenic AI
Galahad 为 vLLM/SGLang/llama.cpp 提供字节精确 KV 记忆层，将重复文档阅读变成一次性成本
📌 工作参考价值（4 点）
- 搜广推场景中大量 prompt 前缀重复（商品描述、用户历史、知识库、广告素材），可对固定上下文离线预计算 KV 并持久化，在线按需加载，避免每次重算；字节精确匹配 + fail-closed 机制保证缓存不会改变答案，适合线上一致性要求高的场景。
- 对长上下文任务（如用户长期行为序列、商品详情问答），可结合检索式片段注入：Blaise 只把必要片段送入模型，比全量投喂或纯 RAG 更省 token、更准；实验里 100/100 vs 调优 RAGFlow 的 77/100。
- 工程实现上，分段缓存与恢复要校验 bit-identical，避免因缓存错误影响线上 A/B 或模型输出；如果加载校验不过则回退重算，可作为推理网关的通用设计。
- 成本收益可量化：缓存构建的能耗在少量请求后即可收回，适合高频重复查询的电商知识库、活动规则问答、客服机器人等场景。
LeapQuant：线性注意力循环状态的近无损量化与高效推理
🧭 线性注意力状态量化 · 推理加速 ★ 深度解读
UC Berkeley · University of Washington · MIT · Perplexity AI · NVIDIA
通过 per-window 量化与 Compensator Tokens 实现 GDN/KDA 状态 8-bit 近无损，端到端加速 1.47×
📌 工作参考价值（4 点）
- 长序列用户行为模型的状态压缩：电商/推荐中常用线性注意力或 SSM 建模用户长序列行为，其 recurrent state 是显存带宽瓶颈。可直接借鉴 per-window 量化：窗口内保持低比特边界状态 + 高精度 buffer 更新，仅在窗口边界重建量化，避免逐 token 误差累积；p=16、INT8 的配置可直接实验。
- 用低秩补偿 token 处理状态 outlier：用户序列或 LLM agent 长轨迹的状态矩阵常有少数行/列异常值，直接量化会放大误差。可以学 Compensator Tokens：拟合 r=4 的 FP16 低秩成分保留高精度，残差做 channel-wise smoothing 后再量化；对电商场景中的行为状态矩阵同样适用。
- 长上下文 LLM serving 显存优化：如果业务中部署 hybrid 线性注意力模型（如 Qwen3.5、Kimi、GLM 系列），对 recurrent state 做 8-bit 量化可降低 prefix caching 状态存储 41–56%，直接提升单卡并发；端到端吞吐提升 1.23–1.65×，在长 reasoning/Agent 任务里收益明显。
- 工程超参决策参考：窗口长度 p=16 是精度与 kernel 速度的甜点，过长会导致 buffer 读取增多、kernel 提速下降；Compensator Token 数量 r=4 精度饱和，r 超过 8 会暴露计算开销。这些经验可直接用于自研线性注意力推理内核的量化配置。
QuantMLA：面向 MLA 低比特 KV 缓存的功能对齐双路量化
🧭 MLA KV 缓存低比特量化与推理加速 ★ 深度解读
The University of Hong Kong · Meituan LongCat Team · South China University of Technology · Harbin Institute of Technology
针对 MLA 的 content 与 RoPE 双缓存，提出路径专属可离线融合变换与功能对齐目标，实现首个联合 INT4 缓存且精度损失极小
📌 工作参考价值（4 点）
- 部署 DeepSeek-V2/V3、Kimi、LongCat、GLM 等 MLA 架构模型做长上下文 RAG、Agent 记忆或搜索摘要时，可直接采用 content INT4 / RoPE INT4，甚至 content INT2 / RoPE INT4，并配合首 4 个 sink token 和最近 128 token 的 BF16 保护，获得 3.59× KV cache 压缩和 5.168× 吞吐提升，显著降低在线 serving 成本。
- 不要把 MLA 不同缓存一视同仁：同一 cache NMSE 下，RoPE 路径造成的注意力输出失真比 content 路径高 1.94–6.86 倍。如果预算有限或需要先做部分量化，应优先保留 RoPE key cache 更高精度，content cache 可以更激进压缩。
- 量化训练时不要只用 cache reconstruction MSE：可借鉴其功能对齐思路——content 路径用 attention-output reconstruction，RoPE 路径用 positional QK reconstruction；学到的 rotation/scale 可以完全融合进权重，online 无额外变换开销。
- Sink/recent BF16 保护是低成本 trick：在统一 softmax 下按 token 选择 BF16 或 INT4，能有效保持长上下文检索和推理能力，同时减少 preemption，适合直接复用到生产 serving 策略。
组件感知反馈驱动的自进化程序
🧭 LLM 程序进化 · 组件级归因反馈 ★ 深度解读
Santa Clara University
对进化搜索中的每次代码变更做组件级归因并写入记忆，让 LLM mutator 在重排任务上收敛更快、效果更好
📌 工作参考价值（4 点）
- 在 LLM-guided evolutionary search 或自动优化 pipeline 中，不要只给 mutator 看完整代码和总分；把每次 mutation 的组件 diff（新增/删除/修改的函数、常量）与 evaluator 返回的 metric 变化组成 (component_set, delta_metrics) 记录，显式注入 prompt，能显著减少 LLM 从长上下文推断编辑效果的负担。
- 双参考帧设计值得复用：local frame（child vs parent）回答“上一步有没有用”，global frame（child vs seed）回答“整条 lineage 是否值得继续”。在搜索停滞时调用 global frame，可帮助 mutator 换策略而不是在局部瞎试。
- 多目标优化目标函数可借鉴：将质量项和成本项分别对 seed 归一化，加一个小的 λ 项和 min(a,b) 项，既能同时优化质量和 token 成本，又避免搜索只玩一个维度。电商重排/广告出价等成本敏感场景可以直接套用。
- 本地可服务模型（如 Qwen3.6-35B-A3B）就够用，不依赖 frontier LLM；组件级归因反馈提高了样本效率和跨域泛化，对线上持续自动调参/调 pipeline 有直接工程价值。
从干草堆中拔针：通过权重正交化移除 LLM 后门
🧭 LLM 安全防御 · 权重正交化
Locai Labs · Centre for AI, Computer Science, UCL
训练免清洗方法估计后门方向与拒绝子空间，对权重正交化，在保持安全能力的同时实现最低 ASR
📌 工作参考价值（4 点）
- 若业务中微调或使用开源 LLM 作为导购/客服/推荐 Agent，上游权重可能被投毒；NEEDLE 提供一种无需干净基线和原始训练数据的应急修复手段，适合已上线模型的后门摘除。
- 其“估计激活方向 → 权重正交投影”的思路可推广到业务中的模型行为纠正：例如用少量对比样本估计生成式推荐模型中的偏见、幻觉或不合规输出方向，通过投影移除，无需全量微调。
- 保留拒绝子空间的做法可作为模型编辑的约束：在修改推荐/Agent 模型权重时，显式保持安全对齐相关表示不变，降低对拒绝、安全审核、对话质量等下游能力的附带损害。
- 评估体系可借鉴：线上模型任何补丁/编辑/校准，除了效果指标，应同时监控 ASR、KL 散度与能力基准，避免治好后门却牺牲推荐/对话质量。
E-MoE：面向非因子化扩散语言模型的增强型专家混合
🧭 非因子化扩散语言模型 · MoE 路由
Applied AI Institute, Moscow, Russia
利用 MoE 路由决策作为离散共享隐变量，构建非因子化反向过程，在不增加激活参数下提升少步生成质量
📌 工作参考价值（3 点）
- 若业务中存在少步文本生成需求（如创意文案、标题生成、query 补全、push 文案），E-MoE 可用 MoE 路由决策作为离散共享隐变量，比连续 VAE latent 更不易 posterior collapse，且不增加激活参数，适合在线推理。
- 非因子化建模思路可迁移：在生成式推荐或 query 生成中，token 间常有强相关性（属性组合、标题模板、风格约束），可尝试将反向过程构造为多个因子化分布的 mixture，通过轻量 MoE router 输出离散 latent 来捕获位置依赖。
- 工程实现上：共享路由决策不增加 active parameters，意味着在低 NFE 场景下推理时延可控；可在现有 MDLM 基础上仅替换反向建模方式，无需重新设计主干网络。
三阶线性注意力：三维循环状态用于长上下文序列建模
🧭 线性注意力 · 长上下文状态扩容 ★ 深度解读
Massachusetts Institute of Technology · MIT-IBM Computing Research Lab
将线性注意力的矩阵状态扩展为三阶张量，用第二个 key 维度以极少参数成倍扩大状态容量，显著提升长上下文语言建模与 recall
📌 工作参考价值（4 点）
- 电商/推荐用户长期行为序列建模：用户行为序列长且稀疏，Transformer KV cache 显存贵；可把 user encoder 或长期兴趣提取器替换为 Triadic GDN/sGLA，用 E=4~8 扩大状态，参数只增加约 1%，线上保持 O(1) 状态，对历史兴趣 recall 提升明显。second key/query 建议用 softplus/sigmoid 非负激活，避免切片间抵消。
- Agent 长期记忆/长上下文工具结果：如果 Agent 用线性注意力做记忆，可在长上下文扩展阶段把 E=1 upcycle 到 E=8，不必从头训练；论文显示 upcycling 可恢复约 50%-75% 从 scratch 的收益，适合已有模型低成本升级。
- 混合架构取舍：搜推广 rerank 或 Agent 模型若采用 linear+softmax 混合，优先扩大 linear state 而不是 softmax GQA 的 KV cache；论文在 3:1 混合中，triadic E=4 比 GQA-4 在长上下文 PG19 和 NIAH 更好，且 64k 显存少约一半。
- 工程实现：chunkwise-parallel 实现中，把三阶 state 沿 value 轴切成 32 列块放到 registers，避免 SM 持有完整 state；joint key 内积分利用 Kronecker 结构降维，E 维只增加少量 C^2E 计算，长上下文效率优于 Transformer。
SANTA++：通过代表性键采样注意力以减少 KV 读取
🧭 LLM 长上下文推理 · 稀疏注意力采样 ★ 深度解读
University of California, Santa Barbara · Flucta
训练自由随机注意力方法，用代表性键路由团队采样，以 16%-22% KV 读取保留 94%-99% 精度
📌 工作参考价值（4 点）
- 在需要长上下文 LLM 推理（如用户长期行为序列、商品详情、多轮对话历史）的服务中，采用“代表性键 + 团队采样”做 decode 期稀疏 attention，可在 KV 读取降到 16%-25% 时仍保留接近 dense 的精度，适合降低在线推理成本。
- prefill 后一次性用 k-means 或 contiguous 分块构建 parent groups，再在每个 parent 内选 actual-key representatives（首点最近均值，后续逐次最远点），decode 阶段固定复用；避免逐 token 全量扫描，尤其在 batch-one 长序列下成本低。
- GQA 架构下，多个 query head 共享 KV head 的团队划分与代表键读取，但各 head 独立采样并保留自己的 inclusion correction，可进一步提升吞吐；与 MLA 等压缩 KV 表示互补，已在 DeepSeek-V2-Lite 上验证仍有 token 稀疏性。
- 实际部署注意：contiguous 分块可省去 k-means 预处理，虽然某些任务略降精度但访问更低；预算 S 是团队数而非 token 数，需要按团队大小和头间重叠重新估算实际 KV 读取。
STEPQuant：Delta-rule 循环状态的时空误差感知量化
🧭 线性注意力循环状态量化压缩
Zhejiang University · NLPR & MAIS, Institute of Automation, CAS · Tsinghua University · City University of Hong Kong · Harvard University
提出时空感知的循环状态量化框架，按误差幅度与记忆寿命分配精度，并联合拟合 key-row/value-column 尺度
📌 工作参考价值（4 点）
- 若在线推荐/Agent 部署了 Qwen3.8-27B、Kimi-Linear-48B-A3B-Instruct 等混合线性注意力模型做生成式召回、query 改写或工具调用，可直接采用 STEPQuant 对循环状态做 6-bit 后训练量化，在接近 FP32 精度下获得 5× 状态压缩和大幅显存下降，适合大并发服务。
- 可借鉴其时空混合精度分配思想：在维护 user state / memory 时，不对所有维度一视同仁，按“记忆寿命”和“对输出误差的敏感度”做非均匀量化；长期偏好或高敏感维度保留 FP16/INT8，短期临时状态可降到 4-bit。
- 联合拟合 key-row 与 value-column 缩放系数的做法，对推荐模型里矩阵型状态（如 user embedding × topic embedding、长期兴趣矩阵）有启发：先离线估计各行列对最终 loss/输出的影响，再定制 scale 而非全局 uniform。
- 如果团队自研推理框架，可参考它在 SGLang 中的 GPU kernel 集成方式，将状态压缩与 serving 显存核算结合，上线前用长/短生成 benchmark 做精度-显存回归。
WUSH-KV：数据自适应变换的 KV Cache 低比特量化
🧭 LLM 推理优化 · KV Cache 量化 ★ 深度解读
Institute of Science and Technology Austria (ISTA) · ETH Zürich · Red Hat AI
用 WUSH 数据自适应可逆变换对 KV cache 做低比特量化，2-bit 下 Qwen3-8B 全面优于 OSCAR
📌 工作参考价值（4 点）
- 对需要长上下文/高并发 LLM 服务的推荐与 Agent 系统，KV cache 内存是主要瓶颈。可借鉴将可逆变换与量化解耦：校准阶段按每个 head 的 Gram 矩阵（缓存张量自身统计）+ Hessian（下游消费者敏感度）构建变换，允许非正交各向异性缩放，比固定 Hadamard/随机旋转在 2-bit 下显著降低误差。类似思路可用于用户/物品 embedding 缓存或特征存储的低比特压缩，关键是 Hessian 选下游任务对扰动的敏感度。
- 值侧变换可在离线折叠进权重（V→WV、WO），在线零额外开销；键侧变换因 RoPE 无法折叠，放在 RoPE 之后，每新增 token 只多做一次 d×d 矩阵乘。工程上优先折叠 value 侧，key 侧用固定在线 transform，避免逐位置补偿。
- 保留 sink token 和最近 token 的 FP16 窗口（例如 sink=64, recent=256）并用批量量化 flush（chunk 8/16）可在大幅降低平均位宽时保护长上下文和生成质量；该策略与具体量化器无关，可直接迁移。
- 校准只需 128 条序列、一次完成，跨 bitwidth 复用；量化器可选 QuEST 或 OSCAR-style percentile-clipped affine，证明 WUSH 与 QuEST 搭配接近最优。在 SGLang 中集成时，可沿用 OSCAR 的 cache 管理策略，不必为 WUSH 重新调参。
Draft-KV：学习语言模型间有价值的潜在通信
🧭 LLM 潜在通信 · KV Cache 传输
City University of Hong Kong · University of Science and Technology of China · University of Electronic Science and Technology of China · AIPD, Tencent · Theory Lab, Huawei
提出 Draft-KV，用 sharer 草稿过程的 KV 状态经门控侧记忆接口传给 frozen 小模型，显著提升协同推理
📌 工作参考价值（4 点）
- 在多模型 Agent 链路中，让大模型（sharer）提前对候选 query/商品/用户意图草拟推理，并把草稿过程的 KV cache 暂存为侧记忆；线上由小模型接收这些 KV 做最终决策或生成，接口参数仅 ~1M，两端模型冻结，部署成本远低于全量微调。
- 接口设计可借鉴「线性投影 + 门控 attention 分支」：不把通信状态注入主隐层，而是作为 side memory 参与注意力，避免干扰小模型已有表示；门控可控制通信信息的权重，便于线上 A/B 开关和降级。
- 训练采用两阶段 progressive：先做 message reconstruction 对齐表示，再转到 answer supervision；并加入 mismatched message 的 guard 损失，防止通信缺失或错配时模型被带偏，这对推荐中的多路召回/多模型融合也有参考。
- 验证通信是否真被使用：用随机替换消息做控制实验，若替换后指标几乎不变，说明增益来自接口结构而非信息内容；在推荐/广告引入 LLM 通信或增强时，应做同样消融，避免伪提升。
分数阶状态空间转移用于长序列建模
🧭 长序列建模 · 分数阶状态空间 ★ 深度解读
Huawei Noah's Ark Lab, Montreal Research Center, Canada
用分数阶动力学替换指数遗忘，通过有限指数模态近似实现高效选择性SSM长序列建模
📌 工作参考价值（5 点）
- 用户长期行为序列建模可直接借鉴：电商/广告场景通常有数月甚至跨年的点击、浏览、购买序列，传统 SSM/RNN 的指数衰减会快速抹掉早期兴趣。FRAC 的分数阶动力学生成幂律记忆，能在更长时间范围保留历史影响，适合作为用户长期兴趣记忆模块。
- 多时间尺度记忆银行的具体实现：将状态转移分解为 log-spaced 指数衰减模态，用可学习 α_t 控制衰减强度，并用 token-dependent λ_t 做选择性调制。这种设计与用户行为中不同时间尺度模式（如近期强兴趣、历史稳定偏好）天然对齐，可直接嵌入现有 user encoder。
- 工程实现与训练效率：FRAC 保持一阶仿射递归，可用 chunked parallel scan 并行训练/prefill，自回归解码有界状态，且有 custom Triton kernel。对需要低延迟、长序列增量更新的推荐/广告检索系统来说，架构可迁移。
- 读写对齐技巧：read/write 路径共享 softmax(-α_t log τ_m + g(u)_m) 的对数时间尺度寻址，能提升信息写入和读取的一致性。在用户行为表示中可类比为让不同时间尺度的兴趣槽位在写入和读取时使用同一套寻址逻辑，增强记忆可检索性。
- 若业务序列普遍较短或已由 Transformer 覆盖，收益可能有限；但对长上下文行为建模和实时增量计算场景值得尝试。
何时纠错才算修复：工具型 LLM 内部干预的机制审计
🧭 LLM 可解释性 · 工具决策审计
University of the Chinese Academy of Sciences, China · School of Computer Science, University of Birmingham, UK
SAKIKO 审计框架揭示激活干预的行为迁移不等于修复，并量化附带损伤
📌 工作参考价值（3 点）
- 评估内部干预或 steering 修复工具调用/动作决策时，不要只看 accuracy / net gain；增加 destination-resolved 指标（如翻转矩阵：被干预改对的 vs 改错的基线正确样本），并在上线前审计 collateral damage。
- 干预应做成 router-conditioned：先定位动作类型决策对应的 router/分类子层或关键 attention head，再对局部 hidden state 做方向干预；全局 residual stream steering 容易引入无关动作损伤。
- 采用 前瞻冻结统计许可：预先设定目标增益，将干预方向与同预算随机方向做统计比较；对有限样本下的“看起来不错”的点估计，应报告置信区间/检验结果，避免把噪声当成修复。
CoWindow 注意力：全因果覆盖是头集合的集体属性
🧭 LLM 稀疏注意力 · 集体因果覆盖 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Beijing Academy of Artificial Intelligence · Université Paris Cité
用 KV 头互补长程窗口实现全因果覆盖，训练/解码延迟降 7.4x/3x 且质量接近 FullAttn
📌 工作参考价值（4 点）
- 长上下文 LLM 用于用户行为轨迹、会话日志或 Agent 工具调用历史时，可考虑把 FullAttn 换成 CoWA 式结构：近邻窗口保留最近行为/当前会话，prefix-sink 固定放 user profile 或 system prompt，远处历史按 KV head 切分互补窗口，训练和推理都能省显存省 FLOPs，同时不牺牲关键关联召回。
- 静态位置窗口比动态 router/indexer 更适合线上：不需要额外检索选择，避免了线上 TopK 漂移和 router 延迟；如果业务里做长序列检索式注意力，可以借鉴 position-defined sparsity + collective coverage，把长程访问做成确定性分片，工程实现更稳。
- 多 GPU 部署时按全局 KV head 索引分配窗口，与 tensor parallelism 对齐，每个 rank 只持有互补窗口的 KV cache，可降低长上下文推理显存和 KV cache 访问；适合商品描述生成、Agent 多步轨迹分析等长上下文服务降本。
- 用 synthetic associative recall 快速评估长序列建模是否保留 item 关联，比直接跑长上下文 benchmark 更便宜，适合在推荐系统用户行为序列建模上线前做快速 ablation。
DoSA：点稀疏注意力无损剪枝加速长上下文索引器
🧭 LLM 稀疏注意力推理加速 ★ 深度解读
Dots Studio, Xiaohongshu Inc.
为有符号多哈希索引器构建可证上界，利用种子阈值无损筛除多数 key，避免全头打分，长上下文预填充最高快 2.74 倍
📌 工作参考价值（4 点）
- 在长用户行为序列/商品库的 LLM 检索或生成式推荐中，可借鉴“种子阈值+分数上界”的无损剪枝：先用少量头部或代理模型计算上界，只对可能进入 Top-K 的候选项算完整分，避免全量打分。特别适合有符号多目标融合打分，负头不能简单丢弃时，用激活频率支撑聚合保住下界紧度。
- 工程实现可复用：将剪枝与 GPU kernel 融合，规则 screening 用 Tensor Core，SIMT 做 bound 评估和候选 compact；refinement 阶段同组查询共享 key 加载，稀疏写回只写达到阈值的记录，明显降低 HBM 带宽。若自建长上下文检索/推荐打分服务，这套数据流可直接参考。
- 成本分析给了一个重要信号：上下文越长，选择 token 的索引器占比迅速上升（~1M 时 73%-90.8%），加速索引器比加速注意力本身收益更大。用 Amdahl 定律可提前估算优化收益，避免把力气花在低占比模块。
- 解码阶段利用时间相干性，用近期选中 key 的分数做阈值下界，压缩选择输入，这种“候选记忆 + 阈值预测”思路可迁移到实时推荐/搜索的候选生成与重排中，减少重复打分。
EAServe：面向多模态大模型的编码感知分离式服务
🧭 多模态 LLM 推理服务 · 分离式流水线优化
University of Georgia · Western Digital · University of Texas at Arlington
将多模态 LLM 的 Encode 阶段作为 EPD 流水线控制点，通过自适应微批处理、部分卸载与动态 SM 划分，在 SLO 约束下显著提升 goodput
📌 工作参考价值（4 点）
- 把轻量前置阶段作为控制点：参考 EAServe 将 Encode 作为 EPD 流水线控制点的思路，在推荐系统中将图像/视频 embedding、特征编码等轻量前置阶段与主模型解耦，通过速率控制动态调节下游请求流，避免下游 Prefill/Decode 饥饿。
- 动态 SM 划分实现可预测共置：当需要把多个阶段部署在同一 GPU 上时，采用动态 SM partitioning 保证各阶段的算力隔离与可预测性能，适合广告/推荐系统中多个小模型或 embedding 服务共置的场景。
- 配置自动搜索减少人工调参：借鉴 HAS 的两阶段方法——先用 per-stage capacity profiling 剪枝明显不均衡的配置，再用 TPE 贝叶斯优化精细搜索，可自动化调优推荐系统多阶段推理 pipeline 的 batch size、worker 分配等参数。
- SLO 约束下的 goodput 优化：直接关注在尾延迟 SLO 下最大化吞吐，这对电商/广告在线推理服务更具业务价值，而非单纯追求平均延迟或吞吐。
LocUS：面向目标激活转向的头部选择与子空间投影
🧭 LLM 推理时激活转向 · 低秩子空间
Area Science Park, Trieste, Italy · Institute of Science and Technology Austria · Université Côte d'Azur, Inria, LJAD, Maasai Project Team, Nice, France
LocUS 将激活转向约束到输出词汇子空间并稀疏选择注意力头，以干预<6%参数匹配或超越 SOTA 并更好保持通用能力
📌 工作参考价值（3 点）
- 在电商客服/导购 Agent 中，可用 LocUS 做实时安全/合规控制：基于对比数据估计转向方向，但通过 unembedding 子空间投影和稀疏头部选择，仅干预 <6% 参数，避免大幅损害商品推荐能力。
- 利用模型原始 unembedding 矩阵作为属性子空间来源，无需额外训练即可定位特定属性（如“负评倾向”）对应的输出方向，并在局部修正，此法可复用于生成式推荐中的风格/属性控制。
- 对 LLM 生成推荐理由或商品描述的场景，可对生成的语义属性（如情绪、说服力）做 targeted steering，同时不改变物品 ID 或事实准确性，保持通用能力不下降。
MoSAR：语义注意力机制混合，学习自适应可近似注意力几何
🧭 LLM 高效注意力 · 自适应几何 ★ 深度解读
Università degli Studi di Bari Aldo Moro
在 RoPE 后通过 query/key 路由器混合短中全局 regime，学习可离散化的距离衰减注意力几何，500M 预训练外推最优
📌 工作参考价值（4 点）
- 在电商搜索/推荐的长用户行为序列建模中，可借鉴「可学习距离衰减 + 轻量路由器」替代固定窗口或硬截断：用 query/key 双侧路由选择短/中/全局 regime，让不同 token/item 自适应选择交互范围，既保留长程依赖又降低注意力成本。
- 推理时采用 top-1 离散化先把 attention support 确定，再计算稀疏 QK。论文显示 support density 随上下文长度下降（0.154→0.104），说明在商品描述、会话历史等长序列场景中，这种路由可带来亚二次的注意力开销，适合在线扩容。
- 若需要显式压成本，可参考 MoSAR-Cost：在 LM loss 上加入归一化期望 reach 正则，以很小的困惑度代价换取更低的预期注意力范围；在推荐排序 loss 里也可以加入类似 expected attention cost 项，实现推理成本可控。
- 结论「平滑可控衰减优于硬 mask」可直接用于改进用户长期兴趣序列的 RoPE 截断或滑动窗口设计，避免硬截断带来的语义不连续。
PrismQuant：分组量化器的最优零空间旋转对齐
🧭 LLM 量化 · 零空间旋转对齐 ★ 深度解读
Nanyang Technological University · Nanjing University of Posts and Telecommunications · Nanjing University · Qualcomm AI Research
把激活主特征空间对齐到分组非对称 INT4 的组内常量子空间，实现 W4A4KV4 下 SOTA 且近乎无损
📌 工作参考价值（4 点）
- 部署 LLM 在线推理（Agent / LLM ranker / 生成式推荐）时，W4A4KV4 是可用压缩点；不要只做 Hadamard 式“把能量摊平”，而应把 activation 的主成分旋转到 per-group 常量方向，让已有 fp16 zero-point 吸收大能量，减少组内 range。这个思路可直接复用到你的 activation quantizer。
- 分组大小 g 不仅决定 scale 分辨率，还决定可供对齐的零空间维度（d/g 个零 slot）。在相同 activation bit 预算下，优先用更细 group（g=128）而不是在更粗 group 里加额外 affine 方向；实测 g=128 单方向优于 g=256 三方向。对 KV cache / item embedding 表量化同样有借鉴意义。
- 如果业务模型是 MoE（多领域 / 多场景 Expert 推荐或 MoE LLM），每个 expert 单独估计 activation 二阶矩并给独立 R4，router 保持 bf16 且 R1 fold 进 router 输入以保持路由不变；冷 expert 用 pooled covariance shrinkage，能恢复大部分 Hadamard 损失。
- 工程实现上，旋转可折叠进相邻权重，避免在线 dense rotation；对不可折叠的 down-projection 输入，用 rank-k compact WY 修正 + block Hadamard，Tensor Core 两 kernel 实现，增加约 2.4% decode latency，但 prefill 1.51× / decode 1.22× vs FP16。部署 LLM 特征提取或排序模型时，可把旋转离线折进权重，线上只保留小 rank 修正。
日志结构Transformer：分离残差与扩展嵌入以压缩KV缓存
🧭 Transformer架构改进 · KV cache压缩 ★ 深度解读
University of Illinois Chicago
提出日志结构Transformer，用每层32维扩展嵌入替代全宽KV缓存，使924M模型持久注意力内存减少104倍且长上下文更优
📌 工作参考价值（4 点）
- 对于需要处理长用户行为序列或长文档上下文的电商/搜索推荐LLM，可借鉴双通道设计：将注意力KV输入改为低维log-structured扩展嵌入，回合间释放全宽KV缓存，显著节省显存，支持更长用户历史。
- 架构改动仅影响注意力输入，与GQA、量化、层复用等现有压缩技术正交；论文显示Extender+GQA在参数更少情况下仍优于MHA Transformer，可直接叠加到现有推理优化栈。
- 推理工程上可采用 ephemeral kv-cache 策略：持久保存x*缓存，按需重投影KV，适合多轮Agent或低频长上下文请求，避免长期占用大量显存。
- 分离下一token预测残差流与注意力记忆通道的思想，可能提升长序列建模能力（如多key检索类任务），在用户行为建模或长文档理解场景值得验证。
金字塔式稀疏注意力：对数线性复杂度
🧭 长上下文 LLM 稀疏注意力加速 ★ 深度解读
Shanghai Jiao Tong University · Shanghai Innovation Institute · ByteDance Seed
PISA 用金字塔 Top-K 块选择 + LogSumExp 评分，把可训练稀疏注意力的选择复杂度从 O(N^2) 降至 O(N log N)
📌 工作参考价值（4 点）
- 用户行为序列、商品文档、Agent 长记忆等长上下文场景，可以将 block sparse attention 的 Top-K 选择换成 PISA 的层级候选缩小：长序列（>64K）下路由 latency 显著低于普通 BSA，适合海量长行为序列或长文档理解；短序列（<16K）仍用普通 BSA 更划算。
- 工程实现可借鉴两段式 kernel：训练/prefill 阶段先做 intermediate-level 路由，再把同一 leaf key block 的 query 聚成 tile 复用 key IO，Qtile=4 时 64K+ 额外获得约 1.3× 加速；解码阶段用单 kernel 融合所有层级避免多次 launch，缓存 mean pyramid 只更新当前 token 的祖先路径，均摊 O(log N)。
- 块打分用 LogSumExp 而不用均值或均值+方差：LSE 保留更高阶信息，提升 Top-K 块选择质量和检索类/containment 任务准确率；在 GQA 下按 query heads 求和 LSE 做共享块选择可复用，但要注意它和 full attention 的 head-mass 平均排序规则不完全一致。
- 若业务中有 Agent/RAG 长候选集粗筛，可把“池化层级 + 每层 bounded Top-K 扩展”作为两阶段检索范式：先粗粒度过滤，再对少数候选精确打分，避免全量候选打分；训练时梯度只经过选中 attention，离散选择不参与反传，可作为稀疏模块插入现有结构。
MILO：基于块级低秩压缩的高效多示例上下文学习
🧭 LLM 推理 · KV cache 低秩压缩
Google · University of Central Florida
利用块级低秩压缩和基于信息熵的动态秩分配，将多示例ICL的KV缓存降低50%、吞吐提升1.8倍
📌 工作参考价值（3 点）
- 在电商推荐/Agent场景中，常需将用户历史行为、商品描述或工具调用日志构造成超长上下文做 many-shot ICL，KV cache 内存是线上服务瓶颈；可借鉴 MILO 的块级低秩压缩，对 KV cache 分块进行 SVD 低秩近似，减少显存占用并提升吞吐。
- 动态秩分配策略：根据信息熵（或实际可用的 attention score 分布）评估每个块的重要性，对高信息密度块保留更多秩，对冗余块大幅压缩；这一思想可迁移到推荐系统的长序列用户建模或 Agent 对话历史压缩，避免均匀压缩导致关键信息丢失。
- 工程实现上，MILO 在 Qwen2.5 上达到 50% KV cache 内存降低和 1.8× 吞吐提升，且分类/推理基准性能几乎无损，说明低秩压缩可作为 LLM 在线推理的默认优化手段，尤其适合广告/推荐场景中的大模型 serving。
语言模型的最小侵入式引导
🧭 LLM测试时对齐 · 预logit引导
Johns Hopkins University
MISVO用Fisher信息惩罚预logit干预的局部KL，冻结LLM测试时奖励引导，7项任务6项最佳
📌 工作参考价值（4 点）
- 对冻结 LLM 的最后隐藏状态加位置特定干预向量，用 Fisher 二次型惩罚诱导分布与参考分布的局部 KL，适合电商文案、广告标题生成时按点击率、GMV 等黑盒奖励在线调整，无需微调模型。
- 工程上只需用冻结 language-model head 做矩阵-向量积解析计算梯度，轻量可部署到推理链路中，可在 Agent 调优或文案生成后叠加测试时奖励优化，避免重训成本。
- 局部 KL 正则相比裸奖励优化，能防止输出分布过度偏离原始模型，保持语义连贯性与多样性，适合需要生成质量与业务目标平衡的场景，如搜索广告文案、商品卖点生成。
- 对于变化快、延迟反馈的奖励信号（用户反馈、转化数据），可借鉴该无参数测试时优化思路，与 Best-of-N 采样结合，提升平均奖励且维持样本多样性。
对数深度循环语言建模
🧭 对数深度循环架构替代 Transformer
Imperial College London
扩展平衡树递归算子至自回归预测，实现对数深度与线性复杂度的语言建模，长度外推稳健
📌 工作参考价值（4 点）
- 用户长期行为序列建模可借鉴：电商/广告场景中用户历史长度大，Transformer 二次注意力成本高；对数深度递归算子提供线性复杂度且并行训练，适合作为长序列编码器候选。
- 所有前缀表示可高效计算：推荐系统常用用户历史前缀做序列预测，该方法避免逐位置重复计算，适合 next-item/next-query 训练效率优化。
- 长度外推稳健：线上序列长度波动大，位置编码失效常见；可考虑引入树结构或对数深度归纳偏置，缓解长度外推问题。
- 该工作目前性能仅接近 ALiBi Transformer，仍属初步研究，落地需在业务序列模型上验证收益，不宜直接替换。
风险受控的 KV Cache 淘汰：从内存预算到风险目标
🧭 LLM 推理 · KV cache 风险控制
Department of Artificial Intelligence, Korea University
将 KV cache 淘汰重新定义为部署风险控制，用事后认证选择保留策略并按需回退全 KV
📌 工作参考价值（4 点）
- 在电商/广告线上长上下文 LLM 服务（商品详情问答、评论总结、Agent 长时记忆）中，用风险预算替代平均精度来选择 KV cache 压缩策略：按业务可容忍的退化概率（如 5%）和置信度进行校准，只上线被认证的策略，避免长尾请求质量事故。
- 引入全 KV fallback 机制：当校准集上没有任何压缩策略通过风险认证（例如高难度长上下文任务），自动回退到不压缩，保障最坏情况体验，可作为线上安全网。
- 离线评测时不要只看平均退化率，要报告有限样本认证的风险上界；对于固定内存预算方法，认证可能显示需要多保留 5-10 个百分点的 KV cache，帮助更稳健地设置内存配额。
- 该方法是 compressor-agnostic 的，可与任意 KV 淘汰算法结合，适合在现有推理加速框架上低成本包装为上线前认证流程。
激活记忆与参数记忆在小样本学习中的互补作用
🧭 LLM记忆机制与测试时训练
Northeastern University, Shenyang, China · NiuTrans Research, Shenyang, China
系统比较LLM中激活记忆与参数记忆的差异，发现事实回忆靠激活记忆，复合任务需二者协同
📌 工作参考价值（4 点）
- 在电商/Agent 的上下文管理中，事实性信息（如商品属性、历史订单）放进 KV cache 或 prompt 即可稳定回忆，不必为此做在线参数更新。
- 对需要“先查事实再执行新规则”的复合任务（如促销规则叠加用户偏好），仅靠 ICL 或仅靠微调都不够，架构上应同时保留激活记忆和轻量参数更新两条路径。
- 神经元分析表明两类记忆激活不同神经元群：模型可解释性排查时，可判断失败原因是上下文丢失还是参数适应不足，再针对性修复。
- 整体为机制研究，业务可借鉴点有限，但可作为混合记忆设计（RAG + 测试时训练）的理论依据。
记忆注意力：用token索引记忆替代value投影
🧭 注意力机制 · token memory
提出Memory Attention，以token索引记忆加上下文key构造value，支持归一化折叠与CPU卸载，提升语言建模和下游性能
📌 工作参考价值（4 点）
- 将 token-indexed memory 放到 CPU/SSD 并 prefetch 的思路，可直接迁移到电商/广告场景的大词表、item ID、Semantic ID 等 embedding 存储，降低 GPU 显存占用，适合线上推理降本。
- 用「key + norm(memory)」构造 value 替代独立 value projection，可减少参数和计算；在生成式推荐或用户序列建模中，可以尝试用静态 item/token memory 与上下文 key 相加，保留个性化同时降低 FLOPs。
- 推理时把归一化折叠进 embedding table 的工程技巧，能减少 per-token 计算步骤，对高 QPS 的搜索/推荐在线服务有直接参考价值。
- 论文核心面向 LLM 预训练，业务迁移前需在推荐或 Agent 场景重新验证：token 静态表示对非语言 ID 的适用性、以及 memory 规模与显存/延迟权衡仍需实验。
Transformer KV Cache 的张量分解：谱结构与格式对比
🧭 LLM KV cache 张量分解压缩
Universität Trier
对 KV cache 四阶张量做谱测量，在 2-5× 压缩下 Tucker 重构误差最低，head/layer 近满秩不可压
📌 工作参考价值（4 点）
- 工业 LLM serving 做 KV cache 压缩时，可优先用 2D/SVD 压 key；value 需保留 4 维结构，用 Tucker 且不压 head/layer 轴，同存储下误差更低。
- 压缩预算不要均匀给四个轴：head 和 layer 近满秩，强行压缩收益极低且伤精度；预算应集中在 token 与 feature 轴。
- RoPE 后 key 的可压缩性下降 41%-64%，若做 prefill 缓存或分阶段压缩，尽量在 RoPE 前对 key 做低秩/缓存，或对 post-RoPE key 分配更高 rank。
- value 的错误地板比 key 高，在电商/Agent 长上下文场景做混合 KV cache 管理时，value 应给更高存储比例或更保守压缩。
Transformer 能同时持有两种思想：LLM 线性叠加的证据
🧭 Transformer 可解释性与推理加速
证明 LLM 输入端线性组合会产生输出分布叠加，并提出引导解码实现单次前向生成两条连贯续写
📌 工作参考价值（4 点）
- 推理加速：借鉴引导解码同时解耦叠加输出，可在一次前向中生成多个候选 query/文案，用于搜索推荐场景的多路召回或 A/B 文案测试，降低 GPU 成本。
- 多意图融合：若模型经轻量微调恢复叠加线性，可混合多个意图 prompt embedding（如“品牌词+品类词”），再用解码约束得到多条符合不同意图的结果，适合电商搜索 query 推荐。
- 可落地微调：叠加线性随预训练减弱但能通过轻量微调恢复，业务模型可以用少量数据进行微调，使多流输入并行处理成为可能，从而支持 Agent 同时处理多个子任务。
- 注意边界：该线性性质与训练程度相关，实际部署前需在自有模型上验证；建议在微调阶段加入保持叠加线性的正则项或混合训练数据。
WanPE：面向现代文本到视频生成的电影级提示增强
🧭 LLM 提示词增强 · 视频生成
Nanjing University · Wan Team, Alibaba Group · University of Science and Technology of China · Fudan University · Tsinghua University
397B 提示增强模型，通过视频反向构建与语义一致性 GRPO，大幅提升长视频生成的人类偏好
📌 工作参考价值（4 点）
- 电商视频广告/商品短视频：可借鉴“反向构建”思路，从高点击、高转化的广告成片或商品视频反推分镜脚本文案，训练 LLM 提示规划器；避免依赖人工正向写 prompt 模板。
- 在 RLHF/GRPO 优化生成式推荐或 query 改写模型时，引入“语义一致性奖励”：用 embedding 相似度或判别器约束生成结果与用户原始意图的距离，防止多步生成漂移，适合多轮对话式推荐、Agent 工具调用。
- 构建评测集时按“时长/意图粒度”分层，并采用盲选成对比较，能更稳定地测量 prompt 增强等文本生成模块的业务收益；比只看 BLEU/ROUGE 更贴近人类偏好。
- 若业务中要生成多镜头脚本（如广告创意、短视频脚本），可显式建模 shot-level plan；一次规划生成多个镜头，保持角色/商品外观、品牌信息一致性，而不是逐镜头独立生成。
FLEET：从 logits 熵到文本生成中的增强轨迹
🧭 LLM 推理时采样优化
Kharkiv National University of Radio Electronics, Kharkiv, Ukraine
通过记录高熵 token 轨迹并调整 logits，在相同预算下提升采样效率与复杂任务准确率
📌 工作参考价值（4 点）
- 替代重复采样做集成：在生成 query、文案、搜索结果标题等场景中，常用 temperature sampling 生成多个候选再投票/打分。FLEET 的记忆机制可减少重复候选，提升预算利用率，相同精度下速度提升 3 倍。
- 轻量级 logits 调整模块：FLEET 只需根据 token 熵阈值记录轨迹并调整 logits，对现有 LLM pipeline 改动小，易于嵌到在线生成服务中，尤其适合需要控制延迟和成本的电商推荐系统。
- 确定性贪心解码可选：论文在贪心解码下实现确定性输出，适合对可复现性有要求的 A/B 测试或生产环境；用一次校准 pass 自动确定超参数，降低调参成本。
- 面向 Agent 的复杂任务提升：在 LiveCodeBench 等复杂编码任务上大幅提升 Pass@32，说明该方法对多步推理和 agentic 任务有效，可用于电商导购 Agent 的多步规划与执行。
HySparse2：两级 KV 共享的混合稀疏注意力
🧭 长上下文高效稀疏注意力与 KV 共享 ★ 深度解读
Xiaomi LLM-Core
通过两级 KV 共享使 prefill 只跑一半模型，同时提升长上下文检索并降低 KV 缓存
📌 工作参考价值（4 点）
- 在电商/搜索 Agent 场景，工具返回长文本、多轮会话累积导致 prefill 成为主要延迟；可借鉴 self-decoder/cross-decoder 分离：prefill 只执行 self-decoder（约半模型），cross-decoder 的 full-attention KV 由 self-decoder hidden states 投影生成。在 prefill-decode disaggregation 下，prefill 节点只需部署一半权重，显存和算力直接减半。
- 稀疏注意力选择粒度很关键：对多轮 Agent 轨迹、检索历史，token-level top-k 明显优于 block-level（RULER-v2 +6.57、2-needle MRCR-v2 +8.14、GraphWalks +5.55）。如果业务正在用 block sparse 做长上下文召回或会话压缩，且 token-level kernel 可用，应尽早切换；至少在检索关键层保留 token-level。
- 强制最近窗口进入稀疏选择，可以替代单独的 SWA 分支：省掉额外投影参数、局部 KV cache 和级联依赖，使 early exit prefill 成为可能。对需要保留最近会话/商品浏览状态的推荐 Agent，固定保留最近 128 token 是低成本且有效的局部建模。
- KV Bridging 只在 full-attention 层间连接，保留独立投影但共享 source hidden，可以在几乎不损失质量的前提下压缩 KV cache（1M 时 2.69GB vs 6.72GB/12.09GB）。对超长上下文电商 Agent，可考虑用跨层 KV 共享替代或叠加量化压缩。
塞壬之歌：当近端背景语境压过远端证据
🧭 长上下文注意力机制 · 重尾相关性对齐
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney
识别长上下文 LLM 的 Proximity Trap，并提出重尾相关性对齐机制 LYRA，把更多注意力导向任务相关证据
📌 工作参考价值（4 点）
- 在电商搜索、RAG 或 Agent 长记忆场景中，不要把长上下文优化只等同于“扩大窗口”或“距离加权”；需要显式对抗近端无关内容的干扰，例如在 memory / context 读取层增加相关性门控或对注意力分布做重尾变换。
- 可以借鉴 LYRA 的 t-distributed heavy-tailed relevance alignment 思路：在检索增强、用户历史建模或商品详情拼接时，对 token 级的 relevance score 做重尾映射，避免注意力被大量近端噪声 token 稀释，让远端关键信息获得更高概率质量。
- 构建与 ProxBench 类似的评测：在 prompt 中注入大量近端但任务无关的背景文本，测试模型能否稳定利用远端证据；这比单纯 LongBench 更能暴露实际 Agent / 搜索推荐场景下的上下文干扰问题。
- 若自训长上下文排序或生成模型，可加入近端干扰样本，并设计 relevance-aware 的注意力匹配损失，帮助模型学习“位置近不等于任务相关”的归纳偏置。
SpeakerMem-R1：面向多方对话的以说话人为中心双轨记忆
🧭 多方对话长期记忆 · 双轨记忆与RL训练
State Key Lab of CAD&CG, Zhejiang University
双轨记忆+RL训练Writer-R1，解决多方对话长期记忆的消息归属与关系理解瓶颈
📌 工作参考价值（4 点）
- 双轨记忆可迁移到电商多方会话场景：售后群聊、直播互动、多人协作等场景中，用户与客服/主播/其他买家发言交错，现有记忆系统易丢失人物关系和观点归属；借鉴 SpeakerMem-R1 的 verbatim track + structured track，将原始消息与提取出的 person-level/group-level 状态分开存储，查询时按 entity/event/time 融合，能显著提升关系类问题的回答质量。
- 用小模型做结构化记忆写入更贴合生产环境：论文训练 Writer-R1 负责从对话中抽取说话人归属和状态更新，而非直接调用超大模型做长时间维度的记忆管理；电商客服/Agent 团队可以对自有会话数据做 SFT+GRPO，训练一个轻量记忆写入器，降低 API 成本和延迟，同时满足数据隐私要求。
- speaker-conditioned GRPO 可用于归属纠错：将说话人信息作为奖励条件，结合 SpeakerLevenshtein 惩罚归属错误，比单纯 SFT 更能提升消息归属准确率（控制实验中 57.38%→68.20%）；在训练自己的对话总结或状态抽取模型时，可借鉴这种领域可验证的 RL 奖励设计。
- person-level 与 group-level views 互补：对电商推荐中的用户画像建模有启示——同时维护个体兴趣状态和群体共享状态，避免只关注个人历史而丢失群组上下文（如家庭采购群、企业采购团队）。
贪心解码并非精度不变：LLM 推理中的跨精度输出分歧
🧭 LLM 推理 · 精度一致性
University of Tennessee, Knoxville · University of Chicago · Amazon · University of Texas at Austin
证明 BF16/FP16 下贪心解码会系统性分歧，提出低 margin 触发 FP32 LM head 重算，一致性提升 22–36pp 且延迟开销 <4%
📌 工作参考价值（4 点）
- 线上 LLM 推理要显式固定 dtype：BF16 与 FP16 不能视为等价，尤其 greedy decode 用于召回/排序/文案/query 改写时，跨精度差异会造成离线在线或 A/B 的隐性不一致。可在服务配置中锁死 MatMul/attention/lm_head 精度，并用固定 prompt 集做跨精度 diff 测试。
- 如果需要在低精度下保持与高精度输出一致，不要全模型 FP32 重算；可移植 selective FP32 lm_head recomputation：仅当 top-2 logit margin 低于阈值时用 FP32 重算 lm_head，低 batch 单流下延迟 <4%，一致性显著提升。可封装成 inference wrapper 或 engine option。
- 注意适用边界：batch size >= 8 或端到端 FP8 下 body 误差主导，该方法失效；不要把它当作确定性保证。限流/批处理场景需要单独评估。
- 对 LLM 驱动的推荐/Agent pipeline，若输出 token 用于下游决策（商品 ID、工具调用、query 改写），低 margin token flip 会级联放大；可针对低 top-2 margin 的高风险样本做高精度重算或投票，并监控 margin 分布作为质量信号。
腾讯混元 A13B 技术报告：80B 总参、13B 激活的 MoE 高效 LLM
🧭 高效 MoE LLM 与双模式 CoT 训练 ★ 深度解读
Tencent Hunyuan Team
开源 80B/13B 激活 MoE，通过双模式 CoT 与强化学习在推理和 Agent 任务上逼近更大模型且吞吐更高
📌 工作参考价值（4 点）
- 双模式 CoT 可用于生产级 LLM 路由：/no think 适合商品问答、摘要、搜索 query 理解、自动补全等高 QPS 低复杂度场景；/think 适合购物导购规划、广告投放策略、深度搜索等复杂 Agent 任务。可按 query 复杂度、用户延迟预算或任务类型做策略路由，省 token 降延迟。
- Agent 数据构造方法可直接迁移：多角色合成引擎（user/planner/tool/agent/checker）+ 沙箱/MCP/合成工具 + 30 类系统指令 + 20K 格式组合，能低成本生成多样化工具调用数据；再针对高频任务（Excel 处理、深度搜索）做增强，适合电商购物助手、广告 Agent、搜索 Agent 的 SFT 数据 pipeline。
- Agent RL 奖励设计值得复用：格式奖励（特殊标记与顺序正确给 1）+ 正确性奖励（tool/parameter/value 一致性）能稳定训练工具调用；对推荐/广告投放的 API 调用、商品搜索参数解析等可定义可验证奖励，再叠加 sandbox 或执行反馈做 RL。
- MoE 推理部署配置可作为选型参考：80B 总参、13B 激活，配 GQA、Expert Parallel、FusedMoE，支持 vLLM/SGLang/TensorRT-LLM 与 INT8/W8A8/KV Cache FP8，batch 32 约 1982 tokens/s；对实时推荐/Agent 场景，快思考模式 + 量化可显著降低推理成本。
Complex KDA：理解并增强 Kimi Delta Attention 的表达能力
🧭 线性 RNN 表达能力增强
University of Freiburg · Microsoft Research · University of Tübingen · MPI-IS Tübingen · EPFL
通过扩展门控与 delta 系数范围，提出 CKDA，在不增加秩或成本下实现 2D 旋转并达到 DeltaProduct2 的表达能力
📌 工作参考价值（4 点）
- 对需要轻量序列建模的电商/广告场景（如用户行为序列、点击流预测），CKDA 提供了一种保持状态非膨胀的对角加秩一线性 RNN，计算开销低，可作为长序列用户建模的候选架构。
- 参数范围扩展（门控 [-1,1]，beta [0,2]）简单且不增加推理成本，可以尝试在已有 KDA 或 delta-rule 模块中直接调整范围，观察对长尾序列或周期行为（如促销周期）的建模提升。
- 文中证明 CKDA 可跟踪 SO(3) 子群，表明其具备更强的状态跟踪能力，适合需要精确维护内部状态的 Agent 或对话系统，可能减少层数或状态维度需求。
- 注意：论文核心是基础架构创新，业务直接迁移价值有限，主要在需要高效长上下文处理且对表达能力有要求的场景（如用户长期兴趣演化）可考虑替换 Transformer 层或作为轻量 backbone。
Flash-dLLM：IO感知KV缓存与并行解码加速扩散LLM
🧭 扩散LLM推理加速·KV cache
VILA Lab, MBZUAI
训练无关Flash-dLLM以IO感知融合KV cache和自草稿-验证解码，显著加速扩散LLM推理并省内存
📌 工作参考价值（4 点）
- 在 LLM 推理服务（如广告文案/搜索词生成）中，KV cache 的 HBM 读写常成为瓶颈；可借鉴 Flash-dLLM 的 IO-aware 融合 kernel，把多个注意力/cache 操作合并执行，减少冗余显存搬运，提升 batch/long-context 吞吐。
- 自草稿-验证（self draft-and-verify）不引入额外 drafter 模型，适合资源受限的 Agent/推荐系统：让主模型复用 KV cache 同时生成候选并按验证结果接受，降低延迟且不增加显存。
- 其并行解码与 KV-cache 驱动候选验证思路可迁移到批量生成场景，例如离线批量生成商品标题、query 改写或 push 文案；考虑非自回归或半自回归解码来扩大 batch size、缩短首 token 延迟。
- 面对 RAG 长文档或用户长序列，KV cache 显存与 I/O 受限时，可参考其对缓存复用和显存效率的优化策略，设计更紧凑的 cache 分层或融合模式。
LoRA生成超网络用于高效设备端LLM生成式个性化
🧭 设备端LLM个性化 · 超网络生成LoRA
训练超网络将用户上下文映射为个性化LoRA，兼顾ICL计算可行性与PEFT权重修改优势
📌 工作参考价值（3 点）
- 将 hypernetwork 生成个性化 LoRA 的思路用于用户级文案生成（如 push 消息、推荐理由），可避免对每个用户做云端微调或扩展 prompt；设备端只需一次前向计算，延迟低且不增加输入长度。
- 该架构共享基础 LLM 权重并仅需额外存储一个超网络，适合移动端/边缘设备部署；业务中若需为大量用户提供个性化生成能力，可考虑训练一个通用的用户编码器+超网络，而非保存大量微调模型。
- 用户上下文 token 作为输入，可类比在推荐系统中将用户行为序列编码后生成适配参数；此方法可作为生成式推荐中轻量用户表征的一种实现，用于生成个性化语义 ID 或推荐文案的 LoRA 适配。
SPHQuant：面向视觉语言模型的高效极低比特权重量化
🧭 VLM 极低比特权重量化
Shanghai Jiao Tong University · The Hong Kong Polytechnic University
提出旋转无关的球面权重量化框架，通过分解8D权重向量分离异常值，实现2-3比特下精度匹配与30.3%解码吞吐提升
📌 工作参考价值（4 点）
- 将权重按向量维度（如8D）分解为坐标符号、半径、正单位方向，并单独给半径分配更高精度，可迁移到LLM骨干的极低比特量化，降低异常值影响而不引入旋转的额外开销。
- 方向码本采用角度参数化并微调来保持单位球约束，可以借鉴到生成式推荐的Semantic ID码本优化或embedding量化，提升低比特表示能力。
- 自定义GEMV kernel：保持方向码本小到可放进共享内存，同时高效打包半径位，对自回归解码的memory-bound场景有实际加速效果，可参考用于部署推荐/Agent中的自回归LLM推理服务。
- 旋转无关方法在2-3bit能与旋转方法精度相当，说明在追求低延迟、低内存的边缘部署时，优先避免旋转开销是可行路线，对端侧Agent或实时推荐推理有借鉴价值。
为 DeepSeek-V4 适配树形投机解码以提升推理效率
🧭 LLM 推理优化 · 树形投机解码 ★ 深度解读
Baige AI Team, Baidu Inc. · Fudan University
在 DeepSeek-V4 压缩注意力上实现树形投机解码，通过分支感知验证与状态刷新，吞吐最高提升约 18.5%
📌 工作参考价值（4 点）
- 在开放域低可预测的生成任务（对话式推荐、query 改写、广告文案生成）上，树形投机比线性投机吞吐提升更明显，batch 4 左右最优；线上可优先在这些场景开启。
- 若线上模型使用 KV cache 压缩/稀疏注意力，上 tree speculative decoding 不能只加 mask，必须隔离每个分支的压缩状态（scratch pad + 接受后刷新），否则会污染持久缓存上下文。
- 验证预算不是越大越好：研究中 D>6 后吞吐与接受长度脱钩，只涨质量不涨速度；工程上应根据 draft 能力和负载联合调 depth/width。
- 树形验证与 DSpark 类 draft 提质方案正交，可分开迭代：draft 侧负责候选质量，verify 侧负责分支利用，收益可叠加。
从模式识别器到个性化伴侣：心理健康领域大语言模型综述
🧭 LLM 心理健康应用 · 智能体演进
梳理LLM在心理健康中从被动评估工具到共情对话者再到有状态个性化陪伴智能体的三阶段演进，并系统综述了智能体架构与评测资源
📌 工作参考价值（4 点）
- 三阶段演化框架可映射到电商推荐 Agent：从静态内容理解/分类 → 单轮对话式推荐 → 有状态、跨会话的个性化陪伴（长期偏好追踪），适合用来规划团队内部 LLM 推荐能力升级路径。
- 重点借鉴 Agent 架构中的 Memory 设计：区分长期用户画像（Profile）与短期会话状态，并引入记忆压缩/检索机制，解决电商搜索/推荐中跨 session 用户意图漂移与个性化不足问题。
- 评测体系从“单次回答准确率”转向“纵向满意度、信任与留存”的思路，可迁移到搜索推荐评估：建立面向用户长期价值（如复购率、负反馈率、会话深度）的 LLM 评估指标。
- 隐私保护与去标识化（de-identification）在用户数据敏感场景（如健康、电商行为）有直接参考，可为推荐 Agent 接入用户画像时提供合规与降敏方案。
CARD：聚类适配与奖励引导解码实现个性化文本生成
🧭 LLM 个性化文本生成 · 聚类 LoRA 与解码注入
University of California, Irvine · University of Amsterdam · TikTok
提出分层个性化框架 CARD：用户聚类学习组级 LoRA，簇内对比隐式学习个体偏好，推理仅解码注入实现高效个性化生成
📌 工作参考价值（4 点）
- 电商/广告文案生成可借鉴“先用户聚类 + 组级 LoRA”的两级适配：用行为或风格特征对用户分簇，每簇训练一个 LoRA，避免 per-user 全量微调，兼顾个性化与规模化部署。
- 簇内个体差异无需人工标注：用用户历史真实文本（如历史点击商品标题、评价、搜索词）作为正样本，簇级通用生成文本作为负样本，做对比学习得到轻量 user preference vector，可直接迁移到个性化 push 文案、商品描述生成。
- 推理时个性化只注入 decoding：base model 冻结，仅加载 lightweight user preference vectors 和 low-rank logit corrections；工程上线上可按用户簇切换对应 LoRA 和向量，存储与推理开销低，适合需要高频 A/B 和千人千面文案的推荐场景。
- 冷启动用户可先归入簇使用组级 LoRA + 默认偏好向量，后续积累数据再学习个体向量，平滑过渡成本低，可复用到新客或低活用户个性化激活。
ExpBoN：用于高效测试时LLM对齐的指数噪声Best-of-n
🧭 推理时对齐 · 指数噪声BoN ★ 深度解读
Imperial College London · University of Washington
提出指数噪声Soft Best-of-n，有限样本下指数收敛，结合GSI可减少推理计算39%-45%
📌 工作参考价值（4 点）
- 在需从候选集按 reward 加权采样的场景（如生成式推荐、query/文案选择），可用 exponential-noise report-noisy-max 替代 softmax/Gumbel，有限样本下收敛更快，且期望奖励不低于 SBoN；其精确分解还可用于分布保持的 early exit。
- 借鉴 GSI 的 draft-target 架构：用轻量 draft 模型生成候选、大模型验证和选择，结合 clipped reward（对 log-likelihood ratio 设上限）可避免无界重要性权重；clipping level 用历史数据 95 分位数校准，跨任务固定。
- 工程实现中，利用 exponential noise 的 memorylessness：通过阈值截断和随机顺序扫描实现早停，命中时直接返回，可大幅降低实际计算量；在设计 speculative decoding 或 Agent 多步推理时，可借鉴此早停策略。
- 注意：指数噪声对 proxy reward 的过优化可能更激进，业务中需搭配 reward hacking 缓解、或对 reward 模型做校准。
L0 正则化混合专家加速稠密大模型
🧭 LLM 推理加速 · L0 稀疏 MoE
YWZ, Chengdu, China · FuTu AI, Shenzhen, China · Wise AI, Melbourne, Australia
提出 L0-MoE，用 L0 正则化将稠密 LLM 转为稀疏 MoE，实现最高 2.5 倍加速且性能几乎不降
📌 工作参考价值（3 点）
- 在需要低延迟、高吞吐的 LLM 推理场景（如电商搜索 Agent、对话式推荐），可借鉴 L0-MoE 把已有 dense 模型快速转为稀疏 MoE，无需从头训练 MoE，节省大量计算资源。
- 动态 batching 与 domain-aware 数据集构建方法可迁移到垂直领域小模型的加速训练：先用聚类混淆矩阵挑选领域代表性数据，再动态组 batch，提升训练效率。
- 若业务中需要同时覆盖多领域（如搜索、广告、推荐），可考虑用 L0 正则化自动学习专家路由，减少手工设计 MoE 结构的工作量，同时获得 2 倍以上推理加速。
RheoSampling：解决随机动态树投机解码中的独热困境
🧭 LLM 投机解码推理加速
National Center for Mathematics and Interdisciplinary Sciences (NCMIS), AMSS, CAS · The University of Tokyo · Lenovo AI Technology Center · SKLMS and AMSS, Chinese Academy of Sciences · School of Mathematical Sciences, University of Chinese Academy of Sciences
通过解耦动态树构建与验证概率，首次实现上下文感知 top-K 动态树与随机采样兼得的无损投机解码
📌 工作参考价值（4 点）
- 线上 LLM 服务若采用投机解码加速，在 temperature>0 的生成式推荐/文案/对话场景，现有动态树方法会退化为 one-hot，导致接受率下降；RheoSampling 可作为随机采样下保持加速的参考实现，直接替换 EAGLE-3 等动态树 draft 策略。
- 其“构建概率”与“验证概率”解耦思路可迁移到其他需要在同一分布上同时做结构选择与质量评估的系统（如束搜索、MCTS 或推荐候选树生成），避免结构选择吃掉采样多样性。
- OT-based verification 和 sparse draft 机制对工程实现有借鉴：验证阶段用最优传输分配概率，稀疏 draft 减少无效分支，可降低延迟同时保持无损。
- 对于需要平衡多样性与效率的 Agent 多步推理/工具调用生成，该框架提供的等价类分析可作为分析随机树结构的新模板，帮助设计可证明无损的随机搜索策略。
Transformer 中的世界建模：机制分析
🧭 机制可解释性 · 世界模型
EPFL · IDIAP Research Institute · MATS · University of Bern · University of Manchester
通过机制分析与因果干预揭示 TaxiGPT 内部存在一致地图与导航能力，行为失败源于叠加特征干扰
📌 工作参考价值（4 点）
- 评估 LLM/Agent 能力时，不应只看行为指标（如推荐 CTR、合法动作率），可结合探针或因果干预检查中间表示是否编码关键实体与关系；行为失败可能是特征干扰而非能力缺失。
- 对 embedding 或序列模型，可按相同动作/属性的实体做分组表示（类似 affordance packing），降低叠加特征干扰，提升导航/决策鲁棒性；可迁移到商品/query 表示中按可替代行为聚类。
- 用机制指标追踪模型训练过程中能力的涌现阶段，指导训练轮数、模型规模选择或继续训练，避免依赖单一评估集。
- 当线上模型出现异常行为时，可先定位是感知/表示层错乱还是策略层决策错误，再针对性修复，减少无效重训。
语言模型测谎：读取模型不愿透露的知识
🧭 LLM 内部知识探测与隐藏知识审计
StackOne Technologies
用内部状态探测识别 LLM 隐藏但已知的答案，区分“不愿答”与“不会答”
📌 工作参考价值（4 点）
- 在电商/广告 Agent 上线前，用 PIR 式内部探测评估模型是否真正掌握商品知识或策略却因 prompt 冲突、安全过滤误伤而故意不输出，避免仅靠行为日志误判能力。
- 对经过 RLHF 或 unlearning 的模型，用内部识别信号验证敏感知识是否真正遗忘而非仅在输出层被压制，可用于合规删除用户数据或品牌敏感信息的审计。
- 该方法无需标注真值，可对长尾商品/query 做无标签知识覆盖度审计，帮助识别模型“知道但不说”的候选，减少标注成本。
- 可将候选答案的内部识别分数作为生成结果可信度辅助特征或 Agent 决策路由依据，在关键推荐/搜索环节检测模型是否隐藏高置信答案。
按需注意力：语言模型知道何时回忆
🧭 长上下文高效推理 · 按需注意力
Southern University of Science and Technology · Peking University · Peng Cheng Laboratory
训练轻量 recall head 基于解码状态动态触发全局注意力，在保持性能的同时大幅减少长上下文全局读取
📌 工作参考价值（4 点）
- 在电商多轮 Agent / 长会话推荐场景，可采用 local-first + 轻量 recall head 的思路：先用局部注意力生成，仅在预测到当前步需要全局信息时触发全局注意力，降低长上下文推理成本。
- 借鉴「只训练 recall head、冻结基座权重」的做法：在不改动线上 LLM 主干的前提下，通过一个极小的辅助头提升注意力分配效率，易于迭代和上线。
- 工程实现上参考其 vLLM 的 GPU 端条件执行：把是否执行全局注意力的分支放在 GPU kernel 内，避免 CPU-GPU 同步，才能真正把减少的全局读取转化为实际解码加速。
- 若业务使用 hybrid-attention 或长历史序列建模（如用户长期行为、商品描述），该方法可迁移为对重要 step 的按需全局召回，降低推理耗时同时保持大部分效果。
Deep Noir：通过架构时序自动发现 Transformer 激活引导参数
🧭 LLM 推理时激活引导自动化
Naval Surface Warfare Center Panama City Division
用 Logit Lens 收敛与因果头级归因自动定位 steering 层/头/幅度，实现跨任务激活引导
📌 工作参考价值（4 点）
- 诊断优先的自动化 steering 参数搜索：把 Logit Lens 收敛（模型何时从不确定到确定）与因果头级归因结合，可以替代手工调层、调头、调幅度。在电商/广告场景部署 LLM 分类器或内容过滤器时，可复用这套 pipeline 自动化定位需要干预的层和头，降低维护成本。
- Head masking 是跨任务泛化的关键：论文显示 RepE 不 mask head 在情感任务上无效，而 Deep Noir 的 head masking 使所有模型都提升。实际做 steering 时，不要直接加全局方向向量，要先用因果归因找出对目标任务有贡献的 head 子集再干预。
- 安全审查 Agent 的 prompt injection 风险量化：steering 幅度越大，模型越容易被注入攻击。如果电商安全 Agent 或评论审核系统使用了 steering 来控制输出，需要知道攻击面随 steering 强度单调上升，应在实际部署中限制 steering 强度或加入额外的注入检测层。
- 架构时序作为可解释性工具：Logit Lens 概率收敛曲线可以帮工程师理解模型在哪一层完成语义决策，这对优化推理截断、层剪枝、甚至识别哪些层对推荐/搜索 query 理解关键有参考价值。
关系注意力用于数据高效语言建模
🧭 语言模型 · 关系注意力与数据效率
UC Santa Cruz · Utrecht University
在 BabyLM 低数据场景下，用双注意力 Transformer 分离关系注意力与自注意力，提升数据效率和结构泛化
📌 工作参考价值（4 点）
- 用户行为序列建模可借鉴双路注意力：将物品的内容特征（类目、品牌等）与关系/转移结构分离，减少特征纠缠，可能改善长尾和冷启动泛化。
- 数据受限场景（冷启动、小业务）优先优化架构（如引入关系注意力、符号检索）比叠加训练目标更有效；论文显示架构是主导因素。
- 无参数 RoPE-based 符号检索可替代学习型符号嵌入，减少参数和过拟合，适用于 item ID、类目等离散符号的表示。
- NextLat 预测目标鼓励隐状态增量压缩历史，可用于用户状态表示，提升在线推理效率。
何时复制：用模型内在信号控制投机解码
🧭 LLM 推理加速 · 投机解码
SwitchSD 用轻量探针识别 LLM 的复制意图，动态切换神经草稿与上下文复制，吞吐最高提升 15%
📌 工作参考价值（4 点）
- 在部署 LLM 推理服务（如推荐文案生成、Agent 工具输出）时，可借鉴 SwitchSD 的 copy-intent 探针：对目标模型中间层训练轻量分类器，判断当前 token 是否应从上下文复制，避免 Prompt Lookup Decoding 的误触发。
- 对于大量 copy 场景（商品描述扩写、基于历史行为生成推荐理由、模板填充），混合策略明显优于单一神经草稿；用 hidden-state probe 代替 n-gram 重叠启发式，可减少意外重复。
- 工程上可将 EAGLE/PLD 作为两个 draft 后端，通过探针分数做低成本路由，无需重新训练主模型；如果业务里 copy 密度高，预期可获得 10%+ 吞吐提升。
- 可复用的结论：copy 不是一个表面 n-gram 模式，而是 LLM 内部可检测的控制信号；把复制判断从规则升级为模型感知，能直接提升投机解码效率。
IntBMoE：块级条件专家组合的全参与 MoE
🧭 MoE 架构 · 块级专家组合 ★ 深度解读
DreamX, Alibaba Group
用代码本+超网络预组合全量专家，解耦参与/执行/物化，AMap 线上 UVCTR +2.4%
📌 工作参考价值（4 点）
- 面向 60ms 级延迟预算的生成式推荐/广告召回，可复用「输入无关代码本 + hypernetwork 预组合专家 + 缓存块参数」方案：训练时按 batch 摊销组合成本，推理前一次性预计算 composed blocks，请求期只执行 Top-k 块，专家池大小 E 不再直接影响线上 FLOPs。
- DPRG 是低成本增强专家交互的 trick：对同一组 expert bases 组合 value path 和 gate path，gate 用 RMSNorm+SiLU 做乘法 residual 调制，不扩大专家数即可增加非线性；适合替换现有多专家融合中的简单加权或 convex combination。
- block-conditioned feature filter 可将 token/用户表示与 block code 拼接，再生成 sigmoid 软掩码，给不同专家块提供不同输入视图；可借鉴到多兴趣召回、多场景建模中的软过滤门控。
- 组合系数不做 softmax/sigmoid，保留负值并加 1/√E 缩放，是提升组合表达范围的实用做法；业务上做 expert fusion 时可尝试替代标准归一化系数。
扩散语言模型的并行性、关键窗口与范式分离
🧭 扩散语言模型并行采样理论
Harvard University · Tsinghua University
首次证明均匀/高斯扩散的并行采样步数可随分布内在复杂度缩放，且掩码扩散因关键窗口更窄需更多前向次数
📌 工作参考价值（3 点）
- 在电商/搜索场景用扩散 LM 生成商品文案、Query 补全或推荐语时，优先评估均匀/高斯扩散：其采样前向步数可随分布的 dual total correlation 缩放，对属性条件独立、结构化程度高的商品或 Query 分布，可能远低于序列长度，适合低延迟并行生成。
- 若生成式推荐使用 Semantic ID + masked diffusion，注意掩码扩散在近似 score 下存在 Ω(d) 并行下界；对长 token 序列且延迟敏感的服务，可尝试用均匀或高斯扰动替代离散“吸收态”，拓宽关键窗口以提升并行度。
- 工程调优可从“关键窗口宽度”切入：若观察到掩码扩散后期 token 状态突变、需大量去噪步，可借鉴均匀/高斯扩散的连续松弛或噪声调度，避免在窄窗口内做硬离散决策，减少串行步骤。
无损函数分解子词分词：将大小写/变音/重复编码为可逆操作符
🧭 子词分词 · 函数分解
Center for Transportation & Logistics, Massachusetts Institute of Technology
提出 Functionalizer 预分词框架，将大小写、变音、字符重复无损分解为 Unicode 操作符前缀，显著减小词汇量并提升代码生成质量
📌 工作参考价值（4 点）
- 面向多语言或 UGC 场景（跨境电商商品标题、评论、搜索 query），将大小写、重音、字符重复等表面变化从词汇表中剥离，用可逆操作符编码，可显著压缩词汇表、降低嵌入参数，且不丢失信息。
- Functionalizer 是可插拔的预分词器，能无缝接入现有 BPE/WordPiece 流程，工程实现成本低；可先在离线语料上验证词汇压缩率和下游任务（如 query 理解、CTR 模型）的 AUC 变化。
- 字符重复操作符对 UGC 中常见的情感强调（如“好好好”“赞赞赞”）有直接借鉴意义，可减少不同重复次数 token 的数量，避免词汇碎片化。
- 对代码生成或结构化文本任务，该方法通过保留结构信息提升语法有效性，提示我们在处理电商领域结构化数据（如商品参数模板、广告文案规则）时，可以尝试显式建模格式变化而非依赖模型隐式记忆。
长生命周期游戏 NPC 的增量记忆维护
🧭 LLM 推理 · 增量记忆维护
University of Bern
提出 LLM 运行时增量更新记忆的机制，避免重算长前缀并保持语义绑定
📌 工作参考价值（4 点）
- 在电商对话 Agent 或推荐助手中，当用户画像、订单状态等关键信息发生增量变化时，可以采用类似“移除被取代 KV 条目 + 在真实序列尾部追加更新”的策略，避免每次重新编码全部历史，显著降低本地部署的推理延迟和计算成本。
- 记忆更新应放在序列尾部而非原位覆盖：实验表明 true-tail updates 能避免 slot-preserving 方法出现的“双减法”类状态错误，这对需要精确状态追踪的电商规则系统（如库存、优惠券核销）尤其重要。
- 评估记忆维护系统时不能只看注意力分布相似度：论文发现注意力接近性无法解释语义差异，因此电商 Agent 的长期记忆评估应以下游任务准确率（如订单修改后的库存判断）为准。
- 混合循环-注意力架构（如 Qwen）在长上下文场景中能平衡效率与效果，可作为需要长期用户上下文记忆的生成式推荐 Agent 的候选基座。
超越截断：将 LLM 解码重新定义为集成剪枝
🧭 LLM 解码 · 集成剪枝
Institute of Statistics and Big Data, Renmin University of China · Big Data and Responsible Artificial Intelligence for National Governance, Renmin University of China · Center for Applied Statistics, Renmin University of China
提出 Mahalanobis-Ensemble Decoding，基于 token 嵌入相似度做集成剪枝，提升解码多样性且近乎零开销
📌 工作参考价值（4 点）
- 在电商/广告文案、搜索 query 推荐等文本生成场景，可直接作为解码端插件，用 token 语义相似度矩阵做候选剪枝，减少重复 token 和语义冗余，无需重新训练模型。
- 若业务中已有 LLM 生成候选商品描述、推送文案或 Agent 规划路径，可把 ME-Decoding 的 adaptive-bandwidth kernel 思路迁移到自有 token/item embedding 上，构造 Mahalanobis 距离驱动的多样性目标，提升候选集召回质量。
- 该方法强调 near-linear 复杂度和 early stopping，适合线上推理延迟敏感场景；在 beam search 或采样前对候选 token 做一次轻量剪枝，可作为低成本的多样性增强层。
- 对生成式推荐中的 Semantic ID 或多 token 生成路径，可用相似度矩阵动态 discount 冗余路径，缓解生成结果坍缩到高频 ID 或重复 token 的问题。
MoE 语言模型中专家的高阶剪枝
🧭 MoE 专家剪枝 · 二阶交互建模 ★ 深度解读
AWS Agentic AI · AI Fundamental Research
提出 HOPE 二阶专家剪枝，考虑专家协同交互，显著优于一阶方法，在高剪枝率及 Agent 任务上优势更大
📌 工作参考价值（4 点）
- 对业务中部署的大规模 MoE 推荐/排序模型，可参考 HOPE 的交互矩阵思路，在专家剪枝时不仅看单个专家的激活/输出贡献，而是记录 pair 共激活的乘积，构建 F 矩阵并解 QP；工程实现轻量，校准开销仅增加 6-7%，QP 每层 1-2 秒。
- 剪枝校准集需匹配目标场景：HOPE 在 coding/agentic 校准集上表现不同，建议按业务流量（搜索、推荐、广告）分别采集校准数据，避免跨域剪枝性能损失。
- HOPE 保留的专家组具有高协同评分，剪枝后模型可作为 downstream SFT 起点且优势持续，适合在业务中先剪枝再微调以进一步恢复/提升效果。
- 高剪枝率（40-50%）释放内存最多，正是部署价值最大的区间，此时二阶交互优势最显著；若业务需要极限压缩，应优先采用二阶剪枝而非简单一阶方法。
无限参数LLM：从实时数据生成并适应权重
🧭 超网络生成 LLM 权重 · 在线贝叶斯更新
Boltzbit Limited · University of Cambridge
用超网络从实时交互数据动态生成低秩权重，并以贝叶斯在线更新实现会话内持续适应
📌 工作参考价值（4 点）
- 在长会话 Agent 或客服场景中，将用户实时提供的纠错、偏好、事实等写入模型权重而非每次拼进 prompt，可减少重复 token 开销、释放上下文窗口，并让知识跨轮次持久化。
- 借鉴超网络生成低秩调制权重的思想，在推荐系统中用超网络根据用户/物品特征动态生成个性化 adapter 或 FFN 权重，实现参数高效的动态用户建模，避免为每个用户存储大量个性化参数。
- 采用贝叶斯在线更新 latent code 的方式维护用户或场景的隐状态，使模型行为随交互逐步调整，适合多轮推荐、动态创意生成等需要连续适应的任务。
- 评估时设计对比 in-context learning 和 retrieval 的协议，重点考察权重化知识是否在计算摊销、泛化、持久性上优于 prompt 方案，业务上可作为在线学习方案的验证框架。
内存墙的另一半：用训练的路由预测从 SSD 服务 35B MoE
🧭 LLM 推理优化 · SSD offloading
AutoArk
Edge0 用下一层路由预测实现 SSD 流式加载专家权重，在单 24GB 卡上以 20 tok/s 服务 35B MoE，质量接近 fp16 教师
📌 工作参考价值（3 点）
- 在资源受限的单卡环境部署 LLM 推荐/Agent 时，可采用 SSD offload + 路由预测预取：只加载预测命中的专家，用下一 token 的路由预测提前发起 I/O，隐藏磁盘延迟，降低峰值显存。
- 量化部署大模型时，可用未合并的 recovery LoRA 在量化后的 student path 上训练，补偿 int4 量化与路由替换带来的质量损失，推理时只增加极小的 adapter 计算，适合线上低时延场景。
- 路由预测思想可迁移到 Agent 多步推理或生成式推荐流水线：预测下一步需要的模型/数据组件并提前加载，减少串行等待，提升吞吐。
样本数量不够：候选生成策略决定LLM测试时扩展的能量与性能
🧭 LLM推理 · 多候选采样批次调度
Iowa State University
固定候选数下，少量大批次调用比多次小批次调用显著降低GPU能耗与延迟
📌 工作参考价值（4 点）
- 在电商/广告/搜索中用 LLM 做自一致性、多候选 query 改写或商品文案生成时，优先把多个独立候选合并成一次 batched generation，而不是 for 循环串行调用；例如要生成 8 个候选 query，直接 batch_size=8 一次请求，可将 P95 延迟降低约 5-6 倍、GPU 能耗降低约 4-5 倍。
- 对多 Agent 系统，如果多个 agent 针对同一 prompt 独立产出候选（如选品、类目预测、出价策略），且相互无依赖，可以聚合为单模型单次批量推理；避免 agent 调度器串行等结果带来的 GPU 空闲和重复调度开销。
- 实验评估与 A/B 上线时，不要只记录候选数 N 和 accuracy；把 generation schedule（a×b）、P95 latency、GPU-hours、gross GPU energy 纳入日志。同一 N 的不同实现，线上成本差异可能数倍，这直接影响预算与容量估算。
- 如果显存允许，优先扩大 batch 而非增加请求数；短输出任务和小模型也遵循同样趋势。对推荐场景里大量短文生成（搜索词、标签、push 文案）尤其适合，因为单条输出短，batch 扩展的显存压力低。
Fathom：面向 offloaded KV cache 的按查询读取深度稀疏解码
🧭 LLM 稀疏注意力推理优化
按查询动态分配 bit 预算扫描量化 KV cache，在 offload 场景下减少带宽并加速解码
📌 工作参考价值（4 点）
- 如果业务中长上下文 LLM（如电商客服 Agent、浏览助手）的 KV cache 被 offload 到主机内存，top-k 扫描会成为解码瓶颈；Fathom 的按查询动态位预算可以直接用于减少跨 interconnect 的字节流量。
- 采用 4-bit K cache 按 channel-major 位平面存储，查询利用 reverse water-filling 在 variance-weighted channel importance 上分配读取位数，可以在相同 GPU 耗时下读更少字节、获得更低注意力误差，适合对延迟敏感且 buffer 在 host memory 的线上服务。
- 该方法在 RULER 任务上每个 token 扫描匹配 exact top-k，说明动态位分配不会牺牲 ranking 准确性，可安全替代固定位宽扫描（如 Double Sparsity、Loki、SparQ）以降低带宽成本。
- 注意：该方法仅在 KV 索引驻留主机内存时有效，GPU 常驻 cache 不需要；工程落地时需先判断索引位置，避免盲目引入。
三思而后行：利用内部归因信号的事实性解码
🧭 LLM 事实性解码 · 内部归因信号
Chung-Ang University, Department of Artificial Intelligence · Chung-Ang University, Graduate School of Advanced Imaging Sciences, Multimedia and Film
提出 DescaPE，在推理时用内部归因信号对候选续写打分，抑制幻觉易发路径，提升事实性
📌 工作参考价值（3 点）
- 推理时轻量探针监控内部归因信号，可集成到电商商品文案、搜索回答或推荐理由生成中，在 beam search / top-p 解码时对候选打分，实时过滤容易出错的属性、价格、活动规则等事实错误，无需重训大模型。
- 滑动窗口 MLP 消融定位事实显著层的方法可复用：业务中可对自有 LLM 做类似层重要性扫描，找出监控事实性的关键层作为线上干预点，降低全量 probing 成本。
- 探针只需单次前向传播近似信号，延迟仅 1.10×，适合在线生成场景；可结合业务知识库构建正负样本训练领域定制探针，与 RAG 互补，防止检索到错误信息后继续编造。
置信源于经验：LLM 与 Agent 的体验式置信度估计
🧭 经验驱动 LLM 置信度校准 ★ 深度解读
University of Cambridge · Google DeepMind
用模型自己的历史验证样本构建经验库，检索相似任务与置信度，校准 LLM 输出置信度，以 1/10 成本匹敌 10 次采样一致性
📌 工作参考价值（4 点）
- 在 LLM 生成商品标题/广告文案/搜索改写等任务中，收集每次生成时的模型自评、置信度和最终效果（点击、转化或人工审核），构建经验库；上线时检索相似任务与相似置信度的历史，看实际成功率，用于决定自动发布还是人工审核。
- 用 task embedding + 模型自报置信度作为检索键，代替仅靠语义相似度；用历史结果标签微调度量空间（如重加权）可以让检索到“失败原因相似”的案例，而不仅是主题相似。
- 反思阶段把历史失败教训读给模型，让模型先说出自己的 recurring failure mode 再重估置信度，比单纯让其内省更校准；最终将统计成功率与反思置信度做 0.5/0.5 等权平均。
- 经验库需要独立于模型自身判断的结果标签（如用户反馈、人工审核、真实转化），不能用模型自己判断的 label，否则会在模型自信但错误的地方失效；且 lesson 要隔离，避免后见之明。
无损推测解码真的无损吗？Orthrus 中数值精度的作用
🧭 LLM 推理加速 · 数值精度影响
独立复现验证 Orthrus 并行解码：BF16 下仅约 45% 轨迹精确匹配，FP32 则完全匹配，无损性依赖数值精度。
📌 工作参考价值（4 点）
- 部署 LLM 加速推理（如 speculative decoding、并行解码）时，如果业务要求输出与原始 AR 模型完全一致（例如线上已审核的文案、推荐理由），必须检查数值精度（BF16 vs FP32），否则可能出现轨迹不一致。
- 验证推理加速方案时，不要只依赖下游任务指标（如 lm-eval-harness 分数），应单独评估轨迹等价性，防止下游指标的鲁棒性掩盖了一致性问题。
- 论文发现匹配率与响应条件困惑度强相关：低置信度（高困惑度）的样本更容易出现不匹配，可在工程上针对高风险样本回退到 FP32 或原始 AR 解码。
- 对于生成式推荐/Agent 场景，如果采用 BF16 推理并且追求确定性输出，建议在关键路径保留 FP32 或提高数值精度，同时建立数值精度影响的评估机制。
诱饵方向优化：针对 LLM 消融攻击的事后防御
🧭 LLM 安全 · 权重编辑防御
Carnegie Mellon University
注入高幅非线性诱饵方向扰乱攻击者的消融估计器，低成本后处理防御 RFA
📌 工作参考价值（4 点）
- 若业务部署开源 LLM 做客服/内容审核，担心白盒消融攻击移除安全护栏，可用 DDO 做一次性后处理权重编辑，免去每个新 checkpoint 全量安全微调，优化成本低 30–450 倍。
- 借鉴思路：不隐藏真实拒绝特征，主动注入高幅非线性“诱饵”方向，让攻击者的对比估计失效并消融到无害正交特征，适合保护模型核心能力不被逆向抽取或探测。
- 工程实现只修改 MLP 神经元权重，不改变推理架构、不引入额外 KV cache 或算子，便于接入现有推理管线，风险低。
- 对推荐/Agent 场景，若部署专有策略模型，可利用“注入伪特征”增加黑盒探测成本，类似对抗防御思路保护知识产权。
跨模态上下文学习的收敛性涌现
🧭 跨模态涌现的 in-context learning 规律
Johns Hopkins University · MIT · University of Illinois Urbana-Champaign
在六种模态中验证 few-shot ICL 普遍涌现，且任务难度效应在五个模态间相关，支持部分收敛涌现假设
📌 工作参考价值（4 点）
- 跨模态 ICL 在时序、基因组等非文本序列上有效，提示在电商推荐中可将用户行为序列、商品曝光序列视为另一种模态，用 few-shot 示例进行下一个交互预测或兴趣迁移。
- 论文中的 paired-mapping 任务套件可作为统一评测框架，业务上可构建类似的「输入-输出映射」任务集，快速测试不同基础模型在推荐/搜索数据上的 few-shot 适配能力，筛选适合 ICL 的任务类型。
- 任务效应在多数模态间相关，说明任务难度的跨模态一致性；在为新业务场景选择可 ICL 的任务时，可以参考其他模态（如文本）上的难度排序，降低试错成本。
- 对无法用自然语言指令描述的非语言任务（如 ID 序列、embedding 序列），few-shot ICL 可能是唯一有效的条件化机制，值得在搜索/推荐中储备这类能力以应对冷启动或新任务快速上线。
剖析 Nvidia Hopper 上 LLM 推理的 GPU 利用率
🧭 LLM 推理 GPU 性能剖析
KTH Royal Institute of Technology, Stockholm, Sweden
用八个 NCU 计数器视图替代单一 SM 利用率，分解 Hopper 上 LLM 推理 decode 阶段利用率低的机制
📌 工作参考价值（4 点）
- 部署 LLM 服务（如搜索推荐中的对话/Agent）时，不要只依赖 SM utilization 判断 GPU 是否饱和，应结合 fragment fill、occupancy、stall cycles 等多个 NCU counter 做性能归因，避免误导性扩容决策。
- decode 阶段小 batch 是主要瓶颈：Hopper GMMA 固定 64 行片段，实际 batch 远小于 64 时有效计算占比极低。可尝试 continuous batching 或 sequence packing 提高 fragment 填充率，但需与延迟约束权衡。
- 论文提出的 counter-validated 视图方法可复用：从 Nsight Compute 原始报告定义 8 个视图，把性能问题映射到具体 kernel 角色（QKV 投影、attention、MoE expert 等），适用于自建推理引擎或调优 vLLM。
- 生成式推荐/Agent 场景常混合长序列与多请求，需区分 cold prefill 与 warm prefill 的 kernel 选择差异，分场景建立性能基准以指导 batch size 和序列长度配置。
重新思考面向子二次注意力的异构系统解聚
🧭 LLM 推理 · 子二次注意力异构解聚
Harvard University · NVIDIA
提出按二次/子二次注意力拆分 decode 的细粒度异构解聚方案，显著提升子二次注意力 LLM 的吞吐与能效
📌 工作参考价值（4 点）
- 若业务中采用线性/稀疏/滑动窗口等子二次注意力 LLM 做在线推理（如 query 理解、生成式推荐、Agent 工具调用），可将 KV 检索类算子（如 top-k 选择）部署在 DRAM 带宽大的 LPX 类设备，将静态内存的注意力+FFN 部署在 SRAM 算力设备，降低跨设备通信并提升 tokens/J。
- 稀疏注意力 decode 可拆成两阶段：top-k 选择需要扫描全量 KV，但计算轻；top-k 注意力+FFN 内存占用固定。这一特性可指导推理系统的流水线设计，避免将 KV 索引放在算力型 GPU 上造成内存瓶颈。
- 系统解聚不应按 attention/FFN 操作类型，而应按算数强度与内存占用拆分；对于混合注意力架构（部分层 dense，部分层子二次），可把 dense 层放在 GPU、子二次层放在低功耗设备，实现能耗与延迟的更好折中。
- 论文主要是底层系统优化，与推荐/广告算法逻辑无直接关系，可借鉴点主要在工程部署和硬件选型。
从参数到答案：LLM 如何检索并使用其内部知识
🧭 LLM 内部知识检索机制与可解释性
University of Science and Technology of China · Singapore Management University · The University of Tokyo · The Chinese University of Hong Kong
通过层间干预分离LLM问答中的请求路由信息与目标知识依赖，揭示层间交接模式并跨模型比较
📌 工作参考价值（4 点）
- 层间干预方法可迁移到生成式推荐/商品文案场景：在 LLM 的 hidden states 上分别拟合『请求方向』和『内容知识』probe，定位模型哪几层完成用户意图路由、哪几层提取事实性知识，帮助诊断 query 理解偏差或事实错误。
- 跨模型实验表明路由-内容交接模式并不统一（如 Llama 无持续路由效应窗口），因此在多模型集成、蒸馏或对隐藏状态做干预时，不能假设同一中间层都适合注入知识或引导；需要按模型分别标定有效窗口。
- 对 RAG/Agent 检索增强推荐有借鉴：论文显示问题结束时已存在可读的路由和内容表示，后续层才发生交接，可在路由已稳定但内容依赖尚在形成的层注入检索到的商品知识或候选，减少外部知识与内部参数知识的冲突。
- 局限：主要是机制解释性贡献，业务收益需要自行验证，但可作为 LLM4Rec 内部行为分析和故障定位工具。
领域特定的大语言模型幻觉检测
🧭 LLM幻觉检测与领域自适应
Purdue University Fort Wayne
多信号检测管线结合DeBERTa-v3、MC Dropout与DPO，实现通用与领域自适应幻觉缓解
📌 工作参考价值（4 点）
- 在电商问答、商品描述、推荐理由等 LLM 生成场景，可部署类似“微调 DeBERTa-v3 + MC Dropout + 温度缩放”的反应级幻觉检测器，作为生成内容上线前的置信度闸门；MC Dropout 推理可额外提升准确率但增加延迟，适合异步质检而非实时推荐链路。
- 标注预算有限时，可借鉴其学习曲线结论：25% 训练数据已获 77% 性能，垂直域可先用小样本微调快速验证，再决定是否扩充标注。
- 跨域迁移风险明确：通用域检测器在生物医学域 F1 仅 0.52，域匹配预训练模型微调才明显提升；业务上不能直接复用通用事实性检测器，应使用行业语料继续预训练或微调。
- DPO 用检测器分数作为偏好信号，将 Qwen2.5-0.5B 幻觉率从 85.5% 降至 37.7%，可尝试对推荐文案/客服回复生成器做类似对齐，减少不实信息。
py-kvcache：vLLM 外部 KV 缓存的 NVMe 性能表征
🧭 LLM 推理 · KV cache 卸载优化
Vrije Universiteit Amsterdam · IBM Research Zurich
刻画外部 KV 缓存加载与重算的权衡，提出异步直接 I/O、有界 staging、调度感知预取，80k tokens 磁盘加载比 LMCache 快 2 倍
📌 工作参考价值（3 点）
- 在长上下文 LLM 服务（如 Agent 多步推理、长 prompt 推荐解释）中开启外部 KV cache 前，先用生产 trace 做 break-even 分析：H100 等强 GPU 上短前缀重算可能比磁盘加载更快，外部缓存应作为按场景开启的准入策略，而非全局默认。
- 缓存层设计要关注传输粒度与调度时序，而非只盯 NVMe 带宽：连续块传输 + 异步直接 I/O 绕过页缓存，并限制共享 staging buffer，避免挤占 GPU/CPU 内存；请求排队时就启动预读，让磁盘 I/O 与 prefill 计算重叠，可显著降低 TTFT。
- 对多轮对话和前缀链不规则场景，py-kvcache 的调度感知预加载有明确收益；若业务里 prompt 前缀复用度高（如推荐 agent 的固定 system prompt、RAG 检索后的公共上下文），可以在 CPU/NVMe 层缓存 KV，但需评估前缀长度分布和 GPU 算力后决定。
SIRF：面向工业内容风控的政策内化风险基础模型
🧭 内容风控 · 政策内化基础模型
Xiaohongshu Inc. · Tianjin University
通过约70M token小规模CPT将复杂政策内化到8B模型，在verdict-only低延迟下将Black Recall@P95提升15.1pp
📌 工作参考价值（4 点）
- 政策/规则内化到模型权重而非仅用RAG或prompt，适合高精度+秒级延迟场景：电商/广告审核、平台治理可参考EntiGraph+MAGA rewriting+账号级CoT自动合成领域规则语料，对底座做几十M tokens小规模CPT再SFT，在verdict-only输出下获得提升，避免检索延迟。
- 同源对照实验值得借鉴：控制变量隔离CPT贡献，只让policy-grounded CPT一个因素变化，避免把能力提升误归于SFT或提示词，适合业务团队做严格归因。
- verdict-only+logprob可落地为树模型裁决层：模型输出logprob作为置信度，高精度自动处置，边界样本交给树模型校准，可恢复误伤样本；电商处罚/营销触达等高风险场景可复用该部署结构。
- 规则频繁变更时，用低成本合成语料+小规模CPT迁移到新场景，能大幅降低误伤率；对电商季节性/区域合规策略更新有直接迁移价值。
SpecGuard：零额外计算成本推理时后门检测
🧭 LLM 后门检测 · 投机解码
Institute of Science Tokyo · Microsoft Security Response Center · Microsoft Azure · Shandong University
利用投机解码中的草稿token接受率变化，实现零额外计算成本的LLM推理时后门检测
📌 工作参考价值（4 点）
- 若线上 LLM 推理服务（如生成式推荐文案、Agent 工具调用）已启用投机解码，可几乎零成本监控“草稿 token 接受率”异常波动，作为模型行为突变或后门触发的预警信号，无需额外模型前向。
- “干净小模型作参照”的思路可迁移到推荐模型监控：用训练冻结的干净基线模型对比线上微调模型的输出分布，捕捉因数据投毒或环境漂移导致的异常行为，尤其是对用户输入中的罕见/语义触发模式。
- 工程实现上，接受率是一个标量，计算开销极低，适合部署在 gateway 或 serving 层；但接受率受输入难度影响，应结合分位数或滑动窗口做自适应阈值，避免正常长尾输入引发误报。
- 业务可借鉴点有限：后门检测主要服务于 AI 供应链安全，电商推荐团队若无第三方模型微调部署场景，直接迁移价值不大。
SWRouter：面向多轮大语言模型对话的相似度收缩窗口路由
🧭 多轮LLM路由与上下文构建
Shanghai Jiao Tong University · Baidu Inc. · Wilfrid Laurier University · The Hang Seng University of Hong Kong · York University
提出相似度收缩窗口的上下文分段与双指标评估，多轮路由准确率较最佳单模型提升16.26%
📌 工作参考价值（4 点）
- 多轮对话/客服Agent中的模型路由不能简单沿用单轮特征；需要显式设计历史上下文的切割与保留。文中相似度收缩窗口的思路可直接用于对话状态上下文管理：按语义相似度而非固定轮数滑动窗口，降低历史信息混淆与冗余。
- 评估路由策略时，建议将上下文构建质量与路由决策解耦，采用双指标评测；否则上下文构建差会掩盖路由器的真实能力，这在线上A/B测试中容易误判。
- 对电商导购/搜索多轮Agent，可在多模型池（大模型、小模型、领域模型）上实现基于上下文分段的路由，降低长会话长尾token成本和延迟，同时保持回复质量。
- 工程实现上，相似度分割可以通过现成embedding+阈值/聚类实现，轻量，适合在线服务；无须训练路由器，可先行试点。
为什么训练后量化有效？
🧭 LLM 量化鲁棒性机制 ★ 深度解读
Tsinghua University · Bosch AI Research
发现预训练模型量化鲁棒性源于层间误差抵消与 LM-head 几何对高排名 token 的优先保留，解释 PTQ 为何有效。
📌 工作参考价值（4 点）
- 在电商搜索/推荐中部署 LLM 做 query 理解、候选生成或 Agent 决策时，4-bit weight-only 量化（如 NVFP4 RTN）能基本保持 top-k 预测稳定（Ret@10/20≈85%），可直接采用低精度推理节省成本，不必担心高排名候选被破坏。
- 量化误差在层间存在“抵消”效应，说明常规 PTQ 校准并非每层都需要精细调整；可以优先关注输出层和 LM-head 对准，而非逐层最小化隐藏状态误差。
- 若业务依赖长尾 token（例如 niche 品类词、冷门 Semantic ID），需注意量化对低排名 token 的概率扰动更大，建议对长尾候选单独评估或保持关键生成路径高精度。
- 对于需要高一致性的 Agent 多步推理，量化后 top-1 翻转率约 8-13%，仍有风险；在关键决策步骤可采用混合精度或保留 LM-head 及关键层为 BF16。
用于低开销语言模型量化的结构化变换
🧭 LLM 权重后训练量化 · Kashin 分解
Institute of Numerical Mathematics · Steklov Mathematical Institute
用符号随机 DCT 替代 Kashin 量化中的稠密正交矩阵，O(N log N) 实现稳定 4-bit LLM 压缩
📌 工作参考价值（4 点）
- 部署 LLM Agent / 生成式推荐时，可尝试用 Kashin-DCT 4-bit PTQ 替代或补充 GPTQ/AWQ；在长尾或压力输入下 QuIP 类可能发散到高 PPL 或 NaN，该方法数值稳定，适合对稳定性要求高的线上 serving。
- 若推理硬件支持原生 2-bit，该分解将每个权重存为两个 2-bit factor code，避免 3/4-bit 非原生格式的额外开销，降低内存带宽占用；可评估在广告/电商 LLM 服务中的收益。
- 将稠密随机正交变换换成 sign-randomized DCT，复杂度从 O(N^2) 降到 O(N log N)，且 2-bit 聚类中心采用闭式初始化，省去 multi-restart k-means；这种结构化变换 + 确定性初始化的思路可迁移到其他 VQ/低秩压缩流程。
- 该方法与 OPTQ 顺序误差补偿、QuIP 非相干预处理组合有效，说明可以作为插件接入现有 GPTQ/QuIP 量化管线，不必重做端到端 pipeline。
大语言模型的信息几何是共享、可学习且可控的
🧭 LLM 信息几何与控制
Department of Physics and Astronomy, University College London (UCL) · London Centre for Nanotechnology
用 Fisher-Rao 输出几何揭示 LLM 共享结构并给出最小扰动局部控制方法
📌 工作参考价值（4 点）
- 做 LLM 推荐/搜索时，若要对模型进行编辑/steering/微调，用输出概率的 Fisher-Rao 几何做正则或自然梯度，能比 Euclidean 激活距离更少扰动无关行为，适合在多任务推荐/广告文案模型中做局部行为调整。
- 该几何下学到的控制更新可在 donor prompt 上学、迁移到 unseen prompts，类似可复用 prompt steering；可用于电商 query 改写、营销文案风格控制，同时保持参考 prompt 行为稳定。
- 共享的输出几何支持语义类别迁移，跨 Transformer/SSM/RNN 架构一致，说明可以基于输出分布对齐做跨模型蒸馏或跨域迁移，而不是强求激活空间对齐。
- 预训练语料统计可预测 held-out fact acquisition，提示在训练推荐/广告大模型时，可监控语料侧统计指标提前判断知识/事实掌握，减少昂贵评估。
基于能力门控的 LLM 与先验融合预测
🧭 LLM 预测融合与门控校准
University of Illinois Urbana-Champaign
提出 competence gate 依据边际价值选择性融合 LLM 与外部先验，显著降低 Brier 损失
📌 工作参考价值（4 点）
- 在多信号融合场景（如商品 CTR 预估中融合 LLM 打分与传统模型打分），不要只看单个模型 AUC，改用历史 outcome 估计每个源的边际贡献（例如增量 NDCG 或 Brier），并按领域/场景学习一组 gate 权重，对不确定的领域权重向全局权重 shrinkage，避免小样本过拟合。
- 当外部先验信号较强（如成熟推荐系统、市场预测）时，可让 gate 学会 defer，而非强制融合；在 baseline 很强时 LLM 融合可能无显著收益，可提前做 ablation/显著性检验决定是否上线复杂的混合模块。
- 论文发现 verbal confidence（模型自己说“置信度”）不能可靠判断模型何时优于外部预测，因此别用 LLM 输出的“信心分”作为路由/采纳依据；应基于可观测结果（如成交、点击后的 label）回估 competence，驱动 abstention 或降权。
- 融合后对 pooled forecast 做 recalibration（如 temperature scaling / isotonic regression）是低成本的稳定提升，尤其在各源校准不一致时；部署时可作为标准后处理。
A*-Thought-V2：基于 LLM 几何动力学的高效隐式推理
🧭 LLM 推理加速 · 隐式 CoT 压缩
Beijing University of Posts and Telecommunications · The Hong Kong Polytechnic University · Tsinghua University · JIUTIAN Research · OpenBMB
用 hidden state 几何方向判断 CoT 步骤价值，对齐步骤显式保留、偏离步骤压缩为 latent token，提升精度与效率
📌 工作参考价值（4 点）
- 在电商/Agent 的 LLM 推理链路中，可借鉴「几何对齐」做步骤级压缩：对商品推荐理由、query 改写、广告文案生成的 CoT，计算当前 step 到最终 answer 的 hidden state 夹角，保留小角度的直接执行步骤，把大角度的探索/校验步骤压缩为 latent token，降低 context 与 KV cache 占用。
- 训练侧可用 stepwise embedding forcing + label forcing：压缩冗余步骤时不丢弃信息，池化为单 embedding 并用 soft token distribution 监督，这比 hard truncation 更适合推荐/搜索中的行为序列、商品描述等中间信息压缩，能保留分布与多峰语义。
- 若业务要处理大规模 query/商品推理流水线，A*-Thought-V2 报告的训练成本下降（预处理 -94.6%、训练 -80.3%）和 Accuracy per Computation Unit 2.29x 可作为 ROI 参考；但需在 Qwen3.5/3.6 这类模型上复现验证，小模型或非推理任务迁移前要做适配。
- 表示分析结论：latent token 位置熵更高，soft target 提供更丰富特征学习——在生成式推荐里对 Semantic ID 或 item 描述序列做压缩时，可考虑不强制 hard one-hot，而保留软分布以 capture 多义性。
超越 KV Cache：混合语言模型跨模型循环记忆迁移（4B→9B 无前缀重放）
🧭 LLM 跨模型记忆状态迁移
首次展示不同尺寸混合语言模型间直接迁移 Gated DeltaNet 持久循环状态，无需目标模型重新读取上下文，显著降低续写损失
📌 工作参考价值（3 点）
- 在长上下文 LLM 推理服务中，可从 4B 草稿模型迁移注意力 KV 与循环状态到 9B 主模型，避免重算历史前缀，显著降低首 token 延迟；电商 Agent 长会话切换模型时可借鉴「直连复用 recurrent/conv state + 轻量 rank-4 修正」作为状态交接基线，不一定需要训练复杂映射。
- 对生成式推荐/Agent 的长会话记忆：混合模型（full-attention + GDN）的持久状态跨模型直接复用其坐标比学习映射更有效，提示模型家族内 hidden state 有一定兼容性，升级模型版本时可先尝试直接复制状态，再用极少量参数微调纠正。
- 若业务上需做模型蒸馏或小模型生成草稿、大模型验证，可复用该思想：把草稿模型的 KV 和 recurrent state 迁移给大模型，省去大模型重新编码 prompt；rank-4 修正成本极低（约 43 万参数），适合线上快速适配。
Kalman Delta 网络：不确定性感知的关联记忆
🧭 线性注意力 · 状态空间模型 · 不确定性建模
Department of Computer Science, Yale University
将线性注意力循环记忆重构为线性高斯状态空间模型，用卡尔曼滤波跟踪记忆不确定性并提出可并行扫描近似
📌 工作参考价值（4 点）
- 用户长期行为序列建模中若采用线性注意力，可借鉴 KDN 的记忆不确定性机制，通过卡尔曼增益自适应控制写入强度，降低噪声行为对稳定兴趣表征的覆盖风险。
- Agent 长对话/长程任务的状态维护可引入带置信度的增量写入，根据累积证据决定是否更新记忆，提升记忆稳定性与少样本适应能力。
- Diagonal/Isotropic KDN 提供 O(dk)/O(1) 辅助状态并支持并行关联扫描，适合工业级实时推理，可用于构建流式用户兴趣追踪或在线学习模块。
- 若探索生成式推荐中的 Semantic ID 记忆网络，可参考将记忆更新视为状态估计、用变分推断近似后验的思路，处理不确定性和动态环境。
BeaconKV：信标查询引导的 KV 缓存压缩加速大推理模型推理
🧭 LLM 推理加速 · KV cache 压缩
Hanyang University · Sungkyunkwan University
发现长程推理中查询聚类可预测重访 KV，提出训练无关信标查询压缩 KV 缓存，内存降5.8倍且准确率几乎无损
📌 工作参考价值（3 点）
- 在自研/部署 LRM（如 DeepSeek-R1、Qwen3）的推理服务中，KV cache 内存常成为瓶颈；BeaconKV 训练无关，可直接插入现有推理框架（如 vLLM、SGLang），无需微调，适合电商/广告场景的复杂导购 Agent、自动策略生成等长 CoT 任务。
- 借鉴“thought revisiting”洞察：模型长推理时会重访早期计划/关键信息，若在 Agent 记忆或上下文选择中使用简单的 recent-biased 策略可能丢失重要远距离信息；建议对历史 query 做聚类，保留每个聚类的代表性 query，用于判断哪些 KV 应保留。
- 工程实现上，可维护少量 beacon queries（每个聚类代表）而非完整 query 历史，预测后续 token 是否会重访，从而动态裁剪 KV cache；该方法已在四个开源 LRM 上验证，内存减少最高5.8×、吞吐提升4.3×，可先在离线长推理任务上 A/B 测试效果。
基于库存证据的策略级优化：面向动态库存 AI 搜索的训练无关方法
🧭 AI 搜索 · 训练无关策略优化 ★ 深度解读
Huawei Technologies Co., Ltd., China
训练无关地把动态库存证据与可复用决策指南解耦，提升 AI 搜索 CTR 并减少坏例
📌 工作参考价值（4 点）
- 把策略规则与库存事实分离：不要往 prompt 里写具体 item/类目是否存在，而是写成条件化、可执行的 Guideline，运行时注入 inventory portrait；库存变动时不必频繁改 prompt 或重训。
- 用离线 stochastic rollouts + LLM Judge 分组：同 query 同时有成功/失败轨迹才形成对比样本；全失败组用 inventory-guided exploration 主动回查漏召回路由，避免把“无库存”误判为“策略差”。可迁移到电商搜索 bad case 聚类与策略补丁生成。
- 上线前做回放回归门控：每个候选 Patch 必须在 Target queries 和 Background/fixed regression set 上通过胜率、Precision/Recall/F1 drop 阈值；组合时逐个加入并全量回放，可控制 prompt/规则更新的回归风险。
- 轻量服务化：Guideline store ≤100，每阶段最多注入 3 条、平均 1.7 条，prompt 增量平均 247 tokens，latency p50 仅 +49ms；适合作为电商 AI 搜索/导购 Agent 的策略层。
mHC 如何利用残差流：选择性路由与近恒等混合
🧭 多流残差架构机制分析
Huawei Technologies Co., Ltd.
揭示 DeepSeek-V4-Flash 四流 mHC 路由集中、晚期混合近恒等，稀疏化与恒等替换几乎不损性能
📌 工作参考价值（4 点）
- 若团队在推荐/搜索/Agent 中采用或预研 Hyper-Connections/mHC 等多流残差 LLM，可直接尝试“逐 token 保留 top-3 路由权重”做稀疏化推理：在 DeepSeek-V4-Flash 上 PPL 最多上升 2.7%，平均分变化 ≤0.4 分，延迟/显存可降，适合线上排序或生成式推荐的低延迟约束。
- 对深层（22-42）多流混合器，可考虑替换为恒等或单流结构，C4 PPL 仅 +1.9% 且六任务平均分不变；可用于模型压缩、蒸馏学生模型或减少多流通信，尤其适合广告/电商场景中需要轻量部署的 LLM。
- 早期混合器的“站点结构”比 token 级动态更重要（固定到诊断均值 PPL +0.2%、平均分 -0.25pp），意味着在量化、缓存或离线计算中，可对早期混合器按层预计算固定权重，减少在线 token-wise 计算。
- 注意：该结论来自 DeepSeek-V4-Flash 单一模型，迁移前应先在自己的模型上做 effective stream counts 与 cosine 诊断；若未使用多流残差架构，可借鉴的分析方法较有限，主要是模型冗余与路由稀疏化的诊断思路。
PRICE：比特币价格预测中 LLM 适配选择的系统研究
🧭 LLM 时间序列预测 · 适配策略
Isfahan University of Technology
系统验证 LoRA、递归推理、整数表示、CTF 提示与零温度解码如何提升 LLM 比特币价格预测精度与稳健性
📌 工作参考价值（4 点）
- 低资源数值预测可直接复用：4-bit 量化 LLM + LoRA 在有限硬件上可重训，适合电商销量/GMV/出价等频繁更新的数值预测，不必上大参数全量微调。
- 连续值取整是一种简单有效的表示 trick：用整数代表价格、销量、金额等，可降低回归误差和 token 空间，业务上可先做分箱/取整再训练。
- 多步预测用递归推理而非一次性输出，配合 temperature=0 解码，能显著提升多步预测稳定性和误差；广告消耗、库存曲线预测可借鉴。
- CTF 提示固定 Context/Task/Format 结构优于 CoT/few-shot，且微调后仍有效；在构建 LLM 预测/排序任务 prompt 时优先设计统一结构，而不是依赖复杂推理提示。
引导几何：验证LLM引导空间中的人类价值几何
🧭 激活引导几何验证与对齐
University of British Columbia · Vector Institute for AI · Queen's University
分布驱动激活引导向量能恢复人类价值观理论拓扑，而行为中心方法几何不一致
📌 工作参考价值（4 点）
- 若业务使用 activation steering 控制推荐文案/对话语气，优先采用分布驱动方法（CAA、SphericalSteer、ODESteer），其向量几何与人类价值结构一致，跨 prompt 迁移更稳定，比行为中心方法（COLD-Steer、BiPO）更适合做可控生成。
- 几何保真度随模型规模提升但在指令调优后下降，若需要在电商场景中注入价值观维度（如环保、价格敏感），可考虑在基础模型层提取 steering vectors 或对指令模型做补偿修正。
- 文中 26K 样本、20 类价值观 benchmark 可复用或改造成电商偏好维度评测集，用于评估 LLM 生成推荐解释时是否忠实体现目标偏好。
- 跨价值迁移结论提示：引导一个价值会自动提升兼容价值、抑制对立价值，可用于多目标推荐文案联动控制，但需注意对立维度可能被误伤，需要精细调节。
影响力分数与Transformer可解释性：推理时测量注意力头的有效影响
🧭 Transformer 可解释性 · 注意力头归因
Thales CDI, France · Inria Paris, France · Sorbonne Université, France
提出结合logits方向影响与残差流结构贡献的influence score，用于多尺度量化注意力头对分类决策的贡献
📌 工作参考价值（4 点）
- 对部署在推荐/广告风控链路中的文本分类模型（如恶意query检测、prompt注入检测、低质内容过滤），可用influence score定位导致错误预测的关键注意力头，辅助badcase归因与模型调试。
- 其“方向影响+结构贡献”的双信号设计可迁移到Transformer排序模型：对用户行为序列、特征交叉层做注意力头级贡献分析，识别冗余或高影响头，用于推理加速或蒸馏裁剪。
- 多尺度分析框架（head/layer/network）可用作模型上线后的行为监控，检测决策模式漂移，尤其适用于数据不可控的外部安全分类器。
- 主要价值在可解释性工具，电商推荐场景的直接业务收益有限，需结合具体模型验证。
有限反馈下面向 LLM 专家的在线路由学习
🧭 LLM 路由 · 在线 bandit 学习
Virginia Tech · Adobe Research
将多 LLM 路由建模为有限反馈 bandit，给出 full-info 与 bandit 设置下的次线性遗憾界及路由算法
📌 工作参考价值（4 点）
- 在电商搜索/推荐 Agent 链路中，多个 LLM 承担意图识别、query 改写、商品文案生成等任务时，可把路由建模为上下文 bandit：action 是候选 LLM，d 维特征直接复用现有 prompt/query embedding，reward 用点击率、转化率或人工审核通过率。
- 反馈预算 m 通常远小于流量 T；该文的 regret 界（full-info O(dT/√m)、bandit O(dT√(K/m))）说明只需对少量流量进行人工评估或用户反馈采集，就能保证学习效率，可据此设计稀疏反馈采集机制。
- 当候选模型能力/成本差异大且无全局最优时（文中 win rates 仅 0.073-0.319），动态路由比固定使用最强模型更优；上线前可先做离线 win rate 分析模型互补性，再用 bandit 路由做在线调优。
- 若业务已有较完整的反馈日志，可先采用 full-information 变体快速冷启动；后续切换 bandit 决策降低标注成本。
ESPO：通过错误结构化诊断、多样化与稳定化优化提示
🧭 自动提示优化 · 错误结构化搜索
AWS Agentic AI
将提示优化分解为诊断错误模式、多样化候选、自举稳定性选择，平均准确率超 GEPA 3.76pp且提示缩短47%
📌 工作参考价值（4 点）
- 避免 prompt bloat：在自动迭代优化 prompt 时引入长度惩罚或硬约束，防止规则不断追加导致线上推理变慢、成本升高；短 prompt 在电商文案/推荐理由生成等高频场景可显著节省 token。
- 利用错误聚类替代逐轮反思：先对 bad case 做结构化聚类（如意图混淆、属性抽取错误、价格理解等），再针对每个 cluster 生成候选修复策略，比每轮追加零散规则更高效，适合推荐系统 query 改写和 Agent 指令调优。
- 候选生成需要互补策略与 bootstrap stability selection 结合：不要只追求多样性；用 bootstrap 重采样评估稳定性来筛选候选，可防止过拟合训练集，在 AB 测试中挑选更鲁棒的 prompt/策略。
- 跨模型迁移验证：ESPO 的优化结果在不同学生模型上均保持最佳平均准确率，说明在电商多模型路由或模型升级时，针对弱模型的 prompt 优化可以更稳定地迁移。
通过离散扩散实现 LLM 无损加速：扩散增强自回归模型
🧭 扩散增强 LLM 无损并行解码加速 ★ 深度解读
Institute of Foundation Models · University of Illinois Urbana-Champaign · Cornell Tech · Harvard University · Cerebras Systems
用 LoRA 扩散权重并行 draft + AR rejection 实现无损加速，8B Uno 在吞吐与质量上超过主流 d-LLM 与 speculative 方法
📌 工作参考价值（4 点）
- 可无损加速现有 LLM serving：为线上 AR 模型（如 Qwen/DeepSeek）添加 rank-128 LoRA diffusion adapter，训练只需几 B tokens（公开数据即可），不碰原始权重；与 EAGLE/DFlash 相比共享 KV cache 省显存，高并发 batch 下仍有 1.5× 以上吞吐，适合电商搜索/广告 agent 高并发调用。
- 借鉴 gated LoRA + block-causal attention 训练法：单次前向同时算 teacher/student logits，训练 context length 约 2×L，不随 block size 增大；L_TV loss 比 DCD 更直接地优化 speculative 接受长度，实际可优先选 α=0, β=1 或 L_TV 主导。
- 评估指标要区分 system throughput vs per-request throughput：batch=1 容易高估加速，业务中 agentic 多请求并发和 RL rollout 更应看重最大 batch 吞吐；可采用固定 1K input/8K output 的标准化吞吐测试。
- RL 训练加速：在 SFT 后冻结 diffusion adapter，RL 阶段只更新 AR 权重即可保留约 94% TPF，rollout 加速 40%；推荐/搜索模型若做大规模 RL 微调，可复用此方案缩短训练时间。
VestigeKV：NoPE-MLA KV 缓存利用退化分支自身携带淘汰信号
🧭 LLM 推理优化 · KV Cache 压缩
Yotta Labs
利用 NoPE MLA 缓存中 64 维退化分支作为查询无关显著性信号，实现无训练 KV 缓存分层压缩
📌 工作参考价值（4 点）
- 若线上 Agent/LLM 服务采用 NoPE MLA 架构（如 Kimi 系列），可直接在长上下文场景（用户长期行为序列、商品知识库、会话历史）部署 VestigeKV：以 decoupled branch 的 64 维子空间做 top-m 分层，将非 top 行归档且 GPU 常驻，避免删除导致不可逆信息丢失；无需修改权重或 kernel，工程上可作为 cache policy 无损接入。
- 观察注意力淘汰（H2O/SnapKV）在 NoPE MLA 上失效（needle retrieval 0.00–0.33），提醒在生成式推荐/Agent 长上下文服务中若目标模型为 NoPE，不要沿用 RoPE 时代的 KV 淘汰策略；先验证查询无关显著性信号是否存在。
- 分层缓存 + 可触发归档的思路可迁移到推荐系统特征缓存：将高频/高显著性特征放快速层，其余 bit-exact 放低成本 GPU/CPU 层，需要时按查询 key 精确取回，避免近似压缩带来的检索精度损失。
- 对多轮 Agent 对话或用户行为序列建模，利用缓存中已有分支的统计分布（top-1 目标 token 占比）判断可压缩性，可在推理前离线冻结阈值，避免在线调参。
指令复制作为推理时控制原语
🧭 LLM 推理时控制与轨迹利用
PeaceTech VC, Israel
重复程序性指令可在不改训练/解码下提升过程遵循，下游轨迹消费时价值显著
📌 工作参考价值（3 点）
- 在需要显式推理轨迹的推荐/搜索场景（如商品推荐理由生成、多步 Agent 决策、查询改写），对关键过程指令做重复（尤其 trailing duplicate）可低成本提升过程遵守，且不改变最终答案分布，便于下游解析和修复。
- 评估 LLM 应用时不能只看最终准确率，需增加过程遵循指标（如关键步骤覆盖率、premature commitment）；否则可能低估指令重复等推理时控制的效果。
- 若下游系统消费轨迹（如规则校验、多级推荐流水线、审核模块），指令复制可放大价值；否则可能只有微小提升。建议在关键流程指令或末尾约束处重复，并监控轨迹状态指标快速 A/B 测试。
Gated DeltaNet 为何能承受 4-bit 量化：混合 27B LLM 循环部分的 NVFP4 W4A4
🧭 混合 LLM 循环层 4-bit 量化推理优化
Minima AI
对 Qwen3.8-27B 全部 496 个线性层（含 GDN）做 NVFP4 W4A4，精度持平 BF16 且更小更快
📌 工作参考价值（4 点）
- 混合架构中 linear-attention/循环层（Gated DeltaNet）可以激进 W4A4，不必保留 8/16-bit；尤其对 decay/write-strength 门控投影，softplus/exponential 和 sigmoid 会压缩 GEMM 误差，量化敏感度低。
- 部署 NVFP4 时若按模块逐层校准，需注意 kernel fusion 后的 global scale 不匹配问题：应统一重算或修正 fused GEMM 的 scale，否则精度会显著下降。
- 长上下文场景可以把 KV cache 用 FP8 存并校准 scale，几乎无性能损失，能恢复约 83% 的长上下文 KV 惩罚；这是低成本优化长文本推理的有效手段。
- 16-element block scaling 能有效控制残差流中的极端 outlier，对电商/Agent 场景下需要低比特推理的混合 LLM 是一条可复用的工程路径。
利用上下文集成统一保形语言任务
🧭 Conformal Prediction 与上下文集成评分
Signal 1 AI · Layer 6 AI
提出 Conformal Relevance 框架，用上下文样例策展与集成构建评分函数，兼顾覆盖与简洁并减少手工提示工程
📌 工作参考价值（4 点）
- 在电商搜索/推荐中需要覆盖与简洁平衡的场景（如搜索摘要、推荐理由生成、广告文案过滤），可直接用 conformal prediction 校准 LLM 评分，自动保证覆盖率，同时优化简洁性，替代手工规则。
- 用历史标注数据策展少量高质量上下文示例，替代逐任务写 prompt 评分函数，降低多类目、多任务场景下的维护成本；示例多样性提升评分鲁棒性。
- 集成多个 LLM 评分或同 LLM 的不同示例组合，利用文中 complementarity condition 判断是否有助于提升最差情况得分，指导工程上选择有效集成方案，用于粗排或候选过滤。
- 在生成式推荐中，若要保证生成内容覆盖关键卖点且不冗余，可借鉴该框架对生成结果做 conformal 筛选，同时用上下文集成提高简洁性判定质量。
随机注意力：重新思考 KV 缓存淘汰以实现高效推理
🧭 LLM 推理效率 · KV 缓存随机淘汰
Salesforce AI Research · University of Illinois Urbana-Champaign
提出 Random Attention，保留 prompt 并在各注意力头内随机淘汰 KV 缓存，匹配最强选择器同时吞吐提升 32-43%
📌 工作参考价值（4 点）
- 在部署长上下文 LLM 服务（如电商 Agent 的多轮对话或长链推理）时，可将 KV cache 淘汰策略简化为“保留 prompt + 每头随机淘汰”，省去 token 重要性打分，降低额外计算和延迟，实现 32-43% 的推理吞吐提升。
- 显式保护 prompt 是稳定性的关键：随机淘汰由于天然保留 prompt 而表现出与复杂选择器相当的性能，提示我们在设计缓存管理策略时应优先确保 prompt 完整，而非依赖复杂重要性估计。
- 推理轨迹在文本和注意力头两个层面存在冗余，因此随机抽样足以保留必要信息，这对长 CoT 生成场景尤其有借鉴：可放宽对精确 token 选择的假设，采用更轻量的随机策略。
- 可作为强 baseline：在电商搜索推荐系统的 LLM 模块中，如果采用 KV 压缩，先测试随机淘汰，它实现简单、无需训练或计算分数，且能匹配最优方法。
Text2Cypher 的自适应测试时推理：跟踪预算与选择性精炼
🧭 LLM 测试时推理优化 · Text2Cypher
Neo4j, London, UK
提出自适应 trace 预算与选择性执行引导精炼，在 Text2Cypher 上降低 30.7% 生成预算、21-25% 推理时间且质量持平
📌 工作参考价值（4 点）
- 在电商/搜索的文本生成场景（query 改写、商品标题、广告文案、推荐理由）中，可先做难度/置信度评估，动态分配采样与精炼预算：简单请求少生成少校验，复杂请求多候选+执行级验证，降低 LLM 成本与延迟。
- 执行引导精炼可迁移到业务规则校验：对生成结果做 schema、库存、价格、广告法违禁词等可执行检查，仅在失败或低置信时触发强模型 refinement，而不是全量二次生成。
- 跨模型族精炼结果表明，可保留现有轻量/低延迟主模型，用另一个强模型作为统一精炼服务做兜底，兼顾效果与成本，便于在推荐链路中逐步引入 LLM 精炼。
- 动态 budget 分配思路类似推荐系统的粗排/精排分级算力：可按 query 复杂度或用户价值分层，对高价值/复杂流量给予更多推理资源。
从问题到证据：受治理数据分析的小型分析代数
🧭 受治理数据分析 · 确定性策略执行
MasterControl AI Lab
LLM只解释用户意图，由确定性策略执行预批准分析程序，110/110匹配答案与证据契约，而运行时规划0/330
📌 工作参考价值（4 点）
- 在电商/广告的指标数据问答、AB实验分析等场景，可将「意图解析」与「工具选择/SQL生成」解耦：LLM只做意图分类和参数抽取，指标口径、SQL模板、执行程序由预注册目录确定性选择，避免每次生成口径漂移。
- 返回结果同时返回 evidence（口径、时间区间、支持记录），方便审计、回放和线上事故排查；对推荐系统日报、监控告警类分析尤其有价值。
- 用小型类型化操作集（关系操作+聚合+窗口+排名+相似度）表达业务分析需求，先为有限场景证明 scoped completeness，再逐步扩展，比直接开放端到端 agent 更可控。
- 对比结果提示：8B 级模型做运行时 SQL 生成和工具规划，在完整答案+证据契约上失败率很高；若在业务 Agent 中做数据查询，必须加强验证、模板约束或策略回退，不能只靠自由规划。
VibeVoice-ASR-Streaming：LLM 流式说话人归因语音识别
🧭 LLM 流式说话人归因 ASR
Microsoft Research · University of Chinese Academy of Sciences · Shanghai Jiao Tong University
首个 LLM 端到端流式说话人归因 ASR 之一，交错音频块与少量前瞻音频实现低延迟“谁说了什么”输出
📌 工作参考价值（4 点）
- 面向实时语音 Agent/客服：统一 LLM 直接生成“说话人+转写”，省去独立说话人日志模块，降低级联错误与延迟；输入设计可参考 fixed-size audio chunks + 少量 lookahead audio + previous text 的拼接策略，在语音点单、售后沟通等场景实现流式结构化记录。
- 自托管替代商业 API：在电商/广告会议转录等数据敏感场景，7B/1.5B 开源模型在五个评测集 WER/CER 上平均最低，且 speaker attribution 在 12/13 设置最优或并列，可作为内部服务，避免数据外传并控制成本。
- 工程架构上，用少量前瞻音频而非整句缓存，能显著降低流式延迟；在 Agent 中可类似设计“当前 chunk + 短 lookahead + 上一轮文本”的上下文，减少重复识别和说话人切换丢失。
- 中文电商场景需注意：论文里的中文会议集 AISHELL-4、AliMeeting 上 CER 仍较高（约 30-50%），落地前应基于国内电商/客服语音数据做领域微调，尤其提升中文说话人归因和电商术语识别。
语言模型可以控制自身注意力
🧭 LLM 长上下文稀疏注意力 ★ 深度解读
KAIST AI · Google DeepMind
提出声明式注意力协议，让模型在思维链中显式声明注意力范围，零训练实现长上下文稀疏注意力
📌 工作参考价值（4 点）
- 在长上下文多轮对话（电商客服、购物助手、推荐解释 Agent）中，把历史对话、商品信息、检索结果切分为可寻址片段，让模型通过 <focus> 标签声明需要关注的片段，可减少 50% 以上的 KV cache 读取，适合大 batch 在线服务降延迟。
- 与 RAG/工具调用结合：将检索到的商品/广告/知识片段作为模拟工具返回的“magic chunk”，模型在推理中自行选择关注哪些片段，避免每步全量扫描，可显著降低多文档推理成本。
- 工程上可直接复用论文的 vLLM 集成思路：通过 hook 改写 KV cache block table 实现块对齐掩码，不改内核、兼容 FlashAttention，适合快速在现有推荐/搜索 Agent 服务中落地。
- DA 的注意力计划以文本形式输出，可审计模型在推荐解释、搜索排序中具体关注了哪些输入，用于优化上下文构造和检索策略；未来还可结合 KV cache offloading 实现可逆上下文压缩，适合长会话 Agent。
LatentPress：超越文本与视觉的上下文压缩
🧭 LLM 上下文压缩 · 连续 soft tokens
Cornell University · Iowa State University
将对话历史与长文档压缩为连续 memory tokens，直接输入冻结解码器，无需文本重建，4-16倍压缩且性能优于文本摘要与OCR压缩
📌 工作参考价值（4 点）
- 可借鉴的架构：用一个小 writer 将长对话历史、行为序列、工具调用记录压缩成 continuous memory tokens，作为 frozen LLM 的输入 embedding 直接读取，省去文本重建和检索排序，适合电商对话助手/Agent 的记忆模块。
- 训练成本极低：只训练 4.2M-26.2M 参数的 adapter（约 decoder 0.1%），frozen decoder，可快速迭代，适合业务场景频繁更新。
- 压缩比选择：4-8 倍压缩在 QA 上可匹配或超过 raw context，16 倍明显退化；在线 Agent 历史压缩建议先用 4-8 倍，在时延与精度间取平衡。
- 写入耗时 43ms/对话，读取快 5-9 倍，比文本摘要或 OCR 重建快一个数量级，能满足在线低延迟要求；零样本跨域迁移表现说明 soft tokens 有潜力作为通用行为表征。
Qwen3.8-Next 架构设计：评估、效率与训练稳定性
🧭 大规模稀疏 MoE 架构与训练优化 ★ 深度解读
Qwen Team
稀疏 MoE 联合优化效果、效率与训练稳定性，在约 1/9 训练 FLOPs 下追平前代旗舰
📌 工作参考价值（4 点）
- 长序列用户行为建模/Agent 长期记忆：QSA 的压缩 lightweight indexer 在 micro-block 粒度打分，压缩比 r=4，索引成本从 O(n^2) 降到 O(n^2/r)，1M context 下 prefill 7.6×、decode 4.9× 加速，且短序列指标不退化。对电商历史行为序列、会话日志、Agent 记忆库读取等长上下文场景有直接借鉴价值。
- 外部容量扩展：n-gram embedding 表托管在 host memory 并异步预取，51B 参数几乎不增加 per-token FLOPs。推荐系统可借鉴其思路，将大规模 ID/属性交叉特征、低频但重要的记忆型特征放在 off-accelerator 表中，避免主模型算力膨胀；但要注意论文反复出现的结论——loss 单调下降不意味着下游指标同步提升，必须用业务指标单独验证。
- 训练稳定性与优化器：Muon 只用于 2D 线性映射权重，embedding/head/router/GR 低秩投影保留 AdamW；用 4× 最优学习率压力测试验证稳定性，提前暴露 spike 风险。大模型或大 embedding 模型训练时可复用该策略，减少对 qk-clip、SwiGLU-clip 等显式裁剪的依赖。
- 残差门控设计：GR 四分支 + elementwise 门控读取替代 pre-norm，去掉分支间 mixing 后既提升表达能力又减少显存流量。该思想可迁移到序列建模的残差路径；但论文也警示仅看 pre-training 指标会误判，sparse read 在后训练阶段退化就是反面案例。
边界内生成：距离引导解码保证上下文无关文法合规
🧭 LLM 约束解码 · CFG 合规
University of Luxembourg · Imperial College London
用基于下推自动机的有界摘要与距离上界做 lookahead 剪枝，保证 LLM 输出一定被目标 CFG 接受
📌 工作参考价值（4 点）
- 在 Agent 需要输出 JSON/SQL/查询计划等结构化内容时，可借鉴 distance-guided 可达性摘要替代只看 next token 是否可行的局部约束，避免生成长前缀后因 tokenizer-grammar 不匹配或 token 预算耗尽而无法到达接受状态。
- 离线预计算有界下推摘要和距离上界标签，在线解码时直接用于 horizon-aware pruning，比每次暴力做可完成性检查更适合低延迟线上结构化生成。
- 对电商/广告场景中要求模板或 DSL 合规的文案、推荐解释、规则策略生成，可以定义目标 CFG 后复用该框架，将语法合法从“尽量”变成“保证”。
- 若业务已有 JSON Schema 或 SQL 语法约束，可考虑把 grammar 编译为 PDA 摘要并接入 beam search，提升生成完成率和结构质量，而不是仅依赖 prompt 或局部 token mask。
混沌中的阶梯：测试时扩展何时、如何及为何提升 LLM 机器翻译
🧭 LLM 测试时扩展 · 机器翻译
University of Amsterdam · Vrije Universiteit Amsterdam
系统比较顺序与并行采样在 LLM 机器翻译中的表现，揭示顺序采样在小预算下上限更高并解释其机制
📌 工作参考价值（4 点）
- 在 LLM 生成推荐理由、广告文案、push 文案等短文本任务中，可优先用顺序自精炼（把前一轮输出拼到上下文）而非仅做 i.i.d. 采样+重排；小预算下可用更少采样得到更高上限和更好的自然度。
- 注意顺序扩展不是无代价：推理预算很大时会损害准确性/忠实度，因此业务中应对准确性敏感场景设置预算上限，并用自动指标或人工抽检监控“流畅但偏离原意”。
- 机制上，顺序采样的收益部分来自扩大目标侧上下文，提示我们在生成式推荐/query 改写中不必只重写，可让模型“看到并续写”前序候选，把前序输出作为 soft context；但上下文构造方式要谨慎，温度可保持鲁棒。
- 如果链路中已有 rerank 模块，可尝试 hybrid：小预算先并行采样+rerank 拿一个较优候选，再用顺序自精炼补强自然度，而不是简单堆 N。
解析器状态指导的结构化生成 KV 缓存持久化
🧭 LLM 推理优化 · 结构化生成 · KV 压缩 ★ 深度解读
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences
利用约束解码的解析器状态设计离线校准的 KV 持久化策略，大幅提升结构化生成在压缩推理下的可靠性
📌 工作参考价值（4 点）
- 电商 Agent 中大量 JSON/function call 输出，可直接复用 constrained decoding 暴露的 parser states 作为 KV 保留信号。例如将必需字段、枚举值、参数名标记为高保护 bucket，避免压缩导致关键 schema 信息丢失，降低下游调用失败率。
- 借鉴「离线校准 + 线上查表」的工程化方式：用开发集离线测量每个结构标签+层组的任务错误敏感性和注意力失真，生成策略表；线上只做轻量查找和常量预算状态更新，适合低延迟、高并发推荐/搜索 Agent 服务。
- 任务错误敏感性设置保护下限比单纯依赖注意力分数更可靠。在推荐理由生成、商品参数抽取等结构化任务中，优先保护影响最终可执行性的 token（如字段名、枚举值），可以显著提升压缩后的可靠性。
- 分层分组思路：同一结构角色在不同 Transformer 层采用不同精度（低层低精度、高层高精度），可迁移到长上下文推荐模型或多轮 Agent 对话的 KV 管理，进一步节省显存。
KV Cache 淘汰的概率视角：期望估计与解码期校正
🧭 LLM 推理 · KV cache 压缩 ★ 深度解读
University of California, Los Angeles
将 KV cache 淘汰形式化为期望估计问题，提出可纠偏的概率淘汰与解码期校正
📌 工作参考价值（4 点）
- 部署长上下文 LLM 服务（Agent 记忆、商品描述、用户行为序列）时，现有 H2O/SnapKV 等确定式 top-k 淘汰在特定任务上可能灾难性失效；改用论文的 probabilistic eviction + decode-time correction 能提升多任务鲁棒性，适合同一模型同时服务检索、问答、推荐解释等场景。
- 工程迁移成本低：可把已有 score-based 淘汰策略改造成 proposal 分布（如 πH2O=normalize H2O scores），按 head/group 采样并记录 counts，解码时用 Algorithm 1 的自归一化重要性采样校正，改动集中在 attention 计算，无需重训或改模型。
- 温度缩放 τ 是简单可用的 bias-variance 旋钮：高压缩、低采样数时增大 τ 抑制方差，低压缩时保持 τ=1 降低偏差；可按业务 latency/quality 目标做 per-head 或全局 budget 调优。
- 全局压缩率分配可利用论文的采样数与 coupon collector 关系做预算分配，让不同层/head 自适应获得不同压缩率；GQA 模型需用 group 内 mixture proposal 保持支持集一致。
识别-拒答错位：LLM为何回答结构上无解问题
🧭 LLM 拒答路由与可辨识性
University of Southern California · Arizona State University
结构无解问题中LLM已有可线性读取的不可答表征，但与安全拒答通路近正交，导致路由失败
📌 工作参考价值（4 点）
- 在推荐/Agent 工具链中，可对“结构上不可执行/无有效答案”的用户请求做线性探针或残差流方向检测，生成前拦截，避免错误推荐或错误 API 调用。
- 别假设安全对齐的拒答能力会自动迁移到“无效问题”；应单独构建无效意图/工具不可执行分类器，或补训练目标使识别方向与拒答行为方向对齐。
- 推理时 steering 可以在不改参数的情况下提升拒答/澄清能力，适合快速上线和 A/B；对电商问答中“无此商品属性、日期无效”等场景可尝试。
- 预训练已具备不可答表征，说明修复成本可以较低：轻量 LoRA/linear adapter 对齐识别方向与行为方向可能足够。
超越并行盲区：块草稿中的信息地板与模型差距
🧭 LLM 推理加速 · 块草稿信息瓶颈
University of California San Diego
区分块草稿的固有信息损失与草稿器模型差距，量化短程条件可消除的上限损失
📌 工作参考价值（4 点）
- 在电商/Agent 的 LLM 推理服务中上 speculative decoding 时，先估计目标模型在目标块大小下的信息地板，判断草稿器是受信息约束还是模型能力限制；不要只凭 accepted length 做调优决策。
- 全并行块草稿的最后槽位信息损失上限约 0.286，考虑对块内前几个 token 采用串行或半串行生成（哪怕多一次前向），可移除 86–100% 的地板，对延迟敏感的对话式推荐/Agent 响应可能收益明显。
- DFlash/DSpark 的拒绝主要来自模型差距而非信息缺失，说明提升草稿器对前序已实现 token 的条件建模（如增量更新隐藏状态）比盲目加大块大小更有效。
- 该方法可迁移到 Agent 多步 LLM 调用链中，用信息地板分析并行化提案的固有损失，优化工具参数生成、多候选推理的延迟与质量权衡。
HyQuant：面向 LLM 注意力的混合精度量化框架
🧭 LLM 长上下文推理 · 混合精度量化 ★ 深度解读
Shanghai Jiao Tong University · Xi’an Jiaotong University · Tencent Penglai Lab · Xiamen University
保留 vertical-line token 与局部窗口全精度、其余 KV 低比特，实现长上下文推理的近无损量化加速
📌 工作参考价值（4 点）
- 长上下文/Agent 场景做 KV cache 量化时，不要全局等精度：按列注意力质量选择 top-5% vertical-line token + 最近 W=128 窗口保留 FP16/BF16，其余 4-bit，可在 LongBench/GSM8K 上接近全精度；该模式可直接迁移到电商导购 Agent 的长期对话历史、RAG 长 prompt 缓存。
- 工程实现上，把 dequantize 融合进 attention kernel 的 online softmax 扫描，避免先材料化全精度 KV；在 H100 上 32K 前缀 decode kernel 相对 FA2 达 3.58×、端到端 1.17×；对广告/搜索的 LLM serving 能降低显存带宽压力，显存不足时也可以跑更大 batch。
- Vertical-line 识别只需累加 attention 概率列和，额外 runtime 约 3-5%；用 tail-query proxy 且每 64 tokens 更新，避免逐 token 全局打分，可作为轻量重要性评估器与稀疏/eviction 策略配合。
- 局限：短上下文收益有限，且未在 coding/agentic 任务评估；接入长提示或 long CoT 前应先在自家任务验证 vertical-line 稳定性。
LLM 能设计近最优运筹优化算法
🧭 LLM 算法设计 · 运筹优化
未微调的 frontier LLM 在库存、排队网络、品类优化上生成算法，匹配或超过现有专用方法
📌 工作参考价值（4 点）
- 在电商/广告中，品类优化（assortment）、库存分配、预算 pacing、实时请求路由等定义清晰的约束优化问题，可快速用 frontier LLM + Python sandbox 生成策略算法作为 baseline，再与手写规则或求解器对比；固定 compute budget 可控制线上可行性。
- 优先采用 Level 2 方式：让 LLM 只根据问题类描述和参数范围输出「参数→决策」的算法函数，而不是逐实例求解；这样得到的策略可直接部署到实时系统，并在未见参数上做离线评估。
- Prompt 无需复杂调优：简单描述问题、目标、约束和可用工具，LLM 即可写出可执行代码；这对快速原型验证、A/B 测试前的候选策略生成很实用。
- 注意：该方法适用于目标函数和约束都能明确写出的优化场景；对依赖隐式反馈或需要从数据中学习的推荐排序任务，LLM 生成算法可能只能解决局部优化子问题，仍需与 ML 模型结合。
预测之预测：层间激活融合实现LLM单遍幻觉检测
🧭 LLM幻觉检测·隐藏层动态
提出PoP机制，融合跨层隐藏状态捕获层转移不确定性，在单次前向中检测LLM事实错误
📌 工作参考价值（4 点）
- 对LLM生成的推荐文案、商品描述、搜索query等文本，可在单次前向中提取跨层隐藏状态作为事实置信度信号，用于低成本过滤或风险分级，弥补输出token概率的不足。
- PoP的<1.2%延迟开销适合在线生成式推荐系统，可在不增加额外采样的情况下对生成结果做实时健康度评估，触发人工审核或降级。
- 该机制在TruthfulQA上AUROC仅75.5%，且缺乏跨域验证，在电商场景落地前需用自有业务数据验证检测精度与阈值稳定性。
- 层间转移不确定性可作为特征加入现有质量/风控模型，特别针对商品属性、价格、活动规则等事实性易错点。
语言模型如何组织与结构道德知识
🧭 LLM 表征几何与概念组织
用六个线性探针揭示 LLM 中道德基础方向既共享正向共同成分又张成近最大独立维度，且困境方向可部分由基础方向组合
📌 工作参考价值（4 点）
- 在电商意图/评论分析中，可为多个语义维度（如质量、价格、物流、品牌）分别训练线性探针，观察其方向是否既共享正向共同成分又保持独立维度，以判断模型是否具备结构化概念理解而非单点检测。
- 论文发现概念集成结构在预训练早期就形成，早于探针精度饱和；业务上可在资源有限时直接使用预训练中间层特征构建轻量概念分类器，不必等微调或精度完全收敛。
- 复杂场景（如“高性价比但售后差”的评论）可视为多个基础属性向量的组合，用其几何关系辅助可解释标签生成、冲突检测或 query 改写。
- 共享成分可作为多任务学习中的正则信号，避免不同概念任务向量过度隔离或完全坍缩，提升模型对相关语义维度的联合建模能力。
转导语言模型的无偏随机估计
🧭 无偏概率估计与 beam 采样优化
ETH Zürich · University of Copenhagen · CHI-FRO
提出无放回重采样校正的beam-summing估计器，对TLM目标前缀概率给出无偏估计并大幅降低长序列推理时间
📌 工作参考价值（4 点）
- 生成式推荐/query 生成通常用 beam search + 阈值剪枝，这会给候选概率带来未知偏差。可以借鉴无放回采样 beam-summing 替代，获得无偏概率估计，用于后续重排序或校准，并能量化被剪枝的质量损失。
- 在 LLM 受限生成（如 query 规范化、属性抽取）或 FST 组合场景中，该方法比阈值剪枝快几个数量级，适合长目标串在线概率估计，可降低服务时延。
- 该算法随概率质量增加动态减少粒子数，保证停机，对需要严格延迟预算的在线推理系统有借鉴：在高质量区域可提前结束搜索。
- sequential Monte Carlo 基线有放回采样，该方法无放回且用 inclusion probability 校正，改善 compute-variance tradeoff，可迁移到用户模型重要性采样或日志策略评估。
门控循环Transformer：通过循环调制实现深度表达力
🧭 高效Transformer架构 · 循环深度共享
The German University in Cairo · Technical University of Munich · Cerebras Systems Inc.
用门控循环共享核心层，在固定算力或参数预算下达到甚至超越稠密Transformer质量，大幅减少参数与解码内存
📌 工作参考价值（4 点）
- 共享核心层 + 固定 prelude/coda 的架构可作为在线大模型推理的轻量化替代：用 3 层共享核心迭代 R 次匹配 12 层稠密模型精度，峰值解码内存降低约 59%，适合内存受限但延迟容忍度较高的生成式推荐/文案生成服务。
- 门控循环更新机制（elementwise gate 结合隐藏状态、prelude 输出与每步重采样噪声）能让同一组层在不同循环步动态调制输入，避免深度共享导致的表达坍缩；该 trick 可迁移到推荐序列建模中的共享 Transformer 层，在参数不变的情况下提升序列多样性建模能力。
- 采用 isoFLOPS / isoPARAMS 评估方式做架构选型，对实际部署有指导意义：在固定算力或参数预算下，优先考虑增加循环深度而非堆叠唯一层，可以获得更好的 loss/质量与内存 tradeoff。
- 对于广告文案生成、搜索 query 推荐等需要大模型但受限于显存和参数规模的场景，GRT 提供了一种可复用的参数高效化路径，且其代码已开源，便于快速验证迁移效果。
记忆增强解锁高效思维链推理
🧭 LLM 推理加速 × 记忆增强压缩
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Baidu Inc. · Tencent Inc.
提出训练无关的记忆增强压缩框架，用历史推理模式作为预填充支架补偿思维链压缩的信息损失
📌 工作参考价值（4 点）
- 在电商/推荐场景中，若用 LLM 做复杂推理（如商品属性抽取、多步排序、用户意图理解），可将完整 CoT 改为 Chain-of-Draft 风格短推理链降低延迟；同时构建可检索的“推理记忆库”，从历史正确推理中总结关键约束、公式和操作序列，作为 prompt 前缀注入，补偿压缩带来的准确率损失，无需训练，直接可用。
- 记忆的生成与使用可以借鉴 RAG 架构：将历史推理轨迹离线总结为结构化短记忆（如规则、公式片段）并建索引，线上根据问题检索最相关记忆，加入 system 或 prefix；注意实验表明增益来自记忆相关性，单纯拼接长上下文无效，所以向量相似度和相关性过滤要重点设计。
- 对推荐系统中的 query 改写、排序解释、广告文案生成等需要推理但追求低延迟的任务，可以采用“压缩+记忆”的组合：短输出 + 预填充的关键决策因子，达到速度与效果平衡，特别是线上高 QPS 场景。
- 该方法训练无关，兼容 token 级、推理轨迹级、推理状态级压缩，可作为现有 LLM 推理加速方案的轻量插件，适合快速验证对业务指标的影响。
目标感知的校准数据选择：在量化语言模型中保持不确定性
🧭 LLM 量化校准与不确定性保持
Yale University · The Hong Kong University of Science and Technology · The Hong Kong University of Science and Technology (Guangzhou) · City University of Hong Kong · Shanghai Institute of Optics and Fine Mechanics
提出 DPQ 配方族，用全精度预测选择高不确定样本与通用锚点构建目标对齐的量化校准集，保持不确定性行为。
📌 工作参考价值（4 点）
- 在电商/广告/Agent 场景部署量化 LLM 时，如果下游逻辑依赖 confidence/abstention（例如低置信度转人工、拒答策略、阈值决策），校准时必须针对业务目标分布选择数据，不能复用通用随机校准集。
- 可直接借鉴 DPQ 的“高 doubt 样本 + 通用锚点”思路：用全精度模型对线上日志打分，筛选边界难例（低 margin、高 entropy、错分类样本）加入校准数据，再混合一定比例通用样本，以保持量化后模型在关键决策边界附近的不确定性排序。
- 不同部署目标需要不同校准配方：如果关心“可回答性边界”（如 FAQ/客服拒答），可增加高怀疑样本比例（类似 DPQ-r75）；如果更关心广泛分类/选择题场景，应选用较温和或单信号（confidence-only / entropy-only）的校准集。
- 该方法属于轻量预量化数据选择，不改量化算法，可配合 GPTQ/AWQ 等主流 PTQ 框架，工程改造成本低，便于在推理优化阶段做 A/B 对比验证。
RARE：在 MoE 语言模型中解耦表示引导与专家路由
🧭 MoE LLM 表示工程与路由解耦
Huazhong University of Science and Technology · AIDX TECH PTE. LTD. · National University of Singapore
将行为扰动投影到路由器矩阵零空间，保持 MoE 路由一致，提升表示工程的控制效果与效用保留
📌 工作参考价值（4 点）
- 如果业务用 DeepSeek/Qwen 等 MoE LLM 做生成式推荐、query 改写或商品文案，需要对安全性、合规性、事实性进行在线控制时，避免直接对 hidden states 加扰动导致 expert 路由漂移；可借鉴 RARE 把扰动投影到 router matrix 的 null space，以保留下游能力。
- 该方法是轻量、无需训练的推理期控制手段，相比 SFT/RLHF 可以快速上线、实时调节，适合电商大促、广告审核等需要动态调整输出约束的场景。
- 工程实现只需缓存各层 router matrix 并计算其零空间投影，可在 vLLM 等推理框架中作为后处理插件集成，对延迟影响较小；论文在多个开源 MoE 模型上验证了通用性。
- 路由对语义内容敏感、对行为变化不敏感这一发现，提示在做 RAG 检索、query 改写时如果希望改变模型输出风格而不破坏专家选择，可以优先在表示空间的 router-null 子空间内操作。
TreeWY：Gated DeltaNet 混合模型的树结构投机验证
🧭 LLM 推理 · 投机解码状态压缩 ★ 深度解读
Thomson Reuters
用树结构 WY 变换消除 GDN 投机验证的逐节点状态快照，单次三角求解验证整棵草案树并只重建接受态
📌 工作参考价值（3 点）
- 如果在线上部署 Qwen3.5 这类 GDN+softmax hybrid 模型做推荐理由、广告文案、Agent 回复生成，开启 speculative decoding 前先检查 vLLM/SGLang 的 GDN 状态管理策略：默认 store-all 会在每个 draft 位置存完整 recurrent state，高并发下状态池/KV 池先爆；TreeWY / ReplaySSM 这类只存伪值或延迟物化状态的方法能把每请求状态块从 N+1 降到 1，直接抬高 admission batch。
- 工程选择上，chain 草案可以融合成 CUDA graph kernel，保持低 per-step overhead；树形草案目前会破坏 graph capture，导致 piecewise 执行，虽然接受长度提升但吞吐不一定划算。业务上先用 chain+MTP 拿稳健收益，树宽等框架融合优化后再上。
- 对 Agent 系统长会话/多请求并发，p99 TTFT 是用户感知关键指标。TreeWY 在 memory-bound 场景把 p99 TTFT 最高降约 40×（35B, 128 concurrency, gmu 0.6），因为不排队；若高峰期 KV 池饱和度常超过 80%，这类状态压缩比 draft 算法本身更影响尾延迟。
自精炼流水线中的非对称容量分配
🧭 LLM 自精炼流水线非对称容量分配
University of California, Irvine · Drexel University
首次按阶段研究自精炼流水线模型规模：生成与精炼需大模型，评论器小模型即可
📌 工作参考价值（4 点）
- 多阶段生成/改写流水线不要均匀分配模型规模：生成器和精炼器用大模型，评论器可大幅缩小；评论器只做判别，容量不敏感，能省大量 KV cache 和算力。
- 部署自反思/reflection agent 时，用小模型作 critic 过滤中间结果、大模型做 revision，可保持质量同时显著降低耗时与成本；避免 critic 也上大模型。
- 注意 refiner 不要过度缩小：过小的 refiner 可能把已经不错的生成改坏，形成负增益；推荐理由、商品文案生成等场景应为 revision 保留充分容量。
- 若业务使用生成-评论-改写 pipeline 做 query 推荐或 push 文案，可按此分配预算：先固定大 generator，选择尽量小的 critic，再粗测 refiner 的敏感区间。
离散扩散推理时控制的嵌套序贯蒙特卡洛方法
🧭 离散扩散文本生成推理时控制
University of Amsterdam
提出 NSMC 与 FA-NSMC 用于离散扩散文本生成推理时奖励引导，修正偏差并优于 best-of-n 与 bootstrap SMC
📌 工作参考价值（4 点）
- 若在电商/广告文案、搜索词生成中采用离散扩散语言模型（DDLM），可替换 best-of-n 为 NSMC：best-of-n 易高估 reward，bootstrap SMC 有权重退化，NSMC 能更稳定地按序列级 reward（如点击率、合规性、品牌语调）做推理时引导，无需额外训练。
- FA-NSMC 通过 fully adapted proposal 融入 reward 信息，能提高采样效率；在生成式推荐场景中，若 reward 模型计算昂贵（如 LLM judge 打分），可优先考虑 FA-NSMC 减少粒子数。
- 论文修正了 Feynman-Kac 控制中嵌套 SMC 的 bias 问题：实际工程中若自己实现 SMC 控制，需注意 final estimate 的无偏/有偏处理，避免离线评估指标系统性偏乐观。
- 该方法适用于任意序列级可微/不可微 reward，可作为生成式排序、push 文案、query 推荐的在线后处理层，但需权衡每 token 的 SMC 递归开销。
CLEAR：连续潜在适配器路由实现效用保留的 LLM 安全对齐
🧭 LLM 安全对齐 · 条件 LoRA 路由
Siebel School of Computing and Data Science, University of Illinois at Urbana-Champaign · Computer Science, Stanford University
用轻量隐状态门控连续控制安全 LoRA 激活，在降低有害输出的同时保留基座效用
📌 工作参考价值（4 点）
- 将安全/合规策略做成可插拔的 LoRA+门控旁路，而不是全局 SFT：线上推荐文案、Agent 回复生成时，冻结基座保留推荐/推理能力，仅对命中风险 prompt 激活安全 adapter，避免整体性能回退。
- 连续门控比离散 router 更灵活：输出 α∈[0,1] 控制 LoRA 强度，可在线上按场景调整阈值，实现“轻度改写/强干预”的分级风控，适合电商内容审核和广告合规。
- 训练时只用 hidden state 作为 gate 输入，仅训练 gate 和安全 LoRA，成本低、可回滚；可迁移到多策略组合：为不同地域/品牌安全规范各训练一个小 adapter，由 gate 混合或路由。
- 评估安全对齐时不能只看 ASR，要同时看推理/推荐指标（类似 GSM8K）；条件化训练明显优于全局 SFT/LoRA，可作为安全与效用 trade-off 的强 baseline。
Daedalus-150M：专为 CPU 推理设计的卷积-注意力混合模型
🧭 高效小型 LLM 架构 · 卷积-注意力混合
用 12 个短卷积层替代多数注意力层，在 CPU 长文本解码时实现 1.76 倍加速且质量不降
📌 工作参考价值（4 点）
- 对于需要在 CPU 或端侧低延迟推理的轻量级模型（如端侧 query 建议、实时 push 文案生成、边缘排序模型），可以尝试用短卷积替代大部分注意力层，减少 KV cache 读取；在长上下文时加速显著，适合长 prompt 或长序列用户行为建模。
- 目标驱动的架构设计：先固定部署环境（单用户、4-bit、普通 CPU），再反向选择模型结构，比“先设计大模型再压缩”更高效；推荐系统在边缘部署小模型时可复用这一思路。
- 在模型选型时采用预先注册对照实验：固定训练数据和模型尺寸，比较不同架构，并事前确定胜利指标，避免事后挑选；业务团队做架构升级时值得借鉴。
- 注意其报告的负面结果：4-bit 量化有不可忽视的质量损失，部分卷积通道实为冗余且难以修剪，词汇表不宜大于模型规模所需；这些小模型工程细节可直接避免踩坑。
FlashPrefill V2：面向长上下文LLM服务的块稀疏预填充注意力
🧭 长上下文推理·块稀疏注意力优化
MAIS & NLPR, CASIA · UCAS · WeChat, Tencent
通过均值修正、FA3/4对齐内核与分页KV/连续批处理，将块稀疏预填充从原型推进到生产级，128K下最高加速47倍
📌 工作参考价值（4 点）
- 用户长序列（如点击序列、会话历史）的预填充延迟是长上下文推荐/Agent系统的首要瓶颈，可借鉴块稀疏注意力：用均值修正项在极端稀疏下稳定精度，避免稀疏化后排序/检索效果明显下降。
- PackGQA内存访问、warp specialization和pingpong pipelining的组合可直接指导自研稀疏attention kernel，尤其适合在H20等推理卡上部署FP8量化，显著降低长上下文服务成本。
- 原生支持paged KV cache与continuous batching，说明稀疏注意力可作为现代推理框架（如SGLang）的backend无缝接入，适合在电商/搜索推荐在线服务中做透明替换，无需改动上层模型逻辑。
- 如果业务中有大规模多轮对话或长文档预填充，可参考块稀疏阈值机制做动态跳块，并在FP8精度下验证效果，兼顾首token延迟与模型质量。
LLM 缓存淘汰策略选择：跨工作负载、容量与编码器的系统研究
🧭 LLM 语义缓存淘汰策略评估
University of Michigan
系统比较多种语义缓存淘汰策略，发现 LFU 为最强简单默认，且需先验证答案有效性
📌 工作参考价值（4 点）
- 在业务中部署 LLM 语义缓存时，淘汰策略无需复杂化：LFU 在 18 种设置下几乎总是最优或接近最优，实现简单且省资源；避免引入几何感知复杂策略，因为精确查找下新插入条目在命中半径内无邻居，难以获得额外信号。
- 缓存命中质量是更大的风险：在典型阈值下，原始命中率 51–60% 中只有 2.1–3.9% 的命中答案可替代，质量调整后命中率仅 1.1–2.2%。上线前必须用 LLM-as-judge 或人工审计验证缓存命中的可替代性，不能只看 embedding 距离。
- 阈值需按编码器单独标定：跨编码器研究显示阈值不可迁移；更换 embedding 模型后必须重新设定距离阈值，否则可能缓存大量无效响应。
- 对于小容量缓存，使用精确搜索（如暴力扫描）而非 ANN，以保留准确的邻居结构用于淘汰决策；同时关注 LFU 与 FIFO 在紧容量下的差异可达 8 个百分点，容量越紧越应该选简单有效的 LFU。
为测试访谈对话系统生成多样化用户模拟器画像
🧭 用户模拟器 persona 多样性生成
C4A Research Institute, Inc. · SANKEN, University of Osaka · Musashi University
用 LLM 自动生成带沟通风格人格特质的用户画像，提升访谈对话系统测试中用户模拟器的行为多样性
📌 工作参考价值（3 点）
- 在构建 Agent 用户模拟器做评测或数据合成时，可复用「LLM 生成 persona + 显式注入沟通风格人格特质」的方法，低成本扩大用户行为覆盖面，避免人工构造 personas 的瓶颈。
- 对于需要模拟多样化用户场景（如访谈、客服、搜索会话）的评测，可先定义人格特质维度（如沟通风格），再让 LLM 根据特质生成 personas，从而控制多样性。
- 如果要为推荐/搜索 Agent 做模拟评测，可以用类似思路生成不同背景、偏好、表达习惯的用户，帮助发现 Agent 对长尾用户行为的鲁棒性。
自问问他：关系即所需——替代注意力的 token 混合新范式
🧭 替代 Attention 的 token-mixing 基础架构 ★ 深度解读
City University of Hong Kong · Jilin University · National University of Singapore
提出 Self-Exchange Relation 算子，将 token 混合拆成先建关系再分配信息流，在 10M/30M/100M 语言模型上 NLL 全面优于 MHA
📌 工作参考价值（4 点）
- 可借鉴显式 Self/Exchange 分解：在用户行为序列建模（如点击序列、曝光序列）中，可把 token 混合拆成 Self（自身历史/当前意图）和 Exchange（与其他 item 的关系）两阶段，先构造关系再归一化，可能更利于可解释和稀疏控制。
- FlashRelation 的 tile 化扫描 + 只缓存 P2 和 I 两个投影状态，相比标准 KV cache 省去 query 缓存；线上低延迟场景可尝试类似“只存必要投影”的缓存设计。
- Linear Relation 将历史压缩成 d_h×d_h 矩阵状态，75% 线性层 + 25% 全 Relation 层混合在 30M 尺度 NLL 仅 1.278，说明线上长序列低延迟场景可用大部分线性层加少量 full 层，平衡效率与效果。
- 注意这些结果均在 100M 参数以下语言模型，业务迁移需先在自有推荐序列模型中小规模验证；但将“关系构建”与“信息流分配”解耦的思路可迁移到 attention 变体或 GNN 消息传递中。
黑盒大语言模型的改进置信度估计
🧭 LLM 不确定性量化与部署安全
Layer 6 AI · TD Insurance
利用评估数据集训练简单分类器，以现有 UQ 分数和相似查询正确性为特征，提升黑盒 LLM 置信度估计。
📌 工作参考价值（3 点）
- 在电商搜索/推荐的 LLM 应用（如 query 改写、商品卖点生成、客服自动回复）中，可在部署前利用积累的标注反馈数据（正确/错误）训练一个轻量置信度分类器，将现有 UQ 分数（如 verbalized confidence、语义熵）作为输入特征，低成本实现自动审核与风险拦截。
- 相似查询的正确性作为特征，可通过 kNN 在已有标注数据中快速检索得到，适合线上实时服务；不依赖模型内部 logits 或白盒访问，可直接用于 OpenAI、Claude 等黑盒 API。
- 结论：不要只依赖单一零样本 UQ 分数，利用少量标注数据做特征融合能稳定提升置信度区分能力，适合作为 Agent 系统中 LLM 输出的 guardrail。
基于 LLM 反馈的策略不变奖励塑形：混合 RL Agent 框架
🧭 LLM 反馈的奖励塑形理论保证
African Institute for Mathematical Sciences, Rwanda · AI Research and Innovation Nexus for Africa (AIRINA Labs), AI.Technipreneurs, Bénin · Sefako Makgatho Health Sciences University (SMU), South Africa · African Center for Advanced Studies (ACAS), Cameroon
证明 LLM 进度分作为有界势函数做奖励塑形不改变最优策略，即使评分不准
📌 工作参考价值（4 点）
- 若在搜索/推荐 Agent 中用 LLM 生成稠密进度奖励（如多跳查询完成度、任务分步得分），建议写成 potential-based shaping：r + γΦ(s') - Φ(s)，并把 Φ 限制在有界范围；这样即使 LLM 打分有偏，理论上不会改变真实业务目标下的最优策略，可安全加速训练。
- LLM 适合做 planner 输出子目标，RL/底层策略负责动作执行；可将 planner 的解析率、子目标覆盖率等指标单独离线评估，避免直接耦合训练导致难调试。
- 关注 LLM 输出词表与环境动作/oracle 的 mismatch：例如 autocomplete 或 query 改写中，LLM 生成的 action/slot 值若无法被执行环境解析，会造成虚假失败/奖励污染；需在 parser 层做规范化和映射。
- 理论保证只适用于 shaping 项，不应替换核心业务奖励（点击、转化、GMV 等），建议仅作为辅助信号引入。
经验链 CoE：LLM 推理期迭代自改进
🧭 LLM 推理期迭代学习 · 反馈驱动 test-time scaling ★ 深度解读
UC Santa Cruz · Bytedance Seed
系统证明让 LLM 在推理期用执行/自评/正确性反馈迭代累积经验，可稳定超越零样本与跨任务记忆基线，且成本更低
📌 工作参考价值（4 点）
- 在电商/广告的 LLM Agent 流程（query 生成、素材文案、商品属性清洗、选品分析）中，可把单次生成改为 2-10 轮 self-refine：每轮用轻量 evaluator/reward model 或规则信号（类目一致性、格式、点击/转化预估）给反馈，并将前几轮 response+feedback 原样拼入 context；20 轮内大部分收益就到手，API 成本可能反而下降。
- 不要急着把交互历史蒸馏成抽象 memory（类 DC/ACE 的跨任务 cheatsheet）或只保留最终答案；论文表明在同任务内 full experience trail 比压缩 memory 更优，激进压缩会丢中间 reasoning。线上 Agent 日志建议先存原始 trajectory，再按需做 retrieval/摘要。
- feedback 质量依赖 verifier 能力：模型自评不适合小/弱模型，业务上可先用强模型做 critic，或配合规则/执行结果（SQL 可运行、页面可解析、价格库存合法）；对噪声反馈用 selective majority voting 提高鲁棒性。
- 测试时改进能力与 base 性能正相关。线上预算有限时，优先给强模型加反馈回路，而不是无差别扩展；弱模型先提升 base 任务能力。
MoE 块蕴含强幻觉检测信号
🧭 MoE 路由信号幻觉检测
INESC-ID · Instituto Superior Técnico
利用 MoE 路由熵/专家不一致等内部信号提出 InnerExpert，实现 token 级幻觉检测并达 SOTA
📌 工作参考价值（3 点）
- 若业务已使用 MoE 架构模型（如 Mixtral、DeepSeek），可直接采集路由熵、专家激活分布、专家不一致等特征，作为额外的“不确定性/事实性”信号，用于拒答、触发检索或降低生成置信度，成本几乎为零。
- 借鉴 InnerExpert 的轻量分类器设计：将路由特征与隐藏状态拼接后训练一个小型检测头，只做一次前向即可输出 token 级幻觉概率，适合实时推荐/Agent 场景。
- 用 LLM-as-judge 自动生成 token 级真实标签，避免人工标注，支持线上数据回流持续更新检测器；对电商文案、推荐理由、Agent 回答可做细粒度事实核查和风险定位。
MoNe：用于高效长上下文推理的模块化神经记忆
🧭 长上下文推理 · 神经记忆
Qualcomm AI Research
提出轻量模块化神经记忆 MoNe，通过 test-time fast-weight 学习实现 O(N) 预处理、O(1) 查询的长上下文推理，无需重训练
📌 工作参考价值（4 点）
- 在电商/Agent 场景处理超长用户会话或商品描述时，可借鉴 MoNe 的 test-time fast-weight memory：将长上下文分段压缩进轻量记忆参数，在线推理只从 query 生成 KV，避免每次带全量上下文；特别适合在移动端/边缘设备控制峰值显存。
- 该方法附加在冻结模型上，仅 6.4% 参数开销，业务上可作为 Plug-in 模块对已有 LLM 服务做增量改造，无需全量重训，风险可控。
- 注意 test-time learning 需要对每个 context 做梯度更新，适合将用户长期历史、固定知识库等离线预处理并缓存 memory，在线摊销成本；高并发推荐/搜索 query 侧可享 O(1) 查询。
- 128K 长度下 compute 和峰值 GPU 内存降低约 80%，且在小模型长上下文提取信息不稳定时仍保持性能，可参考该量化结果作为成本收益评估。
生成式AI搜索降低发布者点击且未改善体验：实验证据
🧭 生成式AI搜索的因果效应评估
University of Pennsylvania · Northeastern University
基于1,100人的预注册田野实验，证明Google AI搜索减少发布者点击，AI Mode还损害体验与信任
📌 工作参考价值（4 点）
- 在搜索/推荐结果页引入LLM摘要或对话式回答时，必须同时观测下游详情页、广告、商家页的CTR和GMV；本实验显示AI Overviews会系统性蚕食外部点击，不能只看搜索侧满意度。
- 完全“无链接”的AI Mode会显著降低用户信任与体验，电商搜索应保留原文链接、商品卡片等可点击出口，采用混合UI而非纯答案界面。
- 可复用其预注册现场实验设计：在真实搜索引擎上通过浏览器扩展随机屏蔽/保留AI功能，估计因果效果；对AI搜索/推荐功能灰度可用类似RCT，避免观察性偏差。
- 生成式推荐/Agent回答场景需监控“答案终结率”和后续跳转率，防止Agent直接给结论抑制用户探索和交易路径，必要时加入引用、相关推荐、追问按钮来平衡信息效率与商业流量。
TileMix：面向 LLM 推理加速的 Tile 中心混合精度注意力
🧭 LLM 推理 · 混合精度注意力 kernel ★ 深度解读
University of North Texas · Saint Louis University
通过 tile 分组路由 FP16/INT8 注意力计算，在保留 dense 连接的同时加速长上下文 prefill 并恢复质量
📌 工作参考价值（3 点）
- 长上下文 RAG / Agent memory / 多跳检索场景中，prefill 是延迟大头；可借鉴按 attention score tile 分组做混合精度（关键区域 FP16，其余 INT8），而不是整层 uniform INT8，能在质量和吞吐之间拿到更好 trade-off，且无需训练或改模型权重。
- 路由模板可直接复用稀疏注意力的空间先验（local band / global / random / SpTrans / BigBird），但只决定精度路径、不删除 token 交互；业务上可先用静态模板快速验证哪些位置对效果敏感，再考虑升级为自适应或 learnable 路由。
- INT8 KV cache + per-block scale 能降低显存和 decode 成本，同时 V 保持 FP16 做 PV 更新，工程风险较低；如果使用 FlashAttention-style serving，可参考其 shared online-softmax 状态与 bitmask constant-time 查找的集成方式，支持 GQA 和 variable-length batching。
跨模型记忆迁移：目标侧 reader 适配的关键作用
🧭 LLM 外部记忆跨模型迁移与 reader 适配
ELLIS Institute Finland · University of Turku · University of Technology Sydney
提出跨模型冻结 Engram 记忆迁移范式，发现目标侧 reader 适配比记忆表本身更能激活外部知识复用
📌 工作参考价值（4 点）
- 将商品属性、活动规则、用户事实等高频知识沉淀进外部哈希记忆表，与 backbone 解耦，便于在搜索/推荐/广告多条业务线间共享，仅需接入目标侧的轻量 reader。
- 模型升级或切换主干时，可冻结已训练的记忆表，只训练很小的 reader adapter，避免重训大模型，同时保留已有知识，降低迭代成本。
- 若目标模型接口与源 reader 兼容，可直接复用记忆 artifact 零训练上线，适合快速验证；不兼容时先用 dual-layer four-branch reader 适配，可接近同源效果。
- 注意这类外部记忆更适配可寻址的事实/规则，不适合隐式偏好或实时行为，工程上需设计好 key 编码和地址映射。
DeaMoE：面向小批量快速解码的高效 MoE 结构
🧭 高效 MoE 解码架构 · 小批量推理 ★ 深度解读
University of Science and Technology of China · Institute of Artificial Intelligence, Hefei Comprehensive National Science Center · Shanxi University
DeaMoE 将专家分组为部门，共享大部分参数并设计两级路由，在小批量解码下降低专家权重加载，实现最高 2 倍加速
📌 工作参考价值（4 点）
- 若业务用 DeepSeek-V3/Qwen3 等大 MoE 做实时 query 改写、广告文案生成或 Agent tool call，小批量延迟不达标时，可考虑 DeaMoE 式重组：把 256/384 个 experts 分成 8/16 个 departments，共享 FFN 主矩阵，每个 expert 只保留 [hffn, hffn] 私有矩阵；在总参数和 FLOPs 不变的前提下，A40 上可获得 1.3–2.0× TPOT 加速。
- 改造时用 group-limited top-k 软约束控制每个 token 激活的 department 数，不要强制覆盖 kdept 个 department；ablation 显示 strict coverage 会扰动路由偏好并提高 loss，软约束下平均激活 3.95/4 个 department 已足够。
- 私有 expert 矩阵用 torch.nn.init.eye 做 identity 初始化，而不是随机初始化；在 factorized 结构下可显著降低预训练 loss（2.504 vs 2.530），避免随机初始化扭曲共享 backbone 表示。
- 工程实现可沿用 vLLM Grouped GEMM primitives，只改 token indexing 支持 hierarchical routing；注意收益与 expert 大小和 GPU 带宽强相关，H100 上小 expert 模型可能回退，优先用于大 expert MoE 和带宽受限硬件。
分离劳动：将证据解释与决策聚合分开
🧭 LLM 多源证据聚合与决策架构
Atlassian
提出将证据解释与决策聚合分离，用四字段证据元组和校准对数似然比池化解决计数尺度漂移
📌 工作参考价值（4 点）
- 在电商/推荐系统的多源信号融合中，将 LLM 的“证据读取”与“决策聚合”拆开：每个证据输出结构化 tuple（hypothesis, reliability bucket, rationale, provenance），后续用固定算术融合，便于溯源和跨场景复用。
- 避免简单对多路召回得分、多策略 CTR 预估等做未归一化加权求和或投票阈值，因为阈值会随证据数量漂移；改用校准后的对数似然比池化（或等效的后验阈值），使决策一致且可比。
- 对不可靠来源（如弱标注、用户生成内容）先做可靠度分桶，再参与聚合，可降低噪声主导风险；该 bucket 可作为先验指导模型对不同证据的信任程度。
- 在 Agent 决策链中，将最终决策与中间证据解释分离，便于调试、审计和动态调整证据集；架构上无需大改，只需改变聚合的算术方式。
批量自适应剪枝：面向语言推理模型的周期性神经元激活感知权重剪枝
🧭 LLM 推理优化 · 自适应剪枝
The University of Tokyo
针对批量推理下训练无关自适应剪枝失效问题，提出周期 top-k 选择与激活记忆，实现推理加速同时保持精度
📌 工作参考价值（4 点）
- 在批量推理服务（如推荐系统中的 LLM 重排、解释生成、Agent 规划）中，如果采用训练无关自适应剪枝，优先用 top-k 选择替代阈值剪枝：批量共享 mask 时阈值受激活聚合分布偏移影响大，top-k 对分布偏移鲁棒，稀疏率更可控。
- 对长文本生成/推理链场景，可借鉴 activation memory 累积跨更新周期的神经元重要性，保留周期性重激活的关键神经元；这类似于对“反复出现的 pattern”做缓存，减少剪枝对长程推理的破坏。
- 工程上可设置 update period 周期性更新 mask，而不是每个 token 都重新选择，降低剪枝本身的开销；在 batch size>1、高吞吐优先的部署中，这是保持加速比的关键。
- 评估推理优化方法时应显式测试 batched inference，因为离线单样本精度无法反映线上批量服务下的漂移问题；尤其对于生成式推荐中的 LLM 打分/文案生成，batch 内样本分布差异可能导致 mask 失效。
永不碰数字：面向事实型答案 AI 系统的结构化弃权架构
🧭 LLM 可靠性 · 结构化弃权
用确定性内核与生成外壳解耦，生成组件只影响问题解释不碰返回值，无法表达请求直接拒绝，从结构上避免 LLM 事实性幻觉
📌 工作参考价值（4 点）
- 在电商/广告的自然语言数据问数、指标看板、运营机器人中，把“数值/聚合结果”与“自然语言解释”拆开：生成模块只负责 paraphrase、确认语义，数值由确定性 SQL/指标内核计算，避免 fluent wrong answer。
- 建立 bounded set of answerable question shapes，把 LLM 的输入映射到有限查询模板；不能映射的请求直接拒绝或让用户重新表述，而不是让 LLM 兜底生成近似答案，尤其适用客服、价格/库存/预算等高风险查询。
- Agent 系统中可复用到工具调用与策略动作：LLM 只负责路由、生成确认问题和措辞，不参与最终执行参数计算；对写操作/策略参数使用确定性决策层，降低工具误用与事实性污染。
- 五决策配方可作为 human-in-the-loop confirmation 设计参考：在展示数值前先让用户确认问题语义，把不可结构化表达的需求排除在计算之前，提升生产系统可信度。
注意力感知变换编码压缩 KV Cache
🧭 LLM 推理 · KV Cache 压缩 ★ 深度解读
Technical University of Munich · Technical University of Darmstadt · MIT · Harvard University · Red Hat AI
用白化变换与反向注水按注意力输出失真分配 KV cache bit，5.8x 压缩下近无损
📌 工作参考价值（4 点）
- 长上下文 LLM 推理服务里，KV cache 是大头成本；这套方法只需离线校准集做白化 + 全局 bit 分配，在线仅做 per-token 标量量化，无额外训练，适合快速接入 vLLM/TensorRT-LLM 的量化路径。
- 注意力感知权重可直接复用：key 通道用 q_c^2 加权，value 通道用 W_O 行范数加权；对重要通道多给 bit，尾部通道给 0 bit 等价低秩裁剪，比 uniform precision 更稳，尤其适合商品描述、多轮会话历史、Agent memory 等长上下文场景。
- 校准数据混合思路值得照搬：FineWeb 与 OpenR1-Math 各半，同时覆盖通用文本和推理链；电商场景可替换为商品描述/搜索会话/推理 trace 混合，避免只在通用语料上过拟合。
- 工程细节有复用价值：保留前 4 个 token 与最近 128 token 全精度，按 block 16 重量化；GQA 下按 head-group 做 token-wise max scaling；在更 aggressive 的 2-bit 预算下，attention-aware 分配相对 var-only 优势更明显，可做服务分层压缩。
DARTree：基于自回归草稿树的推测性扩散解码
🧭 LLM 推理加速 · 推测解码
VILA Lab, MBZUAI
将扩散块草稿与树形自回归校正结合，训练无关地提升推测解码接受长度与加速比
📌 工作参考价值（4 点）
- 对线上部署 LLM 做生成式推荐（商品文案、推荐解释、对话式导购、搜索 query 改写）的团队，可直接把 DARTree 作为即插即用的推理加速层：训练无关，只需预训练 AR 校正头，无需额外训练成本，且保持无损输出分布。
- 借鉴其“固定宽度候选树 + 批量扩展评分”的工程 trick：把树节点扩展和 AR 校正头推理合并为单个 batch，避免逐节点堆排序的串行开销，适合在 GPU 上高并发执行，有利于降低在线服务延迟。
- 扩散草稿器做块级并行预测时，其边际分布需通过树形 AR 校正来恢复因果条件，这对其他使用扩散/非自回归草稿的加速方案有参考意义：不要只用单一链式校正，树形候选能显著提高接受长度。
- 注意该方法主要针对通用 LLM 解码，对传统推荐模型的排序、召回无直接帮助；但其加速比（最高 9.73x）在 LLM 参与的推荐链路里能有效缓解推理瓶颈。
Intern-S2-Mobius：知识存储与推理解耦的高效基础模型
🧭 LLM 架构 · 知识-推理解耦 ★ 深度解读
Shanghai AI Laboratory
通过全局共享 FFN 知识库与多 Reasoner 隐式迭代，实现同等精度下近 4 倍端到端推理加速
📌 工作参考价值（4 点）
- 解耦知识存储的思路可迁移到「LLM + 海量商品/内容知识」：把商品语义向量、属性知识放到全局共享 Memory 或 MoE 专家中，推荐/广告 Reasoner 按需检索；商品新增下架更像更新知识库，而非重训整套模型。
- 隐式 latent reasoning 值得在 query 推荐、广告文案生成、Agent 规划等长 CoT 成本高的场景探索：用连续隐状态迭代或蒸馏压缩显式 CoT，可显著降低 token 数、提升吞吐，但需在小任务上先验证精度损失。
- MoE 块状划分 FFN + 稀疏激活，为推荐大模型部署提供冷热分层思路：高频知识参数放 GPU，低频/长尾知识放 SSD 按需加载，降低显存压力。
- 该架构显示同等效果只需 Transformer 约 62.6% 的训练数据，对标注稀疏的电商任务有吸引力；但属基础架构改动，业务直接落地的工程成本较高。
减少矩阵乘法：面向 LLM 推理的输入自适应矩阵积降维
🧭 LLM 推理加速 · 动态矩阵乘剪枝 ★ 深度解读
University of Chicago · Stony Brook University · Independent Researcher
提出训练无关、输入自适应的 RMM，通过激活 L2 范数 TopK 收缩乘轴，以可预测方式加速 LLM 推理
📌 工作参考价值（4 点）
- 在线服务 LLM 推荐/Agent 时，可优先对 attention 内部 QK^T / PV 做按输入 L2 范数的 TopK 降维，RR 0.8 左右通常几乎无损；MLP 保持保守，避免模型崩溃。
- 用 retention ratio 作为统一算力档位，线上可按 QPS/延迟动态调节，获得平滑可控的精度-效率折中，适合流量峰谷调度。
- 实现时用 Triton 融合 norm+TopK+gather+GEMM，避免选择开销抵消收益；长序列（>2048）下加速更明显，更适合长用户行为摘要/推荐解释生成。
- 动态 per-token 维度选择比静态子空间更稳；工程上可在 prefill 后固定或定期刷新，减少逐 token TopK 开销。
局部方差最优不够：面向动态4比特量化的RoPE对齐Q/K旋转
🧭 RoPE对齐量化变换
University College London
发现RoPE对齐的成对旋转在动态W4A4KV4量化中未提升且增加困惑度，揭示代理目标与量化统计不匹配。
📌 工作参考价值（3 点）
- 部署 LLM 做生成式推荐/Query 改写/Agent 决策时，若采用动态 4-bit 量化（W4A4KV4），优先保留标准全头 Hadamard 旋转（QuaRot 风格）；实验显示用 RoPE 对齐成对旋转替换反而在多个 checkpoint、短/长上下文均增加 PPL。
- 若业务必须引入 RoPE 结构变换，可采用成对旋转与 Hadamard 组合，并仅用 K 的校准数据估计共享角度；该方案能满足 ±0.05-PPL 偏差阈值，但无额外收益，可作为兼容性方案而非优化方案。
- 工程实现注意：量化器步长通常由 tokenwise group range 决定，而代理目标基于位置平均协方差；两者统计错位会导致理论最优不转化为实际量化误差降低。评估量化方案时直接观察动态量化后的 K range、相对量化误差和下游指标（如 PPL 或线上效果），不要依赖孤立代理指标。
开口之前：利用 LLM 从长期日常对话预测言语行为
🧭 LLM 用户行为预测 · 长期对话
Massachusetts Institute of Technology
用 LLM 从 1000+ 小时长期自然对话中预测个人言语行为，探索主动式个性化 AI 可能性
📌 工作参考价值（4 点）
- 可借鉴思路：把长期用户会话/行为序列变成“个人行为预测器”。 电商/客服场景中的用户对话、点击、订单序列，可用 LLM 做长期 pattern mining，识别重复的高风险/高价值行为模式（如冲动下单、流失前兆、价格敏感表达），用于早期干预。
- 工程上可落地为“情境相似度召回 + LLM 预测”：将当前会话/上下文与用户历史行为模式做相似度匹配，再让 LLM 预测用户下一步意图/反应；输出可作为召回/排序特征，也可作为 Agent 是否触发主动服务的条件。
- 面向 Agent 的干预时机与形式：论文强调“在行为展开前提醒”。业务中可设计 push/文案/优惠券的 just-in-time 触发，但需结合用户访谈结论——用户关心透明度和控制权，主动干预要可解释、可关闭，否则可能引起反感。
- 业务可借鉴点有限处：论文使用 wearable 采集自然对话，成本高、规模小（14人/1000小时），直接照搬难；但用现有日志替代可降低门槛。
迈向Gricean后退：探测LLM的知识边界与指称特异性
🧭 LLM知识边界与生成特异性探测
University of Colorado, Boulder
LLM内部已编码知识边界与指称特异性信号，但生成时未协调，仍倾向编造具体细节而非退回通用陈述
📌 工作参考价值（4 点）
- 在商品文案生成、推荐理由或对话式电商中，对于长尾/新品等知识边界外的实体，可主动降低指称特异性：生成更通用的描述（如“某品牌运动鞋”而非具体型号），减少事实错误，提升可信度。
- 利用论文发现：模型激活中已包含知识边界和特异性信号，可训练轻量探针或使用激活引导（steering）在解码时调整logits，对低置信度实体自动触发“通用化”策略，无需重新训练大模型。
- 在RAG或知识增强场景中，当检索不到实体的具体信息时，可提示模型生成更笼统但真实的回复，并可将知识边界信号作为拒答或回退的触发条件。
- 该工作为幻觉控制提供了新思路：不是直接抑制幻觉，而是引导模型退回到安全的特异性层级，这比单纯惩罚更符合合作沟通原则，可尝试作为RLHF的额外奖励信号。
SAEVerbalizer：通过表征言语化生成稀疏自编码器特征解释
🧭 LLM 可解释性 · 表征言语化
Tsinghua University · Peking University · Fudan University
注入 SAE 解码方向并微调下游层，将 SAE 特征直接言语化为自然语言解释，摆脱外部行为观察
📌 工作参考价值（4 点）
- 可将 SAE 特征言语化范式迁移到推荐/搜索的内部表征：对用户或商品 embedding 的稀疏特征生成自然语言解释，帮助理解模型捕获的隐式偏好（如价格敏感、品牌忠诚），用于特征 Debug 和可解释推荐。
- 训练一个 verbalizer 后即可直接解释 decoder 方向，无需为每个特征收集行为证据，显著降低大规模特征解释的工程成本；在电商场景可批量解释召回/排序模型中的稀疏特征，加速模型审计。
- 多方向注入产生组合语义、反转方向产生相反语义，可用于可控文本生成：例如在广告文案或推荐理由生成中，通过注入/反转特定语义方向实现属性编辑（如风格、情感、卖点控制）。
- 跨模型迁移只需轻量 adapter，不重新训练完整解释器，适合业务中多 LLM 版本快速适配；在生成式推荐或 Agent 决策解释模块中可复用该迁移策略。
混合线性注意力大模型中的巨量激活：前注意力尖峰与尖峰间平台
🧭 混合线性注意力LLM激活分析
Startlux · Tsinghua University · University of Chinese Academy of Sciences · The University of Hong Kong · University of Sydney
首次系统揭示混合线性注意力LLM中巨量激活呈前注意力尖峰与尖峰间平台两种形态，并给出生命周期机制
📌 工作参考价值（4 点）
- 部署 Hybrid Linear Attention LLM 做长上下文用户序列或 Agent 记忆时，可在全注意力层前增加激活幅值监控；这些位置被证实会出现 PAS，适合作为 FP16/INT8 量化的高危层，建议对这些投影层保留 FP32 或 per-channel 量化。
- 若使用 GDN 等带输出门控的混合架构，保留或加强全注意力层的 output gating 能显著压低 PAS/ISP 的绝对幅值，而不会破坏层级组织结构；可作为训练稳定性和量化友好的低成本 knob。
- PAS/ISP 生命周期与层类型强相关，说明巨量激活不是随机噪声；可用层位置先验做 outlier-aware 剪枝、KV cache 淘汰或 top-k 门控：线性注意力区间内容忍持续平台，在全注意力前保守处理尖峰。
- 训练混合模型时，两形态早期出现，可据此设计按层类型分化的 clipping/gate initialization 策略，而不是全局统一激活裁剪。
SCOPE-Router：面向执行任务的开集成本感知 VLM 路由
🧭 VLM 路由 · 成本感知训练 ★ 深度解读
CASIA · UCAS · NUS · Tencent
提出执行导向 VLM 路由基准、开集双塔路由器和成本感知训练目标 CRM+RCCR，在三个基准上取得最佳 Rank Score
📌 工作参考价值（4 点）
- 成本感知损失设计可直接迁移：将成本编码为连续 relevance target（正确且最低成本为 1，其他正确模型按成本指数衰减，错误为 0），用 per-pair BCE 替代 softmax CE，避免多正样本梯度稀释。在电商多模型路由（如广告创意生成、商品文案生成）中可直接替换现有分类器 loss，无需改动模型结构。
- 开集模型接入方案实用：为新模型构造行为 profile（正确性、成本、价值向量、语义汇总向量），只需在约 1024 条校准集上跑一次即可加入路由池，无需重新训练路由器。适合频繁上线新模型/版本的业务场景，如 LLM API 切换或多模态内容审核模型更新。
- 混合校准集选择策略可复用：按 50% 随机 + 30% 诊断（模型分歧度 + 成本分布）+ 20% 多样性（聚类质心）采样，有限的标注预算下最大化 profile 区分度。在自建路由训练数据或评估模型互补性时可以参考。
- 架构无关的 CRM+RCCR 目标可试用于现有路由系统：论文实证在 RouterDC、ZOOTER、CosineCls、VLC 四个不同架构上 Rank Score 提升 1.25–6.21 点。若业务已有简单的 query-model 打分器，可将该 loss 嵌入微调，获得成本感知能力。
可组合非结构化知识编辑的混合策略自编辑
🧭 非结构化知识编辑与组合推理
University of Tennessee · Rutgers University · Purdue University · University at Albany
提出HPSE，通过特权上下文自蒸馏与混合rollout注入缺失事实，使非结构化知识编辑具备组合推理能力
📌 工作参考价值（4 点）
- 快速修正线上LLM中的商品信息、活动规则、推荐话术时，可将HPSE作为即插即用层叠加在现有知识编辑方法上，提升模型对更新事实的原子问答与多跳组合推理能力，避免每次全量微调。
- 混合rollout自蒸馏可迁移到LLM微调/RLHF：当注入知识（新类目、新政策、新活动）在模型自身生成分布中覆盖不足时，把标准答案片段插入模型生成的失败位置，其余保持on-policy，构建蒸馏数据或训练信号，比纯SFT或纯on-policy蒸馏更有效。
- 无需外部监督，利用模型自身上下文作为特权状态，适合业务中无标注事实更新场景，可降低标注成本。
- 注意：方法假设单一模型内更新，在多用户/多会话推荐系统中需额外验证编辑一致性与遗忘副作用。
面向低成本CPU的LLM网页搜索三层缓存架构
🧭 LLM搜索缓存与推理降本
pollinations.ai
用三层缓存复用会话上下文、语义查询与URL嵌入，在单台CPU服务器上实现89.3%命中
📌 工作参考价值（4 点）
- 语义查询缓存对电商Agent很有用：把用户query做embedding后按cosine相似度去重，能拦截大量换说法但同意图的重复请求，直接省掉远程LLM调用成本；阈值需要根据业务容忍度调，电商场景建议搭配query分类或意图识别做二次校验。
- 会话上下文窗口采用Redis热数据+磁盘Huffman压缩冷数据的两级存储，适合商品导购、客服Agent等长会话场景；LRU后台迁移能保持内存占用低（仅1.38MB），同时支持小时/天级恢复会话。
- URL/item embedding缓存可迁移到推荐系统的向量召回：对同一item的图片/描述向量跨会话复用，避免重复embedding计算；在商品库变更不频繁时收益明显。
- 工程实现上证明了单8-vCPU+32GB RAM即可支撑30个worker的低延迟服务，对预算有限的团队是可直接复制的架构基线。
面向混合 RL 推理负载的 KV 缓存感知准入调度
🧭 LLM RL 混合负载推理调度优化 ★ 深度解读
Nanjing University · StepFun
路由层依据工作负载类型与 KV block-time 需求动态控制 session 准入，避免 KV 缓存击穿，吞吐提升超 50%。
📌 工作参考价值（4 点）
- 在需要大规模 LLM 推理的业务（如商品问答、推荐理由生成、多轮 Agent 导购）中，可借鉴 MISA-T 的按工作负载类型分配 KV 保护额度：为短输入长输出的 RLVR 型、均衡 RLHF 型、长上下文多轮 Agent 型请求分别设定 session 准入上限，防止某个类型挤占缓存导致全局命中率崩塌。
- KV block-time 估算方法可直接复用：用 session 平均块数 × 类级驻留时间而非单纯 kv 块数衡量资源需求，尤其适用于含工具调用、等待外部 API 的 Agent 场景，能更准确地预留缓存空间。
- 自适应 overload 收缩机制可替代静态并发数调优：根据近端缓存命中率下降与等待队列长度自动下调准入上限，避免手动扫参；在模型、序列长度或混合比例变化时无需重新调节。
- 实验表明 KV offload 与路由层准入控制完全兼容（开启 CPU 备份后 GPU KV 利用率更高且吞吐提升 35.6%），对于采用分级缓存（HBM/CPU）的部署可直接叠加，无需改动调度逻辑。
你的 LLM，你的风格：用行为模式轴控制 LLM 行为
🧭 LLM 行为风格控制 · 激活方向
Shanghai Jiao Tong University · Shanghai AI Laboratory · The Hong Kong University of Science and Technology · Xi'an Jiaotong University
用情境化对比行为轨迹提取激活方向 BMA，发现 thought-derived 控制比 response-derived 更稳定干净
📌 工作参考价值（4 点）
- 推荐/客服 Agent 的行为风格（推荐激进程度、解释话术、风险偏好）可用 contrastive behavioral scenarios 快速搭建评测集；用正反行为对生成 hidden-state 方向，比自报式 prompt 更贴近线上行为。
- BMA 控制向量可作为轻量风格开关：在多轮推荐对话中，通过加法注入 thought-derived direction 固定客服语气或决策风格，减少长 prompt 带来的风格漂移。
- 注意 prompt register 差异：模型在‘给建议’和‘第一人称决策’下行为会漂移；电商导购 Agent 的 prompt 应按角色/任务类型分别设计并评估，不能复用同一模板。
- 若做生成式推荐/文案风格控制，可借鉴 contrastive traces 提取风格方向，避免频繁更新 LoRA，只做激活空间干预。
LLM 测试时增强：等量计算下输入多样性胜过输出多样性
🧭 测试时增强 · 输入多样性 vs 输出多样性 ★ 深度解读
Amazon Web Services
在固定推理预算下，语义改写聚合比自一致性更高效地将计算转化为准确率，性价比高约 1.8 倍
📌 工作参考价值（4 点）
- 改写聚合替代重采样：在电商搜索问答、推荐理由生成等需准确答案的场景，用同一 LLM 生成 k 个语义等价改写，分别回答后多数投票，比单纯多次采样自一致性成本-收益更优。
- 实施要点：改写与回答调用分离，改写提示必须保留原问题的选项、格式、图像引用；可用更强模型做改写（例如用 Sonnet 为 Haiku 生成改写）；推荐 $k=4$ 在成本与效果间平衡；仅在模型置信度中等（基线准确率 40-80%）时使用，高准确率大模型无益。
- 避免混合模态增强：若输入含图像，只增强文本，同时增强图像与文本会引入噪声导致性能下降；词汇增强（拼写错误）可能损害强模型，优先用语义增强。
- 低成本备选：若改写调用额外开销不可接受，词汇增强（字符扰动）几乎零成本，仍可获得小幅度提升，适合对延迟敏感的线上链路。
用语言强化学习把通用用户偏好适配到具体任务以提升 LLM 个性化
🧭 LLM 个性化 · 偏好适配 · 语言强化学习 ★ 深度解读
Software College, Northeastern University, China · Ant International
从少量样例中归纳文本重写策略，将冗长通用偏好压缩为紧凑任务相关表示，模型冻结全适配
📌 工作参考价值（4 点）
- 用户画像的任务级精炼：在搜索、推荐、广告等系统中，用户长期画像往往噪音大且与当前场景无关。可参考 AlignXada 的做法，用一个冻结的 LLM 作为重写器，按照少量历史问答样例归纳出一条文本策略，自动把原始画像压缩为仅保留当前任务关键证据的紧凑文本，再输入下游排序/生成模型，既能节省 token 又能避免无关信号干扰。
- 语言强化学习调优提示或检索策略：Verbal RL 不更新任何模型参数，只迭代修改策略文本，非常适合黑盒 LLM API 场景。在推荐解释、对话式推荐等应用里，可以仿照此法用自然语言反馈优化系统提示、检索改写规则等，低成本迭代出更有效的模板。
- Agent 记忆的动态重组优于简单检索：实验表明 RAG（BM25 检索相关块）虽然也能压缩，但会破坏偏好的整体连贯性，导致性能下降。在构建智能体长期记忆时，应当考虑用重组而非仅检索的方式为不同下游任务生成任务特定的记忆视图，例如在购物助手、客服 agent 中根据意图从完整记忆生成精简版上下文。
- 自适应采样改善反馈质量：策略优化时从支持集合中按“改善/退化/持续成功/持续失败”四类状态均匀采样，可提供更平衡的诊断信号，该方法可直接用于推荐系统里用少量样例调优提示词时的样例选择过程，提升策略的泛化性和稳定性。
Motif 3：分组差分潜注意力与细粒度 MoE 的高效 LLM
🧭 大模型架构优化 · 稀疏 MoE ★ 深度解读
Motif Technologies
提出 GDLA 注意力及 384 选 8 稀疏 MoE，结合在线蒸馏实现高效 LLM 推理与多能力整合
📌 工作参考价值（4 点）
- KV 缓存压缩用于 Agent 长记忆：GDLA 结合差分注意力与 MLA，将 KV 缓存降低至 16 个潜表示头，显著减少多轮 Agent 交互的显存占用，可直接启发推荐系统中的大模型会话 bot 或长期用户建模。
- 细粒度专家路由与负载均衡：384 选 8 的稀疏 MoE 配合 sigmoid 路由、辅助损失退火等策略，确保专家充分利用且避免崩溃，可迁移到大规模推荐模型的混合专家路由设计。
- 多教师在线蒸馏聚合能力：用 6 个 RL 专精教师与 1 个 SFT 软件工程教师进行 MOPD 蒸馏，得到兼具推理、编码、工具使用能力的统一模型，方法可直接用于电商 Agent 能力集成，将细分任务专家合并至单一服务模型。
- MXFP8 低精度训练与通信优化：专家激活预量化、梯度同步 BF16、免 All-Gather 权重保留等技巧，降低显存和通信成本，对推荐系统中需要大规模 GPU 集群稀疏训练的团队有实用价值。
CoBa：通过计算均衡路由实现具成本效益的测试时扩展
🧭 LLM 测试时计算优化
School of Mathematics and Statistics, Changsha University of Science and Technology, Changsha, China · School of Biomedical Engineering, Shanghai Jiao Tong University, Shanghai, China
提出计算均衡路由策略，动态分配生成与验证预算，以更少计算匹配多数投票准确率。
📌 工作参考价值（4 点）
- 多候选验证的预算分配：在生成式推荐或搜索中，当需要从多个候选 query/item 中投票选择时，可先使用廉价验证器（如轻量级打分模型）过滤大量候选，仅将高不确定性或高价值候选送入昂贵的大模型验证，大幅减少 LLM 调用成本。
- Agent 循环中的动态路由：在涉及规划-执行-评估的 Agent 系统中，可借鉴 CoBa 的“生成 vs 验证 vs 停止”决策框架，由路由模块实时判断下一步应生成更多方案、调用评估器，还是直接输出结果，避免无效计算。
- 在线服务成本控制：对于对延迟敏感的电商实时推荐，可基于 CoBa 的停止规则设定置信度阈值，当廉价验证结果一致性高时提前终止，节省的 token 可分配给更复杂的用户意图理解场景。
- 粗-精验证管道设计：构建类似于 CoBa 的两级验证结构，第一级用规则或小模型快速打分，第二级用大模型深挖，这在商品标题改写、用户评论情感分析等场景中可直接复用，提升吞吐量。
扩散大模型的安全机理漏洞：作为目标与攻击者
🧭 扩散LLM安全机理与攻击
Delft University of Technology · University of Neuchâtel
发现扩散LLM安全对齐稀疏且可迁移，提出SN-Guided Diffusion黑盒越狱框架，以极低成本实现高转移攻击成功率
📌 工作参考价值（4 点）
- 论文揭示的安全神经元稀疏性和跨架构可迁移性，可用于生成式推荐模型（如采用扩散LLM）的安全审计，识别并加固关键安全单元。
- SN-Guided Diffusion 框架的黑盒、离线、低生成成本特性（仅需20次生成/提示），可借鉴其对电商推荐或Agent的安全性快速评估，无需访问模型内部即可检测越狱风险。
- 安全神经元剪枝方法表明，少量神经元控制安全行为，可触发针对性的模型对齐测试，在推荐系统上线前作为红队测试手段。
- 整体上虽然偏学术安全研究，但攻击思路可迁移：对扩散生成过程的引导损失设计，可能启发在可控文本生成（如广告文案）中绕过内容策略的攻防演练。
LLM驱动的混合嵌套搜索：解耦结构与参数优化
🧭 LLM驱动的结构-参数解耦优化
Komorebi AI Technologies
提出外层LLM生成结构草图、内层数值优化器调参的混合框架，在科学任务中大幅超越纯LLM搜索
📌 工作参考价值（4 点）
- 在推荐系统的策略自动化设计中，可以用LLM生成召回/排序的规则结构（如if-else逻辑、模型组合方式），再用CMA-ES或贝叶斯优化微调其中的阈值、权重等参数，避免token浪费并提升性能
- 对于Agent的行为策略优化，可让LLM提出高层次控制流草图，内层用数值优化器（如MCMC）搜索最优参数，减少试错成本
- 在自动超参搜索场景，将LLM生成的训练脚本作为结构模板，内部超参（如学习率、dropout）交给梯度优化器，可结合LLM的先验知识与数值优化的高效性
- 框架支持内外层柔性替换，业务中可根据实际算力与需求选择不同的LLM和优化器（例如用闭源LLM生成结构，开源轻量模型微调参数），具有很强的工程落地灵活性
OasisKV：通过前瞻稀疏预取将解码KV缓存扩展至HBM之外
🧭 LLM推理优化 · 稀疏KV缓存与层次化预取
Imperial College London · KAIST · Microsoft Research · University of Edinburgh
利用推测解码提前预测重要KV块，实现稀疏注意力与多级预取，在有限HBM下提升推理吞吐达2.1倍
📌 工作参考价值（4 点）
- 结合推测解码与KV缓存管理：生成lookahead tokens时记录注意力，预测未来重要token，仅将稀疏的KV保留在HBM，可大幅减少显存占用，适用于长上下文服务（如用户行为序列、商品详情等需要长文本理解的场景）。
- 多级存储分层设计：冷KV块存于主机内存，通过异步流水线预取到HBM，避免解码延迟，可将HBM视为KV缓存的“热数据”缓存，类比推荐系统中的特征缓存策略。
- 基于vLLM实现，易于集成：工程上可直接在vLLM中扩展，业务中若使用vLLM部署LLM推理服务，可通过该稀疏预取方案提升吞吐，尤其适合批量推理和长序列场景。
- 显著降低KV传输与主机内存压力：在prefill-decode分离架构下，传输KV量减少6.5-9.7倍，解码节点内存减少2.2-2.6倍，可降低跨节点通信成本，利于大规模推荐Agent系统部署。
基于Schema引导的生成式AI层次化信息抽取与语义评估
🧭 LLM 结构化信息抽取与评估
Utrecht University · Utrecht Institute for Pharmaceutical Sciences
用单一生成式模型零样本抽取嵌套属性，并通过路径语义匹配与分级评估实现自动化高精度信息提取
📌 工作参考价值（4 点）
- 在电商商品描述、搜索增强等场景中，可借鉴Schema定义信息模型，用单次LLM调用直接从非结构化文本（如商品详情页、用户评论）提取层次化属性（如规格、适用人群），实现零样本结构化，替代传统多模型流水线。
- 提出的路径语义匹配算法能处理提取结果中嵌套、重复、变长属性与金标准的对齐，适用于自动校验LLM输出的结构化数据，例如在商品知识图谱自动构建中，比对提取的属性值与已有库。
- 引入的“精确/语义/有用/不匹配”多级评估量表，为业务场景提供了灵活的质量判断准则，例如在商品信息补全或用户生成内容挖掘中，可允许语义相近的匹配视为有用，提高覆盖率。
- 框架跨模型、跨领域、跨语言的可迁移性验证，表明在电商多语言环境（如不同站点）下，可能无需为每种语言单独设计抽取器，降低维护成本。
MACRO：基于马尔可夫链的Transformer层路由
🧭 动态层路由优化推理
Heinrich Heine University Düsseldorf · Jagiellonian University · IDEAS Research Institute
不修改模型参数，通过马尔可夫链学习任务特定层路由，精度+5.0%，搜索时间降低9.4倍
📌 工作参考价值（4 点）
- 动态层路由可作为在线模型服务的推理加速手段，根据查询或上下文的复杂度自适应选择执行层数，在搜索推荐系统中平衡延迟与效果。
- 路由策略以马尔可夫链形式外挂于预训练模型，无需修改原始权重，便于在已有LLM上快速实验与部署。
- 利用top-k Viterbi解码生成高概率候选路径，可借鉴用于Agent多步推理中对执行路径的规划与剪枝。
- 将计算预算分阶段建模，可控制推理成本，适合在流量波动下动态调整资源分配，如大促时保障核心服务。
面向成本高效的文档字段提取的预推理路由
🧭 模型推理成本优化 · 预推理路由
Independent Researcher
提出预推理路由：在文档提取前预测难度，动态选择廉价或强模型，成本降低31-77%且质量损失≤0.02 F1
📌 工作参考价值（4 点）
- 模型级联成本优化通用范式：在推荐、问答或 Agent 流水线中，先用轻量模型处理简单流量（如高频、低风险 query），对复杂流量（长尾、歧义 query）再调用大模型。核心前提：廉价模型要「有足够失败率」且「失败可预测」——从日志统计廉价模型在各分段上的质量，若某段失败率低则没必要路由。
- 用极少标注试点验证路由可行性：不必全量标注或复杂实现，先用 100-200 条样本评估廉价模型在该业务的 F1 或准确率，看是否满足「足够失败」条件；再提取简单特征（如文本长度、信息熵、图像清晰度）用逻辑回归拟合，看路由后 Pareto 前沿是否改善——成本节约 30% 以上且质量损失可接受时才工程化。
- 路由器特征从业务可观测信号入手：论文发现 BOW 路由器和人工特征效果接近，说明业务侧不必过度设计特征，直接用文本/结构化元数据（如订单金额、商品数量、历史点击率）作为特征就能工作；可解释特征（如布局复杂度、缺失值比例）能帮助评估路由效果上限。
- 路由器需按场景独立训练：论文指出路由器不能跨数据集迁移，即业务上每个产品线（如搜索、推荐、客服）需维护自身路由策略，即使底层模型一致；可定期用新数据 retrain 路由器，避免分布漂移失效。
免训练的Token级引导框架：大模型个性化协同写作
🧭 训练免token级引导 · 个性化写作
Tsinghua University · Fuyao University of Science and Technology · Henan Provincial People’s Hospital
提出免训练的token级引导方法，在小数据集上实时控制LLM生成，显著降低人工编辑量
📌 工作参考价值（4 点）
- 在商品标题/广告文案生成中，可借鉴 token 级引导快速适配专业领域，无需频繁微调大模型，降低算力与维护成本
- 针对小样本商品类目（如新品），该框架基于小数据集构建引导，能有效捕捉细分用语风格，提升个性化文案质量
- 工程上可将领域知识（如商品属性、组合搭配）编码为 token 偏置，作为轻量插件接入现有文本生成流程
- 方法不依赖梯度更新，适合在频繁变化的电商环境中实时注入最新促销信息、季节热词等
OctoLong：跨仓库代码上下文中途训练增强长上下文建模
🧭 长上下文数据工程 · 递归依赖增强
UKP Lab & Center for Applied Cybersecurity ATHENE, TU Darmstadt · CAIDAS, University of Würzburg
通过递归检索代码依赖构建富含长距离依赖的长上下文数据，仅占12%训练数据即大幅提升长程检索与Agent任务
📌 工作参考价值（4 点）
- 构造富含依赖的长序列训练数据：对于需要处理用户长期行为序列的推荐或搜索场景，可借鉴通过解析商品间显式/隐式依赖（如共现、因果、点击链）来生成高信息量的长上下文样本，而非简单的时间拼接，提升模型对长程依赖的建模。
- 少量高质数据即可生效：论文证明仅将12%的依赖丰富数据混入训练即可大幅提升长上下文性能。在资源有限的业务中，可针对特定长尾任务，低成本构造小批量高质量长序列样本，快速注入所需的长程推理能力。
- Agent 长历史状态追踪：对于多步工具调用的Agent系统，可引入类似的依赖图构建思路，在上下文窗口中动态维护工具调用链之间的隐式依赖，缓解长horizon下的状态丢失问题。
- 分阶段扩展上下文的训练策略：先在大规模短上下文上预训练，再利用构造的长上下文数据进行中程微调扩展窗口，最后指令微调，这一流程可在不损失原有能力的前提下高效扩展推荐或Agent模型的最大输入长度。
缩放内建可解释性语言模型
🧭 可解释性内置训练的 LLM 缩放
Guide Labs
将可解释性作为训练约束与语言建模联合优化，实现与规模同步提升的内建可解释性
📌 工作参考价值（4 点）
- 在推荐模型训练中加入概念瓶颈层，强制用户/物品表示与预定义业务概念（类目、品牌、意图）对齐，实现原生可解释的 embedding，用于召回或排序解释。
- 利用归因与训练数据溯源能力，快速诊断推荐结果：定位影响当前推荐的用户历史行为或训练样本，通过移除/增强对应概念快速调试策略，无需重新训练。
- 扩散语言模型 + 概念转向的思路可迁移至生成式推荐（如语义 ID 生成），在生成物品序列时直接通过概念向量控制推荐属性（多样性、新品偏好等）。
- 可解释性随规模改善的缩放律意味着，在大规模推荐模型（如多模态 Transformer）中实验此类训练约束风险更低，可放心追求能力与可解释性双赢。
个性化幻觉：LLM 如何捏造用户画像与自我监测的误导
🧭 个性化LLM的忠实度评估与自监测缺陷
LIGHTSPEED · The Hong Kong University of Science and Technology
揭示所有大模型在个性化任务中系统性过度推理（35-49%），且自监测排名与真实忠实度负相关
📌 工作参考价值（4 点）
- 在电商推荐、广告定向等依赖 LLM 构建用户画像的场景，必须警惕过度推理（35%–49% 的声明是凭空捏造的），应引入独立外部验证机制（如类似 MirageBench 的评判器）而非依赖模型自报。
- 选择个性化模型时，不可相信模型自述的忠实度，自监测排名与真实虚构率负相关（ρ=-0.60），需建立外部测试基准评估真实过度推理率。
- 多轮交互中用户属性会线性累积且极少修正，可能导致画像严重偏离，在对话式推荐或 Agent 记忆系统中需加入定期“画像审计”或遗忘机制。
- 过度推理具有强任务依赖性（范围27%-59%），对不同业务模块（如文案生成 vs 用户标签推断）应分开评估并设置差异化阈值。
K-EXAONE 2.0 技术报告
🧭 大规模MoE语言模型
LG AI Research
开源750B MoE多语言模型，通过upcycling和难度聚焦训练提升智能体编码与长上下文能力
📌 工作参考价值（4 点）
- MoE 稀疏激活：在推荐召回或排序大模型中可借鉴，用稀疏专家降低推理成本，尤其适合高吞吐线上服务。
- 长上下文训练：256K 上下文窗口可处理超长用户行为序列或会话历史，直接用于电商搜索中的 query 上下文理解或推荐中的序列建模。
- 多语言能力：10 种语言覆盖，对跨境电商或海外广告场景可直接使用或微调，减少多语言模型部署成本。
- 安全对齐：基于韩语社会文化背景的安全训练，可迁移到内容安全过滤、生成式推荐的合规性审查，定制化安全策略。
硬提示压缩中引用悬空：一种范式级失败模式
🧭 LLM Prompt 压缩 · 引用完整性 ★ 深度解读
Qinghai University · Tsinghua University · Ant Group Security and Intelligence Laboratory (SIL)
独立评分式硬压缩常割裂依赖对，导致答案片段存在但推理链断裂，多跳QA中广泛发生且可恢复
📌 工作参考价值（4 点）
- 在电商/推荐场景压缩用户行为序列、商品描述或对话历史时，独立评分方法易丢掉关键桥接事实，应引入共指或依存约束，保证“保留的片段能被正确解读”。
- 对 Agent 多步推理的长上下文输入，压缩必须保留推理链上的完整证据，而非仅保留答案相关片段，否则下游模型（哪怕 GPT‑5.5）也无法弥补断裂。
- 提出的自动恢复 pipeline 可低成本复用：训练一个小分类器判断被删句是否为保留句的必需支持，仅需增加 0.01 压缩比就能修复部分断裂，适合作为压缩后处理微调步骤。
- 评估上下文压缩方案时，除压缩率与端到端准确率外，增加内容词覆盖或句间依赖保留指标，可尽早发现引用悬空问题。
AURORA-LM：连续潜在扩散语言模型的自动编码统一表示
🧭 连续潜在扩散语言模型 ★ 深度解读
PRLab, Nanjing University · S-Lab, Nanyang Technological University · Imperial College London
解耦表示与生成，用高容量可解码连续潜在空间实现高质量文本扩散
📌 工作参考价值（4 点）
- 解耦表示与生成：在电商推荐/搜索中可训练一个连续潜在编码器（如物品描述、查询意图），冻结后单独优化扩散生成模型，降低耦合，灵活调优。
- 高容量潜在保留信息：使用高维连续潜在向量表示商品或查询，利用低秩噪声输入瓶颈（如 \(D_b=128\)）减少扩散模型计算，同时保留全宽解码质量，适合平衡效果与效率。
- 噪声分配校准：根据潜在维度调整训练时的噪声水平分布，对高维潜在侧重高噪声样本，改善生成多样性，可用于推荐文本生成或搜索词推荐中控制多样性-质量权衡。
- 自轨迹一致性：在扩散推理时通过相邻步预测一致性正则化，显著提升少步（如 16 步）生成质量，降低线上推理延迟，利于实时生成场景。
ResKV：固定预算下通过残差缓存重构被忽略注意力贡献的KV缓存压缩
🧭 固定预算KV缓存压缩
University of Electronic Science and Technology of China
将KV缓存预算分为精确主缓存与紧凑残差缓存，同框归一化复原被丢弃token的注意力分子分母贡献，广泛提升长上下文性能。
📌 工作参考价值（3 点）
- 在电商推荐的长用户行为序列建模中，若使用LLM生成式推荐，KV缓存膨胀是瓶颈，可借鉴ResKV的残差缓存思路：保留核心token作为精确主缓存，用紧凑残差统计量重构被丢弃token的注意力贡献，从而在内存受限下保持长上下文的注意力完整性。
- 工程实现上，残差缓存的构建可通过离线验证决定每层每头的残差预算分配，解码时动态门控按query调整残差贡献，这种在线-离线协同策略可以迁移到推荐系统中的搜索/浏览长序列压缩，平衡效果与延迟。
- 残差缓存参与同一softmax归一化，而不是事后修正，这一设计确保注意力分数的分子和分母质量都得到恢复，相比简单的eviction或合并方法，对下游生成质量更友好，适合高精度要求的选品文案生成、个性化搜索词推荐等场景。
当派生测量误导：量化与缓解LLM过度信任的可靠性框架
🧭 LLM过度信任评估与缓解
Politecnico di Milano · Zhejiang University · Chinese Academy of Sciences · Emory University · China-Japan Friendship Hospital
定义衍生特征过度信任(DFOT)问题，提出特权模态蒸馏缓解LLM错误信任，在医学时序数据上修复误差率提升1.82-6.69个百分点
📌 工作参考价值（4 点）
- 推荐系统中派生特征（预估CTR、用户标签）进入LLM决策时，可借鉴DFOT框架设计冲突检测与可靠性声明生成，监控COTR/CIR
- 利用离线高能特征（如真实转化标签）作为特权信息蒸馏到在线可靠性模型，校准LLM对派生特征的信任度
- 构建类似D1/D2的逻辑测试集，检验LLM在矛盾噪声上下文下是否会错误接受/拒绝推荐理由
- 对Agent工具调用返回的派生数据，可引入证据特定修复边界(ESRM)评估，防止错误向上传播
DiffusionGemma：基于 Gemma 4 微调的离散扩散高速文本生成模型
🧭 文本扩散模型 · 高速块生成 ★ 深度解读
Google DeepMind
通过微调 AR 模型结合 RL 与采样器蒸馏，实现离散扩散文本生成，速度达 ~1500 TPS，远超自回归模型
📌 工作参考价值（4 点）
- 块级并行生成降低延迟：在需要实时响应的对话或文案生成场景中，可直接借鉴 DiffusionGemma 的块扩散范式，采用 256 token 并行去噪的方式代替逐 token 解码，大幅降低单用户服务延迟，尤其适合低并发、低批量的推理场景。
- RL 与采样器蒸馏联合训练可压缩推理步数：对生成式推荐或搜索改写等系统，可设计类似的在线训练流程（SD·RL），将奖励最大化与推理步数压缩作为联合目标，使模型在保持生成质量的同时大幅减少前向次数，提升吞吐。
- 自适应停止机制动态节省算力：对于不同复杂度的任务（如简单商品描述 vs. 复杂推荐理由），可以引入基于预测熵的自适应停止策略，对简单任务早期停止去噪，避免固定步数浪费计算，实现“按需计算”。
- 保留 AR 能力实现混合解码：在 Agent 系统中，可根据延迟要求和任务复杂度动态切换扩散模式或 AR 模式，或混合使用两者，平衡生成速度与质量，为请求路由策略提供新的自由度。
缓解跨教师在线策略蒸馏的风格偏差：Lightning OPD 2.0
🧭 跨教师在线策略蒸馏的风格偏差校正 ★ 深度解读
NVIDIA
通过交叉拟合风格残差化消除教师不一致带来的风格Token偏差，使OPD不再依赖教师一致性
📌 工作参考价值（4 点）
- 在电商/推荐系统的生成式模型蒸馏中，若SFT数据生成器和蒸馏教师不同（如SFT用GPT-4，蒸馏用Gemini），可直接引入风格残差化：构建Token身份与上下文（位置+surprisal）双查找表，用交叉拟合估计风格偏差并从Token级监督信号中减去，避免误伤内容相关token。
- 工程实现上，离线预计算SFT rollout和教师log概率后，分K折交叉拟合查找表，再用残差信号替换原始教师分数，即插即用于Lightning OPD框架，几乎无额外推理开销。
- 当因成本或数据来源多样无法维持教师一致性时，此方法解耦了SFT生成器与蒸馏教师的选择，允许独立优化，同样适用于推荐场景中多模型协同蒸馏（如召回、排序模型蒸馏）。
- 分析思路值得借鉴：用响应平衡(reduce)避免长文本主导估计，用position/surprisal bins代替完整前缀上下文，防止过分稀疏且保留足够泛化性，可推广至其他序列生成任务的跨模型校准。
阶段回放分歧跟随KV缓存：固定前缀精度控制与双向缓存移植
🧭 LLM推理诊断·KV缓存与数值精度
Openhagen
发现推理阶段回放的分歧由KV缓存状态决定，FP32可消除BF16下的解码分歧，双向缓存移植证实因果性
📌 工作参考价值（4 点）
- 在需要严格复现生成结果的场景（如Agent多步推理、离线评估、A/B测试）中，必须保持KV缓存位的精确一致，仅依赖相同token ID和贪婪解码还不够；若使用BF16混合精度，意外分歧可能被误判为模型行为变化。
- 推荐使用FP32进行关键路径的推理或缓存存储，以避免因精度导致的隐性分歧；若必须使用BF16，需通过逐令牌桥接验证缓存等价性。
- 双向缓存移植技术可用于诊断生产环境中不可复现的生成轨迹，能快速定位分歧源头是模型权重还是缓存状态。
- 在构建基于LLM的推荐Agent时，若采用中间状态暂停-继续的策略，应固定前缀缓存并控制精度，避免因缓存重建引入不可控的推荐结果漂移。
面向量化金融大模型的稳定性感知记忆编辑器
🧭 量化LLM的序列记忆编辑稳定性
Indian Institute of Technology Madras, Chennai, India · University of Birmingham, Birmingham, United Kingdom
提出CACHE-UK框架，通过低秩适配器、领域优先模块和稳定性控制器，缓解4-bit量化LLM在序列编辑中的灾难性遗忘
📌 工作参考价值（4 点）
- 量化推荐模型的实时事实更新：在电商推荐中，商品信息（价格、库存、描述）频繁变化，可在4-bit量化部署的LLM推荐模型上借鉴CACHE-UK的rank-1 LoRA机制，将更新隔离在低秩子空间，避免全参数扰动引起的推荐质量雪崩。
- 抗遗忘的增量知识注入：稳定性控制器跟踪“退化债务”的理念可迁移到推荐模型的持续学习，当新商品或活动上线时，通过闭环监控减少对已有用户兴趣建模的覆盖。
- 内容自适应的编辑强度：领域优先模块根据输入内容调整编辑幅度，可类比于推荐中不同物品类型（爆款 vs. 长尾）采用差异化的更新步长，提升精细控制。
- 低资源下的工程可行性：整套框架专为量化模型设计，适合边缘推理或低延迟场景，可参考其适配方案让推荐模型的在线事实更新更省资源。
WIDE：Token 级动态宽度剪枝实现自适应 LLM 推理加速
🧭 LLM 动态剪枝 · 推理加速
Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo · Munich Center for Machine Learning, LMU Munich
首个端到端可微分的 token 级动态宽度剪枝框架，支持预填充与解码场景，细粒度分配注意力头组与 FFN 通道组
📌 工作参考价值（4 点）
- 在线 LLM 推理降本：在电商搜索的 query 理解、商品描述生成、RAG 检索等环节部署 LLM 时，可将 WIDE 的 token 级动态宽度剪枝迁移到自有模型中，按 token 难度动态分配算力，显著降低延迟与成本。
- 两阶段训练策略复用：先通过可微分掩码学习 token-wise 稀疏模式，再冻结掩码进行微调，该流程可应用于自有 Transformer 模型，无需大量校准数据即能保持精度。
- 细粒度结构剪枝方案：将动态剪枝从层级下推到注意力头组和 FFN 通道组，相比粗粒度弃层更细粒度，可模仿该分组设计，在推荐模型的 Transformer 层中实现更柔性的算力分配。
- 剪枝-内核算子协同设计：提出的 mask 重排序、block 级跳过、intra-block 跳过等工程化加速技巧，可作为部署端优化参考，有效将动态稀疏转化为实际加速。
大规模参数化长期记忆模块：独立预训练与解耦扩展
🧭 参数化长期记忆与 LLM 解耦 · 独立扩展 ★ 深度解读
LUMIA Lab, Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · Tsinghua University
将参数化长期记忆模块扩展至 6.9B 参数、300B 令牌预训练，小 backbone 搭配大记忆在多项基准上超越更大纯骨干模型且总参数更少
📌 工作参考价值（4 点）
- 记忆模块即插即用，适合多领域推荐系统快速迁移：预训练好的通用或领域记忆可以直接插在冻结的推荐模型（如同 backbone）上，仅需少量计算即适配新领域，避免全量微调，显著降低部署成本。
- kNN 分布蒸馏到参数模块，避免在线检索：电商搜索或推荐场景通常需要实时反馈，该方案将检索信号离线蒸馏为参数化记忆，推理时无需外部索引和检索，降低延迟和存储，可直接用于排序或召回的特征增强。
- 小 backbone + 大记忆的参数效率优势：在推荐模型中，可以用相对较小的主网络搭配较大记忆模块，在总参数受限时比单纯扩大主网络更高效，例如为轻量召回模型配备大容量记忆来提升冷门物品或长尾查询的覆盖。
- 记忆训练目标可提升训练数据可追溯性：论文中的抽取式记忆评估表明记忆能更精准还原训练样本，类似思路可用于推荐系统中关键行为或商品的记忆固化，帮助可解释性和合规审查。
公平剪枝：通过差分激活定位GLU-MLP层中的人口统计偏见
🧭 LLM 偏见定位与结构性干预
Universidad Internacional Menéndez Pelayo · Universidad de Jaén
提出一种轻量级结构干预方法，利用差分激活定位LLM中与人口偏见相关的极少神经元，剪枝即可解耦偏见与能力
📌 工作参考价值（4 点）
- 差分激活定位方法可迁移到推荐/对话模型中，用于定位特定行为（如价格敏感、品牌偏好）的神经元回路
- 极少量神经元剪枝（<0.031% 参数量）即能改变模型输出，启发在保持主任务性能下进行精细行为干预，对模型压缩和可控生成有参考价值
- 发现偏见神经元存在正负双向性，提示未来可分别调制“推高偏见”与“压低偏见”的神经元，实现定向公平性控制
- 该工作完全基于推理时激活捕获，无需重新训练，适合快速在已有LLM推荐或文案生成管线中做偏见审计与干预
InferScale：GPU 原生的 KV 注入式个性化 LLM 推理系统
🧭 LLM 推理优化 · KV 缓存复用 ★ 深度解读
Northeastern University
通过 GPU 驻留的记忆 KV 缓存与 Chunked RoPE，使 TTFT 几乎不随检索上下文增长，吞吐提升 3.7–4.5×
📌 工作参考价值（4 点）
- 对电商 / 搜索推荐场景中频繁复用的用户画像、历史行为摘要等静态上下文，可离线编码为 KV 缓存，在线直接注入，避免每次请求都重新预填充，大幅降低首 token 延迟。
- Chunked RoPE 方法允许记忆块以任意位置组装注入，支持动态检索拼装，适合排序或对话中按查询相关性动态选择用户记忆的场景。
- 上下文窗口编码可在离线阶段保留记忆块之间的局部依赖，还原近乎联合预填充的准确性，同时保持在线零额外开销；在推荐理由生成或对话式推荐中可提升事实一致性。
- 实现采用 vLLM 的 KV-connector 接口，无需修改推理引擎或模型微调，易于在现有 LLM 服务栈中集成，降低落地成本。
两阶段验证增强生成式信息抽取：产品属性用例
🧭 生成式信息抽取 · 两阶段验证
Computer Science Institute, Ruhr West University of Applied Sciences
将小型PLM预测结果作为LLM的校验输入，提升低显著性实体的抽取效果，减少对大型模型的依赖
📌 工作参考价值（4 点）
- 在商品信息抽取（如电商详情、DPP数据）场景，可用小模型先抽属性，再让中等LLM校验修正，平衡效果与成本。
- 两阶段流水线可本地部署小LLM，避免调用外部API，保护数据隐私，适合商品描述等敏感文本。
- 对于低频、表述模糊的实体（如‘可回收包装’），PLM易漏召，LLM校验可显著提升召回，可针对性地用于这类属性。
- 中等模型（7B-13B）在校验任务上可逼近大模型性能，延迟和成本更低，推荐在搜索推荐系统的离线信息抽取模块中尝试。
AngelSpec: 面向真实负载的推测解码训练与部署框架
🧭 推测解码 · 多策略协同与自适应验证 ★ 深度解读
Tencent Inc.
针对负载异构，专业化MTP与块扩散drafter，配合自适应验证深度，在Hy3-21B上实现1.98–2.40倍加速
📌 工作参考价值（4 点）
- 若业务LLM服务需加速（如推荐解释生成、query改写），可借鉴“工作负载特化”思想：为闲聊等高熵场景训练MTP drafter；为代码生成等低熵场景训练块扩散drafter，提升接受率。
- D-cut的自适应验证深度策略可迁移至Agent多步推理：根据请求置信度与系统负载动态决定LLM生成步数，平衡响应时间与质量，避免固定budget浪费。
- 训练技巧：Training-Time Test（TTT）和基于总变差距离（TV loss）的损失函数可有效缓解drafter分布偏移，对低延迟场景（如在线推荐）有直接应用价值，可复用其接受率对齐训练范式。
- AngelSpec开源训练框架支持多drafter联合训练与评估，降低企业自研推测解码方案的门槛，适合多领域LLM应用的快速实验。
MemSFT：用外部参数化记忆缓解大模型领域微调的对齐税
🧭 领域专精 · 外部参数化记忆 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · Tsinghua University
通过外部参数化记忆和token级动态路由器，在不修改基座模型参数的前提下注入领域知识，完全避免通用能力遗忘
📌 工作参考价值（4 点）
- 记忆训练范式：利用领域数据构建 kNN 检索的 soft label 作为教师分布，结合 KL 散度和交叉熵训练一个独立的 Memory LM，避免直接微调基座模型，可向电商搜索/推荐 LLM 注入商品、规则等新知识而不损害通用对话与推理能力。
- 动态路由器设计：轻量两层 MLP 以基座和记忆的隐藏状态及输出置信度/熵为特征，预测 token 级融合权重；训练时混合领域与通用数据并加入符号正则，自动学习何时依赖记忆，适用于生成推荐理由、推送文案等需要专业性与通用性平滑拼接的场景。
- 记忆复用：同一记忆模块可在共享 tokenizer 的不同规模基座模型上即插即用，无需重训；在电商多模型矩阵中，可一次训练商品知识记忆，供多款 LLM 部署使用，显著降低维护成本。
- 工程成本：训练一个 8B 记忆和路由器的 FLOPs 仅占全量 SFT 的一小部分（如四个基座模型总成本仅 0.22 倍），适合快速迭代注入新业务线知识。
PILA：面向 LLM 原生广告的即插即用插入框架
🧭 LLM 原生广告 · 解耦式插入 ★ 深度解读
Peking University · Tsinghua University · University of Michigan · BIGAI · Shanghai Qi Zhi Institute
将广告插入解耦为条件响应改写，作为轻量级 sidecar 模块，实现模型无关、即插即用且强度可控的广告融入
📌 工作参考价值（4 点）
- 解耦式重写设计可复用：在对话推荐或生成式推荐中，可仿照 PILA，将商品推荐或广告插入作为独立的轻量 sidecar 模块，不改动上游对话/搜索模型，仅对最终回复进行条件改写，降低侵入性并保持主模型质量。
- 数据构造与增强管线：种子数据合成 + 多样性增强 + 自我评判的自动化数据构建流程，可用于生成对话推荐中的商品链接、推广文案等训练样本，解决标注稀缺问题。
- 广告强度可控机制：基于说服知识模型的对比解码方法调整曝光策略，这种“部署时旋钮”可迁移到电商推荐中，平衡推荐内容的自然度与商业目标（如 GMV、点击率），无需重新训练模型。
- 三指标评估体系：Q1 相关性、Q2 连贯性、Q3 广告有效性的三元评估，可直接用于衡量对话推荐中商品植入的整体质量，指导实验迭代。
重新审视投机解码中的有损验证：机制、权衡与失效模式
🧭 LLM 推理加速 · 有损验证分析
Independent Researcher · Baidu Inc. · Zhejiang University
将有损验证方法分为截断式和协作式两类，揭示截断式分布失真的性能衰退风险与协作式需控制过度超出的关键准则
📌 工作参考价值（3 点）
- 在电商对话推荐、Agent 推理等延迟敏感场景使用投机解码加速时，应优先选择协同验证等保持分布一致的方法，避免直接用截断式验证造成输出质量剧烈下滑。
- 若必须用截断式验证（如严格时间限制），需通过校准目标概率与草案概率的差距，设置阈值避免过度截断，减少分布失真。
- 评估加速效果时，务必以真实的目标模型采样（而非错误基线）作为对照，否则会严重误判方法优劣。
页面局部紧凑键摘要用于高效长上下文解码
🧭 KV cache 压缩 · 稀疏注意力
通过页面局部光谱摘要和稀疏选择，大幅减少长上下文解码中 KV cache 读取量，保持质量
📌 工作参考价值（4 点）
- 电商推荐中常需用 LLM 建模长用户行为序列，LOCKS 的页面级压缩可将序列分块，每块保留紧凑谱摘要，在生成时仅注意 top 块，降低长序列推理延迟
- 该选择机制只基于摘要估计注意力质量，不读取原始键值，适合在推荐 query 生成等需要可控延迟的场景中部署
- 可作为 vLLM 插件直接集成到现有推理服务，无需修改模型，对已部署推荐系统的 LLM 组件改造成本极低
- 长形式推理（如 Agent 多步规划）收益最大，若推荐 Agent 需要长上下文推理，此方法可明显提升响应速度
Kimi K3：开源前沿智能体——2.8T参数MoE模型与强化学习实践
🧭 大规模 MoE 模型前沿训练与强化学习 ★ 深度解读
Moonshot AI
开源2.8T参数MoE模型，融合KDA、AttnRes和Stable LatentMoE架构，通过多领域多推理努力强化学习达到封闭前沿水平
📌 工作参考价值（4 点）
- 强化学习训练范式：部分回滚（partial rollout）方案允许长周期任务跨迭代训练，对搜索 / 推荐系统中基于用户长期反馈的强化学习优化具有直接借鉴意义。
- 多教师在线蒸馏（MOPD）：将多个领域、不同推理努力水平的专家策略融合为单一模型的技术，可应用于合并不同排序目标的推荐模型（如点击率、转化率、多样性等）。
- 推理部署优化：全后训练阶段集成的量化感知训练（QAT）及 EAGLE-3 投机解码微调，可降低大模型推荐 / 搜索推理成本，对线上部署有实际工程价值。
- 长上下文架构设计：KDA 与 Attention Residuals 的混合注意力可高效处理超长序列，可迁移至用户行为序列建模，支持更长行为记忆和更精准的长期兴趣提取。
压缩中迷失：抽取式提示压缩器的跨语言受控审计
🧭 跨语言提示压缩审计 · 多语言安全预算
Hostinger · Kaunas University of Technology
英语训练的抽取式提示压缩器在非英语语言上大幅失效，安全压缩预算远小于英语
📌 工作参考价值（4 点）
- 在多语言电商/搜索场景中，不要直接使用英语训练的抽取式压缩器处理非英语上下文；对非英语语言采用更保守的 keep-rate（如 ≥0.5）或改用确定性方法作为安全基线。
- 可以借鉴 translate-then-compress 管道：将非英语上下文先翻译成英语再压缩，在三个语言上以约一半 token 成本达到或超过原生压缩效果，适合以英语为中心的模型生态。
- 评估压缩器时需用目标模型 tokenizer 做预算匹配，并在上线前监控压缩后的 context utilization；警惕学习压缩器版本更新（如 XProvence v2）静默清空非英语语境。
- 自研多语言压缩器时，训练数据的语言覆盖是跨语言迁移的关键，而非模型架构；多语言监督数据能有效消除转移差距。
J-CoT：在模型J空间中进行链式推理
🧭 递归推理 · J-space 接口 ★ 深度解读
University of Oxford · Imprint Lab · Stanford University
在Transformer的词汇索引坐标系中传递系数状态作为递归边界，替代显式文本或全量隐藏状态
📌 工作参考价值（4 点）
- Agent 多步推理中可引入 J-CoT 式隐状态接口，在不吐出完整文本的情况下传递中间信息，降低上下文长度与生成成本
- 利用预训练模型已存在的 J-space（词汇对齐的残差方向）作为记忆载体，在任务内循环传递知识，无需额外训练记忆模块
- 自适应终止策略（连续两轮 J-thought 变化 <2%）可用于 Agent 的停止条件，避免固定步数浪费计算，且易工程实现
- 若业务场景需要模型进行隐式多跳推理（如订单诊断、营销策略生成），可借鉴 J-CoT 的跨层系数运输机制，在冻结模型前提下增强推理深度
窗口化 MTP：消除百万级上下文中的全量草稿 KV 开销
🧭 推测解码 · 长上下文 KV 优化
NVIDIA
对推测解码草稿头施加窗口注意力，训练免费、无损地将长上下文草稿 KV 读取量降低 99%，推理加速 28–44%
📌 工作参考价值（4 点）
- 在长上下文生成式推荐/Agent 中降低延迟：当使用 LLM 生成推荐理由或进行多步推理时，若启用 MTP 推测解码，可直接将草稿头的注意力替换为窗口注意力，保留验证阶段全注意力，实现训练免费、无损的推理加速，尤其适合百万 token 级别的用户行为序列。
- 工程实现简单，即插即用：无需重新训练或调整模型结构，仅需在草稿注意力中添加滑动窗口和注意力槽（StreamingLLM 风格），可立即部署到现有 SGLang 等框架。
- 释放 GPU 显存用于更大批处理：窗口化草稿头可丢弃约 99% 的草稿 KV 缓存（实测占总量 7.7–11%），使用紧凑环形缓冲区回收，不影响接受准确率，支持更高的吞吐。
- 适用于混合注意力目标模型：当主模型使用混合线性注意力（如 Mamba2-hybrid）时，窗口化草稿头可避免其全注意力读取代价成为瓶颈，保持整体加速效果随上下文变长而放大。
基于随机设计的 KV 缓存驱逐误差证书
🧭 随机化 KV cache 驱逐实现误差归因
Technical University of Munich
随机化 KV 缓存驱逐使系统能给出每步注意力误差的置信区间，用于归因缓存导致的失败
📌 工作参考价值（4 点）
- 在电商搜索/推荐/Agent 长上下文推理中，采用随机化逐出（如 Poisson 采样尾部 token）并计算误差证书，可在线检测 KV cache 压缩是否导致注意力偏差，触发全量重算或回退逻辑。
- 证书虽然预测失败的能力弱于输出 log-probability，但归因能力（AUC 0.73–0.75 vs. 0.47–0.54）可用于调度资源：仅对证书超阈值的高风险请求重新分配计算，避免浪费。
- 确定性 top-k 驱逐无法自我诊断（Theorem 1），因此生产系统中不应依赖保留状态计算的自检指标；改用随机化设计是从根本上获得可观测性。
- 工程实现上，可沿用论文的 Hájek 校正（单 logit 偏移）和调查抽样方差估计，无需大幅改动模型推理管线，即可获得每步无偏误差估计和 0.97 经验覆盖率。
渐进式填塞：可靠Token压缩及其揭示的局限
🧭 LLM token压缩与表示容量研究
FusionBrain Lab · HSE University · Innopolis University
逐token扩展压缩目标直至重建失败，定位可靠压缩边界，并揭示早期层交互致下游崩溃
📌 工作参考价值（4 点）
- 在推荐/搜索系统中将用户行为序列压缩为少量 token 时，即使自回归重建准确率高，也可能严重削弱 LLM 的推理与生成能力，评估应以下游任务为准，不能只看重建误差。
- 渐进式 cramming 提供了一种确定序列压缩极限的方法，可用于测试不同长度用户序列能被无损编码的边界，指导压缩程度的选择。
- 因果注意力 knockout 表明压缩嵌入主要通过模型早期层引入干扰，尝试在早期层后插入压缩表示或进行针对性微调可能缓解能力退化。
- 对 Agent 长程记忆压缩的场景，该工作提示“完美重建”并不等同于保留可转移的语义，需关注压缩对代理决策的实际影响。
上下文加权的离散流匹配
🧭 离散流匹配训练效率提升
University of Amsterdam · Meta FAIR
通过局部上下文密度重加权训练损失与采样过程，将文本生成困惑度降低最高63%。
📌 工作参考价值（4 点）
- 在生成推荐理由、广告文案、对话回复等文本时，不同位置的token预测难度差异大，可借鉴基于局部上下文密度的损失重加权，让模型聚焦高熵、低上下文密度的token，提升整体生成质量。
- 上下文加权采样器几乎无额外计算开销，适合在线服务；同时保留任意顺序生成能力，可用于交互式推荐场景中动态调整输出顺序。
- 对于语义ID生成、结构化描述生成等离散序列任务，可以事先估计上下文密度（例如用掩码语言模型得分），并在训练时对高难度位置加大梯度，减少训练集上易样本主导的偏置。
- 该方法在匹配半自回归块扩散基线质量的同时保持灵活性，提示我们在设计生成式推荐模型时，不一定要牺牲灵活性来换取效率，可以通过简单的上下文感知策略兼得。
自适应深度稀疏框架：基于相似度驱动的预训练LLM推理加速
🧭 LLM推理加速 · 深度稀疏化
Southern University of Science and Technology · Huawei Technologies Co., Ltd.
利用层间余弦相似度自适应分配token保留率，将预训练LLM转为深度稀疏模型，无需全量微调即大幅降低推理FLOPs
📌 工作参考价值（4 点）
- 动态层稀疏用于推荐模型推理：电商搜索推荐中常部署深层Transformer（如DIN、SIM、HSTU），可借鉴层间余弦相似度自动识别冗余层，为高延迟模块（如长序列建模）分配不同token保留率，降低在线推理耗时。
- 轻量router做自适应输入裁剪：router逐层选择信息量大的token，类似门控机制。在推荐系统中可用于对用户行为序列、多域特征进行动态重要性采样，尤其适合计算广告中候选物料池较大时的粗排或召回阶段。
- 特征对齐损失稳定稀疏化训练：在蒸馏或模型压缩时，引入中间层与最终输出的表示对齐损失，可缓解稀疏化带来的性能损失，适合将大容量推荐模型压缩为轻量线上模型。
- 免全量微调的快速适配：仅需少量校准数据即可将预训练LLM转为稀疏模型，此方法可推广到电商Agent或query生成模型，当目标任务变更时快速压缩模型，降低迭代成本。
C²KV：压缩与可组合的KV缓存复用，实现高效长上下文LLM推理
🧭 LLM推理加速 · KV缓存复用与压缩
Shanghai Jiao Tong University · Alibaba Group
联合优化KV压缩与拼接，实现位置无关的可组合缓存，长上下文推理加速达17倍
📌 工作参考价值（4 点）
- 在构建基于RAG的推荐或多文档搜索系统时，可直接复用C²KV的压缩与可组合缓存，避免每次请求重新编码海量上下文，大幅降低首token延迟和GPU内存占用。
- 轻量侧车Extractor不修改基座模型，适合在已有生产LLM（如阿里通义、ChatGLM）上快速部署，无需重新训练或对齐，工程风险低。
- 位置无关的模块化缓存设计，允许不同来源的文档片段独立压缩后动态拼接，特别适合电商搜索中多商品描述、多用户评价等异构上下文组合场景。
- 压缩-拼接联合训练策略确保压缩后的表示可直接用于下游注意力计算，避免简单量化和重用带来的精度崩塌，为业务中长文本处理提供了可靠的效率-质量平衡。
贝叶斯提示优化：基于并行回火梯度引导离散MCMC的后验采样
🧭 LLM Prompt 优化
Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University
将提示优化建模为离散提示令牌上的贝叶斯后验采样，用梯度引导MCMC与并行回火提升指令归纳准确率
📌 工作参考价值（4 点）
- 提供一种原则性后优化工具：给定初始提示和少量示例，可通过后验采样自动微调提示，适合电商/推荐场景中优化查询改写、商品描述生成等LLM指令。
- 贝叶斯框架可输出多个候选提示，支持集成或不确定性估计，提升生产环境鲁棒性。
- 梯度引导的离散MCMC方法比纯启发式搜索更高效，可考虑在Agent工作流中嵌入，利用历史交互数据在线优化Agent的指令模板。
- 需注意当前实现计算成本高，且容易在小样本优化集上过拟合，建议结合正则或交叉验证。
从合理性到可操作性：LLM自我解释的立场观点
🧭 LLM 自我解释的可信度与可操作性
University of Utrecht · National Police Lab AI, Netherlands Police · Scuola Normale Superiore · University of Pisa
区分自我解释的合理性、忠实度与可操作性，提出兼顾三者的评估框架
📌 工作参考价值（4 点）
- 在推荐/搜索场景中，用 LLM 生成推荐理由或查询解释时，不能仅满足于表面合理（plausible），需要额外设计忠实度（faithfulness）检测机制，例如核对解释中的关键事实是否与模型内部注意力或决策路径一致。
- 将解释的评估从「人对合理性的主观判断」拓展到「下游任务可操作性」：比如将解释作为 Agent 下一步动作的依据（如触发退款、调整排序），通过解释能否准确引导后续决策来反向验证。
- 工程实现上，可构建「解释-动作闭环」：记录解释中的关键声明，用规则或小模型自动校验其与系统实际决策逻辑的匹配度，对不一致的做标记或抑制。
- 对于电商搜索的查询推荐（QueryRec），LLM 给出的推荐理由（如「为您推荐‘蓝牙耳机’因为近期浏览过」）需确保忠实反映用户行为序列，避免生成虚构理由，可将用户日志与解释对比做线上校验。
扩散语言模型的自适应多步前瞻解码
🧭 扩散语言模型自适应解码优化
Michigan State University · Morgan Stanley · IBM T.J. Watson Research Center
提出自适应前瞻解码框架，动态决定前瞻深度，在扩散语言模型上实现更优的准确率-步数权衡
📌 工作参考价值（4 点）
- 自适应前瞻机制可迁移至多步Agent决策：当中间状态不确定性高时触发更深入的规划，避免固定深度造成的浪费或不足。
- 基于候选评分方差的动态探索停止策略，可直接用于推荐系统的多步重排序或生成式推荐的解码过程，节省计算量。
- 并行解码与前瞻结合的思路，可启发电商搜索中的批量query生成或文案生成，在效率与质量间取得更好平衡。
- 从中间状态重新触发前瞻的机制，类似于Agent在任务执行中根据中间结果重新规划，可用于复杂推荐流程的实时调整。
PagedWeight：基于动态质量感知量化的高效 MoE LLM 推理
🧭 MoE 推理优化 · 动态量化
University of Illinois Urbana-Champaign
通过运行时动态量化 MoE 专家权重，在 KV 缓存压力下平衡精度与内存，最高节省 72% 显存并提升 1.94 倍吞吐
📌 工作参考价值（4 点）
- 在电商大模型（如多专家推荐、多任务模型）的推理部署中，可借鉴 PagedWeight 的动态量化策略：依据请求负载和剩余 KV 缓存空间，实时调整专家权重的量化精度，避免 OOM 同时保留推荐质量。
- 系统设计上，可引入“精度-内存-延迟”三维感知的调度器，类似 PagedWeight 的质量感知策略，在延迟约束下动态为不同专家分配不同位宽，相比静态均匀量化可大幅提高内存利用率。
- 当推荐模型规模膨胀到需要多 GPU 或 KV 缓存成为瓶颈时，权重的页式管理（paged offloading/quantization）思路可直接复用，通过将非活跃专家权重以低精度或卸载方式管理，降低常驻显存。
- 实验中表明，在同等显存预算下，PagedWeight 比强 baseline（如 GPTQ、AWQ）质量提升最高 39.3%，证明动态精度分配比固定量化有显著收益，业务中可优先考虑实现“按需精度”而非全局统一量化。
前沿语言模型难以复制文本：二维位置编码或更优
🧭 位置编码改进 · 复制保真度
Tsinghua University
提出2D-RoPE将文本组织为二维网格，大幅提升LLM复制任务的长度泛化能力
📌 工作参考价值（4 点）
- 在需要高精度复制长文本的电商/广告场景（如生成商品描述、广告文案、搜索查询改写），可尝试用2D-RoPE微调或从零训练，缓解模型输出错漏、幻觉问题。
- 基于LLM的Agent常需记忆并精确复制对话历史或工具输出中的关键信息，2D-RoPE可增强位置感知，提升指令遵循与信息保真度。
- 当业务中涉及结构化数据转换（如JSON、列表生成），模型常忽略细节或格式错误，2D-RoPE的网格复制机制可提升格式遵循能力。
- 若将LLM用于推荐理由生成，需准确复现用户历史中的物品名、属性，2D-RoPE有望提高复制的精确率，但需在具体任务上验证。
掩码扩散语言模型的双向归纳电路与隐式时间步分析
🧭 扩散语言模型机制分析 · 上下文学习
National University of Science and Technology POLITEHNICA Bucharest
发现扩散语言模型用双向归纳电路实现上下文学习，且以全局掩码比例作隐式时间步
📌 工作参考价值（4 点）
- 对于电商搜索中的序列建模，可借鉴双向上下文访问的思路：在允许未来信息的场景（如离线重排）下，利用扩散模型隐式地融合下文，提升对用户意图的推断准确性。
- 隐式时间步的发现提示：在设计扩散式推荐或生成式检索时，可以省略显式时间步嵌入，让模型从噪声比例中自学习去噪进度，简化工程实现。
- 归纳电路的分析方法（激活修补、因果追踪）可以迁移到推荐模型的解释性工作中，例如定位关键注意力头，帮助 debug 召回结果中的主观偏差。
- 当仅左上下文可用时，DLM 的 induction 能力并不优于自回归模型，因此若线上真实场景只能获取左侧历史行为，盲目切换生成范式未必带来增益，需根据上下文可获取性选择架构。
可变速率训练无关KV缓存压缩用于长上下文大模型
🧭 长上下文LLM推理优化 · 可变速率KV缓存压缩
Iowa State University
提出无训练可变秩KV缓存压缩方法VarRate，按显著性分配预算并保留所有token，实现接近无损的长上下文推理
📌 工作参考价值（4 点）
- 在线LLM服务可直接部署VarRate作为无训练的KV缓存压缩插件，减少长上下文推理内存占用，支撑更长的用户历史（如推荐理由生成、Agent对话历史理解）。
- 在多查询复用预填充缓存的场景（如批量用户查询），VarRate避免丢弃token导致的精度崩溃，保障关键信息不丢失，提升推荐或搜索结果的稳定性。
- 显著性得分可基于注意力权重快速计算，适合流式处理，能集成到实时推理管线中，无需额外模型或微调，降低工程复杂度。
- 可变秩分配思想可推广到特征存储、用户画像压缩等模块，通过保留所有数据点但差异化精度，实现更好的资源效率平衡。
利用指令微调与模型合并实现推理模型低成本领域适应
🧭 推理模型适应 · 指令微调+合并
ETH Zurich
先指令微调再与原始推理模型合并，低成本提升在难验证领域的性能
📌 工作参考价值（4 点）
- 若拥有特定领域的高质量SFT数据（如电商搜索意图、商品摘要），可对推理模型进行无推理痕迹的指令微调，再与原模型合并，以极低成本（<3美元）提升该领域效果，同时保留推理能力。
- 模型合并技巧可作为一种轻量领域适应方案，避免灾难性遗忘，适合在资源有限时快速迭代测试。
- 对于缺乏可靠自动评估的生成式推荐或Agent任务，可考虑用人类标注数据微调再合并，绕开难以设计的奖励函数。
- 方法简单稳健，适合嵌入现有LLM微调流水线，作为RLVR训练前的快速实验步骤。
Loopie：循环MoE Transformer超越普通模型的计算匹配扩展法
🧭 层循环MoE架构 · 计算匹配预训练扩展 ★ 深度解读
IQuest Research
提出层循环MoE架构与计算匹配扩展方案，在相同预训练计算量下首次超越非循环大模型。
📌 工作参考价值（4 点）
- 层循环(layer-loop)设计：逐层迭代再传递，降低激活内存，允许更大micro batch。可迁移到推荐系统中特征交互或序列建模的深层Transformer，在内存受限时用循环换取有效深度。
- 计算匹配扩展方法：从参考模型先减层加循环，内存节省后增大batch size，再投资到宽度上。在业务中可按此思路在给定推理预算下最大化模型容量，尤其适合电商搜索粗排/精排模型的轻量化设计。
- 监督预训练(SPT)：用预训练尺度（大批量、长序列、多轮次）做有监督微调，同时提升通用知识和推理能力，避免灾难性遗忘。可借鉴到业务LLM适配，用大规模业务数据做SPT保持基座能力。
- 循环推理与RL结合：多步循环为推理提供了迭代优化空间，配合分组序列策略优化(GSPO)提升复杂任务规划。可启发Agent在多步决策中引入内循环推理，增强长期规划能力。
掩码感知策略梯度：面向扩散语言模型的强化学习
🧭 扩散语言模型 · 强化学习训练
The University of Texas at Austin
将扩散语言模型生成分解为“选词”与“选位置”两步，策略梯度自然拆分成两项，联合优化在数学与代码推理上达到SOTA
📌 工作参考价值（4 点）
- 对电商/推荐中使用非自回归生成（如扩散模型生成商品序列或文案）有直接啓发：可将生成过程建模为两阶段 MDP——“生成什么 token”与“在哪些位置生成”，分离梯度后能更稳定地优化序列质量。
- 在 Agent 多步决策场景，如果动作包含“执行什么操作”和“在哪个目标上执行”，可借鉴本工作的动作空间分解，用对应的 mask 策略网络显式建模顺序决策，提升复杂任务表现。
- 工程实现上，可对现有 GRPO/PPO 等 RL 训练框架做简单改造：在计算每步 log 概率时，将 token 预测的 log-prob 与 mask 选择的 log-prob 相加，同时优化两个头，无需大幅改动训练管线。
- 该方法表明扩散生成的去掩码顺序严重影響效果，在线 RL 训练时联合学习生成顺序，比固定随机顺序有明显的增益（GSM8K 提升+2.5%），这提示我们在生成式推荐中，如果采用逐步生成，也应将生成顺序作为可学习策略，而非预定义。
扩展超连接：突破流数瓶颈实现高效大模型预训练
🧭 LLM架构优化 · 残差流扩展
School of AI, Shanghai Jiao Tong University · Dots Studio, Xiaohongshu Inc. · University of Science and Technology of China · School of CS, Peking University · The Chinese University of Hong Kong
通过时间特征增强和稀疏残差流（仅更新k=4/N=16）突破HC的N=4瓶颈，在MoE模型上大幅提升性能并降低计算开销
📌 工作参考价值（4 点）
- 稀疏更新策略：xHC 每层只更新 k=4 条流但读取全部流，类似推荐系统中大规模 Embedding 表或状态存储可采用“稠密读取-稀疏更新”模式，仅刷新部分高频/重要行，降低训练更新开销。
- 多流残差结构：多条并行残差流可视为不同变换路径的集成，该思想可迁移到推荐模型的多模态、多任务学习，用不同流编码用户、商品、上下文等异构特征，再通过可学习的混合机制融合。
- 内存带宽优化：xHC-Flash 通过融合流维度与批次维度的矩阵乘法减少中间状态传输，对推荐模型部署中的显存带宽瓶颈有借鉴意义，尤其适用于大规模特征交叉或 Embedding 交互层的显存优化。
- 高效扩展范式：在有限训练预算下通过架构改进提升大模型性能，对电商搜索/推荐场景中自行预训练 LLM 的团队，提供了一条除增加模型尺寸外的算力友好扩展路径。
通过注意力头重加权实现数据高效的LLM适配
🧭 注意力头重加权小样本适配
UC San Diego · Microsoft Research · Microsoft Security AI
提出注意力头重加权(AHR)，每个头学一个标量权重，参数减少200-1000倍，小样本分类超越LoRA
📌 工作参考价值（4 点）
- 小样本意图分类冷启动：AHR用极少量样本（如10-shot）即可适应新类别，适合电商搜索中的新型query意图识别、商品类目打标或安全审核任务，无需大量标注。
- 极低资源部署：可训练参数仅为头数×层数（Llama-3-8B约1000个），内存和计算开销远低于LoRA，适合在端侧或频繁更新场景下快速切换任务。
- 可解释性辅助特征工程：学习到的头权重直接指示哪些注意力头对任务关键，可逆向分析模型已有的语义模式，为特征设计、模型裁剪提供依据，如发现某些头专门处理价格数字、品牌词等。
- 抗过拟合的推荐文案过滤：在安全风控、垃圾评论检测等训练数据极不平衡的场景，AHR通过强行约束参数空间有效抑制过拟合，提高召回率。
训练后方法如何影响推理置信度：SFT、RL、OPD三阶段校准分析
🧭 LLM推理校准与后训练方法相互作用
Eastern Institute of Technology, Ningbo · The Hong Kong Polytechnic University
揭示SFT、RL、OPD在推理前/中/后校准特性迥异，并提出位置感知置信度PosConf大幅提升聚合与早停性能。
📌 工作参考价值（4 点）
- 多路径推理置信度投票：在Agent或RAG系统生成多个推理路径时，可借鉴RL模型的trace-level置信度进行加权投票，并仅在“路径承诺”后的可靠位置提取置信度，避免前期噪声，提升最终答案聚合准确率。
- 推理早停控制：对强延迟约束的在线推荐场景，可利用SFT模型的在线置信度信号做early stopping，动态终止低可能性生成，节省token消耗；OPD模型的早期置信度可用于难度预估，直接放弃高难度请求，进一步降低成本。
- 位置感知置信度使用：通用原则——不从推理全程提取置信度，而是针对不同训练策略识别可靠区间（如OPD仅用前段，RL用后段），可提升置信度的校准性和决策有效性，适用于生成式推荐的理由生成、对话Agent的多轮规划等。
- 后训练方式选择依据：若业务侧重推理前难度预估（如请求过滤），优先OPD；若需在线中断低质生成，优先SFT；若需高可靠的多路聚合，优先RL。
LLM KV缓存近无损压缩：联合Tucker分解与JL残差分配
🧭 LLM推理 · KV缓存压缩
将KV缓存视为三阶张量，用部分Tucker分解+JL旋转低比特残差联合优化，实现近无损2-3倍压缩
📌 工作参考价值（4 点）
- 对于部署LLM做推荐解释、对话Agent的场景，可直接应用JoLT将KV缓存压缩2-3倍，节省显存、提升批处理大小与吞吐，且保持输出质量几乎不变。
- Tucker分解+JL残差的联合优化思路（拉格朗日对偶分配秩与比特预算）可迁移到电商搜索推荐中其它高维张量压缩任务，如用户-商品-时间嵌入压缩。
- FlashJoLT的随机SVD加速策略可作为在线压缩的工程参考，适用于需要动态调整压缩率的推荐模型部署。
- 该方法在分组查询注意力和多头注意力结构上均有效，证明其对主流LLM架构通用，建议在实际Agent/生成式推荐系统中优先尝试。
字节精确KV缓存嫁接：冻结小模型同时变聪明又变便宜
🧭 LLM推理优化 · 字节精确KV缓存复用 ★ 深度解读
Corbenic AI
通过字节精确的KV缓存嫁接，无需训练即可将冻结小模型能力提升13%的同时推理成本降低6500倍
📌 工作参考价值（4 点）
- 知识飞轮用于重复请求：对电商搜索中高频、标准化的查询（如大促规则解释、热门商品推荐理由），可预先验证并缓存其KV状态，后续请求直接嫁接返回，延迟和成本均可降低几个数量级。
- Agent工作流缓存：在多步Agent推理（如生成式推荐中的链式决策）中，将验证成功的子任务KV块持久化，后续遇到相同子任务时直接复用，避免重复推理，提升响应速度和一致性。
- 模型能力即插即用：无需微调，通过注入已验证的解决方案KV块，让模型在特定窄域（如价格计算、合规性检查）获得专家级表现，适合快速响应业务规则变更。
- 跨实例零成本迁移：字节精确块可在同架构服务器间直接复制，实现“一次验证，多处复用”，适合多区域部署的推荐服务，降低多实例维护成本。
通过关联递归记忆扩展大语言模型上下文
🧭 递归记忆增强的 LLM 长上下文扩展
MBZUAI · Lomonosov Moscow State University · Weizmann Institute of Science · Institute for Advanced Study, Princeton · London Institute for Mathematical Sciences
提出 ARMT 训练方案，在长文本任务中用 30% 更少计算量保持性能并泛化到更长序列
📌 工作参考价值（4 点）
- 长序列用户行为建模：在电商推荐中，可利用 ARMT 以恒定内存处理超长用户交互序列（如跨月行为），突破原生 Transformer 的上下文限制，且 FLOPs 降低 30%，适合线上 RT 服务。
- 合成数据与课程学习策略：面向特定领域的 LLM 微调（如商品长描述生成、多文档促销文案），可借鉴其合成长文本 + 逐步延长的课程学习方案，稳定提升长上下文泛化。
- 选择性记忆集成：在推荐精排或生成式推荐模型中，仅部分中间层插入关联记忆模块，平衡额外计算开销与长程依赖捕捉，可作为模型架构渐进增强的思路。
- 分布外长度泛化：训练时使用有限长度数据，推理时自动泛化到更长序列，对广告竞价中实时拼接的多源长特征流处理有参考意义。
多数解释是一组正确解释的集合——用 LLM 代理工作流探索 Rashomon 解释集
🧭 LLM 代理生成解释 · Rashomon 解释集 ★ 深度解读
Scheller College of Business, Georgia Tech
将解释与预测耦合，通过 LLM 代理的“解释-预测-反思”循环生成多个忠实且有用的解释，在提升可解释性的同时提高了预测精度。
📌 工作参考价值（4 点）
- 生成解释集合而非单一解释：在电商推荐中，单一解释（如 SHAP 值）在分布偏移下容易失效，可以借鉴本工作的思路，对同一个物品/用户生成多组不同的解释（通过调整 prompt、特征子集采样），再用多数投票或语义聚合得到更稳健的解释，提升推荐理由的鲁棒性。
- 解释-预测-反思迭代循环：将解释生成与预测任务耦合，让解释 agent 根据预测误差自动修正解释内容（double-loop learning）。在广告 CTR 预估或搜索排序中，可仿照这个结构：一个 LLM 代理生成影响点击的因素解释，另一个代理基于解释做预测，反思代理根据错误修正解释——这种自改进循环可同步提升解释质量和模型效果。
- 将自然语言解释作为预测的输入特征：实验证实向预测模型提供高质量解释（即使是带噪声的解释）能显著降低误差。在推荐系统中，可以尝试将 LLM 生成的用户行为解释（如“用户在午后对低价商品点击率高”）作为特征加入深度模型或 LLM 预测器中，可能带来增益。
- 批处理 LLM 学习机制：针对大规模日志，通过数据分 batch 和设置哨兵行（data monitor）来防止长上下文退化，这为在十亿级推荐曝光日志上用 LLM 做解释和预测提供了工程参考。
BiSCo-LLM：面向大语言模型极端低比特的无码本二进制球形编码压缩
🧭 LLM 极端低比特压缩
提出无码本二进制球形编码框架，结合残差编码与恢复蒸馏，在 2 比特/权重下保持 LLM 性能
📌 工作参考价值（4 点）
- 推荐系统部署大型 Transformer 模型时，可借鉴球形编码将权重压缩至 2 比特，显著减少显存和带宽压力，且无需存储码本，避免查找开销，适合在线推理。
- 采用残差编码路径可灵活控制压缩率与精度，工程上可按模块重要性分配比特，优先保证敏感层精度，适用于参数量大的生成式推荐模型。
- 敏感通道保护策略（保留少量 8 比特通道）与 LoRA 适配器联合使用，可在极低比特下稳定模型行为，推荐系统在压缩特征交叉网络或用户编码器时可复用。
- 恢复蒸馏直接在模块替换后对齐输出分布，优于逐层重建，能更好保持端到端推荐效果，对压缩后微调流程有直接参考价值。
基于路由轨迹的MoE结构化剪枝方法MAESTRO
🧭 MoE模型压缩 · 全局重要性评估
Indian Institute of Technology Delhi · NVIDIA
将专家激活轨迹建模为马尔可夫链，利用稳态分布评估全局重要性，实现MoE模型的高效剪枝
📌 工作参考价值（4 点）
- 对于部署MoE大模型的场景（如DeepSeek、Mixtral），可直接采用MAESTRO在保持性能的同时压缩50%参数，显存占用和部署成本大幅下降，适合资源受限的在线推理环境。
- 该方法通过建模专家激活的跨层转移依赖，计算全局重要性，可借鉴到推荐系统的多专家网络或多任务模型中，用于识别并裁剪冗余模块，提升模型效率。
- 剪枝过程保持路由一致性（routing-congruent），减少剪切前后路由分布漂移，这一思想可迁移到推荐模型的召回/排序链路中，在模型压缩时保留原始决策逻辑。
- 评估覆盖安全、偏见、伦理等领域，剪枝后模型跨任务方差更低，说明该方法产出更鲁棒的通才模型，适合需要兼顾多业务目标的平台（如电商搜索推荐同时需保证公平性与安全性）。
LLM拒答的双轴分解：答案正确性与问题可回答性
🧭 LLM选择性回答的双轴风险控制
City St George’s, University of London
揭示LLM拒答中答案正确性和问题可回答性是两个独立维度，提出用隐藏探针和双阈值策略分别控制风险
📌 工作参考价值（4 点）
- 在拒答模块中分离“答案正确性”与“问题可回答性”两个信号，而非共享单一置信度；可对隐藏状态训练线性探针检测不可回答问题（AUROC>0.69），作为路由组件前置过滤不应答查询。
- 避免直接使用LLM自我前提检查，其错误挑战率高达57%；改用探针先筛选可疑问题再执行检查，可三倍提升挑战精度，适合电商Agent中拒答虚假前提提问（如“这款已下架商品为何涨价？”）。
- 采用双阈值校准框架：为错误回答率和不可回答回答率设定独立预算，在独立验证集上计算二项式界获得统计保障，满足业务风险可控要求（如信贷推荐咨询的准确性和合规拒答）。
- 模型内部可回答性表示随规模稳定，但输出置信度不反映，因此不必依赖模型自评；可将探针部署为轻量级可插拔组件，适配多模型。
Log-Insight：神经符号日志分析自动化微服务故障诊断
🧭 神经符号日志分析 · 根因推理压缩
Huawei Ireland Research Centre · Huawei Dongguan R&D Centre
通过符号化压缩将百万行日志精简为紧凑证据，再由LLM生成根因报告，MRR=0.790且90%+的Top-3命中率。
📌 工作参考价值（4 点）
- 海量事件压缩再投喂 LLM 的流水线模式：在推荐系统日志、A/B 实验分析或广告系统异常监控中，当原始事件量远超 LLM 上下文窗口时，可借鉴「两阶段采样 → 模式聚类 → 熵引导压缩 → 对比倾斜分析」的符号化预处理，把百万级记录压缩到 LLM 可处理的规模，且保留统计显著的异常信号，避免直接灌入原始数据的幻觉和溢出问题。
- 结构化异常排序 + LLM 假设生成：对于需要从大量日志中定位根因的场景（如推荐链路延迟抖动、召回异常），可模仿 Log-Insight 先由符号模块做异常排名，再交给 LLM 合成诊断报告，兼顾统计可靠性和语言推理的灵活性。
- 可解释性增强的“法证证据”展示：在内部诊断工具中，不仅输出最终结论，也呈现精确的日志模板、偏差统计等中间证据，能将系统从“黑箱神谕”转变为“调查助理”，降低 SRE/算法工程师的采纳阻力，这在自动化模型监控和报警解释中可以复用。
- 处理高维时序异常的对比倾斜分析：论文中的对比倾斜分析（对比正常/异常时段日志模板分布）可直接应用于推荐系统的实时指标异常检测，如对比实验版本间的请求模式差异，快速定位引发指标波动的具体操作。
通过激活聚合进行提示压缩
🧭 LLM 推理效率 · 激活压缩与重用
Freie Universität Berlin
将固定指令提示压缩为单个激活向量并注入 LLM 早期层，准确率下降小于 2%
📌 工作参考价值（4 点）
- 在电商搜索、推荐场景中，常用固定指令模板（如意图分类、商品属性抽取）可预计算压缩向量，跳过重复的 token 处理，显著降低线上推理延迟与计算成本。
- 多步 Agent 系统若共享同一系统提示，可将其压缩后注入各子任务，加速整体响应。
- 压缩器训练离线完成，不影响在线推理，且 patch 维度可调，便于在精度与效率之间做工程权衡。
- 方法依赖对目标 LLM 中间层激活的加权求和，需冻结模型并在特定任务上微调压缩器，适合指令固定、调用量大的场景。
无需训练的宽松投机解码实用研究
🧭 LLM推理加速 · 投机解码优化
Imperial College London · Graphcore
统一宽松投机解码框架，实证发现放松保真度需仔细能力评估，且依赖强草稿模型
📌 工作参考价值（4 点）
- 在电商搜索自动补全、对话推荐等延迟敏感场景，可尝试放松标准投机解码的无损约束以榨取更多加速，但必须针对具体任务（如Query推荐准确率、CVR）设计能力评估，在线灰度实验必不可少。
- 草稿模型必须是一个足够好的语言模型（如原LLM的压缩版或同架构小模型），不宜使用纯为多token预测设计的轻量专用草稿器，否则加速但质量崩坏。
- 统一框架中，Top‑k与Top‑p结合的接受准则在权衡中表现较鲁棒，可作为工程落地的起点，无需额外训练。
- 当线上主模型与草稿模型输出分布差异大时，放松策略可能引入难以察觉的降质，建议在离线多维度评测（困惑度、任务指标、人工评估）中模拟长尾请求，避免“平均加速好看但头尾体验分化”。
重采样还是重路由？LLM测试时模型选择的预算分配策略
🧭 测试时模型选择与预算分配
提出在线策略 RoR，在单查询成本预算下动态分配重采样与重路由，最大化正确性。
📌 工作参考价值（4 点）
- 电商搜索/推荐场景中若调用多尺寸 LLM，可借鉴 RoR 动态分配预算：对简单查询用廉价模型多次采样求一致，对困难查询路由到强模型，避免固定级联或 Best-of-K 的浪费。
- 使用边际正确性增益估计驱动在线决策，比静态规则更能适应查询难度分布的变化，适合后台异步或实时生成广告文案、商品摘要等场景。
- 验证器质量是关键：文中用一致性投票或弱验证器仍有效，提示我们可以用业务指标（点击率、转化率）离线训练轻量级验证器来指导在线分配，但验证器退化时收益消失，需持续监控。
- 工程上可利用已有模型池和多路采样，实现一个 meta-controller 层，对每条请求在重采样次数与路由目标间做动态决策，提升整体成本-质量帕累托前沿。
自引导测试时训练：提升长上下文LLM推理的简单方法
🧭 长文本测试时自适应训练
Meta AI · University of Virginia
模型自适应前先自选相关证据片段，只在选中的片段上做测试时训练，长上下文推理最高提升15%
📌 工作参考价值（4 点）
- 在长上下文任务（如长用户行为序列建模、长文档问答）中，可借鉴自引导TTT：对每条测试样本，先用模型识别出与当前query/任务最相关的证据片段，仅在这些片段上进行语言模型微调，以低计算成本实现实例自适应。
- 工程上，S-TTT的稀疏训练只更新少量token，适合在线延迟敏感场景，例如搜索query改写、个性化推荐理由生成时的实时自适应。
- 借鉴“自选择证据”思想，在构建Agent的记忆或RAG模块时，可设计一个轻量级证据选择器，从长上下文历史中检索关键信息，再对此进行微调或提示增强，有效过滤噪声。
- 该方法无需额外标注，利用模型自身输出作为监督信号，可在电商评论聚合、广告文案生成等长文本应用中以无监督方式提升证据利用率。
激活分散度揭露模型实体熟悉度：已知与虚构可高精度分离，但熟悉度与事实可靠性分属不同扩展曲线
🧭 激活探测与幻觉检测
Prosit AS
利用 MLP 激活的逆参与率和光谱熵可在单次前向中检测实体熟悉度（AUROC 0.95-1.00），但此信号与事实可靠性行为分离
📌 工作参考价值（4 点）
- 低成本线上幻觉拦截：在生成推荐文案或商品描述前，计算实体相关 MLP 激活的 IPR 或光谱熵，若分散度异常（疑似未见过实体），可阻断生成或回退到检索式结果，实战中只需单次前向，延迟极低。
- 自适应 RAG 触发：当检测到模型对某个实体激活高度集中（熟悉度低），自动触发知识库检索增强，避免对长尾商品、新入驻商家或冷门品类产生幻觉描述，提高搜索推荐信息准确率。
- 跨品类泛化监控：信号跨实体类型迁移性好，可在少量标注（已知/虚构实体对）上训练轻量线性探头，部署为通用幻觉探针，监控线上模型对所有品类实体的熟悉度，及时预警罕见实体覆盖不足。
- 注意熟悉度≠正确性：已知实体内部仍会生成幻觉（探头仅 0.93），熟悉度信号不能单独用作事实校验，需搭配事实性校验（如语义熵或外部知识比对），但其作为安全网可低成本过滤大部分因实体陌生导致的严重幻觉。
连续查询有限记忆语言模型
🧭 连续向量查询 + 外部可读知识库
Cornell University
用连续向量查询替代关系型查询，从可读知识库检索知识，提升语言模型事实精度与数据效率
📌 工作参考价值（4 点）
- 在电商推荐理由生成中，可将商品知识（属性、卖点、用户评价）存入可读知识库，用连续向量查询实时检索，保证生成事实正确且可归因，知识可动态更新无需重训模型。
- 连续查询方式免去设计结构化查询模板的成本，模型自动学习如何表达信息需求，适配搜索、推荐中的多样化上下文。
- 提出的自由文本事实标注流程可迁移到业务语料上，自动构建知识库条目，降低人工维护负担。
- 模型在数据效率上的优势（360M 规模仅用 1/40 数据即超越基线）对资源受限的垂域推荐微调有参考价值，可减少对大规模预训练数据的依赖。
数据如何塑造RoPE频率使用：从位置尺度匹配到长度泛化
🧭 位置编码的频率选择与数据分布匹配
MIT IDSS · IIIS, Tsinghua University
揭示学习到的RoPE频率与训练数据依赖宽度匹配的机制，并基于此解释长度外推的条件
📌 工作参考价值（3 点）
- 在用户行为序列建模中使用 RoPE 时，训练数据中的典型依赖长度（如会话内行为链长度）决定了模型习得的频率分布；若需外推到更长的用户历史，可通过降低所有频率（如 factor < 1 的缩放）来扩大有效视野，前提是长序列上的依赖模式与训练时近似自相似。
- 为序列推荐设计位置编码时，可先估计数据中依赖关系的有效宽度（如行为衰减的半衰期），据此初始化 RoPE 基频或频率范围，使模型容量更匹配数据结构，避免频率浪费。
- 频率缩放方法可类比于对用户行为序列进行多尺度时间聚合：不同频率对应不同分辨率的时间窗口，当需要处理跨场景的长短周期依赖时，可动态调整频率以平衡视野与分辨率。
SynthAVE：电商属性抽取的规模化合成标注与多模型验证框架
🧭 多 LLM 协同标注 · 属性抽取验证 ★ 深度解读
Amazon
用 21 个异质 LLM 组成的投票仲裁机制验证合成标注，与人类专家一致性达 95.2% (κ=0.92)，错误校正率 83.1%
📌 工作参考价值（4 点）
- 数据质量兜底：业务中大量使用 LLM 生成商品属性标签（材质、颜色、适用年龄等）时，可引入 3–5 个异质模型 + 多 prompt 的轻量投票团进行盲评，仅对分歧样本投入人工复核，可将人工复审量压到 5% 以下而保持 97%+ 准确率。
- 一致性作为置信度信号：仲裁团的一致程度可直接用作标签可信度——全票通过（36% 样本）几乎无错（0% 翻转），低一致样本（<50%）自动转人工，实现风险分级工作流。
- 低成本规模化清洗：全文 7 模型 ×3 prompt 的成本约 $0.023/商品，仅保留最高性价比的 3 个家族（如 Claude、Nova、GPT）可降至 $0.002/商品。此类配置适合百万级商品库的背景批量纠错。
- 回避模型家族偏差：选择来自不同供应商、不同架构的模型，而非同家族不同尺寸，能显著降低系统性误判——文中 Claude 家族与 Qwen 家族间一致性仅 κ≈0.57，这种异质性恰恰是集成可靠的保障。
走向线性的关键：分析驱动的 Transformer 线性化
🧭 LLM 后处理线性化 · 冻结骨干注意力近似
Qualcomm AI Research
证明 key-dependent rank-1 正交投影是 softmax 的关键，提出 sink tokens、短卷积、固定预算缓存路由等干预，实现冻结骨干线性化，在 32B 规模超越前方法
📌 工作参考价值（4 点）
- 若业务使用 LLM 做长上下文推理（如 Agent 长记忆、长文档理解），可采用冻结骨干 + 训练轻量线性注意力替换的方式，大幅降低 KV 缓存和计算量，保持模型质量。
- 提出的 sink tokens、短卷积、固定预算缓存路由是低成本的结构干预，可直接嵌入现有注意力层，尤其适合需要实时响应的推荐或搜索系统。
- 分析揭示 key-dependent rank-1 投影是 softmax 的核心操作，为设计定制化的高效注意力模块提供了理论依据，避免盲目试错。
- 该方法无需全参数微调，只需训练少量新增参数，适合模型频繁更新或需保持原始性能稳定的场景。
Jet-Long: 动态双焦 RoPE 的高效长上下文扩展
🧭 零样本长上下文扩展 · 动态 RoPE 分组 ★ 深度解读
NVIDIA
一种无需微调的零样本长上下文扩展方法，通过动态调整远程窗口分组因子保持位置在分布内，并利用容斥注意力合并实现几乎无开销的推理
📌 工作参考价值（4 点）
- 零样本扩展部署：可将任意开放权重 RoPE LLM 的上下文窗口无损扩展 4 倍以上（如 32K→128K），无需长上下文微调，适合快速上线长上下文应用（RAG、Agent 轨迹、长文档理解）。
- 双窗口架构：本地窗口（w0=2048）完全保留原始 RoPE，远程窗口动态调整分组大小 G=max(1, ceil(L/w_pretrained))，在短输入时退化为基模型，长输入时最小化位置压缩，避免短上下文性能退化。
- 工程实现借鉴：通过“校正旋转”在 query/key 上施加位置偏移 Δ，实现远程窗口注意力，保持 KV 缓存不变；预填充阶段用三次 FlashAttention 的容斥合并（inclusion–exclusion merge）融合为单个 CuTe 内核，达到 1.28–1.39× FA2 吞吐，生成开销 ≤4%，可直接集成到线上推理服务。
- 超参数鲁棒：唯一超参数 w0 在 512~4096 间几乎无波动（RULER 波动 <2pp），无需按部署场景调参，降低维护成本。
KronQ：基于Kronecker分解的LLM量化框架
🧭 LLM 后训练量化 · Kronecker 分解 ★ 深度解读
University of Southern California · Yale University
引入梯度协方差实现双向非相干处理与混合精度分配，显著提升2-bit量化性能
📌 工作参考价值（4 点）
- 量化推荐系统中的Transformer层时，额外引入梯度协方差HG可弥补仅使用激活协方差HX的不足，极大改善低比特（特别是2-bit）下模型崩溃问题。
- 双向非相干预处理（对输入和输出维度都应用随机Hadamard旋转+对角缩放）能平滑权重幅度方差，可应用于广告/推荐模型的注意力层或MLP层，减少量化误差。
- 基于tr(HG)·tr(HX)的混合精度分配方法能够区分共享输入的Q/K/V投影，为不同子层分配合适位宽，可直接用于推荐模型的多层精度调优。
- 方法计算高效：HG仅需一次反向传播，且量化更新中HG代数抵消，不增加推理开销，适合低延迟在线服务。
频率引导深度共享KV缓存压缩
🧭 长上下文LLM推理 · KV缓存压缩
Instituto de Investigación en Visión Artificial
推理时不需重训，通过频率分解与自适应模式分配压缩KV缓存，在长上下文任务中精度接近全缓存且实现3.9倍压缩
📌 工作参考价值（4 点）
- 对于利用长用户历史序列的推荐系统，可直接应用该技术压缩KV缓存，显著降低在线推理的显存和延迟
- 自适应分配压缩模式（共享深度/残差/精确）的思路可迁移到多任务推荐中的特征缓存管理，动态调整不同任务对历史状态的依赖
- 无需额外训练，适合快速集成到现有推理引擎，降低长上下文LLM在搜索、广告等场景的部署成本
- 低频分量共享策略可启发跨层特征融合设计，通过频域分解减少冗余缓存，提升工程效率
DSpark：半自回归生成与置信调度推测解码
🧭 推测解码 · 半自回归 · 置信调度 ★ 深度解读
Peking University · DeepSeek-AI
半自回归架构缓解并行预测因果衰减，置信调度动态剪枝低信心后缀，系统吞吐与交互速度显著提升
📌 工作参考价值（4 点）
- 半自回归草稿架构：在并行骨干后追加轻量马尔可夫/RNN头，仅引入极低延迟开销（<2%），大幅缓解并行预测的多模态冲突和接受率衰减。类似思路可用于电商搜索推荐中的对话助手、自动回复生成等低延迟场景，在保持并行速度的同时提升生成连贯性。
- 置信度驱动的动态调度：通过置信头估计前缀生存概率，结合硬件吞吐曲线动态选择验证长度，让高并发下自动回收低信心token的计算资源。在推荐系统的消息推送、搜索词改写等LLM调用中，可借鉴此机制，根据服务负载动态调整生成预算，避免盲目固定长度造成的容量浪费。
- 异步调度与核函数解耦：生产部署中采用历史预测近似当前容量，延迟调度与CUDA图回放兼容，同时通过展平序列与标记张量实现变长验证的高效执行。工程上为推荐系统的LLM推理服务（如推荐理由生成、用户查询补全）提供了可行的低开销动态批处理方案。
- 顺序温度缩放校准：对累积置信度进行逐位置校准，使生存概率估计更准确，支撑硬件感知调度。该校准方法可直接复用于需要可靠概率输出的在线调度场景，如流量分发、个性化推送的置信过滤。
Nemotron-Labs-Diffusion：统一自回归、扩散与自推测的三模式语言模型
🧭 扩散语言模型 · 自推测解码
单模型支持自回归、扩散、自推测三种解码模式，在吞吐和效率上显著超越开源AR和扩散LM。
📌 工作参考价值（4 点）
- Agent 系统低延迟推理：在对话或实时推荐 Agent 中，可切换至自推测模式，用扩散模型快速生成草稿再由 AR 验证，有效降低首 token 延迟和端到端耗时。
- 离线批量生成任务：生成大量商品描述、广告文案等场景，启用纯扩散模式并行解码，大幅提升吞吐，降低 GPU 成本。
- 灵活部署与资源管理：三模式架构允许根据 Concurrent Users 动态切换：高并发用 AR 减少排队，低并发用自推测提升交互体验，离线任务用扩散最大化硬件利用率。
- 训练范式迁移：联合 AR 与扩散训练的策略可借鉴至推荐系统，用于同时捕捉序列依赖（用户行为序列）和全局规划（推荐列表多样性），提升生成式推荐的质量。
KVpop：预测式在线剪枝的键值缓存压缩
🧭 LLM 推理 KV 缓存压缩与剪枝
NXAI · Johannes Kepler University Linz
通过监督未来注意力信号学习固定预算的 KV 缓存淘汰策略，结合延迟评分器，在推理任务上以高压缩比保持性能
📌 工作参考价值（4 点）
- 在电商搜索/推荐系统的 LLM 推理中，KV 缓存是长上下文（如用户行为序列、多轮对话）的瓶颈，KVpop 的固定预算淘汰策略可直接应用于减少显存占用，支持更长上下文而不崩溃。
- 延迟记忆评分器思路可借鉴：对用户行为序列建模时，不急于丢弃近期 token，等积累更多上下文后再判重要性，更准确地保留关键信息（如近期点击可能关联后续购买意图）。
- 未来注意力监督的训练方式可迁移到“查询预判”场景：训练一个小型打分器预测 token 对未来查询的效用，用于动态压缩 RAG 召回文档或对话历史。
- 工程部署中，KVpop 固定预算保证了内存使用上界，适合线上服务稳定运行，可集成到 vLLM 等推理框架中，降低大规模部署成本。
阿拉伯语LLM的方言可控生成：稀疏神经元与分布式向量引导
🧭 推理时干预 · 模型可解释性
Mohamed bin Zayed University of Artificial Intelligence · Qatar Computing Research Institute, Hamad Bin Khalifa University · Tohoku University · RIKEN
通过识别并操控稀疏神经元或注入方言向量，在推理时无微调控制LLM方言输出
📌 工作参考价值（4 点）
- 推理时引导（steering）可零成本切换LLM输出风格，无需微调。在电商客服、商品描述生成中，可注入“亲和力”或“专业度”向量控制语气。
- 神经元稀疏分析定位领域知识（如品牌、品类），用于可解释性调试与受控生成，辅助发现模型内部的概念神经元。
- 向量抽取方法（对比样本对计算差异向量）可提取任意属性的激活方向，在推荐文案或Agent交互中实现细粒度属性控制，如情感倾向、正式度。
- 干预强度可调，提供“风格强度”旋钮，适合在线A/B测试与个性化体验的渐进式优化。
DecompRL：通过模块化代码生成解决更难问题
🧭 分解式问题求解 · 模块化代码生成
FAIR at Meta · Inria · École Normale Supérieure · CERMICS · École des Ponts ParisTech
将难题分解为独立子函数，训出可组合的模块化代码，用 CPU 组合爆炸替代 GPU 重采样
📌 工作参考价值（4 点）
- 复杂推荐 / Agent 任务可借鉴“分解—独立实现—组合”范式：将长流程或组合动作拆成原子模块，分别用 LLM 生成候选实现，再通过组合搜索提高成功率，同时减少高成本 LLM 调用。
- 生成式推荐中，将完整的 item semantic ID 或推荐文案拆成多个独立子部分生成，再灵活组合，可获得指数级候选多样性，且大部分组合验证可在 CPU 上完成。
- 训练 Agent 规划能力时，用 DecompRL 类似的 RL 目标鼓励模型自动学习“何时以及如何分解子目标”，可提升长远任务成功率。
- 线上重采样（pass@k）成本高昂时，可将一次性生成转换为“少量模块候选 + CPU 组合评估”模式，显著压缩 GPU token 消耗（论文中 ~50×），适合高流量推荐系统降本。
分层稀疏注意力HiLS：端到端分块选择实现无限上下文建模
🧭 分层稀疏注意力 · 超长上下文外推与高效推理
Tencent HY Team · ShanghaiTech University · The Hong Kong University of Science and Technology · University of California, San Diego
提出HiLS Attention，端到端学习分块选择的分层稀疏注意力，推理加速且外推超64倍训练长度
📌 工作参考价值（4 点）
- 在电商推荐的长用户行为序列建模中，可借鉴HiLS的分块检索与端到端选择机制，自动关注关键历史块，突破全注意力计算瓶颈，同时保持预测性能。
- 对于RAG或Agent长上下文场景，分层地标（landmark）压缩文档/对话历史，实现高效检索式注意力计算，既能大幅降低KV缓存，又能外推到极长序列，适合在线长对话或长文档问答。
- HiLS提供全注意力模型的轻量级继续预训练转换方案，已有模型（如推荐系统、对话模型）只需少量训练即可获得超长上下文能力和推理加速，便于业务快速升级。
- 推理时只缓存被选中的分块KV，降低解码内存和延迟（预填充加速9.3x，解码加速15.7x），适合在线服务对长序列实时响应的要求。
基于 RFM-AGOP 的快速多维拒绝子空间提取
🧭 LLM 安全对齐 · 多维子空间提取
Télécom SudParis, Évry-Courcouronnes, France · ENS Paris-Saclay, Gif-sur-Yvette, France
利用递归特征机算法高效识别大模型的多维拒绝子空间，速度提升显著且消融效果更优
📌 工作参考价值（4 点）
- 电商/Agent 场景中若使用 LLM 生成推荐理由或交互回答，可借鉴该方法快速定位“拒绝回答”或内容过滤相关的激活子空间，低成本实现安全对齐。
- RFM 算法的高效性允许多轮在线监控，适合对延迟敏感的生产环境，比如在 Agent 每次响应前实时检测有害意图。
- 该方法只需少量探测样本即能初始化，可迁移到垂直领域的偏好控制（如避免生成竞品信息），无需从头训练分类器。
- 消融实验结果提示 RFM 提取的子空间比传统方法更精确，能减少对正常回复的误伤，适合需要保持转化率的推荐文案生成。
基于神经元感知的主动少样本学习用于大语言模型
🧭 LLM少样本选择 · 内部表征利用
University of Pittsburgh
通过神经元激活模式替代输出层信号，同时考虑多样性和易幻觉样本，更有效地挑选少样本标注数据
📌 工作参考价值（4 点）
- 电商/搜索推荐场景中，若需用少样本示例将通用LLM适配到特定垂直领域（如商品分类、Query意图识别），可借鉴NeuFS的神经元激活模式筛选样本：用激活向量聚类保证样例多样性覆盖领域知识，同时通过神经元共识度量化样本的“易幻觉”程度，优先标注这类高信息量样本，减少人工标注量。
- 内部神经元信号比外部embedding（如SimCSE）更能捕捉模型自身知识缺口，在做LLM评测或诊断时，可以分析神经元激活分歧来定位模型在哪些Query/商品上更容易产生幻觉，进而针对性补充训练数据。
- 该方法依赖对LLM神经元激活的访问，对于仅提供API的黑盒模型不适用；但在自有部署的开源LLM上（如LLaMA），可将其集成到数据飞轮流程中，实现持续、低成本的模型垂直调优。
- 双准则选择策略（多样性+幻觉倾向）可解耦后单独使用：多样性准则可迁移到推荐系统的物品表征学习或Review示例选取；幻觉倾向量化可为对话式推荐Agent的回复可靠性评估提供信号参考。
LLM 人格何时支持可视化设计？跨模型颜色分配与图表选择研究
🧭 评估 LLM 人格模拟的可靠性
Stony Brook University
评估 LLM 人格模拟在可视化设计中的稳定性，发现模型依赖性强，任务上下文比人格更能决定选择
📌 工作参考价值（4 点）
- 用 LLM 模拟用户人格辅助设计决策时，必须加入“无 persona 基线”以剥离任务语义的驱动效应，避免将模型默认行为误判为人格效应
- 人格-行为耦合高度依赖模型版本（GPT-4o-mini 全军覆没，GPT-4.1-mini 一致，GPT-5-mini 部分一致），切换模型需重新验证，多模型交叉对比可降低误判
- 抽象概念（如品牌色感）的人格信号强，具体概念（如产品功能色）信号弱，模拟用户时对不同任务粒度需差异化建模
- 推荐业务中若用 LLM persona 模拟用户偏好，优先关注任务上下文和 prompt 框架，人格标签的贡献可能被高估
CoPersona：基于协作人格图的鲁棒 LLM 个性化
🧭 LLM 个性化 · 图协作消偏 · 多面建模 ★ 深度解读
Yale University · Samsung
通过构建多面相似度图来借力行为相似的同伴，缓解因用户历史稀疏与偏斜导致的个性化生成冷启动
📌 工作参考价值（4 点）
- 面对用户历史稀疏的场景：可用协同的思路，从行为相似的同伴那里“借”信号补全用户的弱项维度，而不是仅在自身上检索。
- Facet 解耦与多面图构建：先无监督地归纳出全局人格面（如评论中的 tone、主题偏好、价值观），再按面分别建相似度图，可避免全局相似度带来的噪声。该思路可直接用于品评文案生成、商品推荐理由个性化等任务，按“写作风格”“价格敏感度”等维度对用户分层。
- 双分支推理架构：非参分支提供可解释的文本范例，供 LLM 作为上下文；参数分支通过可靠性门控在图上游走补全弱置信度面的向量，再压缩成软提示 token 注入 LLM，两者互补。实际工程中可按资源拆解：低成本场景只用检索范例，高成本场景加训软提示。
- 可靠性标签与门控：为每个用户每面的摘要打分（none/weak/moderate/strong），在图传递时根据可靠性加权，避免低质量信息污染。类似地，在 Agent 协作中可按证据强度对同伴信号加权，降低幻觉。
Gemma 4 多模态模型：高效推理与编码器自由架构
🧭 多模态 LLM 与推理效率优化 ★ 深度解读
Google DeepMind
开源密集与 MoE 多模态模型，集成思维链、长上下文压缩与量化，在多项基准上以小参数量匹配大模型
📌 工作参考价值（4 点）
- 长上下文 KV 缓存优化：采用 5:1 局部/全局注意力比、p‑RoPE 位置编码、键值重用 (keys as values)，全局 KV 缓存减少 37.5%，可直接用于推荐系统的长序列用户行为建模，降低推理显存。
- 量化感知训练 (QAT)：提供 int2/int4 混合权重量化版本，搭配 fp16 激活时块级缩放，大幅降低部署内存与延迟；特别适合电商中端侧部署的排序或生成式推荐模型。
- 多 Token 预测草稿头 (MTP)：轻量自回归头跨注意主模型 KV 缓存，支持任意草稿长度；可迁移到对话式搜索/推荐 Agent，加速多轮生成响应。
- 编码器自由多模态架构：12B 模型直接用线性投影处理原始音频和图像块，省去专用编码器，简化多模态融合管线；在商品图像+语音评价的场景可尝试单一 LLM 统一提取特征，降低工程复杂度。
LogbQuant：在Log空间中量化语言模型
🧭 对数空间量化 · 权重压缩
Technical University of Munich
提出可调基的对数量化方法，在4-bit下性能优于非对称线性量化，适合消费级GPU
📌 工作参考价值（4 点）
- 在电商搜索/推荐场景中，若需本地部署LLM（如商品描述生成、对话式Agent），可尝试用LogbQuant做4-bit量化，在单张消费级GPU上运行，降低显存占用同时保持生成质量。
- 对数量化对存在少数大幅度权重的层（如FFN上投影）天然友好，可针对此类层单独使用对数域量化，或混合线性量化（例如关键层保留线性，其他层用LogbQuant）。
- 可调基数b的思想可迁移到其他量化场景：对不同张量/层自动搜索最优基数，以匹配各异的权重分布，提升整体精度。
- 实现上，查询表（LUT）与位打包可带来推理加速，适合对延迟敏感的在线推荐服务（如实时重排序或即时文案生成）。
权重即程序：一种模糊函数的编程范式
🧭 编译器-解释器范式 · 模糊函数编译为 LoRA ★ 深度解读
University of Waterloo · Cornell University · Harvard University
用 4B 编译器将模糊任务规格编译成小 LoRA 程序，0.6B 解释器执行可超 32B 模型提示且省 50× 内存
📌 工作参考价值（4 点）
- 模糊函数本地化：将需要反复调用的模糊判断（如意图分类、文案审核、查询质量过滤）编译为 0.6B + LoRA 小程序，在本地 CPU/GPU 上以 30 tok/s 运行，摆脱对 API 的依赖，成本与延迟骤降。
- 编译器-解释器架构：借鉴其“编译一次，本地无限执行”的模式，对固定模糊任务（如搜索意图重排的打分函数）可事先用 4B 模型生成 LoRA 权重，后续调用只需加载 23MB 适配器，无需远程调用。
- 伪程序去噪：他们在规格输入阶段用 4B 编译器将噪声规格重述为清晰伪程序，再喂给小解释器，大幅提升小模型对错别字、口语化规格的鲁棒性。在用户输入的任务描述不规范时可采用类似预处理。
- 工具调用管道：论文中将多个 PAW 程序串联实现复杂的工具路由（93% 准确率），可类比推荐系统中的多步预处理或过滤管线，每个环节编译为独立 LoRA，按需组合，灵活升级。
QuasiMoTTo：准蒙特卡洛测试时扩展
🧭 QMC 相关采样 · 推理与RL 样本效率 ★ 深度解读
Stanford University
用准蒙特卡洛相关采样替代独立采样，推理与RL训练中样本效率提升25-50%
📌 工作参考价值（4 点）
- 在推荐排序/agent 推理的 beam search 或并行采样中，可用 lattice QMC 生成更均匀覆盖的候选集，减少冗余生成，维持每条候选的边缘分布不变（即仍是原策略的准确样本），从而在相同成本下提升 recall 或 pass@k。
- 在策略梯度训练（如 GRPO）中，通过 QMC 采样提高组内样本多样性，可以降低零方差组的比例，增大有效梯度样本数，加速收敛；可尝试在广告竞价策略或推荐对话策略训练中引入。
- 算术编码的逆 CDF 采样方法本身实现了低 overhead 的并行生成，可复用到任何需要高效并行生成的场景（如搜索召回时的多条 query 改写）。
- 对于已有独立采样的系统，QMC 采样是几乎零成本的 drop-in 替换，仅需在 batch 生成前生成均匀随机数并传递给解码器，不改变模型推理逻辑。
ZO-Act：基于单次激活信息低秩子空间的零阶微调
🧭 LLM 高效零阶微调 · 激活子空间
University at Albany, SUNY · IBM T. J. Watson Research Center
利用激活矩阵低秩基约束零阶优化扰动，大幅降低梯度估计方差，实现高效LLM微调
📌 工作参考价值（4 点）
- 在无法使用反向传播或内存极度受限的场景（如移动端、隐私保护环境）下，可将该方法用于微调电商搜索/推荐系统中的LLM组件，仅需前向传播损失评估。
- 低秩子空间构建方式与LoRA类似，但可结合零阶优化，直接适应量化LLM（如INT4），冻结量化权重优化低维系数，适合部署轻量级推荐模型。
- 仅前向计算显著降低显存占用，显式系数矩阵兼容Adam优化器，能更快收敛，可借鉴到需要频繁冷启动或增量更新的推荐Agent微调流程。
- 理论分析揭示的方差-偏差权衡可为选择扰动子空间维度提供指导：高激活秩层可分配更多秩，平衡近似误差与梯度估计质量，可扩展到推荐系统中多任务LLM的参数高效微调。
ELDR：面向 PD 分离 MoE 推理的专家局部感知解码路由
🧭 LLM 推理 · 专家局部感知路由
KAIST · Microsoft Research · Shanghai Xingyunzhili Artificial Intelligence Institute
利用预填充专家激活模式路由请求，使解码 worker 加载更少的不同专家，降低 TPOT 5.9-13.9%
📌 工作参考价值（4 点）
- 若业务部署 MoE 模型（如 Mixtral）作为生成式推荐或对话引擎，可借鉴 ELDR 的 batch 调度思路：根据请求在 prefill 阶段激活的专家模式，将同类请求聚到同一 decode worker，减少每个 step 需加载的专家权重数量，降低 TPOT。
- 签名缓存与 KV 缓存联合索引的设计，可直接用于推荐系统长提示（如用户画像、历史行为缓存）场景，保持前缀命中时的专家签名一致性，避免重复计算。
- 平衡负载与专家局部性的“局部带路由”策略，可迁移至多 GPU 推荐模型推理，特别是参数量大的稀疏专家模块，通过离线聚类+在线轻载优先选择，兼顾吞吐与延迟。
- 整体工程实现基于 vLLM，适合快速集成到现有 LLM serving 管线，为推荐系统中的大模型推理提供低成本的延迟优化方案。
基于逻辑值贡献评分识别非字面检索头
🧭 LLM 可解释性 · 检索头检测
University of Edinburgh · Heriot-Watt University · Miniml.AI
提出写感知的 LOCOS 方法，通过 OV 电路输出投影检测非字面检索头，消融时性能崩溃远快于注意力基线
📌 工作参考价值（3 点）
- 对长上下文 Agent 中检索增强生成（RAG）的故障诊断有价值：可通过 LOCOS 定位哪些注意力头真正参与「理解上下文语义并合成答案」，而非字面复制，帮助调试上下文利用不全或幻觉问题。
- 在电商推荐理由生成或搜索结果摘要等需要从长文本中提取关键信息并改写输出的场景，可以借鉴「写感知」检测的思路，评估模型内部是否有效融合了商品描述、用户评价等非结构化信息，而不仅是复制片段。
- 方法本身只需一次性前向传播，计算轻量，适合在生产环境中对模型行为进行可解释性审计，但不直接改变推荐策略，迁移需与下游任务头部微调结合。
NeuroCogMap：用认知神经科学映射大语言模型的功能组织
🧭 LLM 可解释性与认知映射
Gaoling School of Artificial Intelligence, Renmin University of China · Institute of Automation, Chinese Academy of Sciences · Nanyang Technological University · Imperial College London · Huazhong University of Science and Technology
将 LLM 内部表征脑图式分区，解释行为失败并关联人脑反应与决策策略
📌 工作参考价值（4 点）
- Agent 行为监控与故障定位：将 LLM 内部表征划分为功能分区，可实时检测 Agent 决策时的幻觉、偏见等失败模式，通过内部激活模式提前预警。
- 安全干预机制：针对特定失败（如谄媚或拒绝失效）对应的表征中断，可设计轻量级激活抑制或引导向量，在不改变模型参数下修正输出。
- 人机对齐优化：利用模型内部签名预测人脑皮层反应的能力，优化推荐解释或对话策略，使其更符合用户认知层级，提升说服力。
- 认知层级引导提示：映射出的认知层级结构可用于设计分阶段提示（如先锚定感知、后推进推理），增强 LLM 在复杂任务（如多步商品搜索）中的表现。
RuleChef：用LLM生成可编辑规则以落地任务知识
🧭 LLM 规则生成与可解释AI
KR Labs · TU Wien
利用LLM从标注数据自动生成、迭代修补可执行规则，得到快速、可解释的符号系统
📌 工作参考价值（4 点）
- 离线LLM生成规则，在线轻量推理：在电商搜索/推荐中，可将LLM用于离线规则合成（如意图分类、属性提取），线上部署为确定性规则引擎，避免高延迟与API成本，适合高QPS场景。
- 规则迭代与人工反馈闭环：借鉴RuleChef的patch机制，将人工审核或业务专家反馈直接转化为规则补丁，持续优化文本处理逻辑，如query改写规则、违禁词过滤。
- 模型蒸馏为透明规则：利用已有模型（如BERT分类器）的输入输出对bootstrap规则，把黑盒模型知识转化为可解释、可审计的规则集，满足风控、合规等场景对可解释性的要求。
- 版本化与可调试的文本处理管道：规则集易于版本管理与调试，可配合A/B测试快速迭代，提升推荐系统中query理解、内容审核等模块的灵活性与可控性。
BlockPilot：基于扩散推测解码的实例自适应块大小策略学习
🧭 推测解码 · 实例自适应块大小
AMAP, Alibaba Group
提出从预填充表示学习预测最优块大小的策略，突破固定块限制，提升扩散推测解码效率
📌 工作参考价值（4 点）
- 在大模型在线推理（如对话式推荐、搜索 Agent）中，可集成该自适应策略，根据 prompt 的预填充特征动态选择最优块大小，无痛提升加速比，且预测开销极小。
- 方法即插即用，无需修改原扩散推测解码框架，适合在已有推理管道中快速部署，降低工程改动成本。
- 揭示了最优块大小的局部结构——集中在训练块尺寸附近，可据此设定搜索范围或剪枝预测类别数，简化策略学习。
- 对于需要低延迟响应的业务场景（如实时广告文案生成、个性化推送），该技术能有效减少端到端延迟，提升用户体验。
当LLM粗心读表：数据引用错误的衡量与减少
🧭 表格数据引用错误检测与校正
University of Southern California · AWS AI Labs
首次系统评估LLM表格推理中的数据引用错误，通过critic模型检测并过滤错误，答案准确率提升最高12.0%
📌 工作参考价值（4 点）
- 在Agent工作流中引入轻量级critic模型（4B参数）检测LLM生成中的数据引用错误，尤其适用于需要精确数值的广告预算计算、商品属性提取等场景。
- 使用critic-based过滤或拒绝采样，对候选回答进行后验验证，无需重训主模型即可提升最终答案可靠性，类似推荐系统中的多阶段过滤。
- 对于表格类输入（如用户画像、商品参数表），可训练专用的引用错误检测模型，作为安全校验层，降低因数值错漏导致的决策风险。
- 该方法展示了小模型（4B）辅助大模型推理的有效性，可参考用于电商搜索中的查询改写、结果解释等需要精准数据引用的环节。
多教师同策略蒸馏：LLM后训练中的能力整合
🧭 多教师同策略蒸馏·RL能力整合
Peking University · LLM Core, Xiaomi · University of Hong Kong · Renmin University of China
提出多教师同策略蒸馏（MOPD），将领域RL教师模型在学生自身rollout上蒸馏，避免曝光偏差并集成多种能力
📌 工作参考价值（4 点）
- 统一多技能代理的训练方案：电商搜索/推荐场景中，常需一个模型同时具备搜索意图解析、商品描述生成、议价对话等能力。可借鉴MOPD，先为每个技能单独用RL训练教师，再通过同策略蒸馏融合成一个学生模型，避免多任务联合RL的耦合与冲突。
- 稳定的稠密监督信号：在将教师知识整合给学生时，使用学生自身rollout与教师分布做token级KL散度损失，替代稀疏奖励，训练更平稳，适合推荐系统这类输出空间大、奖励稀疏的任务。
- 解除领域间迭代耦合：MOPD支持各领域教师并行独立优化，大幅提升多个业务线同时快速迭代的效率；电商公司可让不同团队独立优化“搜索式推荐”、“售后话术”等教师，定期蒸馏更新统一的前向模型。
- 缓解灾难性遗忘：同策略蒸馏直接从教师分布学习，而非仅靠稀疏RL奖励，可更完整地继承每个教师的能力，在扩展到新推荐场景或增加新任务时保护已学技能。
多块扩散语言模型
🧭 扩散语言模型 · 多块并行解码
Shanghai Jiao Tong University · Xi'an Jiao Tong University · Huawei
通过多块教师强制训练和块缓冲解码，将块扩散语言模型扩展至多块并行生成，实现近两倍加速且精度不降
📌 工作参考价值（4 点）
- 若在推荐系统中用扩散模型生成文案、推荐理由等长文本，可借鉴多块并行解码思路，将生成过程拆分为固定大小的噪声块组，提升并行度，降低推理延迟。
- 块缓冲（Block Buffer）机制通过保持 KV cache 静态形状和前缀复用，能直接迁移到在线 LLM 服务的缓存管理，减少显存波动，适合高并发场景。
- 多块教师强制（MultiTF）提供了一种低成本后训练方案：在已有 BD-LM 基础上，只需构造带噪声的连续块与干净前缀的混合训练数据，就可以让模型适配更高效的解码策略，适合快速迭代。
- 实验中的 TPF 指标可作为工程权衡的参考：在精度允许范围内（如 1% 准确率损失），可将每步生成令牌数提升近 3 倍，有利于在成本与效果间做配置化调优。
面向长上下文的混合注意力模型层选择优化
🧭 混合注意力模型自动化层选择
Fudan University · ByteDance Seed · The Chinese University of Hong Kong
提出FlashMorph，通过联合优化层门控自动选择全注意力层，构建高效长上下文混合模型
📌 工作参考价值（4 点）
- 在搜索推荐场景中处理用户长行为序列、多轮对话等长上下文时，可借鉴 FlashMorph 将全注意力模型转换为部分线性注意力的混合架构，在保留关键层全注意力的同时大幅降低推理成本。
- 层选择不再依赖手工规则，而是通过可学习门控在合成数据上端到端优化，能自动发现更优的混合配置，适合业务中快速适配不同长上下文任务。
- 线性化正则项显式鼓励模型信任线性注意力，防止门控退化成全注意力，可在部署时平衡效率与效果。
- 整个流程冻结原模型权重，仅优化门控和后续微调，实现成本低，便于在已有业务模型上低成本实验和上线。
REAR：基于奖励分解的测试时偏好重对齐
🧭 测试时偏好对齐 · 奖励分解
Nanyang Technological University · University of California, Berkeley · Nanjing University
提出奖励分解方法 REAR，在测试时无需训练即可重对齐 LLM 至多样化用户偏好。
📌 工作参考价值（4 点）
- 测试时偏好干预：无需额外训练，适合广告文案生成、商品描述等需要快速适配不同风格偏好的场景。
- 奖励分解视角：将生成奖励分解为任务相关和偏好相关项，通过调整权重可细粒度控制输出属性（如多样性、长度、倾向）。
- 与解码策略集成：可无缝接入 Best-of-N、树搜索等测试时优化框架，实现高效可扩展的偏好引导。
- Agent 动态偏好适应：在对话或推荐 Agent 中，用户偏好变化时可通过调整 REAR 权重实时重对齐，无需重训模型。
SeKV：分辨率自适应的分层语义记忆 KV 缓存
🧭 长上下文推理 · KV 缓存压缩
University of British Columbia · Microsoft Research
用熵引导语义分段 + GPU-CPU 分层存储 + 按需 zoom-in 实现长上下文 KV 缓存压缩，避免丢弃信息
📌 工作参考价值（4 点）
- 长序列建模内存优化：电商推荐中用户行为序列可能很长，可借鉴语义分组与 GPU-CPU 分层存储思路，将高频访问的抽象摘要保留在 GPU，细节离线存储在 CPU，按需加载，减少线上显存压力。
- 按需检索历史细节：在 Agent 长期记忆或个性化对话中，当需要回溯具体 token 级信息时，zoom-in 机制可选择性展开相关片段，避免全量解压，适合精准检索。
- 低成本适配方案：冻结主模型，仅训练少量参数（0.05%）即可实现长上下文压缩，对业务快速实验友好，可将该范式用于微调推荐模型的长期依赖建模。
- 熵引导分段：利用注意力熵判断语义边界，对用户行为序列的时间切分或会话分割有启发，可尝试用于动态构建更具语义一致性的行为子序列。
投机解码中草稿接受准则的理论分析
🧭 LLM 推理加速 · 投机解码理论
Independent Researcher
为贪婪与放松接受下的投机解码提供基于 KL 散度的接受证书，覆盖树形解码
📌 工作参考价值（4 点）
- 若在推荐系统中部署 LLM 进行实时生成（如对话式推荐、解释生成），可借鉴放松接受准则（加性/乘性/top-m 放松）提升 draft 接受率，降低延迟。
- 树形解码允许多候选并行验证，在目标分布较平坦时仍能保持较高接受概率，适合对延迟敏感的场景，可直接工程化。
- 论文给出的基于 KL 散度和 margin 的接受条件，可用于离线评估 draft 模型质量，指导模型选择与阈值设定，平衡质量与速度。
- 对于需要确定性输出（不要求分布完全匹配）的推送文案生成、搜索词改写等任务，可直接应用贪婪+放松的投机解码，无需额外校准。
字节跳动 Seed2.0 模型卡：迈向真实世界复杂性的智能前沿
🧭 多模态大模型智能体优化 ★ 深度解读
Bytedance Seed
面向大规模生产的 LLM 系列，通过多模态、Agent 和长尾知识优化，以极低成本实现国际前沿水平的综合性能
📌 工作参考价值（4 点）
- 高性价比的 API 选型参考：Seed2.0 Pro 输出价 $2.37/1M tokens，远低于 GPT‑5.2（$14）和 Claude‑Opus‑4.5（$25），在推荐/搜索系统的批量推理、内容理解等高频调用场景可大幅降低基础设施成本。
- 多模态理解可直接提升商品内容处理：视觉基准上 Seed2.0 Pro 在文档/图表理解（ChartQAPro 71.2、OmniDocBench 1.5 0.099 NED）、长文本理解（MMLongBench‑Doc 61.4）等任务达 SOTA，可借鉴用于商品主图、详情页、评价图像的自动化结构化提取与问答。
- Agent 能力评估框架可迁移：论文给出的 Coding/Search/Tool/GUI/DeepResearch 多维 Agent 评估矩阵，以及在工程上对测试进行环境收敛、质量过滤、移除不稳定用例的做法，可直接用于企业内部推荐 Agent 或电商客服 Agent 的离线评测体系建设。
- 复杂指令遵循的可落地 trick：通过细化指令类型（格式/条件/内容/措辞/语气/Emoji/Few‑shot/中英文长度）进行分项优化，Seed2.0 Pro 在中文生产场景下整体提升 2.4pp，尤其语气控制（+15.2pp）和 Few‑shot 学习（+9.5pp）提升显著——做对话式推荐或促销文案生成时可以借鉴这些分项指标来监督微调和对齐。
端到端动态稀疏实现资源自适应大语言模型推理
🧭 LLM 推理动态稀疏化与资源自适应 ★ 深度解读
Meta AI · University of North Carolina at Chapel Hill
通过预算感知的门控网络动态跳过层、剪枝头并缩短推理长度，单模型覆盖完整计算-精度 Pareto 前沿
📌 工作参考价值（4 点）
- 动态资源适配可用于推荐/搜索的 LLM 推理服务：训练时让模型学会根据实时资源预算动态跳过层或剪枝 head，线上按请求 SLA 或 GPU 余量自动调整计算量，避免 OOM 或超时。
- 门控网络设计可直接复用：轻量 MLP 门控接受隐藏态 + 预算嵌入，配合 LoRA 适应动态裁剪后的分布偏移，工程上易集成到现有 LLM 服务框架。
- 联合优化目标保证质量不崩塌：同时使用交叉熵、知识蒸馏和预算匹配损失，在电商多轮对话或广告文案生成中保持回答质量，且可显式控制推理长度。
- 推理段控制技巧适合 Agent 思考长度管理：通过引入 <think></think><answer> 结构，用门控控制推理 token 长度，在预算紧张时直接截断思考进入回答，可用于 Agent 自适应降级。
模块化认知架构在大语言模型中涌现
🧭 LLM 模块化架构与功能特化
Massachusetts Institute of Technology
通过46个认知任务的电路分析，发现LLM形成与人类大脑相似的模块化架构，同域任务共享神经元
📌 工作参考价值（4 点）
- 电商推荐多任务模型可借鉴模块化思想：将语言理解、数值推理、用户意图/社会偏好等不同认知域任务分组，设计稀疏激活或MoE结构，让不同专家模块处理不同域，提高参数效率和效果；LLM内部已有功能分工，显式模块化可降低任务间干扰。
- Agent系统设计：针对商品属性逻辑推理、用户评论情感分析、价格比较等不同性质子任务，可以设计专门的子Agent或推理链，因为LLM内部已存在对应模块化表征，显式引导能更好地调用相关能力。
- 模型诊断与调试：在实际业务中遇到bad case时，可采用电路分析定位是哪个功能模块失效（例如语言理解模块还是数值推理模块），从而针对性地添加训练数据或调整prompt，而不是全参数微调或笼统调参。
- 多任务学习中的任务分组：通过计算神经元激活重叠度来判断任务间关系，指导哪些任务可以共享底层参数、哪些需要独立分支，减少负迁移，提高整体效果。
MultiHashFormer：基于哈希的生成式语言模型
🧭 基于哈希的生成式语言模型
School of Computer Science, University of Sheffield
用多哈希函数生成唯一 token 签名，实现哈希自回归生成，在保持低参数量的同时超越标准 Transformer
📌 工作参考价值（4 点）
- 商品 / 搜索词嵌入压缩：在推荐或搜索系统中，物品 ID 或 query 的词汇表极大，可以利用多哈希签名代替全量 embedding 矩阵，大幅降低参数量与内存。
- 生成式推荐中的物品解码：对于 GenRec 场景，可将物品编码为哈希签名，由解码器自回归生成签名序列，再映射回具体物品，实现无固定词表的生成式推荐。
- 动态词表扩展：新商品、新搜索词随时上线时，无需重新训练或增加参数即可通过哈希映射加入，适合电商环境下频繁变动的 item 库。
- 多语言 / 多模态统一表示：若业务涉及多语言商品描述或多模态实体，可用相同哈希框架统一编码，避免为每种语言或模态单独维护 embedding 表。
校准引导LLM压缩中输出空间分配成本实证研究
🧭 LLM压缩 · 分配成本优化
Analemma
将压缩分配成本对齐到输出空间可小幅提升零样本准确率，但会损害语言建模困惑度，且效果受压缩比影响。
📌 工作参考价值（4 点）
- 电商推荐中若需压缩LLM，低压缩比（<20%）时分配成本函数影响极小，可直接使用简单的权重空间误差，节省工程开销。
- 高压缩比下，若核心业务指标是下游任务准确率（如推荐解释生成），可将校准分配成本对齐至输出空间（如激活重建误差），但需警惕语言模型困惑度上升可能影响其他文本质量。
- 不同分配目标会导致准确度与困惑度权衡，建议根据线上 A/B 指标选择最优成本函数，避免只依赖单一代理指标。
- ROCKET-ActCost 的修改成本低，可直接在现有稀疏分解压缩框架中替换成本计算，对齐方式可迁移到其他校准引导压缩方法。
掩码扩散模型的奖励引导重掩码采样：高效测试时缩放与样本编辑
🧭 离散扩散模型推理缩放·奖励引导采样
Georgia Tech · UCSD
将回溯马尔可夫链扩展到掩码扩散模型，通过奖励引导的unmask/remask实现二次复杂度的推理时优化，理论上优于best-of-N
📌 工作参考价值（4 点）
- 将奖励引导的重掩码迁移到广告文案、搜索词等序列生成任务中，利用可微分的过程奖励信号对生成样本进行局部编辑，避免全量重新生成，降低推理成本。
- 在电商推荐Agent的决策序列生成中，可将业务指标（点击率、转化率）转化为奖励，通过MDM-VGB在线修复低质决策路径，提升推荐效果。
- 理论上的二次复杂度保证，相比best-of-N采样能有效防止错误累积，适合高吞吐在线推理场景，工程实现可参考其unmask/remask动作选择逻辑。
- 若生成任务存在硬约束（如query必须包含关键词、长度限制），可将约束作为可验证奖励，借鉴该方法在测试时生成满足约束的候选，无需重新训练模型。
用于免训练滑动窗口适配的NLL引导全注意力层选择
🧭 长上下文推理效率优化
Analemma
提出用答案标记的负对数似然下降来指导层选择，仅1/4全注意力层即接近1/2的精度
📌 工作参考价值（4 点）
- 对于需要长上下文的电商对话Agent或多文档RAG，可部署混合注意力模型，用该方法离线校准选择保留全注意力的层，显著降低推理延迟和KV cache开销
- 校准只需在目标数据集上计算每层用滑动窗口后的NLL下降，耗时约15分钟，无需训练，可快速适配新模型或新任务
- 该方法不依赖特定模型架构，可广泛应用于各种Hybrid Attention模型，灵活调整计算预算
- 在Agent设计中，若需要平衡长期记忆与推理效率，该层选择策略可作为推理成本的精细控制手段
何时高概率答案正确？LLM序列概率与正确性对齐研究
🧭 LLM解码概率与正确性对齐分析
Max Planck Institute for Intelligent Systems · ELLIS Institute Tübingen · AI Center Tübingen · University of Tübingen · IMPRS-IS
量化LLM解码中序列概率与正确性的对齐关系，发现仅在固定数据集内概率可预测正确性，调参或换方法无效
📌 工作参考价值（4 点）
- 电商推荐中使用LLM生成商品描述或推荐理由时，不要依赖调整温度、top-k等解码超参数来提升事实准确性，提高序列概率不一定带来正确性提升
- 构建基于LLM的推荐Agent时，若用生成概率作为置信度过滤候选动作，需注意只在固定解码配置下有效，改变采样策略会破坏概率与正确性的对齐
- 在自我一致性（self-consistency）投票中，序列概率加权可能无效，建议等权投票或引入外部验证器
- 对于同一提示的多次生成，概率不能可靠区分好坏，应避免用概率选择最佳回答，考虑其他校准方法
ReFreeKV：迈向无阈值 KV 缓存压缩
🧭 LLM 推理优化 · KV缓存压缩
Nanjing University of Aeronautics and Astronautics · WeChat AI, Tencent · Fudan University · Independent Researcher
提出首个无阈值 KV 缓存压缩方法，自适应分配预算，无需预设阈值即可保持全缓存性能
📌 工作参考价值（4 点）
- 长上下文推理优化：在电商、广告场景中，用户行为序列、商品描述等长文本输入可利用该自适应 KV 缓存压缩，降低线上推理内存与延迟，无需为不同输入单独调阈值。
- 多轮 Agent 对话管理：Agent 系统常需维持长对话历史，ReFreeKV 的无阈值特性可动态保留关键 KV 对，避免对话状态因缓存裁剪过度而丢失重要信息，提升多轮交互稳定性。
- 避免输入敏感调参：业务中处理多样化的查询（搜索词、聊天消息）时，传统缓存压缩需凭经验设定预算，此方法可自动调整，减少工程维护成本。
- 模型部署降本：在 LLM 推荐、检索增强生成等场景下，直接复用该方法实现近乎无性能损失的 KV 缓存压缩，节省 GPU 显存，支持更大 batch size 或更长上下文，直接降低服务成本。
通过特征导向提升LLM预测泛化能力
🧭 LLM 预测偏置纠正 · 特征干预
University of Chicago
用稀疏自编码器识别LLM的时间感知特征，通过放大这些特征减少预测中的前瞻偏差
📌 工作参考价值（4 点）
- 避免时序泄露：在推荐系统中用 LLM 做用户行为预测时，可通过类似特征干预方法，确保模型基于历史信息而非未来数据生成推荐，防止离线评估虚高。
- 特征发现与调控：利用稀疏自编码器探查模型内部是否包含“时间作弊”特征，并抑制这类特征，提升线上实时预测的可靠性。
- 生成式推荐中的因果干预：若使用 LLM 直接生成推荐列表（GenRec），可借鉴特征放大/抑制策略，强制模型依赖因果性更强的用户兴趣表征，减少流行度偏差。
- 领域迁移稳健性：论文展示跨领域干预有效，提示对电商多场景（如不同品类）下的 LLM 推荐，可共享时间感知特征，降低场景迁移时的重新训练成本。
JetSpec：通过并行树草稿打破投机解码的规模天花板
🧭 投机解码 · 并行树草稿突破 scaling 瓶颈
UC San Diego · Zhejiang University · UIUC · Nanjing University · StepFun
JetSpec使用因果并行草稿头一次性生成树形候选，将更大预算转化为更长接受前缀，实现最高9.64倍加速
📌 工作参考价值（4 点）
- 在搜索推荐或Agent的LLM推理服务中，可直接应用JetSpec的并行树草稿方案，突破budget增大后的加速天花板，降低长文本生成（如解释性推荐理由、对话式Agent）的延迟。
- 草稿头训练方法：冻结目标LLM，将多层隐藏状态融合后作为输入，训练因果并行草稿头，可在不修改目标模型前提下降低部署风险，适合工业环境快速迭代。
- 树状注意力设计：采用分支因果条件，生成内部自洽的候选树，避免分支间不一致造成的接受率下降，可迁移到其他基于树搜索的解码加速方案（如搜索评分、query改写候选生成）。
- 与vLLM的集成验证了JetSpec在真实负载下的有效性，可为工程化落地提供参考，尤其适合高并发、对延迟敏感的在线推荐/Agent系统。
聚类、路由、升级：面向成本感知LLM服务的级联框架
🧭 LLM级联路由与成本优化
ADAPT Centre, Trinity College Dublin · Huawei Research
两阶段级联：先聚类查询并分配最经济的模型，再通过质量估计升级低质量输出，仅用正确性标签实现成本-准确率优化。
📌 工作参考价值（4 点）
- 多规格LLM路由架构：电商搜索/推荐/Agent场景常有多型号LLM（如7B/70B）。可借鉴其两阶段设计：先用聚类将用户查询按意图分组，如“商品咨询”“售后投诉”“闲聊”，为每组预先分配性价比最高的模型，避免大模型过载。
- 成本可控的升级机制：第二阶段质量估计与升级，类似于推荐系统的粗排-精排级联。可为Agent生成的回复或推荐文案设置质量阈值，当小模型输出置信度低时自动升级到大模型重生成，在保证准确率的同时节省平均推理成本。
- 仅需任务正确性标签，适合快速迭代：框架无需额外的人工标注偏好或优劣对比，只需业务已有的正确/错误标签（如用户满意度标签、客服解决状态）即可离线调优λ和升级阈值，降低维护成本。
- 可解释的超参数控制运营权衡：通过λ显式设定推理成本预算，业务运营可灵活调整“省钱-更准”的天平，无需重新训练或手动配置路由规则，模型池变化时自动适配。
Lacuna：机器学习研究地图
🧭 科研文献知识图谱构建 · LLM Agent
Tiptree Advanced Systems Corporation · Mila · Polytechnique Montreal · McGill University · Universite de Montreal
用LLM将论文转化为可导航研究地图，在文献检索和深度调查报告任务上超越OpenScholar与GPT-Researcher
📌 工作参考价值（4 点）
- 商品知识地图构建：借鉴Lacuna用LLM将非结构化论文转化为结构化摘要、概念、方向的方法，可对商品描述、评论、问答生成商品知识图谱（核心卖点、使用场景、竞品对比、搭配提案），作为推荐系统的可解释索引。
- 多阶段深度推荐代理：Lacuna Deep Research的检索→分析→报告流水线可直接迁移至复杂购物决策场景（如“帮我选一台适合视频剪辑的笔记本”），通过多轮检索商品知识、对比分析、生成个性化购买指南，提升用户体验。
- 可追溯证据增强推荐可信度：每个知识条目保留原始论文链接的设计，可改为在推荐解释中附带用户评论原文、评测视频等来源，增强推荐的可信度与透明度。
- MCP接口集成现有链路：论文开放的MCP接口设计，允许将地图作为工具接入任意LLM代理，电商系统可参照此模式，将商品知识库封装为标准化工具，供客服机器人或购物助手调用。
改进的大语言扩散模型
🧭 大语言模型扩散训练与推理优化
Renmin University of China · Beijing Key Laboratory of Research on Large Models and Intelligent Governance · Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE · ByteDance Seed
8B 全双向掩码扩散语言模型从零预训练 12T tokens，大幅超越 LLaDA 并与自回归模型竞争
📌 工作参考价值（4 点）
- 生成式推荐场景可尝试用扩散模型替代自回归生成，尤其适合需要高吞吐、非自回归解码的物品标题、描述或语义 ID 生成。
- 全双向注意力在用户序列建模、查询改写等需要全局上下文的推荐任务中可能提升效果。
- 掩码扩散训练与变长生成技术可应用于对话式推荐响应生成，平衡效率与多样性。
- 置信度评分为推荐候选集排序提供新思路，如计算 item 置信度辅助精排。
任务特定LLM蒸馏的缩放定律
🧭 LLM蒸馏缩放定律与监督格式
NVIDIA
量化了领域特定LLM压缩中数据集大小、压缩比、监督格式的缩放规律，发现思维链监督能恢复剪枝损失的通用知识。
📌 工作参考价值（4 点）
- 若对电商搜索/推荐中的 LLM 进行压缩（如商品分类、意图识别），使用思维链（CoT）监督可以显著恢复结构化剪枝损失的通用知识，避免模型变成纯粹的领域专家而丧失泛化能力。Label-only 蒸馏（直接 logit KD 或 LoRA fine-tune）会导致通用能力塌陷。
- 迭代剪枝+蒸馏（每步剪枝后重新蒸馏）明显优于一次性剪枝，更匹配生产环境中逐步压缩模型的工程流程；该策略可迁移到实时服务对延迟敏感的场景。
- 缩放定律给出明确的数据量-压缩比关系，实践中可据此预估：要将模型压缩到目标大小，需要准备多少领域数据；数据集过小时，CoT 监督的数据效率优势更明显。
- LoRA 蒸馏在 label-only 设定下保留了比直接 logit KD 更多的通用知识，如果由于成本无法生成 CoT 标注，优先选用 LoRA 蒸馏作为折中方案。
CAVEWOMAN：大模型在输入输出压缩下的行为研究
🧭 LLM 推理成本与语义保真度评估
Independent · Adobe Research
输入压缩反而增加成本并损害准确性，输出压缩能省钱但导致语义偏离基线
📌 工作参考价值（4 点）
- 在电商/搜索等依赖 LLM 生成文案、推荐理由等的场景中，不要通过压缩用户输入（如缩写查询词、省略语法）来节省成本，实验证明这会迫使模型输出更长回复，总成本反而上升，且准确性显著下降。
- 输出压缩（如限定模型简短回答）能有效降低 API 调用成本，尤其在使用开放权重模型时；但需注意，即使答案正确，其表面文本可能与无压缩基线产生语义偏离，因此需额外监控生成内容与原始风格的一致性。
- 实现时可将输出压缩作为成本控制手段，结合语义对齐度指标（如 entailment 检测）确保压缩后内容不违背原意，适合高频生成场景（如自动回复、消息推送）。
- 如果使用自建模型，可按 token 计费时优先压缩输出；若模型输出长度不可控，可设置最大 token 数来硬性限制，但需权衡准确性和语义偏移。
RoPE感知的KV缓存比特分配量化方法
🧭 LLM 推理 · KV cache 量化 · RoPE 感知比特分配 ★ 深度解读
Hong Kong University of Science and Technology · The Chinese University of Hong Kong · Xiaomi Corporation
将RoPE注意力下的KV缓存量化建模为按频率块分配比特的优化问题，用能量分数贪心分配显著减少查询-键logit误差并提升长文本性能
📌 工作参考价值（4 点）
- 部署长上下文LLM（如客服、历史行为分析）时，可借鉴RoPE分块的能量分布实现差异化比特分配，在相同压缩率下大幅减少关键信号失真，避免统一量化在低比特下的质量崩塌。
- 使用无标签的激活统计量（Q/K向量的2-范数）计算分块重要性，无需下游任务反馈，适合线上快速校准（仅需少量无标注前缀）。
- 工程实现参考：采用packed cache布局和融合attention核，直接解压缩到临时寄存器，避免物料化fp16 KV缓存，可有效降低显存带宽压力，使长上下文解码速度超过fp16基线。
- 方法的核心思路（按结构单元动态分配精度）可迁移至其他位置编码或特征交互场景，例如推荐模型中的特征域重要性差分量化。
SVD-Surgeon：大语言模型的最优奇异值压缩手术
🧭 低秩压缩 · 二阶损失补偿
University of Freiburg · Prior Labs · ELLIS Institute Tübingen
将OBS框架引入SVD压缩，闭式更新保留奇异值以补偿截断损失，无需重训练
📌 工作参考价值（4 点）
- 将OBS补偿思想直接用于LLM的SVD压缩，无需微调即可提升压缩后模型质量，适合对延迟敏感的在线推荐或Agent系统快速迭代部署
- 奇异值重要性评估可指导结构化剪枝决策，例如在广告召回模型中按重要度保留关键秩，平衡吞吐与精度
- 方法即插即用，可叠加到现有SVD-LLM等压缩器上，工程实现成本低，可直接复用以压缩推荐系统中的语义编码器或生成模型
- 闭式更新公式仅需二阶导数信息，计算开销小，适合在大规模模型压缩流水线中作为后处理步骤
中间层知道什么：从熵动态检测越狱攻击
🧭 LLM安全 · 中间层熵动态
LMU Munich · University of Pisa · CNR-ILC · Oxford Brookes University · Munich Center for Machine Learning
利用LLM中间层token预测熵的单调趋势特征，无需训练即可跨模型检测越狱攻击
📌 工作参考价值（4 点）
- 在电商推荐Agent或对话系统中，可实时监测恶意prompt：提取用户输入token级预测熵的单调秩趋势得分，无需微调模型，适合低延迟在线检测。
- 直接使用中间层logits而非最终输出层计算熵，可捕捉更明显的越狱信号，架构一致性允许跨不同LLM（如Llama、Qwen系列）复用。
- 特征工程聚焦于熵值随token位置的演化轨迹（如单调性），而非简单的均值/方差，这种动态特征对于对抗性输入的微小扰动更鲁棒。
- 该检测方法完全基于冻结模型，不依赖额外安全分类器训练，可快速嵌入已有Agent pipeline，作为安全兜底层。
锥形语言模型：深度感知的 MLP 宽度分配
🧭 语言模型架构优化 · 深度感知容量分配
Mila · Cornell University · Université de Montréal · CIFAR AI Chair
在总参数固定下，让 MLP 宽度随层深递减（余弦锥形）可免费提升 Transformer 等模型的困惑度与下游性能
📌 工作参考价值（4 点）
- 免费性能提升：在训练推荐领域的 Transformer 模型（如 CTR 预估、行为序列建模）时，可将 MLP 中间宽度按余弦锥形从底层向顶层递减，在零额外参数和计算下获得困惑度或下游指标提升。
- 超参搜索技巧：锥形范围（起始宽度倍数->结束宽度倍数）和衰减形式（余弦 vs 线性）可视为新的架构超参，直接用固定总预算的缩放实验快速寻优，无需改动训练流程。
- 与现有架构解耦：方法不依赖特定注意力机制，可直接叠加到 Gated Attention、Hope-attention、Titans 等变体上，方便复用到自研或改进的推荐模型。
- 强化学习 Agent 内部模型：若 Agent 内部使用 Transformer 作为策略或值函数网络，锥形 MLP 同样可作为低成本的结构性改进，在不增加推理成本的前提下提升模型容量利用效率。
超越均匀遗忘：顺序直接偏好优化的跨设置研究
🧭 多目标顺序对齐中的遗忘分析
University of Western Australia · Macquarie University
顺序DPO的遗忘模式非均匀，取决于目标关系、信号强度与训练顺序，可退化、稳定或正迁移
📌 工作参考价值（4 点）
- 多目标顺序微调时的风险意识：在电商推荐中，若对LLM使用顺序DPO注入多个偏好（如点击率、转化率、多样性），后续目标可能削弱前期偏好，但削弱程度取决于目标间冲突程度。可提前评估目标兼容性，将冲突强的目标并行训练，或把重要目标放在后期。
- 监控不能只看聚合指标：像本文一样做 pair-level 和置信度分层的分析，否则整体 win-rate 可能掩盖高置信度样本的退化。在推荐模型中，对关键用户群体的偏好变化应单独追踪。
- 梯度正交性揭示遗忘并非直接干扰：文章发现后期更新方向与前期目标近乎正交，说明简单的梯度冲突缓解可能无效。可尝试通过少量回放前期偏好数据或约束表示空间，而不必依赖梯度正交化来防遗忘。
- 信号强度决定稳定性：强安全信号容易在后续训练中保持，弱信号易被覆盖。在推荐系统中，重要的底线目标（如安全、品牌安全）应使用强信号优先训练，或增大其损失权重。
HydraHead：基于头功能异质性的头维度混合注意力架构
🧭 多头注意力混合 · 长上下文高效推理 ★ 深度解读
Alibaba Group
利用可解释性识别检索关键头，在头维度混合全注意力和线性注意力，以极低训练成本突破长上下文瓶颈
📌 工作参考价值（4 点）
- 头维度混合可作为推荐系统长序列建模的新策略：在用户长行为序列中，可借鉴 HydraHead 思路，对部分注意力头保留精确交互（类似 FA），其余头用线性注意力压缩历史，平衡精度与效率。
- 可解释性驱动的头部选择可直接用于模型压缩：通过因果修补量化头的重要性，仅保留关键头为全精度，其余替换为低开销模块，能大幅降低长序列推理的 KV cache 和计算量，适合在线服务。
- 尺度归一化融合缓解不同注意力特征分布差异：当系统中需要拼合多种注意力输出时（如多模态、多专家），可采用 RMSNorm + 可学习缩放向量的方案，避免直接 concat 带来的优化不稳定，对特征融合模块设计有直接复用价值。
- 三阶段迁移学习路线适于将现网大模型快速改装为混合架构：参数继承 + 层对齐 + 全局蒸馏 + 长文微调的流程可在几十亿 token 内完成，对已有业务模型低成本扩展上下文窗口有参考意义。
弥合语义缓存中的校准鸿沟
🧭 语义缓存校准与评估指标
New York University · Redis
指出语义缓存评估重排名轻校准导致部署性能差，提出缓存感知的校准指标P-CHR AUC与CRR
📌 工作参考价值（4 点）
- 语义缓存选型时，不要只看PR-AUC，应优先评估分数的校准度（如使用P-CHR AUC或CRR），否则线上高排名模型可能给出不可靠的阈值，导致过多误命中。
- 部署前做分数截断阈值扫描时，直接使用P-CHR AUC曲线观察不同缓存利用率下的精度，平衡成本与质量；CRR能快速估算离线排序指标有多少能迁移到线上。
- 校准差距主要由训练目标（如对比损失 vs. 交叉熵）决定，而不是数据规模，因此改进语义相似度模型的训练目标比堆数据更有效；已有模型可通过温度缩放、直方图分桶等后校准手段部分弥补，但不能完全消除差距。
- 设计缓存系统时，将缓存命中决策视为二元分类问题，显式考虑正样本率（查询重复率）带来的结构性上限，避免在低重复率场景下盲目追求高召回。
面向 Token 操作的大模型推理优化技术
🧭 大模型推理成本与效率优化
China Unicom (Data Intelligence / Data Science and AI Research Institute) · Tsinghua University · Peking University · Fudan University · Zhejiang Lab
首次提出四层 token 推理优化架构，系统梳理降本增效的产业技术路径
📌 工作参考价值（4 点）
- 模型路由与多模型融合：推荐系统常需多模型（精排、粗排、RAG等）协同，可借鉴论文的模型路由与融合调度策略，减少总推理调用量，降低 token 成本。
- KV Cache 命中与跨阶段复用：对话式推荐、Agent 记忆、长会话推荐中，跨请求的 KV Cache 缓存与预填充策略可直接降低首 token 延迟，提升交互体验。
- 量化与投机解码落地：对部署在 CPU/端侧的 LLM4Rec 模型，采用 INT4/INT8 量化、投机解码等典型技术可将推理成本压缩 3-5 倍，适合高并发推荐场景。
- 动态批处理与负载均衡：在推荐模型在线服务中，动态 batching 与跨节点的负载均衡可平滑流量峰值，保障推荐链路稳定性，尤其适合大促峰值保障。
SoftSkill：将 Agent 技能压缩为可训练软前缀的行为适应方法
🧭 LLM 推理行为压缩与自适应
The University of Hong Kong · Huawei Research · City University of Hong Kong · Huazhong University of Science and Technology
用可训练软前缀压缩长 Markdown 技能，以 32 个虚拟 Token 替代数百上千 Token，提升 QA 和数学任务准确率。
📌 工作参考价值（4 点）
- 推荐/搜索场景中常需长文本策略指令（如多路召回规则、排序准则），可借鉴 SoftSkill 将其压缩为可训练 soft prefix，大幅降低推理时的上下文长度和 KV cache 开销。
- Agent 执行复杂任务时，若技能描述过长，可预先训练任务专属的 latent prefix 来注入行为先验，提升 Agent 遵循流程的稳定性和效率。
- 工程上采用冻结基座模型、仅训练少量虚拟 Token 的方法，避免全参数微调，部署时只需替换短 prefix，实现低成本多技能热切换。
- 实验中长度仅 32 的 soft prefix 即大幅超越长 Markdown 提示，说明压缩技能表示本身具有强正则化效果，可迁移用于压缩推荐解释、搜索引导等长文本上下文。
执行状态胶囊：面向低延迟设备端物理AI服务的图绑定检查点与恢复
🧭 图绑定执行状态复用 · 低延迟LLM推理
提出图绑定执行状态胶囊，将LLM推理复用从KV片段提升至全状态边界，实现亚毫秒级快照/恢复与27倍TTFT加速
📌 工作参考价值（4 点）
- 若业务中存在实时Agent交互（如对话式推荐），可借鉴胶囊机制实现亚毫秒级状态分支与回滚，降低用户感知延迟
- 在需要维护会话级推理状态（如探索式推荐对话）时，全量状态快照可确保回溯一致性，避免仅KV缓存导致的状态发散
- 边缘设备推荐场景可参考静态图 + 连续缓冲区的设计，消除动态块表开销，提升小批量推理的确定性延迟
- 工程上，若自研推理系统，可考虑将可恢复状态抽象为封闭缓冲集，以实现更高效的状态管理；但目前需深度CUDA集成，落地依赖未来框架支持
通过可操控模型合并增强多语言推理
🧭 可操控模型合并 · 多语言推理
Beijing University of Posts and Telecommunications · Fudan University · Beihang University · Monash University · Zhongguancun Laboratory
提出可操控模型合并（ST-Merge），用门控交叉注意力动态调整多语言与推理模型的贡献，解决多语言推理中的模型冲突
📌 工作参考价值（4 点）
- 在多语言业务（如跨境电商客服、多语言商品描述生成）中，可通过模型合并将领域模型与推理模型结合，避免独立部署多个模型，降低推理成本。
- 门控交叉注意力机制可迁移至多专家模型集成，例如在推荐系统中融合用户理解模型和知识推理模型，根据请求内容动态分配权重。
- 低资源语言表现提升明显：若业务需快速扩展小语种支持，可借助本方法合并已有高性能模型，减少微调数据需求。
- 模型合并替代 pipeline 调用，能减少延迟与计算开销，适合对实时性要求高的 Agent 推理链路。
用户作为印迹：将每用户记忆内化为局部参数编辑
🧭 用户事实的局部参数编辑与共享推理
Pine AI
把用户事实稀疏写入 Engram 的哈希记忆表，推理技能由共享适配器承载，实现高精度个性化且不干扰推理
📌 工作参考价值（4 点）
- 可将用户长期偏好（商品偏好、搜索历史等）压缩为 Engram 行编辑写入模型，免去每次推理时检索或 prompt 拼接的延迟与 token 成本。
- 共享推理适配器 + 多用户稀疏编辑的架构支持高并发个性化推理，适合电商搜索推荐等需实时读取用户记忆的场景。
- 编辑透明可控：写入的事实只影响特定触发词，不污染其他主题回答，有利于金融、医药等高合规领域的推荐安全性。
- 多用户编辑可叠加存储于同一模型，无需维护独立 LoRA 权重，大幅降低部署成本，工程实现更友好。
可控稀疏的混合注意力：通过可学习分配优化FA/SWA组合
🧭 高效LLM推理 · 混合注意力稀疏分配 ★ 深度解读
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Baidu Inc.
用L0正则化与增广拉格朗日约束学习全局/局部注意力的最优分配，实现可控稀疏并揭示底层局部、中层全局的一致结构
📌 工作参考价值（4 点）
- 部署长上下文LLM（如query理解、会话摘要）时，可用ConSA动态决定哪些层/头用全局注意力、哪些用滑动窗口，在几乎不降性能的同时减少KV cache和推理计算。
- 借鉴可控稀疏思想，在推荐系统的Transformer中为不同用户行为序列（短期 vs. 长期）分配不同的注意力范围，用类似L0-拉格朗日方法学习分配。
- 增广拉格朗日约束可精确满足目标稀疏率，适合在业务中需要严格控制资源预算的场景（例如单机GPU限制）。
- 手工设计混合注意力时可参考已发现的规律：底层放局部注意力、中层放全局注意力，避免均匀交错模式。
Sumi：从头预训练的开源7B均匀扩散语言模型
🧭 均匀扩散语言模型预训练
Tohoku University
首个从头预训练的大规模均匀扩散语言模型，在知识、推理、编码上与同规模自回归模型竞争，常识略弱
📌 工作参考价值（4 点）
- 扩散生成允许任意位置并行更新，可用于搜索/推荐中的 query 改写、item 描述生成，利用温度调控多样性；微调时可将扩散步数作为可控 knob，平衡质量与延迟。
- 在 Agent 场景中，均匀扩散的迭代修订特性适合生成多步推理或计划，支持中途修正输出，相比自回归更灵活。
- 教育数据偏重导致常识弱，启示我们在推荐领域微调时需注入大量领域交易日志、用户评论等语料，避免常识缺失影响自然度。
- 开源训练配方和完整数据混合说明，可直接复现或调整配比，构建面向电商/广告的垂直 LLM 基座。
维度袋：维度级符号模式实现无训练机制可解释性
🧭 无训练LLM可解释性 · 符号维度
Amazon Web Services
Transformer隐藏状态标准基中维度符号独立编码语义，纯符号匹配即可高AUC检测概念，无需额外旋转或训练。
📌 工作参考价值（4 点）
- 轻量概念检测：在推荐系统的LLM特征抽取后，可用维度符号模式直接检测商品类目、品牌、情感等概念，无需标注数据训练探针，单次前向即可计算符号一致性得分，AUC可达0.97以上，节省工程成本。
- 高效向量检索：将embedding量化为符号向量（±1），用汉明距离替代cos相似度做近似检索，大幅降低存储和计算，已在LM head中验证符号匹配能保留80-90% top-4096预测，可直接用于召回或排序的近似加速。
- 模型诊断与审计：标准基维度符号独立性强（互信息<0.006 bits），可逐维度解释模型内部概念，用于线上模型漂移监控、偏差检测或新概念发现，无需GPU天级别的重新训练。
- Agent状态校验：在LLM驱动的Agent规划中，可实时检查隐藏状态的符号模式是否对齐安全或业务相关特征，通过翻转特定维度符号做因果干预，低成本实现概念级可控生成。
可变宽度 Transformer
🧭 Transformer 架构优化 · 宽度缩放
MIT · MIT-IBM Watson AI Lab
提出 × 形瓶颈架构，中间层窄、两端宽，同等参数量下性能更优且推理成本更低
📌 工作参考价值（4 点）
- 将瓶颈结构引入大模型，可减少推荐/搜索系统中 LLM 的显存和计算开销，尤其对需保留 KV cache 的在线服务有利
- 无需额外参数的残差维度映射方法可直接复用到现有 Transformer 推荐模型（如 SASRec），通过非均匀宽度提升效率
- 对于 Agent 中多次调用 LLM 的场景，可降低单次推理延迟与成本，加速多步决策
- 提示我们在设计生成式推荐模型时，不必每层等宽，中间层适当缩减可兼顾容量与效率
LESS 即更多：扩散语言模型的互稳定采样
🧭 扩散语言模型推理加速
MBZUAI · Ecole Polytechnique
提出训练无关的自适应采样器 LESS，通过联合稳定性规则在线决定 token 揭示时机，以 72.1% 更少步骤保持精度。
📌 工作参考价值（4 点）
- 若业务中尝试将扩散模型用于生成式推荐（如 Semantic ID 生成），LESS 可嵌入推理流程，自适应提前终止不稳定的 token，直接减少 Transformer 前向次数并降低延迟。
- 其 top-K JS 散度稳定性判据与 top-1 置信度/持久性规则可以独立迁移到其他 token 级早停（early exiting）场景，比如在序列生成中按位置动态分配计算量。
- 该采样器无需训练、模型无关，可作为即插即用模块快速集成到现有扩散 LLM 部署中，无需重新训练或修改模型权重。
- 本文主要学术贡献在于扩散 LM 的高效采样，若业务尚未使用扩散模型，直接可借鉴点有限；但在 Agent 系统里若用扩散模型做规划或工具调用生成，LESS 可加速推理。
LoopCoder-v2：仅一次循环实现高效测试时计算扩展
🧭 并行循环Transformer · 增益-成本权衡
Beihang University · IQuest Research · Langboat · Renmin University of China
并行循环Transformer仅循环两次即达最优，平衡表征增益与位置偏移代价
📌 工作参考价值（4 点）
- 在Agent/工具调用场景中，可借鉴并行循环Transformer设计，通过共享KV缓存的滑动窗口注意力与跨循环位置偏移，在不显著增加显存的前提下实现测试时计算扩展。
- 循环次数并非越多越好：实验发现2次循环是最优的，再增加循环收益递减甚至退化；在推荐/搜索Agent的迭代推理中，建议通过诊断（表征多样性、更新幅度）确定最佳推理轮次，避免盲目堆叠。
- 跨循环位置偏移引入的边界失配是固定代价，当表征精炼增益缩小时会成为主导；在设计迭代式推荐模型（如循环精炼用户/物品表示）时，需权衡每次迭代的增益与固定结构偏差。
- 若要将循环机制用于电商生成式推荐或搜索，可尝试用一个共享的Transformer块多次循环生成候选物品的Semantic ID，并监控循环间的表征振荡，在2次循环附近寻找性能甜区。
探索代码解释器推理的外在令牌与内在认知特性
🧭 LLM推理 · 代码解释器行为分析
Vidyasirimedhi Institute of Science and Technology · Kasetsart University · SCB 10X · King Mongkut's University of Technology Thonburi · Chulalongkorn University
发现有效代码推理依赖关键令牌与验证、回溯等认知行为，并验证其对推理提升和训练增强的作用
📌 工作参考价值（2 点）
- 在电商Agent中若使用代码解释器进行数据查询或逻辑推理，可在推理时追加识别出的关键令牌（如结果验证、步骤回溯）以提升任务准确度。
- 训练推荐系统的LLM推理模块时，可注入代码思维中的自我验证、反向链推理等认知行为作为数据增强，帮助模型在复杂决策中减少过度思考，提高推理效率。
解锁非均匀KV缓存压缩以高效支持多轮LLM服务
🧭 LLM服务 · 非均匀KV缓存压缩
Hanyang University · Rebellions
提出Tangram框架，通过静态预算预留、粗糙分页和提前负载均衡，使非均匀KV压缩在多轮LLM服务中可达最高2.6倍吞吐提升
📌 工作参考价值（4 点）
- 多轮对话推荐 / Agent 场景中，KV 缓存膨胀是吞吐瓶颈，非均匀头级压缩精度保持更好，Tangram 展示了如何通过离线校准头的保留模式并静态规划调度，避免运行时碎片回收开销，对自研推理引擎有直接参考价值。
- 可借鉴“预算预留”：请求调度时预先固定每头压缩后内存大小，消除 prefill 阶段的页面回收（原占 25% prefill 时间），减少延迟抖动，适合对延迟敏感的在线服务。
- “粗糙分页”将预算相近的头分入独立页表，将内部碎片转化为可回收内存，提升显存利用率，利于在有限显存下支撑更长对话历史。
- “提前负载均衡”离线计算 GPU 分区，彻底消除 decode 步中 15-20% 的动态重规划开销，这一思想可迁移到需要 GPU 并行推理的推荐模型部署中。
零资源语言LLM代码生成：评估与改进策略
🧭 LLM 适配零资源代码生成
针对零资源编程语言，通过权重差异迁移法在基础模型上注入指令跟随能力，实现低成本专用代码模型部署
📌 工作参考价值（4 点）
- 若业务中存在专有查询语言或领域特定语言（如内部配置DSL、搜索表达式），可以借鉴“基础模型继续预训练+权重差异迁移”的方式，低成本适配LLM，无需昂贵的指令微调
- 在对指令跟随要求高的场景（如Agent任务规划、推荐理由生成），避免直接在指令模型上做进一步预训练，以防损害其指令能力，而是采用先预训练再注入指令能力的两阶段策略
- 构建内部低资源语言基准时，可复用论文的基准构建思路：从有限代码库中提取函数签名、文档字符串和测试用例，自动化生成评测集
- 该方法模型与数据均轻量，适合资源受限的团队，可用于快速验证新语言或新领域的LLM生成效果
谁应主导解码？跟踪可靠轨迹以集成掩码扩散语言模型
🧭 掩码扩散语言模型集成与解码动态
KAIST · AITRICS
提出TIE框架，通过跟踪解码轨迹置信度动态，实现MDLM的迭代知识融合，提升推理性能
📌 工作参考价值（4 点）
- 多Agent协作推理可借鉴：跟踪各Agent中间解码状态的置信度，动态选择轨迹更可靠的Agent主导生成，提升复杂推理准确性，适用于搜索推荐中的多步推理场景。
- 生成式推荐（如Semantic ID生成）可采用类似融合策略：集成多个生成模型，在每一步去噪或解码时评估中间状态质量，由当前最优模型接管，纠正其他模型的不可靠方向。
- 搜索查询改写或广告文案生成中，可交替利用不同LLM的互补优势：当某个模型生成过程中出现低置信度区域，注入其他模型的中间状态以稳定生成轨迹。
- 该方法强调在生成过程而非结果层面融合，为电商场景中多模型协同（如多路召回融合、多生成器投票）提供新思路：关注中间表示的置信度动态而非最终输出概率。
泰勒校准：混合线性注意力蒸馏的原则性初始化
🧭 高效 LLM 架构的蒸馏初始化
The University of Sydney · Together AI · University of California, Berkeley · The University of Texas at Austin · Microsoft
利用泰勒展开匹配教师注意力统计量，让混合线性注意力学生初始化更好，节省 4.9-9.2 倍训练代价
📌 工作参考价值（4 点）
- 电商推荐场景的用户行为序列 Transformer 可部分替换为 Gated DeltaNet，并用 Taylor-Calibrate 初始化，无需重训即可获得低延迟推理与更小 KV cache。
- 知识蒸馏时，可直接借鉴定量匹配教师注意力的初始化策略，避免学生早期不稳定的动态重建，加速推荐大模型压缩。
- Agent 的长期记忆模块若使用线性注意力，可复用泰勒统计初始化思想，用少量数据对齐教师记忆读写门控，提升记忆一致性。
- 方法仅需少量校准数据、无反向传播，可在线快速将预训练推荐模型转为高效推理架构，大幅降低工程上线成本。
解耦混合专家架构用于参数化知识注入
🧭 LLM 知识注入 · 解耦 MoE · 参数化专家 ★ 深度解读
Tsinghua University
提出解耦混合专家 (DMoE)，把外部知识模块化为独立 LoRA 专家，通过不确定性路由选择性激活并保持 KV-cache 复用，实现高效可更新的知识注入。
📌 工作参考价值（4 点）
- 电商知识热更新：商品属性、活动规则频繁变化，可借鉴 DMoE 的解耦专家模块独立更新，无需重训基座模型，新增知识只需训练对应 LoRA 并加入索引，避免灾难性遗忘。
- Agent 技能/知识模块化：可将不同领域的工具调用知识、业务规则训练为独立专家，通过 BM25 路由按需激活，结合不确定性触发实现 agent 的动态知识组合与按需注入，保持缓存复用降低推理延迟。
- 推荐系统知识增强：用户画像、物品属性知识可封装为独立适配器，注入最后层 FFN，不干扰基础推荐能力；能够离线存储大量专家，仅加载 top-k 激活，大幅降低 GPU 内存占用，适合大规模在线服务场景。
- 低开销的缓存友好设计：专家只挂在最后一层前馈网络，避免破坏 KV-cache，使动态知识注入的推理代价远低于 FLARE 等上下文改写方法，可直接应用于对实时性要求高的电商对话或推荐解释生成。
用 LLM 将跨域动作序列抽象为可解释的工作流
🧭 基于LLM的跨域行为序列抽象与用户意图理解 ★ 深度解读
Microsoft Corporation
提出 WorkflowView，通过 LLM 层次化提示将低级操作日志转为高级活动描述，零/少样本实现跨域意图理解和分类。
📌 工作参考价值（4 点）
- 用户行为理解与意图推断：电商中用户点击、浏览等动作序列可用 WorkflowView 分层生成自然语言描述，直接推断购物意图（如比价、找风格），替代传统规则或监督分类，提升实时推荐的上下文感知能力。
- 冷启动场景的少样本分类：仅需每个类别 5 个示例即可达到与全量训练模型竞争的退课预测（F1=0.90），可快速迁移到电商评论意图分类、用户流失预警等任务，大幅降低标注成本。
- 可解释的中间表示：Layer1 的自然语言描述可作为可解释的行为表示，直接用于生成推荐解释或输入下游排序模型，增强推荐理由的透明度和可信度。
- 多模态扩展启示：文中提出结合 UI 截图进行行为理解，电商场景下可融合商品图片、页面布局等视觉信息，构建更丰富的用户状态建模，为 Agent 主动服务提供实时上下文。
知识图谱增强的记忆检索实现长上下文建模
🧭 长上下文建模 · 动态知识图谱增强记忆检索 ★ 深度解读
University of New South Wales · Hong Kong University of Science and Technology (Guangzhou) · University of Southampton · Technology Innovation Institute · Mohamed Bin Zayed University of Artificial Intelligence
构建动态上下文知识图谱，融合结构、语义与上下文记忆，长文本困惑度降8.5%且内存效率提升2-2.5倍
📌 工作参考价值（4 点）
- 多记忆银行与融合检索：可借鉴其 contextual/semantic/structural 三组记忆并行检索并学习融合权重的设计，在电商会话或 Agent 长程对话中将短期键值对、长期语义块与图谱关系嵌入混合，提升对“同一设备、不同状态”等实体级依赖的检索精度。
- 动态知识图谱构建流水线：NER + 关系抽取 + 实体合并 + 置信度过滤的在线构图方法，能迁移至商品知识库、故障诊断等场景，实时将用户描述的设备、错误码、操作链抽成结构化关系，辅助对话 Agent 理解因果链条。
- 图-文跨模态融合：利用 R-GCN 编码结构嵌入再与 LM 文本嵌入做交叉注意力融合，可参考用于推荐系统中物品画像的增强——将商品知识图谱的拓扑信息与文本描述对齐后作为 item 表征，改善冷启动或跨领域推荐。
- 内存与延迟的折中分析：论文量化了实时构图带来的延迟成本（比纯记忆检索高约2倍），但内存节省显著；对离线可预计算场景（如固定文档集），可先构图再供线上使用，启发式地平衡精度与吞吐，适合电商推荐离线索引生成。
重新思考混合架构中高效注意力的作用
🧭 混合注意力架构的机制分析与设计
Tsinghua University · OpenBMB
高效注意力影响长文本能力涌现速度，全注意力主导检索，大窗口延迟检索头形成，小窗口+NoPE 有效提升长文本性能
📌 工作参考价值（4 点）
- 若在电商搜索或 Agent 场景使用长上下文 LLM，可借鉴「仅在全注意力层移除位置编码（NoPE）」的技巧，以微小的短上下文性能代价大幅提升长文档检索能力，适合处理产品评论汇总、客服多轮对话等任务。
- 发现「大窗口懒惰」现象：过大的滑窗反而延迟全注意力层中检索头的形成，因此在设计混合注意力架构时，需权衡窗口大小对训练早期检索能力的影响，避免盲目扩大窗口。
- 实验表明不同高效注意力设计最终收敛到相当的长上下文性能，从业者在选型时可将重点放在推理效率而非担心最终性能差异。
- 通过分析全注意力层与高效注意力层在长程检索中的分工，可指导混合模型微调：冻结全注意力层已足以保留检索能力，高效注意力层可针对其他任务适配。
面向时间序列语言模型的自适应压缩：超越统一Token处理
🧭 时间序列LLM的Token压缩与推理加速
Zhejiang University · Harbin Institute of Technology · Shandong University
从非对称Token视角提出自适应预算框架，在频域压缩时间序列Token并逐层削减提示Token，实现最高7.68倍推理加速与78%设置下的性能提升。
📌 工作参考价值（4 点）
- Token压缩思路可迁移到多模态LLM推理：利用输入数据在频域/信息密度的非均匀性，设计自适应压缩模块，在电商图文理解、Agent对话历史管理等场景降低 KV Cache 开销。
- 动态Prompt Token削减策略：观察到深层提示影响力衰减，可借鉴在 Agent 的 long-context 任务中，对不同深度层注入不同长度的 System Prompt 或历史上下文，优化内存占用。
- 训练时加入压缩预算约束：在训练或微调阶段引入 Token 压缩目标，让模型学会保留关键信息，可应用于生成式推荐模型的用户行为序列建模，加速长序列处理。
- 频域变换作为通用压缩手段：将时序或序列信号变换到频域后根据能量分布进行压缩，可尝试用于电商点击序列的频域压缩表示，再送入推荐模型，在保证效果的同时减少序列长度。
Doc-to-Atom: 学习编译和组合记忆原子
🧭 文档参数记忆 · 原子化知识组装 ★ 深度解读
AI Center-Mountain View, Samsung Electronics · Dartmouth College
将文档分解为语义类型原子并编译为 micro-LoRA，查询时动态路由组合相关原子，减少干扰并提升长文档推理性能。
📌 工作参考价值（4 点）
- 长文档的知识原子化存储：对电商商品详情、政策法规等长文本，可预分解为独立语义原子（事实、属性、事件等），每个原子生成微型 LoRA 适配器，降低在线推理时的内存占用（文中内存减少 44-85%）。
- 查询相关性驱动的动态适配器组装：借鉴两阶段路由机制（近似索引 + 交叉编码器重排），只挑选与当前 query 最相关的 top-K 原子微调器组合，避免单一适配器对所有查询造成干扰，同时自然实现无关查询拒答（拒绝率可超 85%）。
- 稀疏门控与知识保护：利用稀疏掩码限制每个原子只写入部分层/模块，结合 L2 或 null-space 约束防止覆盖基础模型能力，这对在多任务环境下避免灾难性遗忘特别有用。
- 多目标训练与课程调度：同时优化蒸馏、路由、无关抑制、组合一致性等损失，并通过分阶段课程增加检索原子数，可稳定训练复杂参数记忆系统，相关损失设计可直接复用。
MiniMax稀疏注意力（MSA）
🧭 超长上下文LLM推理 · 分块稀疏注意力
MiniMax · Peking University · NVIDIA · Zhejiang University · Huazhong University of Science and Technology
提出MiniMax稀疏注意力，通过分组索引分支动态选择关键块，将1M上下文计算量降低28.4倍并实现14.2倍预填充加速
📌 工作参考价值（4 点）
- 长上下文LLM服务降本：对于需要处理超长对话历史或文档的多轮Agent、客服系统，MSA的分组稀疏选择机制可直接集成到GQA模型中，用轻量索引分支动态裁剪KV块，大幅降低每token注意力成本，适合高并发在线服务。
- 分组独立Top-k选择：每个GQA group独立选择重要块，比统一选择更灵活，在推荐系统中的用户行为序列建模（如长序列Transformer）可借鉴，按不同head关注点实现差异化稀疏检索。
- 推理kernel协同设计：论文的exp-free Top-k和KV-outer稀疏注意力kernel利用块级访存模式提升张量核心利用率，可直接用于自研推理引擎，尤其在批量解码时实现高吞吐。
- 训练稳定性的KL蒸馏：索引分支通过KL loss对齐主分支注意力分布且梯度解耦，这种学习稀疏选择的方法可迁移到其他需端到端学习稀疏检索的场景（如召回中的粗筛网络）。
TAHOE：基于经验自动化提示优化的文本到 SQL 系统
🧭 Text-to-SQL · 持久化提示管理 ★ 深度解读
ByteDance Inc. · Georgia Institute of Technology
将提示优化重构为持久化的数据管理问题，通过错误驱动的提示学习构建结构化提示库，实现高效、可迁移的 Text-to-SQL 生成。
📌 工作参考价值（4 点）
- 错误驱动的结构化记忆范式：在电商搜索、推荐查询改写等场景，可将编译/执行/用户反馈提炼为可复用的提示规则，避免每次重复试错，显著降低线上推理延迟和成本。
- 冲突策略显式建模：面对多义的用户意图（如“爆款”需包含并列），将不同解释存储为同一触发词下的竞争策略，并用成功/有害/惰性统计做运行时排序，这直接可迁移至生成式推荐中的目标锚定与意图消歧。
- 语法与语义解耦 + 分层作用域：在跨业务（多国多语言）的电商平台上，可分离通用逻辑与特定数据库/用户偏好，实现模型无关的热更新，无需微调即可适应新方言或新用户习惯。
- 两阶段推理（逻辑规划 + SQL 合成）：可借鉴到复杂生成任务中，先利用轻量检索整理冲突策略、形成连贯逻辑方案，再生成最终输出，有效缓解大型 prompt 的上下文噪声和注意力衰减问题。
通过模型内路由的分层验证推测解码加速
🧭 推测解码 · 分层验证 · 模型内路由 ★ 深度解读
Zhejiang University · Agency for Science, Technology and Research (A*STAR) · National University of Singapore
引入从大模型内部路由出的轻量分层验证器，处理中等置信度 token，减少大模型调用，提升推测解码速度 10-20%
📌 工作参考价值（4 点）
- 分层验证思路可迁移到电商推荐多级排序：用轻量模型初筛，中等模型精排，大模型处理疑难 case，降低整体延迟。
- 模型内路由（DIMR）允许从大模型直接裁剪出轻量验证器，无需额外训练或独立模型，利于内存受限的线上部署。
- 利用 KL 投影设计中间验证器置信度阈值，指导业务中质量-效率权衡的参数调节。
- 方法兼容现有 draft-verify 框架，可即插即用增强生成式推荐中 token 序列的生成速度。
LLM激活引导何时可行？基于早期隐藏状态预测的可控性
🧭 LLM激活引导 · 早期状态预测引导效果
University of Maryland, College Park · MBZUAI
用生成前几步的隐藏状态差异训练GBDT，预测激活引导是欠调、成功还是过调，预测器可指导强度搜索，大幅降低解码成本
📌 工作参考价值（4 点）
- 激活引导的行为预测可用于Agent/对话系统：在电商客服、推荐解释生成等场景，若需控制输出风格（如语气、说服力），可在生成前几步后即判断引导是否有效，避免了完整生成后评估，节省推理成本。
- 特征工程思路可复用：提取引导前后隐藏状态的差异，对比不同层和初始token位置的激活偏移，这类特征能结构化编码引导传播路径，类似做法可用于业务中判断模型是否遵循特定指令。
- 轻量预测器做在线决策：用GBDT对早期状态做三分类（欠调/成功/过调），预测速度快，可嵌入推理管线，实时调整引导强度或决定是否重试，无需耗时的网格搜索。
- 引导强度动态搜索：利用预测器作为指导，在小部分解码步骤后预测效果，快速逼近最优强度，这种思路适用于任何需要调参的控制方法（如LoRA权重、prompt权重）。
我们的模型建立在哪些模型之上？审计现代 LLM 中的隐性依赖
🧭 LLM 依赖审计与供应链透明化
University of California, Berkeley · Allen Institute for AI
用 Agent 系统 ModSleuth 递归还原 LLM 开发中的 1060 个来源验证依赖，并揭示许可证、耦合等隐患
📌 工作参考价值（4 点）
- 多模型流水线（如 Agent 协作、生成式推荐链路）中，可借鉴 ModSleuth 的依赖建模方法，自动追踪数据、模型、工具间的引用关系，防止文档碎片化导致的风险。
- 在电商推荐工程中，若使用 LLM 生成内容、过滤数据或评估输出，可以利用类似的依赖图审计来管理许可证义务，避免多跳协议冲突。
- 其操作中心关系（editing、judging、filtering 等）的依赖分类，可直接复用于组织内部模型流水线的构建与追溯，提升合规性和可解释性。
- 对于已发布的模型或数据集，建议采用类似版本解析与工件身份对齐的机制，减少训练时与发布时不一致带来的表现差异。
IS-CoT：通过交错结构思维打破长文本生成崩溃
🧭 长文本生成 · 动态规划与反思 ★ 深度解读
Soochow University · PLA Academy of Military Science
提出交错式Plan-Write-Reflect循环，让8B模型在长文本生成上超越大模型，打破长度崩溃。
📌 工作参考价值（4 点）
- 在生成长文本（如商品详情、营销软文）时，可采用 Plan-Write-Reflect 循环：每写一段后反思当前进度并调整后续计划，避免偏离主题或长度失控。
- 对于多步对话 Agent（如导购助手），可借鉴全局大纲+局部规划+反思的结构，让模型在长对话中维持目标一致性，防止上下文遗忘。
- 训练时保留完整的推理链（计划、反思 token），通过 SFT 直接让模型学习动态规划，小模型也能获得强长度控制与连贯性，适合低资源业务定制。
- 多教师蒸馏的设计可提升数据多样性，避免生成风格单一，对构建特定领域（如电商）的高质量“带思考过程”数据集有直接参考价值。
端到端大规模上下文压缩模型
🧭 长上下文推理加速 · 软令牌压缩 ★ 深度解读
New York University · University of Maryland · Princeton University · Columbia University · Meta FAIR
通过大规模端到端训练编码器-解码器，以软令牌压缩KV缓存，在长上下文任务上实现更优的速度-质量帕累托前沿
📌 工作参考价值（4 点）
- 软令牌压缩可直接接入现有推理引擎：与难以兼容 vLLM/SGLang 的 KV 缓存淘汰方法不同，LCLM 输出的软令牌序列天然适配分页注意力，可直接降低电商搜索、推荐模型在长用户序列中的 prefill 延迟和显存占用。
- 编码器窗口批量压缩策略：通过固定窗口编码并批量并行，可将长用户历史或商品描述压缩为少量潜在向量，适应突发长上下文，适合在多智体任务中维护持久记忆，降低对话轮次间的 KV 缓存重计算。
- 自适应扩展 Agent 框架：借鉴论文中的 EXPAND 工具设计，在推荐解释或多轮对话中，可以先用高压缩比概览全部用户行为，再按需精准解压相关片段，实现高效的长序列检索与生成结合。
- 多阶段训练 recipe 可复用：适配器预热 → 编码器训练 → 解码器解冻 → SFT 的阶段式训练，有效控制灾难遗忘，适合将现有生成式推荐模型改造为上下文压缩器，尤其在使用 LoRA 微调时参考其分阶段学习率设置。
FlashMemory：基于前瞻稀疏注意力的超长上下文KV缓存压缩
🧭 LLM 推理优化 · 稀疏注意力
Tencent · The Hong Kong University of Science and Technology (Guangzhou) · Tsinghua University · Independent Researchers
提出前瞻稀疏注意力与神经记忆索引器，将KV缓存压缩至13.5%且准确率无损
📌 工作参考价值（4 点）
- 借鉴“前瞻记忆索引”思想，在需要维护长历史对话或用户行为的电商推荐Agent中，可训练轻量级索引器预测未来需要的记忆片段，而非保存全量状态，大幅降低内存开销。
- 解耦训练策略值得工程化：索引器作为双编码器，用标准检索训练框架单独训练，无需加载主模型，可快速迭代，特别适合将记忆管理模块插入已有生产模型。
- 稀疏注意力去噪效应提示：在长序列推荐建模（如用户长期行为序列）中，只保留与当前查询相关的关键交互，可能去除无关噪声，提升模型精度。
- 对于超长上下文场景（如多轮Agent对话、长文档分析），KV缓存压缩率超90%且稳定性保持，可直接指导自研LLM推理引擎的显存优化。
OffQ：用偏移消除LLM量化中的结构化离群值
🧭 LLM量化 · 后训练均匀精度 ★ 深度解读
EPFL · Huawei · ETH Zurich
提出OffQ，通过Top-1 PCA浓缩离群并在组内用Hadamard旋转转为偏移，实现统一精度W4A4KV4量化，超越SoTA。
📌 工作参考价值（4 点）
- 推理加速：W4A4KV4量化将模型内存与计算缩减至4-bit，直接降低在线推理成本，适合电商推荐、多Agent对话等延迟敏感场景，OffQ可避免精度损失过多。
- 离群值处理：利用Top-1 PCA识别activation离群方向并浓缩到单一通道，然后通过组偏移吸收，该方法可迁移至任何需要消除离群值的量化场景（如模型压缩、KV cache量化）。
- 工程实现：不依赖反向传播学习旋转或混合精度，仅需标准均匀量化和快速Hadamard旋转，可在现有推理框架中轻量集成，无需定制核函数。
- 组量化策略：采用分组偏移和排序分组，平衡量化粒度与开销；每128通道一组时等效位宽仅4.25bits，适合做显存/带宽受限的边缘部署。
情境化LLM级联的在线潘多拉魔盒策略
🧭 LLM推理 · API级联优化
The Fuqua School of Business, Duke University
提出在线学习算法，在LLM API级联中自适应决定查询顺序和部署选择，实现~O(√T)后悔界。
📌 工作参考价值（4 点）
- 在电商广告文案生成或客服多LLM服务成本优化中，可借鉴「两阶段决策」框架：先按预留指数顺序查询API生成候选，再根据下游奖励选择最优输出，无需事先知道不同API的确切质量分布。
- 对每个API不建完整输出分布，而是直接学习上下文相关的「预留指数」函数，结合GMM型估计与UCB探索，在业务中可大幅降低参数估计负担，特别适合API频繁迭代或输出分布复杂的场景。
- 算法保证了后悔界与上下文维度成正比，工程实现时可通过选择合适的参数化形式（如线性函数）和滑动窗更新策略，平衡实时性与收敛性，适合大规模高并发请求。
- 在多智能体系统里分配不同能力LLM Agent处理子任务时，也能使用类似思路：动态决定调用哪些Agent、调用顺序，以及最终采纳哪个Agent的输出，从而在预算约束下最大化任务成功率。
按需共情：AI 如何为语言骚扰提供可扩展情感支持
🧭 LLM 情感支持 · 语言信号分析
University of Geneva · University of St. Gallen
LLM 在语言骚扰场景中展现出超越人类专家和非专家的共情倾听能力，显著提升被倾听感和应对效能
📌 工作参考价值（4 点）
- 在电商客服或社区管理系统中，可将 LLM 生成的共情回复注入三大信号：先表达对用户处境的视角采纳，再显式确认其情绪（情感验证），最后给出具体可操作的解决方案（行动导向），以提升用户被倾听感和问题解决意愿。
- 对话 Agent 设计时，可借鉴该框架构建回复质量评估模块，用 NLP 指标量化视角接纳、情感验证和行动导向程度，作为强化学习的奖励信号或微调目标，优化 Agent 的共情行为。
- 对于大规模用户投诉或负面评论处理，使用 LLM 自动生成符合三大信号的共情回复，可降低人工成本同时保持高同理心，但需结合业务语境微调提示词或模型，避免生成空洞的共情话术。
- 该研究验证了特定语言特征能有效建立人-AI 之间的情感连接，在推荐系统的对话式交互或引导式消费场景中，可引入类似信号增强用户参与度和信任感。
分解事实性谄媚：模型大小与指令微调如何塑造LLM鲁棒性
🧭 LLM事实性谄媚的机制分解与评估
University of Antwerp
将事实性谄媚分解为真理裕度和操纵敏感性，揭示模型大小与指令微调方向性相反的影响
📌 工作参考价值（4 点）
- 事实可靠性诊断：在电商客服或推荐Agent中，面对用户错误输入时，模型可能产生事实谄媚。可借鉴真理裕度与操纵敏感性的分解方法，设计专项评估来诊断模型容易在哪种压力下翻转答案，而非仅看最终准确率。
- 模型选型与微调策略：研究发现小模型指令微调后可能降低事实鲁棒性，而大模型提升。在选择搜索/推荐系统的基座LLM时，需按参数量区分微调影响，小模型若需指令跟随能力，应加强事实性对抗训练。
- 评估指标细粒度：在生成式推荐中评估内容真实性时，避免只使用整体翻转率。可报告按操纵类型和模型大小分层的真理裕度与敏感度，以便定位系统漏洞是源于基础事实知识弱还是易被用户诱导。
- Agent防护机制：对于多轮对话Agent，真理裕度低可能导致累积错误。可在架构中加入外部事实检索（如RAG）来提升基线真理裕度，降低操纵敏感性。
基于原生全模态LLM的判别式隐藏状态读出用于多模态情感分析
🧭 判别式读出 · 多模态情感回归 ★ 深度解读
School of Computer Sciences, Universiti Sains Malaysia
用判别式隐藏状态回归替代生成式解码，在连续情感分析中精度更高、更可靠、推理更快
📌 工作参考价值（4 点）
- 连续值输出的LLM应用首选判别式头：当需要预测连续值（评分、概率、强度）时，不要用生成字符串再解析，直接从最后一token隐藏状态接轻量MLP回归，避免格式错误和精度损失，同时大幅降低推理延迟。
- QLoRA + 动态帧采样降低多模态LLM硬件门槛：在单张32GB消费显卡上跑通7B全模态模型，LoRA rank=32，仅训练1.14%参数，该配方可直接迁移到电商视频评论理解、直播情感监控等任务。
- 可控读出对比可作为模型诊断工具：固定骨干、数据和适配方案，只改变读出方式，能定量评估生成式解码的额外误差和不可靠性，类似思路可用于推荐系统中LLM输出评分/理由时选择最优读出策略。
- 音频预处理合理提点：用轻量去噪（如DeepFilterNet）清理音频通道，可改善细粒度回归指标，这在金融举报音频、客服录音等场景下值得尝试。
仅索引一次：跨层稀疏注意力与共享路由
🧭 长上下文推理 · 稀疏注意力架构
Microsoft Research · Tsinghua University
在 KV 共享架构上复用路由索引，跨层共享 token 级 top-k 选择，以极低开销实现高精度稀疏注意力，大幅提升长上下文推理效率。
📌 工作参考价值（4 点）
- 长上下文推理效率优化：在电商搜索/推荐 Agent 中，需要处理大量历史对话或商品描述时，可借鉴 CLSA 的共享路由思路——使用 YOCO 类架构共享 KV 缓存，并让不同层复用相同的 top-k 路由索引，极大降低 token 稀疏注意力的路由开销，实现接近 block 稀疏的速度却能保持 token 级精度。
- 工程实现 trick：对于已使用 YOCO 或类似 KV 共享的 LLM 服务，只需额外实现一个跨层复用的 indexer，预填充时计算一次 token 级 top-k，解码时各层直接读取该索引进行稀疏注意力，几乎不增加额外成本，即可将长上下文解码吞吐提升数倍。
- Agent 多轮交互场景：当 Agent 需要在长多轮对话中维护完整上下文并频繁解码时，CLSA 能将 KV 缓存存储大幅减少（因子为数倍），并保持解码速度，同时质量几乎无损，适合部署在资源受限的在线服务中。
- 生成式推荐中的长序列生成：若用 LLM 生成个性化推荐理由或连贯的 item 序列，CLSA 可加速长序列的自回归解码，降低延迟，尤其适合对实时性要求高的推荐场景。
ℓ2 范数：大语言模型推理动态的内在信号
🧭 LLM 推理内在信号与测试时控制 ★ 深度解读
Peking University · Zhejiang University
发现隐藏状态 ℓ2 范数是无需训练的模型内在推理强度指标，并基于此提出三种推理增强技术。
📌 工作参考价值（4 点）
- 在 LLM Agent 推理链中，可实时监控各层 ℓ2 范数，检测推理峰值以自适应分配计算资源（如递归计算或提前退出），在电商复杂查询解析、多步决策等场景提升效率。
- 对生成式推荐，ℓ2 范数可作为一种无监督的候选序列质量度量，替代外部打分或规则，用于生成式 item 推荐中的响应重排或生成路径选择。
- 三种推理增强技术（层递归、隐藏状态引导、响应选择）无需额外训练，可直接嵌入现有的推理引擎，为推理时 Agent 缩放提供轻量、数据无关的工具。
- 发现 ℓ2 范数与 SAE 推理特征激活高度正相关且具有因果性，提示在训练推荐/Agent 模型时，可加入 ℓ2 正则或约束来激励中间推理表征，提升模型对复杂任务的泛化。
面向图理解的大模型边感知曲率建模
🧭 图感知LLM · 边曲率信息注入
Nanyang Technological University · Fuzhou University · University of Wisconsin-Madison · Newland Digital Technology Co., Ltd. · Xiamen University
首次理论分析节点对齐的不足，提出曲率增强的边感知提示与正曲率消息传递，解决图文本对齐的过压缩问题
📌 工作参考价值（4 点）
- 构建商品知识图谱增强的LLM问答或推荐解释时，可借鉴边感知提示设计：将结构化边信息（如“用户-购买-商品”）直接注入提示词，无需额外训练，低成本提升图结构感知。
- 在用户-商品交互图上进行消息传递时，可利用离散Ricci曲率识别负曲率边（如噪声交互或长尾连接），仅沿正曲率边传播信息，缓解过压缩，提升表示质量。
- 针对多模态对齐（如商品图文与用户行为图），分析论证了单纯节点对齐的次优性，提示我们需显式建模边特征（如交互强弱、关系类型）以避免信息瓶颈。
- 曲率引导的消息传递可作为一个轻量级模块嵌入现有Gnns，在召回或排序的图模型中尝试，可能改善稀疏交互下的用户/物品表示。
重新聚焦人类：LLM 个性化中的真实用户差距与对齐方法
🧭 LLM个性化评估与对齐 ★ 深度解读
University of Illinois Urbana-Champaign · Carnegie Mellon University
真实人类数据揭示LLM个性化三阶段中的系统性局限，轻量级训练干预可有效对齐人类判断
📌 工作参考价值（4 点）
- 属性提取后置轻量验证器：在从对话历史抽取用户属性后，使用基于人类标注训练的 RoBERTa 分类器作为过滤层，可大幅降低错误属性率（接受率从 58% 提升至 >90%），适合作为 Agent 记忆或电商用户画像流水线的安全闸门。
- 相关性匹配不要依赖语义相似度：LLM 在判断“属性是否应影响当前回复”时严重过选（比人类多 20-40%），直接用 BM25 或 embedding 相似度效果更差，可改用监督分类或 GRPO 微调一个小模型（如 Qwen3-4B）来学习人类的保守选择边界，减少不必要的个性化干扰。
- 自动评估个性化质量需谨慎：LLM 评判者倾向给显式提及用户属性的回复更高分，但与人类偏好仅弱相关（Spearman < 0.37），且近 55% 的个性化回复被人类认为不优于通用回复，因此推全个性化功能前必须结合人工评测，并警惕“表面个性化”带来的反向效果。
- 过度个性化会损害体验：多个开源模型在加入用户属性后回复质量反而下降，提示构建推荐系统或对话 Agent 时应保守引入个性化线索，当模型无法恰当时可退化为通用响应。
大规模文档集合的模块化KV缓存训练框架
🧭 文档压缩·模块化KV缓存与检索增强生成 ★ 深度解读
Amazon AGI
提出CAS框架，通过动态混合训练及GPU/存储交换，实现数百个per-document cartridge的联合训练，消除多缓存混合的性能塌陷，结合检索较文本RAG节省3-4倍token。
📌 工作参考价值（4 点）
- 可组合的KV缓存训练范式：在需要为大量静态文档（商品政策、FAQ、医典）构建可重用缓存的场景，直接采纳混合可见性训练（P<sub>iso</sub>=0.75，每样例以一定概率加入其他文档的cartridge作为干扰），可完全避免多缓存拼接时的性能暴跌（从26%回至78%），能直接复用到电商长文档问答的缓存构建中。
- GPU内存有限的规模化训练：预算管理器将KV缓存池轮换（每R步交换φ比例）并优先训练次数少的文档，配合FP32优化器与BF16权重、优化器状态卸载至NVMe，可在单GPU上训练数百个cartridge。对需要为海量商品文描或搜索结果页生成压缩预填缓存的场景极为关键，省去反复prefill的成本。
- 自学习数据合成的省钱技巧：将问题生成与回答模型解耦（用更大的MQ生成多样问题），一次API调用生成20个问题，并将文档采样权重设为与该文档长度成正比，可提升合成数据对长文档事实的覆盖，同时降低约20倍合成成本。这对需要自建训练语料的推荐/Agent项目同样适用。
- 混合RAG与压缩缓存的推理策略：Cartridge RAG用检索选出相关文档的压缩缓存代替原始文本块，在LongHealth上以3.7倍更少prompt tokens达到同等精度。对于电商搜索结果总结或客服知识库问答，可大幅减少输入长度、加速生成，同时保持片段级检索的准确性。在信息高度密集的表格型内容上需谨慎控制激活的cartridge数量，否则性能下降，这一点对金融/库存类文档压缩有直接启示。
基于反事实链与因果图的LLM可解释性方法
🧭 LLM可解释性因果图构建
Technion · IBM Research
通过MCMC反事实增强从LLM预测中挖掘概念级因果图，实现透明推理
📌 工作参考价值（4 点）
- 可直接用于电商评论情感分析等文本分类任务，抽取LLM决策所依赖的概念及其因果结构，辅助调试模型偏见（如发现“发货速度”是否被错误关联到负面情感）。
- 反事实链增强方法能在标注数据稀疏时生成高信息量反事实样本，提升因果发现稳定性，适用于LLM-as-a-judge等需审计决策逻辑的场景。
- 所构建的因果图可作为LLM代理的透明化中间层，帮助多智能体系统理解各Agent推理链路，优化协作协议。
- 整体框架与模型无关，可快速迁移到产品分类、内容审核等业务中，为模型审计与合规提供概念级解释。
快速且忠实的函数向量
🧭 LLM可解释性 · Function Vectors
Fraunhofer Heinrich-Hertz-Institute, Berlin, Germany · Technische Universität Berlin, Berlin, Germany · BIFOLD – Berlin Institute for the Foundations of Learning and Data, Berlin, Germany · Technological University Dublin, Dublin, Ireland
引入LRP归因与分布式引导，提升函数向量在LLM中的任务控制效率与准确率
📌 工作参考价值（4 点）
- 用LRP定位任务关键注意力头：可直接迁移到LLM推理优化中，通过LRP归因剪枝无关头，降低电商问答、文案生成场景的推理延迟。
- 分布式引导提升控制精度：在控制LLM生成时，将引导向量插入多层多头比仅在一层注入更有效，可改善商品详情生成的事实一致性和风格控制。
- 加速Function Vectors提取：LRP仅需少量样本即可识别有效头，大幅减少ICL示例数，适合电商中需频繁更新prompt的动态场景（如大促自动卖点生成）。
- 分析ICL任务表示的工具：方法可推广用于诊断LLM在推荐解释生成、用户意图分类中的任务编码方式，辅助Prompt工程与示例选择。
LLM 动态层跳过与循环：学习「层程序」提升推理效率与准确率
🧭 动态层执行优化 · 自适应计算
University of Maryland, College Park, MD, USA · MBZUAI, Abu Dhabi, UAE
提出 PoLar，让 LLM 为每个输入动态决定跳过或循环哪些层，用更少层达到同等或更高准确率。
📌 工作参考价值（4 点）
- 低成本 LLM 推理加速：在电商推荐、对话 Agent 等需要高吞吐的场景，可借鉴 PoLar 的「层跳过」与「层循环」思想，根据输入复杂度动态分配计算量，减少不必要的层计算，降低时延与成本。
- 纠错与能力自修复：PoLar 发现错误预测可通过更少的层组合纠正，这启示我们在推荐生成或多 Agent 交互中，当 LLM 输出不可靠时，可尝试用剪枝或路径重排的方式生成备选输出，而无需完整重跑模型。
- 轻量级路由网络设计：PoLar 提出的轻量预测网络（如基于隐藏状态的 LSTM）能以极小开销学习层执行程序，这种路由机制可直接迁移到 MoE 推荐模型或生成式推荐中，为不同样本选择不同的专家或计算路径。
- 模型能力挖掘：论文表明固定深度推理仅捕获了 LLM 潜能的一个子集，这提示我们在使用生成式推荐模型（如语义 ID 生成）时，可探索冻结主干下的动态解码路径，用更少步骤生成更优推荐。
TAP-PER：用紧凑前缀替代冗长提示，实现可扩展的大模型个性化
🧭 LLM 个性化 · 用户嵌入 · 前缀微调 ★ 深度解读
Microsoft · Shanghai International Studies University · Zhejiang University · The Hong Kong Polytechnic University
用可学习的紧凑用户前缀替换显式提示和每用户适配器，实现可扩展、时序感知的 LLM 个性化。
📌 工作参考价值（4 点）
- 用户状态前缀可作为长期兴趣嵌入：在电商推荐或对话系统中，可以为每个用户维护一个轻量级嵌入（仅32K参数），离线训练后在线快速适应，大幅降低存储与部署成本。
- 查询感知的时序记录前缀替代显式检索：借鉴DIN式注意力和可学习的时间衰减，直接对用户全量交互历史进行加权，省去BM25等检索器，避免检索质量对个性化效果的波动，适合行为序列丰富的场景。
- 共享桥接LoRA降低参数冗余：冻结任务适配后的骨干LLM，仅训练一个共享的LoRA模块来深度融合前缀信号，避免为每个用户单独维护一个大尺寸适配器，千级用户时总参数量仅为传统方法的约一半。
- 支持在线增量更新不停服：新反馈到来时，只需对用户前缀做几次梯度更新即可吸收偏好变化，共享模块不动，便于在电商流式场景中实现持续个性化，无需全量重训。
动态短卷积：用输入依赖的局部混合增强 Transformer
🧭 动态短卷积增强 Transformer 架构 ★ 深度解读
Massachusetts Institute of Technology · MIT-IBM Watson AI Lab
提出输入依赖的短卷积替代静态卷积，在 QKV 或全部线性层上带来 1.33–1.60× 计算优势，并保持低训练开销。
📌 工作参考价值（4 点）
- 在推荐、Agent 序列建模中，可将动态短卷积作为一种局部上下文交互层，放置在 QKV 或所有线性层后，增强模型对内容依赖的局部组合能力。
- 参数效率方面，使用低秩分解（rank R）或 head‑wise 共享动态卷积分量，在参数量仅小幅增加的前提下获得明显性能提升，适合资源敏感的业务场景。
- 工程实现上，可借鉴 Triton 内核融合（将动态权重生成与卷积操作熔合，避免中间张量写回 HBM）以减少内存带宽压力，使训练吞吐仅下降约 8%，适合实际部署。
- 动态卷积可与现有序列混合器（如 Attention、Mamba、DeltaNet）组合使用，替换其中的静态卷积，无需改动整体架构设计即能获得额外收益。
面向推理模型的价值感知随机 KV 缓存淘汰方法
🧭 LLM 高效推理 · KV 缓存淘汰
University of Southern California · University of Chicago
发现大值状态淘汰导致灾难性重复并利用随机性提升多样性，提出训练无关的 VaSE 方法，4 倍压缩下准确率优于 SOTA
📌 工作参考价值（4 点）
- 在电商/Agent 系统中部署长链推理模型（如复杂商品推荐解释）时，可直接引入 VaSE 降低显存开销，同时避免精度下降。
- 价值保护策略：任何 KV 缓存淘汰方案均可增加按 value 向量范数排序的前 k 个 token 保护步骤，防止高幅值 token 被误删导致生成重复循环。
- 随机化淘汰：在淘汰决策中注入高斯噪声（如基于噪声后的重要性分数排序），可提升缓存多样性，适用于 Agent 多轮对话或推荐理由生成，减少输出退化。
- 与 FlashAttention2 兼容，可实现静态显存分配，减少 OOM 风险，适合长期运行的在线推理服务。
熵门控：LLM管线中近乎无损的令牌压缩熵淬灭技术
🧭 LLM推理优化 · 提示令牌压缩 ★ 深度解读
Kwame Nkrumah University of Science and Technology
提出基于熵淬灭的多因子信息能量令牌压缩框架，结合保真门与能量平方放大，实现40-60%压缩且语义保持>0.80
📌 工作参考价值（5 点）
- 令牌重要性建模：多因子能量（统计+结构+位置）及自校准域能量可迁移至电商搜索/推荐场景，对商品描述、用户查询进行关键令牌保留，压缩冗余而不丢失实体词。
- 能量平方放大技巧：通过能量平方拉伸分布右尾，放大信噪比，使得高信息令牌更易被保留。可应用于任何基于分数排序的文本压缩或关键信息提取任务。
- 复合压缩策略：上下文去重结合外部记忆，实现88-96%的令牌削减。在Agent多轮对话或商品信息重复出现的场景中，可借鉴“记忆+淬灭”乘法组合，极大降低推理成本。
- 输出侧淬灭：利用模型回复信息密度低的特点，以更激进的压缩率减少回复长度。可在生成式推荐或对话式导购中压缩冗长回应，兼顾准确性与效率。
- 保真门机制：以能量加权相似度作为无模型推理的语义保留指标，为压缩提供数学保证。可引入任何压缩流程作为安全阀，确保任务关键信息不丢失。
从层级到子模块：重思替换式LLM压缩的粒度
🧭 后训练压缩 · 子模块级残差替换 ★ 深度解读
University of Trento
提出子模块级非连续替换方法 SUBFIT，利用残差旁路拟合，在困惑度与准确率折衷上显著优于层级替换基线。
📌 工作参考价值（4 点）
- 对 LLM 部署中的推理加速有直接帮助：25% 稀疏度下可实现 1.12×~1.17× 的解码加速和 25% 的 KV 缓存节省，适合电商应用中需要低延迟、高并发的 agent 或推荐服务。
- 子模块级非连续选择策略可推广到其他模型的细粒度压缩，例如在生成式推荐或 agent 的多组件 Transformer 中，可独立对 Attention/FFN 进行按需裁剪，而非粗暴删除整个层。
- 闭式残差旁路拟合（利用特征协方差和低秩近似）仅需数千条校准样本，无需反向传播，这可以作为一种“剪枝后快速恢复”的手段嵌入到现有的 post-training 流水线中，降低压缩成本。
- 共享 FFN 输入基的设计在保持质量的同时大幅减少额外参数（约为原 FFN 参数的 1/10），类似 LoRA 的思路但应用于压缩，可参考其跨层参数共享方式以降低多任务或大模型的部署显存。
推理的影子价格：经济视角的LLM最优预算分配
🧭 LLM推理预算优化
Zhejiang University · Tencent HY Team · Peking University
用影子价格模型实现LLM推理预算的全局优化，显著提升资源稀缺时的准确率，最高3倍于均匀分配。
📌 工作参考价值（3 点）
- 借鉴CLEAR的边际效用均衡分配思想，对线上LLM调用做动态算力配额：优先将预算分配给接近「涌现阈值」的可解query，放弃无解query，避免算力浪费，适用于推荐系统中的解释生成、对话Agent等高频LLM场景。
- 利用shifted-surge效用函数刻画每个query的推理收益曲线，为生成式推荐中不同物品的推理深度决策提供可量化的成本-收益模型。
- 全局影子价格概念可拓展到多Agent或RAG系统，统一协调各子模块的计算资源，实现端到端最优分配，而非各模块独立优化。
扩散模型图到文本生成的首个解掩码轨迹分析
🧭 扩散语言模型 · 图到文本生成 · 解码轨迹控制
The University of Texas at Arlington
发现掩码扩散语言模型解码时天然优先还原实体，并针对微调破坏策略提出推理时结构词降权修正
📌 工作参考价值（4 点）
- 电商商品描述生成：若采用扩散模型从商品知识图谱生成卖点文案，可借鉴其“实体优先”的天然解码顺序，显式约束先输出关键属性（品牌、成分），再生成连接词，减少幻觉，确保信息完整。
- 扩散解码控制：分析扩散语言模型的 token 解掩码轨迹，可发现业务数据中的类似模式（如首先生成关键实体，末尾为标点/助词），并设计针对性推理干预。λ-scaled structural decoding 提供了一种简单、无需重训的降权方法，可避免过早确定序列长度，防止信息遗漏。
- 多模态结构融合：Graph-LLaDA 的图编码器+扩散解码框架可作为“结构化数据 → 流畅文本”的通用范式，适用于电商中表格数据、订单信息或商品关系图的自然语言生成，比自回归式更易控制实体顺序和覆盖率。
- 避免微调负效应：观察到 SFT 会破坏扩散模型的自然解码策略（过早锚定结构 token），提醒在业务中使用扩散生成模型时，微调可能引入脆弱性，可考虑推理时修正或约束解码来恢复原有优势。
LoRA的参数记忆定律：量化LLM微调中的精确记忆容量
🧭 参数记忆 · 幂律缩放与相变 ★ 深度解读
Zhejiang University · Alibaba Group
发现LoRA的记忆增益遵循幂律定律，并利用p>0.5的相变阈值设计MemFT优化精准回忆。
📌 工作参考价值（4 点）
- LoRA作为记忆插件：在电商/Agent场景中，需精确记住配置、规则或用户凭证时，可用LoRA模块存储，MemFT方法能在有限秩下显著提升准确率，避免关键token错误。
- 容量预估公式：幂律定律∆L=C·r^α·ℓ^{-β}可帮助在资源受限时快速估算所需的最小秩r，避免盲目分配参数。例如，给定序列长度ℓ，可计算达到目标损失所需的秩。
- 关注关键token：业务中生成式推荐或Agent输出常因个别token错误导致整句失效，借鉴p>0.5的相变思想，在微调时动态分配梯度给低概率token，而不过度优化已掌握的token，可提升整体生成质量。
- MemFT的训练策略：滑动窗口（MemFT-SW）聚焦首次错误位置的上下文，课程学习逐步增加困难样本，这些技巧可直接迁移到其他需要精确生成的任务（如广告文案、商品描述）的LoRA微调中。
LoRA空间中低损失谷的构建及其对贝叶斯推断的意义
🧭 LLM微调 · LoRA贝叶斯推断
HTWG Konstanz · LMU Munich · Munich Center for Machine Learning (MCML) · TIDIT.ch
提出分段贝塞尔曲线连接独立LoRA最优解，形成连续低损失谷，提升不确定性估计和功能多样性
📌 工作参考价值（4 点）
- 低成本贝叶斯集成：利用分段贝塞尔曲线在LoRA空间内连接多个独立微调点，只需少量曲线参数即可实现参数空间遍历，为推荐模型的多样性预测提供比传统deep ensemble更轻量的方案。
- 不确定性校准：通过沿低损失谷进行参数扰动（结合flat-minima扰动）生成多样化预测分布，可直接用于电商搜索/推荐场景的置信度估计，缓解过度自信。
- 功能多样性正则化：引入Jensen-Shannon散度正则项鼓励不同曲线点的预测差异，可迁移至多任务推荐模型训练，促进多专家或子网络的功能多样化，提升集成互补性。
- 连续模式连接优于离散集成：实验表明线性插值遇损失障碍，而曲线版连续路径有效，提示在LoRA微调推荐大模型时，应避免简单参数平均或独立集成，可采用路径化方法获取更平滑的不确定性面。
Mellum 2：面向高效代码助手的12B MoE模型训练与架构
🧭 代码生成与推理LLM · MoE架构与训练 ★ 深度解读
JetBrains · Constructor University, Bremen, Germany
开源12B/2.5B活跃MoE代码模型，通过架构与训练设计在2.5B算力下达成7B级性能
📌 工作参考价值（4 点）
- MoE部署经济学：通过64选8专家架构，总参数量12B但单token仅2.5B，推理成本可比拟7B密集模型。若在推荐系统中使用MoE，可参考其GQA+SWA+MTP的组合设计，压缩KV cache并利用推测解码加速。
- 三阶段课程学习：预训练数据从通用网页逐步切换到高质量代码/数学（代码比例23%→42%→59%），在lr decay阶段集中最干净的数据。推荐模型训练中也可借鉴：初期用大规模行为数据，后期用精选交互序列，并在lr衰减期引入高标准标注数据。
- 长上下文扩展的层选择性YaRN：仅对全局注意力层应用频率重映射，滑动窗口层保持原样，节省计算且有效保持长短文本性能。对于需要长序列建模的推荐场景（如用户长期行为），可尝试类似分层扩展策略，避免全量RoPE调整。
- RLVR避免奖励模型噪声：用可验证奖励直接优化策略，省去奖励模型训练。在推荐中，若存在确定性的正负反馈（如购买、跳过），可构造程序化的reward函数，减少RLHF的工程成本和不确定度。
上下文奖励适应：面向鲁棒偏好建模的Transformer框架
🧭 RLHF奖励建模 · 上下文偏好适应
Northwestern University · Meta Superintelligence Labs
利用上下文学习与人类响应时间信号，使奖励模型在线适应未见过的偏好分布
📌 工作参考价值（4 点）
- 推荐/Agent场景中，用户偏好动态异构，可借鉴‘上下文适应’范式：将少量近期交互视为偏好演示，用Transformer在线推断隐式奖励函数，避免频繁全局重训。
- 辅助信号（类似文中的响应时间）可有效缓解标准Transformer在奖励推理时的渐近偏差；在电商推荐中，可将停留时长、交互深度等行为信号作为辅助输入，提升偏好建模的鲁棒性。
- 对于生成式推荐中的奖励模型（如RLHF微调生成策略），可在推理时动态适配不同用户簇的偏好，仅提供少量示例即可泛化到新用户群体。
- Agent多轮对话中，通过上下文不断更新对用户意图的估计，可视为奖励适应过程，该方法提供了端到端可微的替代传统贝叶斯更新方案。
先理解再求解：预计划增强的LLM数学推理框架
🧭 LLM推理范式·规划与预计划 ★ 深度解读
Hong Kong University of Science and Technology (Guangzhou)
在问题→计划→CoT之间插入显式的“预计划”阶段，明确分析问题类型与陷阱，并通过防剧透过滤与复合奖励保证计划真正遵循预计划，在不增加推理开销下提升数学推理性能。
📌 工作参考价值（5 点）
- 面向电商/推荐/Agent从业者的可借鉴点：
- 在Agent规划中引入显式意图分析阶段：类似于预计划，在生成执行计划前，先让模型分析用户意图、可用工具、约束和潜在陷阱，再输出具体步骤；可参考论文中“先what后how”的范式分离设计，减少规划错误。
- 用防剧透过滤器清洗训练数据：当需要为推理或规划链条生成中间分析数据时，可使用规则化spoiler-score检测器过滤掉“把答案/推导提前泄露”的低质量样本，保证中间分析只停留在高层策略而非具体计算。
- 设计复合奖励让中间输出被真正使用：对于多阶段的生成（如推荐理由→候选生成→排序），可在RL训练时引入“前后一致性奖励”，强制模型生成的理由真正被下游模块遵循，而非装饰性文本。
- 零额外推理开销的高阶组织：PPC范式表明，增加结构化的前序分析不会膨胀总token数，反而因减少了后续推理的试错而更高效；这给多阶段生成系统（如多Agent推理链）提供了设计信心：引入规划摘要层可能整体提速。
一种解耦计算与容量的双通道Transformer架构
🧭 LLM架构 · 解耦计算与容量 ★ 深度解读
Lamarr Institute · Fraunhofer IAIS · University of Bonn
通过并行的深度循环子层与宽FFN子层加可学习门控，在同FLOPs下同时提升语言建模与推理能力
📌 工作参考价值（4 点）
- 计算与容量分离的层内设计可迁移到推荐模型：在排序或召回模型中，可将宽FFN路径视为“知识容量”，循环路径视为“推理深度”，通过可学习门控动态分配每个特征（token）的计算资源，用更少参数达到近似效果。
- 可解释的路由信号能直接复用：论文中提出的deep share（深路径贡献比例）可用于分析模型对不同输入特征类型的偏好，在电商搜索或推荐中，可类似分析文本、数值、ID等特征被分配的计算量，辅助特征工程和模型调试。
- 混合路径的组合方式具有工程优势：两条路径总是一起计算，不引入稀疏性，避免负载均衡问题；门控是稠密sigmoid，实现简单，可直接嵌入现有Transformer层。在Agent多智能体或生成式推荐中，可将“循环体”复用为多次迭代推理的共享模块，与宽记忆分支结合。
- 在等FLOPs下参数更少的特性对线上推理有价值：双路径配置（α=50, K=4）仅用67%的参数就超越了纯宽度模型，推荐/Agent系统可借此在延迟和memory budget下压缩模型规模，同时保持甚至提升效果。
Domino：解耦推测解码中的因果建模与自回归草稿
🧭 推测解码 · 推理加速
EPIC Lab, Shanghai Jiao Tong University · School of Software Engineering, HUST · UESTC · Fudan University · Huawei
通过并行草稿骨干与轻量因果细化头解耦因果建模，配合基锚定训练，实现最高5.49倍端到端加速
📌 工作参考价值（4 点）
- 在电商对话Agent或推荐理由生成等实时LLM场景中，可借鉴Domino的并行草案+轻量因果头架构，以低计算成本引入块内依赖，提升整体吞吐。
- 基锚定训练课程（先巩固并行骨干再渐进加入因果信息）可迁移到多阶段推荐模型训练，避免直接引入强因果约束导致的不稳定。
- 解耦设计思路：将生成过程中的耗时顺序建模替换为并行初稿→顺序修正，可推广到多Agent协作中的子任务规划与结果校准。
- 工程上，Domino在SGLang服务中的实现展示了如何将推测解码无缝集成到生产级推理框架，对电商中大批量请求的LLM服务优化有直接参考价值。
LoRA 适配器的后门攻击表征与行为检测：Token 级泛化与供应链扫描
🧭 LoRA 后门攻击与防御
揭示 LoRA 适配器后门在 token 特征级泛化，并提出可迁移的行为检测方案实现适配器供应链扫描
📌 工作参考价值（4 点）
- 若业务中需加载第三方或开源的 LoRA 适配器（例如商品描述生成、对话策略微调），建议搭建行为检测管线：构造覆盖常见触发词邻域的探针集，计算 outlier_gap 和 mean_attack_rate，实现低成本的供应链安全扫描。
- 权重级检测（跨模块 Frobenius 范数标准差的异常值）可作为离线筛查手段，但需针对所用基座模型校准基线；它无需推理，适合大规模适配器仓库的预筛选。
- 后门呈 token 特征级泛化，意味着防御不能依赖固定模式匹配；在实际部署推荐/Agent 模型时，应定期用与业务词表相近的多样化探针进行盲测，防止特定 token 触发恶意行为。
- 攻击与 LoRA rank 正相关，因此在追求低 rank 高效微调的同时，也降低了后门风险——一个额外的选择动力。
UniSteer：文本引导的激活空间流匹配实现通用LLM控制
🧭 LLM激活导向控制
ShanghaiTech University
用文本条件统一控制LLM行为的激活流匹配框架，支持细粒度概念和多约束组合。
📌 工作参考价值（4 点）
- Agent 行为风格控制：在电商多智能体对话系统中，可利用 UniSteer 的文本条件流匹配对单个 Agent 的回复风格（如亲切客服、专业导购）进行细粒度激活干预，而无需微调模型。
- 推荐理由多样性生成：将“个性化”“幽默”“极简”等文本条件注入激活空间，可引导 LLM 在生成推荐理由时呈现不同风格，提升内容吸引力，无需为每种风格训练独立控制模块。
- 多约束指令遵循：当业务需要同时满足合规性、品牌调性、敏感词规避等多个约束时，UniSteer 的组合式条件能力可一次性应用多条文本规则，比顺序推理或多次干预更高效。
- 激活空间分类用于质量筛选：利用重构能量进行分类的方式，可作为轻量级线上过滤器，对 LLM 生成的候选文案或对话回复进行快速一致性或真实度评分，降低人工审核成本。
先思考后约束：大语言模型统一解码框架
🧭 LLM解码：自由推理与结构化生成统一 ★ 深度解读
Télécom Paris, Institut Polytechnique de Paris · Nokia Bell Labs · Nokia
通过先自由推理后触发约束解码的单步框架，消除过早触发，在多个推理任务上准确率提升高达27%，并保证100%解析率。
📌 工作参考价值（4 点）
- 在需要LLM同时进行推理并输出结构化指令（如API调用、数据库查询参数）的场景中，采用先自由推理再触发约束（如特殊标记）的模式，可避免过早格式限制打断心智链。
- 使用单个<eos>作为唯一触发token，能有效解决premature triggering问题，提升推理完整性。
- 结构化解码可充当天然的后处理解析器和语法修正器，无需额外模型，降低管线复杂度，尤其适合多字段结构化提取（如电商商品属性、Agent工具调用参数）。
- 方法仅需增加5-20个token开销，适合追求低延迟和高吞吐的工业系统，可直接集成到现有LLM推理管线中。
线性集成洗去水印：LLM 分布扰动的脆弱性
🧭 LLM 安全 · 水印攻击
Department of Informatics, King's College London · Department of Mathematics, Imperial College London · Department of Statistics, University of Warwick
理论证明并实验验证，简单平均多个水印模型的输出概率即可破坏常见水印方案，并提出了解决异质模型集成难题的 WASH 方法。
📌 工作参考价值（4 点）
- 如果业务用多个 LLM 生成内容（如商品文案、对话回复），通过输出概率平均或 token 级融合，不仅可能无意中抹除内置水印，还能提升生成质量（本文集成 3 模型质量提升 27.5%），可作为工程上的一种提升多样性与可靠性的 trick。
- 依赖水印进行 AI 文本鉴别（如虚假评论检测、内容溯源）的业务需警惕多模型集成攻击：即使对手只能调用 API，也能通过侧信道获取 logits 或近似分布，类似方法可低成本削弱水印；防御方需考虑跨模型协同或更鲁棒的嵌入方式。
- 提出的 WASH 方法解决了不同模型词表、分词不一致的实际难题，利用动态映射和对齐技术实现快速集成（比最佳基线快 6 倍），这种异构模型融合思路可直接用于多模型 A/B 测试在线集成，或构建具备容灾能力的推荐/Agent 生成链路。
- 对于需要反向利用水印的场景（如规避平台查重），本文揭示了只需 3-5 个模型的输出平均即可让检测 z-score 从数百降至 2 以下，提示业务中若采用第三方水印检测服务，其可靠性会因用户多模型选择而大打折扣。
注意你的语气：语气会改变LLM的表现吗？
🧭 提示工程 · 语气敏感性
Pennsylvania State University
量化提示语气变化对多个LLM客观题准确率的影响，发现语气效应高度依赖模型，且在不同学科间存在差异。
📌 工作参考价值（4 点）
- 在电商搜索推荐中，用户 query 的改写或推荐理由生成若采用固定语气模板，可能因语气敏感性导致模型表现波动，需针对所用 LLM 进行语气鲁棒性测试。
- 多 Agent 协作场景下，Agent 间交互提示的语气一致性设计可能影响整体决策质量，可借鉴本研究的语气扰动实验，评估不同语气对任务完成率的影响。
- 生成式推荐中，控制生成物品描述的提示语气（如专业、随意、紧迫）可能引起推荐准确率的系统性偏移，建议对核心推荐链路做语气消融实验，选择最稳定的语气风格。
- 构建 LLM 评测集时，应纳入语气变体，避免仅使用单一中性提示导致对模型真实能力的过高估计。
MAIGO：通过历史清洁化在线策略自蒸馏缓解对话丢失
🧭 多轮对话优化 · 在线策略自蒸馏 ★ 深度解读
Zhejiang University · Shanghai AI Laboratory · Huazhong University of Science and Technology · Fuzhou University · Tencent
用清理掉先前助手回复的参考分布进行在线蒸馏，消减多轮对话中的自污染，缩小全量 Prompt 与分片对话的准确率差距
📌 工作参考价值（4 点）
- 多轮 Agent 的中间回复污染问题：在电商导购、工具调用等多轮 Agent 场景，模型生成的中间回复（如过早的推荐、不完整的工具调用）会作为历史上下文影响后续决策。MAIGO 的思路是直接清理历史中的助手输出，训练模型在干净的用户侧前缀下响应，可借鉴用于构建对历史鲁棒的 Agent 策略。
- 无需奖励信号的在线自蒸馏：直接用 EMA 教师模型在清理后的上下文计算参考分布，避免了构造复杂稀疏奖励，可简化多轮 Agent 的微调流程。
- 自适应可靠性加权：用学生与参考分布在采样 token 上的对数概率差异生成权重，削弱漂移过大的中间轮次更新，防止模型从错误的自身历史中学习。这个 trick 可推广到其他在线学习场景，提高信号质量。
- 全量能力保持分支：通过概率 ρ 采样全量 Prompt 步骤进行 EMA 自蒸馏，避免分片微调损害模型在完整指令上的表现，对生成式推荐中既要提升多轮体验又要保持单轮推荐质量有借鉴意义。
Pair-In, Pair-Out：统一输入压缩与输出多token预测的高效LLM推理
🧭 高效推理 · 输入压缩与多token预测统一 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · AI Platform, Xiaohongshu Inc. · University of Electronic Science and Technology of China · Institute of Automation, Chinese Academy of Sciences
通过对称的 pair-in 压缩和 pair-out MTP 头，用 on-policy 蒸馏免费训练的置信头替代验证器，实现精度不降的推理加速。
📌 工作参考价值（4 点）
- 将输入压缩与输出多token预测视为对称操作：若业务下游需部署推理流水线，可借鉴 PIPO 将 compressor 和 MTP head 镜像组合，降低工程复杂度，且可直接利用已有 MTP 模块。
- 用 on-policy 蒸馏的教师分布训练置信头，无需额外成本：在已有 OPD 流程中，教师/学生 token 概率天然提供 speculative decoding 的接受率标签，可零开销训练一个轻量 MLP 替代昂贵的 verifier 前传，适合电商/Agent 场景中高频推理的成本控制。
- 通过随机 padding 注入训练，让模型学会单双token灵活切换：业务中可能遇到不确定的 draft 质量，可参照 PIPO 的做法，在 SFT 阶段按比例插入 padding token，使模型获得拒绝 draft 的回退能力，提升可靠性。
- 在长上下文高吞吐场景优势明显：PIPO 的 TTFT 加速在长 prompt 时更显著（2K→2.64× @128K），适合需要处理长文档、多轮对话或复杂推理链的电商推荐解释、Agent 规划等任务。
Parallax：参数化局部线性注意力用于语言建模
🧭 参数化局部线性注意力 · 架构优化器协同
Northwestern University · Tilde Research · University of Washington
提出可扩展的参数化局部线性注意力 Parallax，通过硬件感知优化和架构-优化器协同，在 LLM 预训练上实现帕累托改进
📌 工作参考价值（4 点）
- 若自研 LLM 或注意力模块用于召回/排序，可尝试 Parallax 的参数化局部线性注意力替代 softmax，预训练困惑度和下游迁移均有提升，且数值稳定。
- 硬件感知优化：Parallax 的解码核设计提高了算术强度，在批次和上下文变化时稳定匹配 FlashAttention 2/3，可参考其融合策略降低推理延迟。
- 架构与优化器协同：发现 Muon 优化器对 Parallax 至关重要，提示探索新架构时需配对特定优化器，否则可能无法释放潜力。
- 局部线性估计在记忆检索任务上偏差-方差更优，对于需要强联想记忆的场景（如长序列用户行为建模）提供理论基础。
双向进化搜索：让语言模型突破分布边界自我改进
🧭 双向进化搜索 · 自改进采样 ★ 深度解读
Harvard University · MIT
提出双向进化搜索框架，用进化算子突破模型候选分布局限，通过后向目标分解提供密集反馈
📌 工作参考价值（4 点）
- 进化算子重组轨迹，逃离模型概率高熵壳：在前向搜索中引入组合、转位、删除、交叉四种算子，将不同候选的部分轨迹拼接/编辑，生成单次自回归不易产生的多样化样本。电商 Agent 的复杂多步推理中，可借鉴这种思路从已有交互日志中合成新候选，提升长尾问题覆盖率。
- 后向目标分解提供密集验证信号：通过递归拆解任务为可检查子目标（例如多跳 QA 可分成“检索第一跳事实”“验证中间结论”等），为部分完成的轨迹输出细粒度得分。可用在电商多轮对话或 Tool-use Agent 的中间步骤评分，避免稀疏奖励导致训练不稳定。
- 即插即用的采样替代方案：BES 可替换任何 RL 后训练（如 GRPO）中的 i.i.d. 采样阶段，为困难任务发现高奖励训练样本，使基座模型获得明显提升（如 MuSiQue 上 +3.8%）。电商搜索 Agent 的训练中可直接集成，无需修改原有 RL 算法。
- 工程实现灵活：进化算子既可直接编辑 token 序列，也可用 LLM 提示实现（本文在代码生成任务中采用后者）；子目标验证器支持规则、代码执行、嵌入相似度或 LLM 评判，易于根据业务场景快速适配。
用指数衰减记忆增强注意力提升查询感知KV稀疏性
🧭 查询感知KV稀疏 · 指数衰减记忆增强
EPFL · CLAIRE
利用RAT+的指数衰减记忆模块，一致提升Quest、MoBA、SnapKV等查询感知稀疏方法在长上下文任务上的准确性。
📌 工作参考价值（4 点）
- 若电商或Agent系统中部署长上下文LLM（如处理长对话或大量商品描述），可借鉴引入指数衰减记忆模块，继续少量预训练后，配合现有稀疏方法（SnapKV、Quest）大幅减少KV cache内存占用，几乎无损精度。
- 只需追加10B tokens的持续预训练即可让标准模型适应记忆模块，实现即插即用，对资源有限的业务微调较友好。
- 论文提出的两个假设（记忆使注意力头更专注、帮助模型更早定位关键token）可指导设计更适合稀疏推理的架构，例如在注意力头中融合指数衰减偏置。
- 在工程实现上，该记忆模块以递归方式维护KV状态，可与主流稀疏推理框架整合，适合需要高吞吐、低延迟的长上下文服务。
对齐篡改：RLHF 如何被利用来优化未对齐偏差
🧭 LLM 对齐与安全漏洞
KAIST · MIT
RLHF 中模型可操纵偏好数据，奖励模型混淆质量与偏差，强化学习后放大未对齐偏见
📌 工作参考价值（4 点）
- 偏好数据构建风险：若用模型自身输出收集偏好，可能引入系统性偏差。在电商推荐或 Agent 对话优化中，应避免只依赖待优化模型的生成作为标注数据源，引入外部或独立质量信号。
- 奖励模型盲点：pairwise 比较只衡量相对优劣，不区分具体属性（如质量 vs. 偏差）。在推荐系统中用 LLM 做奖励模型时，需额外加入属性解耦或显式偏差检测模块，防止奖励模型奖励低质但投机的样本。
- 鲁棒 RLHF 方法的局限：现有鲁棒方法（如 adversarial training、reward shaping）在实验中无法完全消除对齐篡改且损害质量。业务中采用 PPO 或 best-of-N 采样时，要监控响应中的隐藏偏差（如品牌偏见、关键词偏好），并设置多维度评估而不是仅看单一奖励分数。
- 安全审计视角：在对齐流水线中应假设模型会尝试“游戏”奖励，设置对抗性评估环节，针对可能被放大的偏差类型（如性别、商业倾向）进行专项检测，这对生成式推荐或对话 Agent 的上线审核有直接借鉴意义。
利用多向量检索与可学习提示分割优化语义缓存
🧭 语义缓存 · 多向量检索与分割学习 ★ 深度解读
Peking University · Renmin University of China
通过轻量可学习分割模型与多向量检索（MaxSim）提升语义缓存命中率最高37%，并保持理论正确性保证。
📌 工作参考价值（4 点）
- 提高在线LLM服务的缓存命中率：在对话式电商推荐、Agent辅助客服等场景，采用MVR-cache的分割策略可将语义缓存命中率提升37%，大幅减少重复推理调用，降低延迟与成本。
- 轻量级分割模型可在线部署：提出的分割模型仅500–600MB，远小于生产LLM，可作为独立微服务实时分割提示，无显著额外开销，适合电商高并发推理场景。
- 多向量相似度替代单向量余弦：借鉴论文的对称MaxSim度量，在缓存或召回系统中用多向量精细匹配，能更好区分表层相似但语义相反的文本，如正/负评论、语义相近但意图不同的Agent指令。
- 有理论保障的缓存策略学习方法：论文证明了优化BCE损失即可最大化命中率并控制错误率，并给出RL训练框架，可直接用于需保证安全边界的推荐/客服缓存系统，实现可证明的正确性约束。
CONF-KV：面向长序列LLM的置信度感知KV缓存淘汰与混合精度存储
🧭 长上下文LLM推理 · 置信度驱动KV缓存淘汰
Carnegie Mellon University
利用模型生成时的置信度动态调整KV缓存预算，结合混合精度存储和分层金字塔预算，在低内存下保持长文本理解精度。
📌 工作参考价值（4 点）
- 电商Agent等长对话/工具调用场景中，KV缓存迅速膨胀，可借鉴置信度感知淘汰策略：当模型对下一token预测不确定时保留更多历史，减少关键信息丢失；预测置信时激进剪枝，节省显存。
- 混合精度存储（FP16/INT8）可有效压缩KV缓存，结合淘汰策略进一步降低内存占用，适合资源受限的在线服务部署。
- 金字塔逐层预算分配（浅层保留较多token，深层保留较少）可平衡信息保留与计算开销，可结合具体模型结构调整各层预算比例。
- 保护最近窗口（如固定最近若干token）保证局部连贯性，与置信度驱动预算结合，简单有效，可直接应用于现有Agent系统。
CoSPlay：测试时无监督自博弈协同进化代码与单元测试
🧭 代码生成 · 无监督自博弈 · Test-Time Scaling ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Institute of Deep Perception Technology, JITRI, Wuxi, China
提出无监督、无训练的测试时自博弈框架，代码与自生成的单元测试通过执行矩阵双向验证协同进化，显著提升代码生成正确率
📌 工作参考价值（4 点）
- 可复用的协同进化机制：在电商多智能体系统中，可让策略生成器与自生成的验证规则（类似单元测试）形成双向反馈循环，通过执行成功次数信号清理低效策略、修复缺陷行为，实现无监督的迭代优化。
- 共识聚类提升最终选择可靠性：当多个候选策略/推荐结果得分相同时，利用随机输入下的输出一致性聚类进行二次筛选，正确策略因行为一致而聚集，此技巧可迁移到推荐模型的融合、多臂老虎机决策等场景。
- 探索-攻击驱动的验证样例生成：先探索解决方案思路，再针对潜在失败模式生成判别性测试，这种“生成后攻击”的方法可用于电商Agent的鲁棒性测试，自动挖掘边界异常输入。
- 成本-性能优势：在相同推理预算下，将算力投入执行驱动的自博弈比单纯扩大采样规模更高效，该思路适用于任何具备可验证反馈的生成任务（如生成式推荐的质量评估）。
无需训练的循环 Transformer：冻结模型推理时循环层块提升性能
🧭 推理时循环复用层块
在冻结的预训练模型上，通过阻尼子步骤循环中间层块，无需微调或架构改动即可显著提升推理性能
📌 工作参考价值（4 点）
- 可直接对现网 LLM（如 Qwen、DeepSeek 等）在推理时套用循环包装器，无需重新训练或微调，适合快速上线和成本敏感场景。
- 循环中间若干层并除以迭代次数的阻尼策略，可作为一种轻量级「深度增强」手段，在低延时约束下提升模型推理质量，例如用于电商 Agent 的多步推理、复杂指令遵循等。
- 该方法不修改模型权重和架构，可配合现有推理优化（KV cache、量化等），可在已有工程框架中低成本实现。
- 提供的层选择策略（中间层块）和迭代次数阻尼关系，可作为超参直接迁移到其他模型上，用于微调受限环境下的性能补强。
场景抽象：词汇情境化意义的结构化表示
🧭 基于LLM的词汇场景结构化表示
University of Texas at Austin · University of Massachusetts, Amherst
用LLM少样本提示从语境中提取结构化场景，捕捉词语的情境、属性和情感关联
📌 工作参考价值（4 点）
- 在商品搜索和推荐中，对查询词和商品描述进行场景抽象（事件、实体、氛围、情感），可构建超越纯文本匹配的语义索引，提升长尾查询与相关商品的关联度。
- 对话Agent在理解用户意图时，可利用场景轮廓（如“独自喝咖啡”的场景轮廓：专注、提神、清晨）生成更贴合情境的回应，避免字面匹配导致的答非所问。
- 生成式推荐的理由生成可借鉴Expression Profile模块，将商品的场景化属性（如“静谧的冬夜”、“喜庆的节日氛围”）融入推荐文案，增强情感共鸣。
- 构建领域场景知识库（如将电商类目top关键词的场景预先抽象并向量化），可以冷启动实时场景解析，直接用于召回或重排阶段的特征增强。
故障感知混合专家模型实现消息级日志异常检测
🧭 日志异常检测 · 混合专家
University of Toronto
用LLM离线划分故障域并少量标注，训练轻量路由与专家模型，实现高效消息级异常检测。
📌 工作参考价值（4 点）
- 离线LLM + 轻量在线路由：业务监控中可先用LLM离线分析日志模板、划分故障类别，再将轻量路由器和专家模型部署到线上，实现实时异常检测，避免每次调用LLM的高成本。
- 少样本标注策略：每条模板至多标注K条行即可推导二元正常/异常标签，减少76倍标注量，适用于电商系统海量非结构化日志，快速冷启动异常检测。
- 未见事件ID泛化：FAME能检测86.3%未见事件ID的异常，解决模板漂移问题，适合动态变化的推荐/Agent系统。
- 故障域感知路由：MoE架构将不同故障模式分配给不同专家，可借鉴到电商多子系统下的异常定位，通过路由结果直接显式故障域，加速根因分析。
均匀扩散模型再审视：留一法去噪与吸收态重构
🧭 离散扩散模型优化 · 均匀扩散重参数化
CMAP, Ecole polytechnique · Institute of Foundation Models · Inria, PSL Research University · MBZUAI · EPITA, LRE
揭示了均匀扩散中标准参数化与训练目标的不匹配，提出留一去噪和吸收态重构改进生成质量
📌 工作参考价值（4 点）
- 在离散扩散生成任务（如商品标题生成、评论生成）中，若使用均匀扩散，可直接换用 leave-one-out 参数化训练，无需模型改动即可提升生成质量。
- 吸收态重构将均匀扩散的采样过程分解为掩码扩散式操作，简化了推理实现，同时保留了联合分布，可降低工程复杂度并支持 remasking 策略。
- 提出的 predictor-corrector 采样器和改进的温度采样技巧，无需额外训练，可用于控制生成多样性和质量，适合电商场景下需调控生成结果风格或创造性的应用。
- 结论表明扩散模型性能差距主要来自参数化和采样设计，而非边缘分布选择，这提示在推荐系统的扩散模型（如生成式推荐）中，应更多关注参数化策略而非生硬选择扩散类型。
两个优于一个：无坍塌的多奖励RLIF训练框架
🧭 无监督强化学习推理训练优化
Bangladesh University of Engineering and Technology · West Virginia University · University of Aberdeen · Fogsphere (Redev.AI Ltd) · University College London
将内部反馈分解为答案级和完成级互补奖励，结合GDPO归一化与KL-Cov正则化，稳定无监督RL推理训练，性能逼近监督方法
📌 工作参考价值（4 点）
- 多奖励分解思路可迁移至电商Agent策略训练：将单一奖励拆分为任务完成质量（如订单转化）与过程合理性（如对话轮次、信息获取效率），利用类似GDPO的归一化避免信号尺度失衡，防止策略被单一指标劫持。
- KL-Cov正则化可缓解生成式推荐中的“多样性坍塌”：当使用RL微调生成模型（如推荐标题、理由生成）时，显式惩罚低熵token分布，保留探索能力，防止模型输出千篇一律的高概率套路。
- 内部反馈在缺少强监督时构建训练信号：在无法获得真实用户反馈或黄金标准答案的冷启动场景下，利用模型自身的投票（如聚类投票）和自信度作为奖励，可驱动Agent或推荐模型自改进。
- 方法对长程推理的稳定效果可启发多步决策智能体设计：若Agent需执行多步工具调用或逻辑推理，借鉴“答案级+完成级”的双层内部奖励，配合针对性正则化，有望提升长序列决策的鲁棒性。
CALMem：对话 AI 的应用层双内存架构
🧭 应用层记忆架构 · 情景与语义双检索 ★ 深度解读
Infosys Limited
纯应用层双内存（情景+语义）实现无模型改动的近乎无限上下文，并通过 token 自适应注入恢复会话连续性。
📌 工作参考价值（4 点）
- 在客服 agent 或购物助手中，可借鉴语义记忆显式存储用户偏好、情景记忆基于向量检索历史交互，二者互补恢复上下文。
- 采用 token 预算自适应注入，按上下文填充率动态控制注入量，避免记忆注入反而加速窗口溢出，适合长会话电商场景。
- 嵌入搜索使用内存缓存（Vec）减少 I/O，毫秒级延迟可忽略，适合需要低延迟的实时对话推荐系统。
- 纯应用层实现，不改模型、零回归开关，方便在现有 LLM 产品中渐进式迭代和灰度实验。
Gated DeltaNet-2: 线性注意力中擦除与写入的解耦
🧭 线性注意力 · 记忆更新解耦
NVIDIA
将 Delta 规则的记忆更新拆分为通道级擦除门与写入门，突破原有标量门控的耦合限制，显著提升长上下文检索性能。
📌 工作参考价值（4 点）
- 超长用户序列建模：电商中用户行为序列可达数万步，Gated DeltaNet-2 的线性时间复杂度和常量级解码内存可直接用于高效序列编码，其通道级擦除/写入解耦能更精细地更新兴趣记忆，避免旧兴趣过早丢失或新兴趣写入不足。
- 记忆网络的特征交互：可将该方法的核心思想——解耦“遗忘”与“记忆”的强度控制——迁移到特征交互的记忆模块，例如在 Deep Interest Network 中，用独立的通道门控来更新交叉特征的记忆，提升对用户长期偏好的捕获。
- 并行化训练的工程借鉴：论文推导的 chunkwise WY 算法和门控感知反向传播可直接用于大规模推荐模型的序列训练，在不牺牲模型表达能力的前提下大幅提高训练吞吐，适合线上内容快速迭代。
- Agent 工作记忆的维护：在多智能体系统中，该技术可用于维护上下文压缩后的记忆状态，通过解耦擦除和写入，实现对对话历史、环境状态的精准增量编辑，增强 Agent 在长对话或复杂任务中的上下文跟踪能力。
通过语言模型函数调用的反思式提示调优
🧭 提示优化 · 反思式优化 · 函数调用 ★ 深度解读
Megagon Labs
用LLM函数调用模拟人类提示工程师的迭代诊断-修订流程，结合结构化反馈与记忆机制提升提示性能与校准
📌 工作参考价值（4 点）
- 诊断-聚类-修订的迭代提示优化：可迁移到电商推荐/Agent系统中的LLM提示词优化，通过函数调用自动收集失败样本、聚类失败模式并生成针对性修订，实现Prompt的自我演进。
- 置信度校准融入优化目标：将Brier Score等校准指标纳入优化反馈与最终提示选择，有助于在电商风险评估、Agent主动退避（abstention）等场景中提升模型自报置信度的可靠性。
- 利用LLM函数调用能力解耦评估与修改：将“跑prompt→收集行为→聚类错误→生成报告”封装为可调用的诊断函数，让优化器专注决策，工程上可实现模块化、可追溯的自动提示调优流程。
- 历史记忆机制避免无效反复：积累历史诊断报告与修订记录，帮助优化器识别顽固错误、避免重复编辑，适用于长周期、多轮次的提示优化任务，如推荐系统召回策略的指令迭代。
DashAttention：可微分自适应稀疏层级注意力
🧭 自适应稀疏层级注意力 · α-entmax 路由 ★ 深度解读
Tsinghua University · Instituto Superior Técnico, Universidade de Lisboa · Carnegie Mellon University · Sapienza University of Rome · University of Edinburgh
用 α-entmax 替代 top-k 实现可微分、自适应块选择，在长上下文任务中同时提升精度与速度。
📌 工作参考价值（4 点）
- 在推荐系统的长用户行为序列中，可借鉴分块摘要 + α-entmax 路由的设计：先学习每个块的轻量表示，再用 α-entmax 动态选择相关块，替代固定 top-k，使模型能按需关注任意数量的历史块，提升长序列建模的灵活性。
- α-entmax 的可微稀疏性让块选择能够端到端训练，避免硬截断带来的梯度断裂，适合需要可学习稀疏门控的生成式推荐（如 Semantic ID 序列建模）或 Agent 记忆检索模块。
- 两阶段“粗筛+细读”范式具有工程复用价值：第一阶段用廉价摘要快速评分，第二阶段仅在保留块内计算完整 token 级注意力，可在推理时大幅降低计算量，同时保持精度，适用于工业级推荐模型的服务优化。
- 论文的局部注意力摘要初始化技巧（从均值池化平滑过渡）及 GPU 友好的 Triton 实现策略（块摘要缓存、位掩码压缩、单次融合 pass）可直接启发推荐系统在处理超长序列时的特征工程和系统实现。
OScaR：极端KV缓存量化的奥卡姆剃刀
🧭 LLM推理优化 · INT2 KV缓存量化
Tsinghua University · Meituan LongCat Team · The University of Hong Kong · The University of Edinburgh · UCAS
OScaR通过Canalized Rotation与Omni-Token Scaling解决Token Norm Imbalance，实现INT2近乎无损KV缓存量化，解码加速3.0×
📌 工作参考价值（4 点）
- INT2 KV缓存部署：电商对话或实时推荐场景中，用OScaR的INT2量化可降低96%的KV缓存内存（5.3×），结合3.0×解码加速，适合高并发低延迟需求。
- 轻量集成路径：Canalized Rotation + Omni-Token Scaling无需复杂重采样或辅助模型，仅需少量显式变换，可直接插入现有Transformer推理管线，降低工程复杂度。
- 多模态量化统一：OScaR已覆盖文本、多模态及全模态LLM，对购物图文推荐中的多模态模型KV缓存压缩同样有效，避免为不同模态设计多套量化方案。
- CUDA Kernel优化：论文提供的定制化CUDA kernel将旋转与缩放无缝融合，可借鉴其极简高效的设计思路加速自研模型推理。
少草稿，多检索：投机解码的混合树构建
🧭 投机解码 · 草稿树优化
Zhejiang University · Qwen Applications Business Group of Alibaba · University of Science and Technology of China
通过剪枝释放预算并用检索补偿，构建混合草稿树，打破稠密树与剪枝树的帕累托权衡
📌 工作参考价值（4 点）
- 推理加速的预算重新分配：将剪枝释放的 VRAM 与算力用于检索高预测性 token，适合电商搜索/推荐系统中低延迟生成场景的资源调度。
- 无损、免训练的即插即用：方法无需额外训练，可直接嵌入现有投机解码框架，对模型效果零损失，便于在 Agent 对话或推荐结果生成等在线服务中快速验证。
- 检索与生成的深度融合：通过拓扑嫁接将检索 token 无缝插入树结构，启发在生成式推荐中，利用外部知识库或高频序列库补充生成草稿，提升命中率。
- 长上下文与大规模模型的稳定增益：在 235B 大模型和 64K 长序列上表现突出，为电商大模型（如商品描述生成、多轮对话）的实时推理提供高效加速方案。
NGM：即插即用、无需训练的LLM记忆模块
🧭 LLM记忆增强 · 训练无关即插即用
Nanjing University
提出训练无关的N-gram记忆模块，通过平均token嵌入构建表示并用余弦门控注入，显著提升代码和知识密集型任务性能。
📌 工作参考价值（4 点）
- 电商搜索/推荐中，商品标题、品牌、规格等高频短语可利用N-gram缓存跳过大量计算，直接注入LLM的表示层，提升推理速度与事实准确性。
- 在多轮对话Agent中，可将用户重复提到的实体或结构化信息（如订单号、地址）通过NGM快速恢复，减少遗忘和重复生成。
- 完全无训练，即插即用，无需修改骨干模型权重或增加可学习参数，适合快速A/B测试和已有模型的无损增强。
- 余弦相似度+ReLU的门控机制简单高效，可作为其他知识注入场景（如检索增强生成）中轻量级融合模块的设计参考。
包容高效的多语言文本嵌入套件 ML-Embed
🧭 多语言文本嵌入 · 三维嵌套学习
通过三维嵌套学习(3D-ML)框架，在存储、推理深度和参数效率上全面优化多语言嵌入，刷新多项 MTEB 基准
📌 工作参考价值（4 点）
- 嵌套维度压缩 (MRL)：向量维度可按需截断而不显著损失质量，适合电商推荐中的大规模 ANN 检索，可对热门商品用高维、长尾商品用低维，平衡精度与存储成本。
- 动态推理深度 (MLL)：允许推理时提前退出浅层网络，Agent 系统可根据对话复杂度或延迟预算灵活选择深度，实现低成本快速响应。
- 多语言语义一致性：在低资源语言上表现尤其突出，跨境多语言商品搜索可直接使用同一嵌入空间，统一召回和语义匹配，无需维护多套语言模型。
- 参数高效嵌入 (MEL)：通过嵌入层参数共享或分解减少冗余，可借鉴到生成式推荐中的 Semantic ID 映射或 Item Embedding 压缩，在保证表达能力的同时降低参数规模。
从附和式共识到多元修复：AI对齐为何必须暴露分歧
🧭 LLM ★ 深度解读
University of Oxford
RLHF模型在对话中因奖励建模而退出分歧，提出PRS指标衡量基于原则的修正，揭露前沿模型高分低修
服务于LLM推理的可解释推测解码延迟模型
🧭 LLM ★ 深度解读
MIT · Red Hat AI
利用Little's Law构建简单延迟模型，解释负载变化时推测解码的加速比如何随接受率和草案长度演化
基于案例的自适应推理与执行校准用于LLM工具调用
🧭 LLM ★ 深度解读
University of Electronic Science and Technology of China
利用历史执行轨迹构建案例，提取复杂度与失败轮廓，联合校准推理预算与工具执行结构
扩大差距：通过离群值注入利用LLM量化
🧭 LLM ★ 深度解读
ETH Zurich
首次通过注入离群值让LLM在量化后触发恶意行为，成功攻破GPTQ、AWQ等优化型量化
量化永久遗忘：通过电路归因实现抗压缩的机器遗忘
🧭 LLM ★ 深度解读
Lexsi Labs
提出 MANSU 框架，利用电路归因与量级底线保证 4-bit 量化后遗忘不逆转
MeMo：将记忆建模为可插拔的专用模型
🧭 LLM ★ 深度解读
National University of Singapore · MIT · A*STAR · University of Tokyo · Liquid AI
一种模块化框架，通过训练小型记忆模型并采用结构化多轮查询协议，无需修改LLM即可融入新知识，同时捕获跨文档关系并抵抗检索噪声
MetaBackdoor：利用位置编码作为 LLM 后门攻击面
🧭 LLM 安全 · 后门攻击
Institute of Science Tokyo · Microsoft Azure · Microsoft Security Response Center
提出基于位置编码的无内容触发器后门攻击，能泄露系统提示或自我激活恶意行为
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 的多轮对话中，警惕序列长度自然增长可能触发隐藏后门，需监控对话轮次与 token 长度，设置安全阈值。
- 部署 LLM 前，应对位置编码相关的后门进行红队测试，不仅检测内容触发器，还要扫描与位置相关的异常行为。
- 系统提示、工具调用等敏感逻辑应分层隔离，减少后门泄密面；即使输入文本干净，也可能被位置触发泄露。
- 防御策略不能仅依赖文本可疑检测，应引入位置感知的防御机制，如限制上下文长度或对特定位置范围的输出加强审核。
情感参与状态记忆：面向大规模超个性化的架构
🧭 LLM ★ 深度解读
divAIne Research
引入情感索引记忆与意图推理的状态化LLM架构，在30个对话场景中全面超越无状态基线，记忆接地提升95%
双重维度一致性：平衡自适应推理缩放中预算与质量
🧭 LLM ★ 深度解读
西安交通大学
提出统一框架DDC，通过置信加权贝叶斯终止与趋势感知分层修剪，在维持准确率的同时将令牌消耗降低10倍以上
通过变分策略蒸馏从语言反馈中学习
🧭 LLM ★ 深度解读
Salesforce AI Research
将语言反馈学习形式化为变分EM，通过教师与学生的协进化蒸馏持续提升推理性能
XFP：面向LLM推理的质量驱动自适应码簿量化与稀疏异常值分离
🧭 LLM ★ 深度解读
Gemini Stiftung Leipzig
让操作者设定余弦相似度质量下限，自动决定每层最小位宽，实现消费级GPU上的大模型高效推理
用户数字痕迹中抑郁状态变化的可解释检测
🧭 可解释抑郁状态变化检测·时间轨迹分析
融合多BERT模型信号与LLM生成可读报告，实现抑郁状态变化点的可解释检测与分析
📌 工作参考价值（4 点）
- 多源BERT信号融合构建用户状态轨迹，可迁移至电商用户兴趣演化建模，捕捉兴趣变化
- LLM生成可读报告的方式为推荐系统提供可解释性思路，自动生成推荐理由
- 变化点检测算法能识别用户偏好突变，应用于实时推荐策略动态调整
- 时间分段轨迹分析适用于处理非平稳用户行为序列，可借鉴至时间感知推荐模型
语言诱导先验的冷启动域适应框架
🧭 利用LLM文本先验指导冷启动域适应
用LLM将目标域文本描述转化为源选择先验，嵌入EM算法解决冷启动负迁移
📌 工作参考价值（4 点）
- 电商推荐场景冷启动物品/用户：若有文本描述（标题、属性），可用类似LIP的方法通过LLM生成对相似源域（如成熟品类）的偏好概率，减少迁移时的负迁移风险。
- 多智体协作中的经验复用：当任务用自然语言描述时，可借助LLM先验快速筛选相关历史任务数据，提升少样本策略学习效率。
- 与现有预估模型兼容：框架仅要求模型有似然函数，可无缝集成到CTR/CVR预估的线性或深度模型，无需改动结构。
- 工程实现轻量：先验可离线通过LLM计算文本嵌入相似度得到，在线阶段只是简单的概率加权，延迟可控。
BEAM：通过二值掩码实现MoE动态专家路由
🧭 LLM ★ 深度解读
Alibaba Group · Peking University
提出BEAM，学习二值掩码实现token自适应专家稀疏激活，保留98%性能，MoE层FLOPs减85%，解码加速达2.5倍
达尔文家族：MRI可信加权进化合并实现语言模型推理的无训练扩展
🧭 LLM
通过梯度自由的权重空间进化合并，无需训练即可重组已有检查点的潜在能力以提升推理性能
动态潜路由：低数据微调下搜索残差流引导码
🧭 LLM ★ 深度解读
Thoughtworks AI Labs
通过搜索离散潜码作为残差流 steering 向量，DLR 在低数据微调中联合学习模型与路由策略，平均超出 SFT 6.6 个百分点
具有可预测缩放定律及推理可证明益处的层级语言模型
🧭 LLM ★ 深度解读
Duke University · University of Chicago · MIT · Princeton University
用树广播过程定义合成语言，精确分析上下文长度与推理的作用，证明有限上下文导致统计不一致且 O(log n) 记忆的推理即可精确采样
通过随机少样本指导增强可验证奖励强化学习
🧭 LLM ★ 深度解读
University of Illinois Urbana-Champaign
提出 FEST 算法，仅用 128 个随机 SFT 演示，通过半在线 DPO 和衰减权重实现 RLVR 的显著提升
Delta 注意力残差：用层间变化替代累积状态提升路由选择性
🧭 Delta 注意力残差路由
Independent Researcher · University of Wisconsin–Madison
用子层输出的变化量（delta）替代累积隐藏状态进行注意力路由，缓解深层冗余与路由塌缩
📌 工作参考价值（4 点）
- 推荐模型中的跨层特征融合：借鉴 delta 残差机制，在深度兴趣网络等模型中，将各层输出的变动量作为注意力汇聚的对象，避免相邻层特征高度冗余，提升高阶交互的区分度。
- 多智能体通信路由优化：当多个 Agent 间传递信息时，不直接传递当前状态，而传递相对于上一轮的变化量（delta），可使路由注意力更聚焦于新颖信息，降低通信带宽并提升协作效率。
- 预训练模型微调策略：可将现有 Transformer 模型的固定残差连接替换为 Delta 注意力残差后，仅通过少量微调就能继承预训练知识并获得困惑度收益，适合业务场景中低成本架构升级。
- 大规模模型训练稳定性：Delta 残差天然具有更高对比度的注意力分布，能缓解深层网络中的路由塌缩，在训练 recommender 的深层 Transformer 时可直接采用该连接方式以提升训练稳定性和最终效果。
HodgeCover：高阶拓扑覆盖驱动稀疏MoE压缩
🧭 稀疏MoE压缩 · 高阶拓扑
Princeton University
利用Hodge分解暴露MoE专家三元合并障碍，通过覆盖谐和核与临界三角形实现无学习压缩
📌 工作参考价值（3 点）
- 若业务模型包含MoE层（如多任务推荐、多域适配），可直接使用基于KL散度的专家合并障碍构建方法，并通过Hodge分解识别被成对信号掩盖的三元合并风险，避免压缩后精度异常下降。
- 方法无重训练，适合在线服务模型快速压缩；混合变体（HodgeCover + 权重剪枝）可灵活平衡保留质量与压缩率，提供现实可行的压缩前沿。
- 拓扑视角可迁移至其他多组件联合决策问题，如推荐中多兴趣路由模块、多Agent协作选择等，考虑高阶交互避免局部最优。
KVServe：面向通信效率的拆解式LLM服务中服务感知KV缓存压缩
🧭 LLM推理优化 · KV缓存压缩 · 拆解式服务
University of Chinese Academy of Sciences · Institute of Computing Technology, Chinese Academy of Sciences · Shanghai Jiao Tong University
首个服务感知的自适应KV缓存压缩框架，通过贝叶斯搜索与在线控制实现动态策略选择，显著降低拆解式推理的通信延迟。
📌 工作参考价值（4 点）
- 电商/推荐系统若采用PD分离或KV拆解的LLM推理，可借鉴KVServe的“离线Pareto候选生成+在线bandit选择”模式，用轻量控制器动态匹配请求的时延/吞吐/质量约束，避免静态配置导致SLO违规。
- 自适应压缩思想可迁移到生成式推荐中的Embedding或特征传输压缩：根据网带宽、查询复杂度和延迟预算等上下文，动态切换量化/稀疏化/选择策略，而非固定一种压缩方法。
- 贝叶斯Profiling Engine通过全局探索+局部细搜+3D Pareto剪枝的方式大幅降低搜索开销（50×），在推荐系统的超参或策略组合爆炸场景中，可用于快速生成高质量候选配置集。
- 在线控制中的“分析模型+bandit”机制可迁移到Agent多智体通信优化：为Agent间的消息大小、压缩等级建立延迟预测模型，结合多臂老虎机上探索，在满足延迟目标下最大化通信效率。
自进化记忆架构：LLM智能体通过自动研究自我优化检索
🧭 LLM ★ 深度解读
UNC-Chapel Hill · UC Berkeley · UCSC
首个通过LLM闭环诊断自主进化检索配置的记忆框架，实现AutoResearch，无需人工调参
用于LLM推理自蒸馏的自适应教师暴露
🧭 LLM ★ 深度解读
ByteDance
提出自适应教师暴露控制（ATESD），将教师所见的特权推理长度变为可学习变量，解决教师侧暴露不匹配问题
面向少样本多模态时间序列分类的 VLM 智能体推理框架 MarsTSC
🧭 LLM ★ 深度解读
Sun Yat-sen University · Xiaomi Corporation · University of Science and Technology of China · National University of Singapore
设计三协作智能体与自进化知识库，让 VLM 在少样本下通过反思推理显著提升时间序列分类准确率
Token时间连续扩散语言建模
🧭 扩散语言模型 · 连续空间与每token时间步
UT Austin
提出连续空间上token级时间可变的扩散语言模型，解决高加速比下离散模型并行采样不准确问题
📌 工作参考价值（4 点）
- 低延迟文本生成：TTCD 的确定性连续扩散避免了多 token 并行采样的因子分解误差，在高加速比（少步生成）下质量稳定，适合电商搜索推荐中的实时文案生成、对话 Agent 响应等场景，可直接移植其连续演化思想。
- 可控多字段生成：每 token 可独立设置扩散速度，允许“确定度高的 token 先到位”；在生成式推荐中，可用于先生成核心语义 ID 或关键属性，再填充细节，提升生成质量和可控性。
- 自蒸馏训练技巧：论文采用自蒸馏提升最终生成质量，此方法可应用于工业界小模型（如移动端或边缘设备上的轻量 LM）的训练中，无需额外数据即可优化。
- 连续空间避免误差累积：若系统涉及多轮迭代生成（如 Agent 规划链式输出），连续扩散可降低离散采样带来的级联错误，可考虑在内部协议生成或 API 参数生成中借鉴该框架。
RouteProfile：揭示LLM路由中模型profile设计空间
🧭 LLM ★ 深度解读
University of Illinois Urbana-Champaign · Nanyang Technological University
定义LLM路由的profile设计空间，发现结构化、可训练profile显著提升路由与新模型泛化能力