训练无关 MoE 专家剪枝中的替换算子与路由语义
🧭 MoE 专家剪枝 · 替换算子与路由语义 ★ 深度解读
School of Electrical Engineering and Computer Science (SEECS), National University of Sciences and Technology (NUST) · Deep Learning Laboratory, National Center of Artificial Intelligence (NCAI), NUST
固定剪枝掩码，系统比较 MoE 专家替换算子与门控尺度，提出倾斜新手算子并揭示 trained-scale rule
📌 工作参考价值（4 点）
- 部署 MoE 推荐/Agent 模型时，剪枝后不要默认 renormalize 幸存者 gate；先检查原模型 router 是否在训练时做了 top-k renormalization，保留与其一致的 gate scale（trained-scale rule），否则可能掉 0.8–8.5 个点，甚至反转 rerouting 是否优于均值常数。
- 若要对剪掉的专家做廉价替代，可用 tilted novice：只存一个低秩输入映射（rank-32 甚至 rank-8），参数增加约 1.2–1.8%，在多项选择和生成任务上稳定优于均值常数，且对 3/4-bit 量化鲁棒；比保留更多专家更省参数。
- 评估剪枝模型不能只看 MCQ；务必加入 GSM8K、代码生成等推理/生成任务，因为 25% 剪枝时 MCQ 可保留 92–97%，但 GSM8K 仅 5–65%、代码 0–17%，结论可能反转。
- 校准数据域对剪枝 mask 影响很大（4–9 倍于重采样），推荐/Agent 场景应使用与线上分布一致的校准数据，并报告不同校准切片的结果；仅用通用文本可能掩盖领域退化。
EMO：交替上下文优化与 logits 引导的闭环测试时计算框架
🧭 测试时计算 · 上下文优化与 logits 引导
Peking University · Samsung Research Beijing
训练免费的测试时框架 EMO 交替进行上下文估计与 logits 引导，平均提升 9.1 个百分点。
📌 工作参考价值（4 点）
- 在电商文案/搜索 query 生成等场景，可复用 EMO 的闭环测试时优化：用在线反馈或 LLM 评判器生成文本梯度，仅更新任务上下文提示而不微调模型，快速适配热点词、活动规则或用户意图变化。
- M-step 的 logits 对比修正思路可借鉴为轻量级生成控制：在同一 prefix 下对比“优化后上下文”与“旧上下文”的 next-token 分布，得到方向向量后对输出 logits 加权，类似 contrastive decoding / classifier-free guidance，无需额外训练，适合控制推荐理由或广告标题的风格/关键词偏向。
- 结果提示测试时算力分配：候选生成 + 验证/选择优于单纯增加 best-of-N 采样数量；成本敏感的生产环境可优先用更少候选 + 更强验证器，而不是堆采样数，尤其对 Llama 等模型效果更明显。
- 对 Agent 类系统有借鉴：外部评判器的文本反馈可作为上下文更新信号，让 agent 在多次交互中自我修正，无需访问 ground truth；但需额外日志与延迟预算，适合离线批处理或准实时场景。
NEAR：面向记忆检索的邻域感知残差框架
🧭 记忆检索 · 邻域残差投影 ★ 深度解读
Southeast University · MemoraX AI · Leiden University · University of Sydney
训练无关地用邻居方向构造投影残差，把共享主题带来的干扰记录转为匹配信号，单次 ANN 检索提升记忆召回。
📌 工作参考价值（4 点）
- 可把“同品牌/同店铺/同话题商品的向量相似但证据不相关”问题转化为局部参考：离线对每个 item/memory 用 top-k 邻居均值方向做投影残差，抑制类目/品牌共性，放大差异；适合商品召回、内容去同质化。
- training-free + 固定索引：残差和原向量拼接成静态 key，线上只做一次内积 ANN（如 HNSW），不用改 encoder 或做多路召回，便于接入现有 embedding 库。
- query 侧参考由 16 个 anchor 的 spherical K-means + softmax 路由生成，避免在线先检索邻居，工程轻量；可迁移到 query embedding 的在线局部校准。
- 存储/延迟可控：NEAR 未压缩是 Base 2x 存储、约 2.39x 延迟；用 SQ4 可压到 Base FP32 的 0.36x，Recall 几乎不变。适合大规模 item/memory 索引，结合业务接受度调节 residual weight/depth。
从干草堆中拔针：通过权重正交化移除 LLM 后门
🧭 LLM 安全防御 · 权重正交化
Locai Labs · Centre for AI, Computer Science, UCL
训练免清洗方法估计后门方向与拒绝子空间，对权重正交化，在保持安全能力的同时实现最低 ASR
📌 工作参考价值（4 点）
- 若业务中微调或使用开源 LLM 作为导购/客服/推荐 Agent，上游权重可能被投毒；NEEDLE 提供一种无需干净基线和原始训练数据的应急修复手段，适合已上线模型的后门摘除。
- 其“估计激活方向 → 权重正交投影”的思路可推广到业务中的模型行为纠正：例如用少量对比样本估计生成式推荐模型中的偏见、幻觉或不合规输出方向，通过投影移除，无需全量微调。
- 保留拒绝子空间的做法可作为模型编辑的约束：在修改推荐/Agent 模型权重时，显式保持安全对齐相关表示不变，降低对拒绝、安全审核、对话质量等下游能力的附带损害。
- 评估体系可借鉴：线上模型任何补丁/编辑/校准，除了效果指标，应同时监控 ASR、KL 散度与能力基准，避免治好后门却牺牲推荐/对话质量。
SANTA++：通过代表性键采样注意力以减少 KV 读取
🧭 LLM 长上下文推理 · 稀疏注意力采样 ★ 深度解读
University of California, Santa Barbara · Flucta
训练自由随机注意力方法，用代表性键路由团队采样，以 16%-22% KV 读取保留 94%-99% 精度
📌 工作参考价值（4 点）
- 在需要长上下文 LLM 推理（如用户长期行为序列、商品详情、多轮对话历史）的服务中，采用“代表性键 + 团队采样”做 decode 期稀疏 attention，可在 KV 读取降到 16%-25% 时仍保留接近 dense 的精度，适合降低在线推理成本。
- prefill 后一次性用 k-means 或 contiguous 分块构建 parent groups，再在每个 parent 内选 actual-key representatives（首点最近均值，后续逐次最远点），decode 阶段固定复用；避免逐 token 全量扫描，尤其在 batch-one 长序列下成本低。
- GQA 架构下，多个 query head 共享 KV head 的团队划分与代表键读取，但各 head 独立采样并保留自己的 inclusion correction，可进一步提升吞吐；与 MLA 等压缩 KV 表示互补，已在 DeepSeek-V2-Lite 上验证仍有 token 稀疏性。
- 实际部署注意：contiguous 分块可省去 k-means 预处理，虽然某些任务略降精度但访问更低；预算 S 是团队数而非 token 数，需要按团队大小和头间重叠重新估算实际 KV 读取。
源条件中继引导缓解音视频大语言模型幻觉
🧭 多模态LLM幻觉缓解 · 训练免干预
Harbin Institute of Technology, Shenzhen · Peng Cheng Laboratory, Shenzhen · Fudan University
提出训练免方法SECRET，通过源条件中继引导抑制跨模态干扰，缓解AVLLM源混淆接地幻觉
📌 工作参考价值（4 点）
- 训练免的表示引导（steering）思路可迁移到电商多模态场景（商品视频理解、直播切片审核、图文一致性校验）：对LLM内部问题表示做方向性修正，无需微调即可抑制无关模态干扰，快速上线。
- 业务中跨模态冲突常见（如商品主图与描述不一致导致问答错误），可借鉴“源条件对比表示”：利用不同模态路径干预构造对比样本，用其表示差异引导原始状态，提升模型对指定源信息的遵循能力。
- 路径干预分析定位干扰通路的方法，可用于诊断自有多模态Agent或推荐解释模型中的跨模态信息污染，为模型裁剪和推理优化提供依据。
- 与RAG/推荐系统结合时，可对检索到的多模态候选做源条件重定向，避免LLM被无关信源带偏，提升生成结果的grounding可靠性。
BeaconKV：信标查询引导的 KV 缓存压缩加速大推理模型推理
🧭 LLM 推理加速 · KV cache 压缩
Hanyang University · Sungkyunkwan University
发现长程推理中查询聚类可预测重访 KV，提出训练无关信标查询压缩 KV 缓存，内存降5.8倍且准确率几乎无损
📌 工作参考价值（3 点）
- 在自研/部署 LRM（如 DeepSeek-R1、Qwen3）的推理服务中，KV cache 内存常成为瓶颈；BeaconKV 训练无关，可直接插入现有推理框架（如 vLLM、SGLang），无需微调，适合电商/广告场景的复杂导购 Agent、自动策略生成等长 CoT 任务。
- 借鉴“thought revisiting”洞察：模型长推理时会重访早期计划/关键信息，若在 Agent 记忆或上下文选择中使用简单的 recent-biased 策略可能丢失重要远距离信息；建议对历史 query 做聚类，保留每个聚类的代表性 query，用于判断哪些 KV 应保留。
- 工程实现上，可维护少量 beacon queries（每个聚类代表）而非完整 query 历史，预测后续 token 是否会重访，从而动态裁剪 KV cache；该方法已在四个开源 LRM 上验证，内存减少最高5.8×、吞吐提升4.3×，可先在离线长推理任务上 A/B 测试效果。
LongRCA Bench：长程 Agent 失败责任角色与根因诊断基准
🧭 Agent 长轨迹故障根因定位
Computer Network Information Center, Chinese Academy of Sciences · Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences · Chongqing University · Institute of Computing Technology, Chinese Academy of Sciences · Singapore Management University
提出 LongRCA Bench 与训练无关的 RCTA 方法，将长轨迹 Agent 失败归因提升至 24.1% 精确根因步准确率
📌 工作参考价值（4 点）
- 可直接复用 RCTA 的两阶段归因流程：对电商导购、多步推荐、客服自动化等长轨迹 Agent，先按 segment 做摘要并检索可疑步骤，再回溯上游 handoff/指令做依赖定位；无需训练，便于在现有 LLM backbone 上快速部署。
- 故障归因评估应拆分 responsible-role accuracy 与 exact root-step accuracy：业务中先定位出错的角色/环节（如召回、排序、工具调用、策略手写）往往比直接定位具体步骤更易落地，也适合做监控告警和归因看板。
- 参考 LongRCA Bench 的构建方式：收集真实失败轨迹、避免注入错误、对最早决定性根因步骤做独立人工标注，可沉淀为自己的长会话 Agent bad case 离线回归库。
- 注意连最强基线也仅 13.2% 精确根因步准确率，说明长轨迹精确定位很难；不要依赖 LLM 一次性全轨迹归因，优先用分段摘要+依赖回溯缩小范围后再核验。
批量自适应剪枝：面向语言推理模型的周期性神经元激活感知权重剪枝
🧭 LLM 推理优化 · 自适应剪枝
The University of Tokyo
针对批量推理下训练无关自适应剪枝失效问题，提出周期 top-k 选择与激活记忆，实现推理加速同时保持精度
📌 工作参考价值（4 点）
- 在批量推理服务（如推荐系统中的 LLM 重排、解释生成、Agent 规划）中，如果采用训练无关自适应剪枝，优先用 top-k 选择替代阈值剪枝：批量共享 mask 时阈值受激活聚合分布偏移影响大，top-k 对分布偏移鲁棒，稀疏率更可控。
- 对长文本生成/推理链场景，可借鉴 activation memory 累积跨更新周期的神经元重要性，保留周期性重激活的关键神经元；这类似于对“反复出现的 pattern”做缓存，减少剪枝对长程推理的破坏。
- 工程上可设置 update period 周期性更新 mask，而不是每个 token 都重新选择，降低剪枝本身的开销；在 batch size>1、高吞吐优先的部署中，这是保持加速比的关键。
- 评估推理优化方法时应显式测试 batched inference，因为离线单样本精度无法反映线上批量服务下的漂移问题；尤其对于生成式推荐中的 LLM 打分/文案生成，batch 内样本分布差异可能导致 mask 失效。
双谱协同过滤：免训练的符号感知图滤波推荐
🧭 训练免梯度谱方法 · 负反馈融合 ★ 深度解读
Stevens Institute of Technology · University of Maryland, College Park
两个即插即用的训练免梯度组件，将显式负反馈融入谱协同过滤，无需训练即超越多个骨干模型。
📌 工作参考价值（4 点）
- 零成本引入显式负反馈：电商平台常有1星差评、踩按钮、极低观看率等信号，可将它们作为负样本，通过两个标量超参（γ, κ）直接融入现有的谱协同过滤骨干（如GF-CF、ChebyCF），无需重新训练，总耗时仅增加16%-59%，特别适合快速迭代。
- 负信号仍视作主题信号：实验中最优γ始终为负值（如-0.5），表明差评物品仍反映用户兴趣领域，只是需要降低正向权重。电商推荐中可把踩过的品类仍然作为弱信号，避免完全忽略用户兴趣面。
- 冷启动用户显著收益：对训练行为≤5条的冷启动用户，引入负反馈后Recall@20最高提升29.2%（Epinions）。电商新用户交互少，可专门对冷启群体启用sign-aware分支。
- 工程实现极简：不改动原有模型的滤波器参数，仅替换用户交互向量和物品相似度矩阵为符号版本；多项式滤波器骨干不需要重新特征分解，复杂度保持不变。
免训练的Token级引导框架：大模型个性化协同写作
🧭 训练免token级引导 · 个性化写作
Tsinghua University · Fuyao University of Science and Technology · Henan Provincial People’s Hospital
提出免训练的token级引导方法，在小数据集上实时控制LLM生成，显著降低人工编辑量
📌 工作参考价值（4 点）
- 在商品标题/广告文案生成中，可借鉴 token 级引导快速适配专业领域，无需频繁微调大模型，降低算力与维护成本
- 针对小样本商品类目（如新品），该框架基于小数据集构建引导，能有效捕捉细分用语风格，提升个性化文案质量
- 工程上可将领域知识（如商品属性、组合搭配）编码为 token 偏置，作为轻量插件接入现有文本生成流程
- 方法不依赖梯度更新，适合在频繁变化的电商环境中实时注入最新促销信息、季节热词等
Agentic工作流的全局优化与推理时区域嫁接
🧭 Agentic工作流推理时动态局部优化 ★ 深度解读
HBNU · UCSB · SKKU · UNIST
在推理时对离线全局工作流进行局部区域替代，利用无标签质量信号实现单输入自适应，无需重训练
📌 工作参考价值（4 点）
- 推理时动态流水线调优：在电商/推荐的多阶段流水线（召回→粗排→精排→重排）中，离线搜索一个全局最优的算子组合，然后在每次请求时，利用无人工标注的代理信号（如多路召回结果的一致性、CTR预估的置信度、多样性等）对部分阶段进行局部算子替换，实现 per-query 自适应，无需重新训练整个流水线。
- 记忆化缓存获胜配置：为相似请求特征（如用户意图标签、上下文类型）建立签名，缓存历史上对该签名有效的局部配置，大幅降低线上搜索开销。这类似于推荐系统中为相似用户或 query 缓存个性化策略。
- 耦合守卫确保全局稳定性：当替换某个阶段（如精排模型）时，通过检查替换后输出与上下游的衔接一致性（例如新精排序列与上游召回集合的重叠度）来决定是否接受更改，避免局部优化破坏整体效果，尤其适用于有依赖关系的多步推理或搜索链路。
- 低成本冷启动与新任务迁移：当更换更强的基座模型（如从轻量级升级到千亿级大模型）时，无需重新搜索全局工作流，只需复用已有的全局结构并在推理时局部嫁接，即可获得性能提升，适合模型迭代时的快速上线。
VisualRouter：查询驱动的长视频视觉采样
🧭 查询感知的视觉采样策略
区分全局/局部查询的自适应视觉采样框架，即插即用，无需训练，显著提升多模态大模型的长视频理解能力。
📌 工作参考价值（4 点）
- 查询类型分类（全局 vs 局部）的思路可直接复用到多模态搜索与推荐：对用户 query 进行意图分类，分别采用不同召回或排序策略。
- 训练无关、即插即用的设计适合快速集成到现有视频理解 pipeline，如商品视频标签提取、直播切片精选等，无需额外训练成本。
- 事件感知的帧选择策略（事件划分→段级分配→段内选择）可借鉴到长视频推荐场景：对视频内容做事件切割，按事件分配曝光帧数，保证多样性。
- 相关性、覆盖度、多样性三平衡的采样准则可应用于推荐系统的物品选择或内容摘要，避免信息冗余，提升用户体验。
DWT-Fusion：基于离散小波分析的免训练 LLM 文本检测框架
🧭 LLM 生成文本检测 · 多分辨率信号分析
Ankara University
用离散小波变换分析 token 级对数概率序列的多分辨率特征，结合校准融合投票，实现免训练零样本 LLM 文本检测
📌 工作参考价值（4 点）
- 电商评论/搜索查询的 AI 生成内容检测：可直接将 token 级 log-probability 序列送入小波变换，提取多尺度波动信号，无需训练即可判断文本是否为 LLM 生成，用于过滤虚假评论或检测机器人搜索词。
- 轻量级在线部署：仅需一个代理语言模型（如 2.7B 参数量）计算 logits，推理开销可控，适合推荐系统旁路实时审核。
- 校准加权投票融合：组合不同小波基或分解层数的分数时，基于验证集校准的加权软投票可提升鲁棒性，该方法无需训练元模型，工程实现简单，可直接用于多信号融合场景（如内容安全、反欺诈）。
- 多分辨率特征提取思路：将一维序列（如 token 级困惑度、生成概率）通过小波变换分解为近似和细节系数，分离长期趋势与局部突变，可迁移到用户行为序列异常检测或会话质量评估。
面向文档集整体质量：从评估基准到无训练优化
🧭 文档集评估与选择 · 面向 RAG 闭环
Tencent Yuanbao AI Search · University of Science and Technology of China · University of Chinese Academy of Sciences · Shandong University
提出文档集评估基准 SetwiseEvalKit 和无训练选择方法 Rubric4Setwise，以更少文档提升 RAG 生成质量
📌 工作参考价值（4 点）
- 电商 RAG 场景（智能客服、AI 导购）中，可借鉴 Rubric4Setwise：定义业务准则（如覆盖产品属性、避免矛盾），利用 LLM 将准则转化为文档选择信号，以更少文档提升答案完整性与准确性。
- 用 SetwiseEvalKit 的多维指标（冗余、冲突、互补）诊断多路召回融合后的文档集质量，指导重排序策略优化，弥补传统逐条相关性指标的局限。
- 无训练方法适合快速迭代和冷启动，无需专门训练文档集选择模型，直接复用现有 LLM 的评估能力。
- 开源基准与工具可直接用于线下评测不同 reranker 的文档集层面效果，为选型提供依据。
可变速率训练无关KV缓存压缩用于长上下文大模型
🧭 长上下文LLM推理优化 · 可变速率KV缓存压缩
Iowa State University
提出无训练可变秩KV缓存压缩方法VarRate，按显著性分配预算并保留所有token，实现接近无损的长上下文推理
📌 工作参考价值（4 点）
- 在线LLM服务可直接部署VarRate作为无训练的KV缓存压缩插件，减少长上下文推理内存占用，支撑更长的用户历史（如推荐理由生成、Agent对话历史理解）。
- 在多查询复用预填充缓存的场景（如批量用户查询），VarRate避免丢弃token导致的精度崩溃，保障关键信息不丢失，提升推荐或搜索结果的稳定性。
- 显著性得分可基于注意力权重快速计算，适合流式处理，能集成到实时推理管线中，无需额外模型或微调，降低工程复杂度。
- 可变秩分配思想可推广到特征存储、用户画像压缩等模块，通过保留所有数据点但差异化精度，实现更好的资源效率平衡。
DominoTree：基于Domino条件修正的推测解码树形起草
🧭 推测解码 · 条件树起草 ★ 深度解读
National Taiwan University
利用Domino的GRU路径依赖校正构建非因子化草稿树，在Qwen3-4B上平均加速达4.81倍，接受长度最高10.7 tokens
📌 工作参考价值（4 点）
- 推测解码中的树形搜索思想可迁移至推荐/Agent的候选生成：当评分函数依赖于已选序列（如用户行为路径）时，可借鉴DominoTree的条件堆展开方式，用轻量级修正网络（GRU）替代重跑完整encoder，降低分支成本。
- 将per-node昂贵的全词表投影限制到top-M候选（候选限制）是工程化关键技巧，在电商搜索的语义ID生成树或推荐多轮交互中，可类似使用预筛选缩小搜索空间。
- GPU-native builder（CUDA graph捕获与回放）展示了如何在不改变算法正确性的前提下，消除Python kernel launch开销，对需要频繁调用小算子的推理服务有直接参考价值。
- CondAdaptive的失败教训表明：若草稿模型的路径概率与目标模型接受率校准不当，自适应预算规则会退化为固定预算，提示我们在做动态裁剪时需验证概率估计的准确性。
ERA：熵引导的视觉令牌剪枝与注意力矫正框架
🧭 多模态大模型推理加速
提出训练免视觉令牌剪枝框架ERA，通过熵引导和注意力矫正解决logit崩塌，实现高效MLLMs
📌 工作参考价值（4 点）
- 训练免剪枝方法：可直接应用于商品图文理解等现有多模态模型，快速降低视觉令牌数量，减少推理延迟，无需重新训练。
- 熵引导锚点选择：利用视觉多样性和注意力头显著性保留商品图像关键区域（如主体细节），防止重要视觉信息丢失。
- 偏置回收与注意力矫正：在广告图片或视频帧压缩后，通过回收剪枝令牌信息并注入logit偏置，维持注意力分布一致，避免输出漂移。
- 即插即用组件：DEP、BTR、LAR可模块化嵌入推理流程，适合实时推荐、多模态Agent等对延迟敏感的场景。
基于第一性原理的视觉 Token 最优保留集剪枝，实现高效多模态大模型推理
🧭 多模态大模型高效推理 · 视觉 token 剪枝
Peking University · University of Electronic Science and Technology of China · Nanyang Technological University · Beijing Academy of Artificial Intelligence
提出任务相关性、信息覆盖与语义多样性三原则的免训练剪枝模块 TOPS，可大幅削减视觉 token 且保性能
📌 工作参考价值（4 点）
- 若业务中多模态推荐系统处理商品图片，可直接嵌入 TOPS 模块，在几乎不损失准确率的前提下大幅减少视觉 token 计算量，降低推理延迟与成本。
- 三原则（任务相关性、信息覆盖、语义多样性）可迁移至长文本或混合模态输入，例如在 Agent 检索增强场景中，对用户行为序列、文档内容进行关键 token 筛选，节省 LLM 的 KV cache 并提高效率。
- 免训练、模型无关的剪枝方案适合快速实验与部署，无需修改模型结构或重新训练，可针对不同 MLLM 骨干即插即用，降低工程接入门槛。
- 剪枝后性能不降反升的观察（缓解幻觉）可为轻量化多模态模型设计提供思路，未来在端侧推荐或实时交互 Agent 中有潜在价值。
Kamera：统一位置不变的多模态KV缓存实现训练免费复用
🧭 多模态Agent的KV缓存位置不变复用
Erlangen National High Performance Computing Center (NHR@FAU)
通过低秩条件补丁恢复跨块绑定，使多模态KV缓存可任意位置复用，消除重复编码
📌 工作参考价值（4 点）
- 在多轮Agent对话或滑动窗口推理中，可缓存商品图片、UI截图等视觉块的KV，随位置变化通过旋转和补丁恢复，避免重编码，显著降低电商直播、视频推荐场景的推理成本。
- 低秩条件补丁训练免费、即插即用，能以极小存储代价恢复被丢弃的跨块上下文，保持多跳推理准确率，适合需要长程记忆的推荐Agent。
- 支持重排、滑动窗口生存和回忆三种操作，工程实现简单，可直接集成到现有推理框架，利用RoPE重旋转和单一补丁即实现任意位置复用。
- 在视觉冗余严重的视频流中效果最突出，正对多模态商品介绍、广告片反复分析等高计算场景，可大幅减少重计算预算。
SVD-Surgeon：大语言模型的最优奇异值压缩手术
🧭 低秩压缩 · 二阶损失补偿
University of Freiburg · Prior Labs · ELLIS Institute Tübingen
将OBS框架引入SVD压缩，闭式更新保留奇异值以补偿截断损失，无需重训练
📌 工作参考价值（4 点）
- 将OBS补偿思想直接用于LLM的SVD压缩，无需微调即可提升压缩后模型质量，适合对延迟敏感的在线推荐或Agent系统快速迭代部署
- 奇异值重要性评估可指导结构化剪枝决策，例如在广告召回模型中按重要度保留关键秩，平衡吞吐与精度
- 方法即插即用，可叠加到现有SVD-LLM等压缩器上，工程实现成本低，可直接复用以压缩推荐系统中的语义编码器或生成模型
- 闭式更新公式仅需二阶导数信息，计算开销小，适合在大规模模型压缩流水线中作为后处理步骤
自压缩语言模型智能体：基于评分规则的自适应上下文压缩
🧭 自适应上下文压缩 · 评分规则栅控 ★ 深度解读
Johns Hopkins University · Apple
提出训练无关的自适应上下文压缩方法，通过轻量规则让模型自决定压缩时机，避免固定间隔压缩破坏中间推理
📌 工作参考价值（4 点）
- 长轨迹Agent的上下文管理：可借鉴评分规则（rubric）用于决定何时压缩历史，避免在模型推导或搜索中途破坏信息，尤其适合电商客服、推荐解释生成等需要多轮推理的场景，提高答案正确性并降低上下文长度。
- 低成本KV-cache复用：压缩触发时仅追加总结指令，重用已有缓存的trajectory tokens，几乎零预填充开销，相比重新编码大量上下文可节省30%-70%的计算成本，适合部署在在线服务中。
- 任务特定规则设计：根据任务特性编写轻量级栅控提示（如数学中的“是否已得最终答案”、“是否陷入停滞”），无需训练即可引导模型在安全点压缩，可直接迁移到搜索推荐中的多步检索、方案生成等流程。
- 训练无关的元认知增强：暴露“压缩工具”并配合规则，让模型表现出类似元认知的自省能力，可适用于任何支持工具调用的开源模型，无finetuning成本，可快速实验。
LESS 即更多：扩散语言模型的互稳定采样
🧭 扩散语言模型推理加速
MBZUAI · Ecole Polytechnique
提出训练无关的自适应采样器 LESS，通过联合稳定性规则在线决定 token 揭示时机，以 72.1% 更少步骤保持精度。
📌 工作参考价值（4 点）
- 若业务中尝试将扩散模型用于生成式推荐（如 Semantic ID 生成），LESS 可嵌入推理流程，自适应提前终止不稳定的 token，直接减少 Transformer 前向次数并降低延迟。
- 其 top-K JS 散度稳定性判据与 top-1 置信度/持久性规则可以独立迁移到其他 token 级早停（early exiting）场景，比如在序列生成中按位置动态分配计算量。
- 该采样器无需训练、模型无关，可作为即插即用模块快速集成到现有扩散 LLM 部署中，无需重新训练或修改模型权重。
- 本文主要学术贡献在于扩散 LM 的高效采样，若业务尚未使用扩散模型，直接可借鉴点有限；但在 Agent 系统里若用扩散模型做规划或工具调用生成，LESS 可加速推理。
编辑比特，差分代码：视觉自回归模型的位级残差编辑
🧭 视觉自回归模型的训练无关编辑
LMU Munich · Munich Center for Machine Learning (MCML)
在视觉自回归模型中引入位级伯努利引导与多尺度残差码重注入，实现背景保持的精准图像编辑。
📌 工作参考价值（4 点）
- 训练无关的编辑思路可直接用于电商商品图的快速迭代，无需微调生成模型。
- 位级伯努利引导的闭式信任区域优化可作为其他生成任务（如图文匹配）的安全采样策略。
- 多尺度残差码的门控注入方法能保证编辑区域外像素完全一致，适合生成式推荐的视觉保真需求。
- 源-目标对比的负向引导技巧可复用到文本到图像生成的控制中，提升语义对齐。
TASR：迭代检索的无训练自适应停止规则
🧭 迭代RAG · 无训练停止策略
San Diego State University · James Silberrad Brown Center for AI · Stanford University · Google DeepMind
提出一个固定的停止谓词，通过重复答案和校准后的logit margin阈值，无需训练就能减少RAG中不必要的检索轮次
📌 工作参考价值（4 点）
- 可直接在现有RAG管线中插入一行代码作为停止条件：重复前轮归一化答案且 isotonically calibrated logit margin > 0.25。对电商问答、多跳商品查询等场景，能在不损失太多精度的情况下大幅降低检索调用次数。
- 发现RLHF调优模型的verbalized置信度极度塌缩（96.5%输出最高分），而logit margin具有44倍的类条件分离度，这提示在依赖LLM自信度进行决策（如Agent中断、推荐解释可信度）时，应避免使用提示词直接索取的置信度分数，转向logit-level信号。
- 通过固定阈值实现跨模型、检索器、语料库的零次迁移，无需针对每个新模型或任务重新训练停止策略，降低了维护成本。对于多智体框架中调用外部工具的轮次控制，可以借鉴这种简单启发式规则作为默认基线。
- 论文从381个候选规则中筛选出Pareto最优规则，这种穷举评估再选择的范式，可以用来为其他agent决策点（如何时触发重排序、何时退出对话）设计低成本、可解释的启发式策略。
基于矩匹配得分平滑的无训练生成采样
🧭 训练自由生成采样 · 矩匹配分数平滑
College of Computing and Data Science, Nanyang Technological University
提出一种无训练的交互粒子采样器MM-SOLD，通过矩匹配和分数平滑在CPU上生成高质量样本
📌 工作参考价值（4 点）
- 无需训练神经网络的快速生成：可在CPU上直接应用，避免昂贵的扩散模型训练，适用于电商推荐中低资源或快速原型场景，如生成候选 item 嵌入或用户行为序列。
- 矩匹配保证分布一致性：通过强制样本均值与协方差匹配训练数据经验矩，能保持关键统计特性，可用于推荐系统的数据增强或生成符合业务指标的合成数据。
- 交互粒子系统实现多样性：粒子交互机制天然促进样本多样性，避免模式坍塌，这对生成推荐中探索多样化 item 表示有借鉴意义。
- 方法可扩展至潜在空间：已展示在VAE潜在空间上生成图像，类似思路可用于推荐中的离散 token 生成或 Semantic ID 的低维表示采样。
LVLM词汇劫持：排除惰性token揭示关键注意力头以缓解幻觉
🧭 多模态大模型幻觉缓解
Harbin Institute of Technology (Shenzhen) · Huawei Technologies Co., Ltd. · The Hong Kong Polytechnic University · Nanyang Technological University
发现视觉token的词汇劫持现象，提出无训练注意力增强HAVAE，显著减轻LVLM幻觉
📌 工作参考价值（4 点）
- 电商多模态问答/商品描述生成场景，可借鉴 HAVAE 的无训练注意力干预方法，通过加权少数关键注意力头抑制幻觉，不增加推理延迟。
- 使用 logit lens 诊断模型注意力异常（如某个视觉 token 总是映射到相同的错误词）的思路可迁移到 LLM Agent 的行为审计，排查错误的感知模式。
- NHAR 指标提供了一种快速量化注意力头可靠性的方法，可用于 Agent 感知模块的 head pruning 或动态路由，在有限算力下保留最关键的视觉注意力单元。
- 论文强调的“Inert Token”分析提醒我们在多模态对齐时，图像中某些固定模式（如空白、边框）可能劫持注意力，这些 token 可在预处理阶段过滤或权重衰减。