#Adapter

4 篇

Glance: The Generator Is Its Own Reranker

Glance：生成器即重排序器

🧭 生成器内置重排序，共享 prefill

Airun Intelligence Labs

提出 Glance，给生成器加轻量决策适配器和指针头，共享一次 prefill 对候选段落打分，免去独立重排模型

📌 工作参考价值（4 点）

若业务中已部署 LLM 作为生成式排序或回答模型，可借鉴 Glance 思路：在同一个 LLM 上挂轻量决策头同时完成相关性打分与生成，避免单独服务 cross-encoder，节省显存和部署成本。
“共享 prefill + 轻量 probe”技巧：对候选商品/内容批量编码一次，从缓存中分支不同 probe 产生分数，比逐对 prefill 更高效，适合候选量较大的重排场景。
激活适配器变体允许生成继续使用原始缓存，可将重排与生成解耦为不同 adapter，按需激活，主干权重不变，便于多技能扩展。
注意：论文仅在通用 RAG 数据集上验证，迁移到电商/推荐需自行评估，但“单骨干多技能”的架构思想值得复用。

RAG | 2026-10-28 | HF Daily | score 7/10

Local Support Learning

局部支持学习：无需旧数据的持续学习与遗忘缓解

🧭 持续学习 · 灾难性遗忘缓解

Tel Aviv University · MIT CSAIL

提出 Local Support Learning，用 GMM 门控使 adapter 只在当前分布激活，无需旧数据缓解大模型灾难性遗忘

📌 工作参考价值（4 点）

对线上推荐/搜索模型做持续增量更新时，可用 LSL 的 adapter + GMM gate 结构：每个新数据周期训练新 adapter，gate 让 adapter 只在当前数据分布上激活，旧分布数据自动路由到原始权重，无需回放旧数据即可缓解遗忘。
GMM 门控比普通 MLP classifier 更适合 OOD 拒绝，因其似然在训练分布外快速衰减。在推荐系统多任务/多领域路由中可借鉴：为每个领域/任务建 GMM 门控，实现软路由与分布漂移检测。
方法内存和计算高效，支持 7B 参数模型，可迁移到生成式推荐（如 Semantic ID 生成）的持续学习场景：新类目上线时只增加局部 adapter，不破坏旧类目生成能力。
工程实现上，GMM 的均值/方差可流式更新或 EMA 维护，避免存储原始激活，适合实时更新的推荐系统。

Training | 2026-10-01 | cs.LG | score 7/10

Continual Learning Catastrophic Forgetting GMM Adapter LLM Local Support Learning

MoE$^2$-LoRA: When MoE Models Meet MoE-style Low-Rank Adaptation

MoE²-LoRA：为MoE模型设计的MoE风格低秩适配

🧭 MoE模型参数高效微调

Shanghai Artificial Intelligence Laboratory · KTH Royal Institute of Technology · University of Science and Technology of China · Fudan University · The Chinese University of Hong Kong

首次用MoE路由思想做LoRA微调，复用预训练路由器激活动态选择全局共享的LoRA专家

📌 工作参考价值（4 点）

若内部用MoE架构LLM做推荐/对话任务（如query改写、商品描述生成），MoE²-LoRA提供了一种高效微调方案：引入全局共享LoRA专家池，既减少参数量又保持多任务适配能力。
路由条件投影（RCP）复用预训练路由器激活，可借鉴到多兴趣推荐模型中，用已有用户意图路由为不同兴趣头动态选择低秩适配器，避免静态分配。
全局专家池的层间共享机制简化了部署：只需维护一套适配器权重，节省存储和推理时IO；适合边缘设备或需要频繁更新的推荐模型。
实验显示该方法在多种MoE骨干上稳健提升，说明即使推荐系统的底层LLM结构变化，该方法也能迁移复用，减少适配成本。

Training | 2026-07-24 | cs.CL | score 6/10

MoE LoRA PEFT Routing Parameter Sharing Adapter

ScAle: Attention Head Scaling as a Minimal Adapter for Spatial Reasoning in Vision Language Models

ScAle：注意力头缩放作为最小适配器增强VLM空间推理

🧭 轻量级激活缩放适配视觉语言模型

Northeastern University · EmbodyX Inc. · Zhejiang University

仅用1K可训练标量系数缩放冻结VLM层激活，空间推理准确率相对提升最高134.1%

📌 工作参考价值（4 点）

极低资源任务适配：冻结整个VLM，只训练少量标量系数（~1K参数量）即可注入空间推理能力，适合快速部署到电商多模态场景（如商品图片方位判断、广告布局合理性校验）。
激活重标定策略：针对最后token的注意力输出和MLP激活做缩放，无需改动模型结构，可直接套用于现有推荐系统中的视觉理解模块（如对商品详情图进行空间关系抽取）。
原始能力无损：缩放系数被有界约束，避免灾难性遗忘，在非空间VQA上保持原有性能，这对线上多任务系统（如同时做商品质量评估和空间描述）很关键。
架构无关的即插即用：该方法不依赖特定注意力实现，可作为轻量级适配层嵌入任一Transformer，适合探索在图文匹配、虚拟试穿对齐等推荐链路环节快速实验。

Multimodal | 2026-06-28 | cs.MM | score 6/10

PEFT Spatial Reasoning Vision-Language Model Activation Scaling Adapter