KaLM-Reranker-V1：基于编码器-解码器的快速重排序与可压缩文档表示
🧭 高效重排序 · FBNL 范式 ★ 深度解读
Harbin Institute of Technology (Shenzhen) · Shenzhen Loop Area Institute (SLAI)
用编码器-解码器解耦文档/查询计算 + 跨注意力 + 嵌套池化压缩，在保持强排序力的同时大幅降低在线计算量
📌 工作参考价值（4 点）
- 离线编码 + 在线交叉注意力：将文档编码器独立出来，文档表示可预计算并缓存；在线只需运行解码器进行查询‑文档交互，大幅降低重复计算。适合电商搜索/推荐中大量候选文档的场景，可显著节省 GPU 成本。
- Matryoshka 嵌入池化：沿序列维度压缩文档表示，通过均值池化得到紧凑的缓存向量，支持 2‑32 倍压缩比。工程上可按存储/延迟要求灵活选择压缩率，轻量模型（如 0.27B）在 2‑4 倍压缩时性能几乎无损，能平衡存储成本与重排序效果。
- 多阶段训练与知识蒸馏：先做无指令通用重排，再加任务指令适配，最后用教师模型软标签蒸馏。可用于业务中冷启动或数据稀缺的垂类，提升正负样本区分度，尤其对困难负例更友好。
- FBNL 范式可嵌入现有 pipeline：任何两阶段召回‑排序系统中，可将第二阶段的传统交叉编码器替换为 FBNL 结构，文档离线编码后即服务，重排时仅消耗轻量解码器。在推荐、广告、问答等场景均可尝试，建议优先用于长文档或多候选场景。
端到端大规模上下文压缩模型
🧭 长上下文推理加速 · 软令牌压缩 ★ 深度解读
New York University · University of Maryland · Princeton University · Columbia University · Meta FAIR
通过大规模端到端训练编码器-解码器，以软令牌压缩KV缓存，在长上下文任务上实现更优的速度-质量帕累托前沿
📌 工作参考价值（4 点）
- 软令牌压缩可直接接入现有推理引擎：与难以兼容 vLLM/SGLang 的 KV 缓存淘汰方法不同，LCLM 输出的软令牌序列天然适配分页注意力，可直接降低电商搜索、推荐模型在长用户序列中的 prefill 延迟和显存占用。
- 编码器窗口批量压缩策略：通过固定窗口编码并批量并行，可将长用户历史或商品描述压缩为少量潜在向量，适应突发长上下文，适合在多智体任务中维护持久记忆，降低对话轮次间的 KV 缓存重计算。
- 自适应扩展 Agent 框架：借鉴论文中的 EXPAND 工具设计，在推荐解释或多轮对话中，可以先用高压缩比概览全部用户行为，再按需精准解压相关片段，实现高效的长序列检索与生成结合。
- 多阶段训练 recipe 可复用：适配器预热 → 编码器训练 → 解码器解冻 → SFT 的阶段式训练，有效控制灾难遗忘，适合将现有生成式推荐模型改造为上下文压缩器，尤其在使用 LoRA 微调时参考其分阶段学习率设置。