克服先验障碍：长尾分布下的监督微调
🧭 LLM SFT 数据选择 · 先验障碍 ★ 深度解读
Virginia Tech · Amazon · Meta · MBZUAI · Dartmouth College
提出 prior barrier 概念与 PASS 方法，自适应分配 SFT 预算以克服长尾预训练支持差异
📌 工作参考价值（4 点）
- 指令微调前，先对业务指令/参考集做 response embedding 聚类，形成 capability/concept 粒度；用预训练模型在各 concept 上生成响应，估计 support 和 prior barrier，优先给生成差且混淆多的类目分配 SFT 预算，避免按任务均分。
- 样本打分建议从 query 相似度升级为「正确响应 vs 竞争响应」的区分证据：用正确与错误/易混淆 response 表示构建 evidence matrix，选样时同时惩罚语义重复和有害/竞争样本，适合电商客服、商品导购 Agent 中意图边界模糊的场景。
- 该方法采用边际增益贪心，计算成本低于 LESS/TSDS，适合大规模候选 prompt 库筛选；对已有 LoRA SFT 流程可直接插入，用于提升长尾品类/任务能力。
- 即使不用完整 PASS，也可借鉴「先验障碍 + 自适应分配」思路：训练前用少量 reference 测模型各能力的 base 表现，按 head/tail 设置差异化数据配额。
LadderEdit：编辑级残差压缩实现 LLM 终身编辑内存高效
🧭 终身模型编辑 · 参数高效存储
Yale University · Washington University in St. Louis · Icahn School of Medicine at Mount Sinai · Arizona State University
按编辑难度动态分配 LoRA 秩的压缩方法，内存减少 5.2 倍仍追踪精确 LoRA 性能
📌 工作参考价值（4 点）
- 对大规模个性化 LoRA 适配器（如每用户/每商品/每场景）可直接套用：先以极低秩存储，用少量验证 prompt 检查效果，不达标再提升秩，显著降低存储与显存。
- 持续更新推荐/广告模型时，可借鉴“编辑合约”：为每次更新设定改写/泛化/局部性指标，仅在满足时接受，避免灾难性遗忘。
- 工程实现上，维护多级秩 ladder，编辑先以低秩 sketch 存储，失败才逐步提升，可以节省推理时的内存带宽，适合在线部署。
- 注意：论文侧重事实编辑，与电商场景的偏好/行为数据分布差异较大，需重新设计验证合约才能复用到推荐系统。
LLM引导的分块特征工程：将长文本转化为可执行预测特征程序
🧭 LLM 驱动的自动化特征工程 · 程序合成
City University of Hong Kong · Qfin Holdings, Inc. · Tianjin University · Carnegie Mellon University
LLM-BlockFE离线把长文本构造成可执行特征程序，在线零LLM调用，用带回滚和并行轨迹的分块搜索提升特征质量
📌 工作参考价值（4 点）
- 在线零 LLM 调用：在推荐/搜索/广告的高 QPS 场景，把 LLM 仅用于离线生成特征代码块，线上只执行提取逻辑，避免大模型推理时延与成本。适合处理商品评论、用户反馈、搜索日志等长文本，转化为可复用结构化特征。
- 可解释且可维护的特征工程：生成的是可执行代码块而非黑盒向量，便于沉淀到特征平台、版本管理和审计，满足风控、广告审核等强合规场景。
- 块级回滚与多轨迹搜索：用 depth-calibrated credit allocation 识别低质量代码块并回滚，减少贪心搜索局部最优；交错推进多条搜索轨迹共享方向描述，降低冗余探索，适合在特征探索阶段降低 LLM 调用次数与成本。
- 业务迁移方向：可用于电商退货/纠纷预测、广告点击转化中的文本信号提取，例如从商品标题和评论中自动构造用户意图、质量风险、价格敏感度等特征，替代部分人工特征工程。
门控记忆：面向对话 AI 的准入控制式记忆形成
🧭 对话 AI 长期记忆写入的准入控制与上下文绑定
Samsung Research America
在记忆写入前增加准入门控与条件增强，使事实形成质量成为可测量的记忆约束
📌 工作参考价值（4 点）
- 在客服/导购 Agent 的记忆模块中，写入用户画像前增加 admission gate，区分永久属性（如“我有糖尿病”）与临时状态（如“今天想买无糖零食”），避免 transient 信息污染长期记忆。
- 对写入的每条事实记录 provenance（直接陈述/推断）与适用条件，并做实体范围约束：禁止写入上下文中未出现的实体，可减少 LLM 抽取幻觉带来的记忆污染。
- 将事实分解为原子事实并带时间/地点锚定，可支持后续检索时的时效性过滤和条件匹配，适合电商场景中需要根据“最近偏好”做推荐的系统。
- 轻量、模块化设计，可作为现有 RAG/记忆管线的独立中间层，不改变检索和生成即可验证记忆形成质量收益。
面向长程终端智能体的可扩展数据合成引擎与 27B 模型
🧭 终端 Agent 长程数据合成与 SFT
University of Science and Technology of China · AMAP, Alibaba Group · Southern University of Science and Technology
TerminalHorizon 自动合成长程终端 Agent 数据，1.5K 环境 SFT Qwen3.5-27B 后在 12 个 benchmark 全面提升
📌 工作参考价值（4 点）
- 长程 Agent SFT 数据不能只靠环境自动补全，关键要保留“探索-试错-验证”证据链；在电商 Agent 场景（比价、选品、售后排查、广告账户优化）可借鉴“独立执行识别被省略的关键工作”，避免环境和工具过度简化导致模型只会调用工具、不会解决真实问题。
- 渐进式任务扩展：同一目标下不断加入依赖前序结果的新需求，可构造多阶段、有长期依赖的训练轨迹；适合推荐/广告 Agent 的“分析→策略→执行→复盘”流程，增强模型跨阶段一致性与反馈利用能力。
- 将环境重构证据显式纳入数据生产 pipeline，可自动化产出高质量 long-horizon trajectories，降低人工标注长程 Agent 数据成本；可结合内部 terminal/sandbox 工具做 RSI-style 自改进评估。
- 论文偏 terminal/coding agent，但 SFT 后通用推理提升的结论有迁移价值：可尝试用少量真实业务环境数据微调本地 LLM Agent，重点保留长期反馈与交付物迭代过程。
面向学习型稀疏检索的紧凑高效索引
🧭 稀疏检索索引压缩 · SEISMIC ★ 深度解读
ISTI-CNR · University of Pisa · Linkup
用 medoid 替代 block summary，并压缩前向索引组件与值，实现同等精度下最多 5.3× 提速、约 3× 省内存
📌 工作参考价值（4 点）
- SEISMIC 类两段式检索可直接把 block summary 换成 medoid：块元数据从几百字节稀疏向量缩到一个 8 字节 doc id，省下的空间可用于更细分块；召回下降通过调低 heap_factor（如 0.9→0.7）补偿，适合内存敏感场景。
- 前向索引压缩与 selector 解耦，可单独接入 KANNOLO/HNSW 等已有系统：先用递归图二分重排 vocabulary，再对 delta-gap 做 8 整数块 SIMD bit-packing，配合 gather/FMA 融合 decode 与点积，避免 decompress-then-process 的内存墙；在 SPLADE-v3 上可近半减前向索引内存。
- 值量化优先考虑 per-component 4-bit：SPLADE 类非负权重可近似 v≈w*k 去掉 offset，每条匹配仅保留一次 FMA；k-means centroid 量化在低 bit 下比 scalar 更稳，可用一半 8-bit 内存恢复大部分精度。
- 若业务有“短 query、长 document”的 inference-free retriever 或 push 选词场景，可用 JUMPDOT：固定 16 entry/块，按 query component 与 block max 跳过不匹配块，获得约 2.1–2.4× 加速，额外内存开销 <2%。
哪个技能值得蒸馏？SGUID：为模型-技能协同进化选择紧凑技能库
🧭 LLM 技能蒸馏与模型-技能协同进化
New York University · Amazon
提出SGUID，通过筛选能持续提供有效蒸馏信号的技能子集，实现更稳定高效的模型-技能协同进化。
📌 工作参考价值（4 点）
- 在构建技能/指令库用于 RAG 或 Agent 时，不要仅按语义相关性全量检索；借鉴 SGUID，用 on-policy 蒸馏信号评估每个技能的真实效用，只保留能持续提供正向学习信号的技能，可显著压缩技能库规模（论文中 6 个技能 vs 全库最多 11 倍），降低推理与蒸馏开销。
- 模型-技能协同进化循环可迁移到搜索推荐场景：从线上模型 rollouts 中挖掘新的有效技能（如 query 改写规则、排序策略提示），用选择机制过滤无效技能，避免全量回放导致性能退化（论文中 Qwen3-4B 未过滤技能使 HMMT25 下降 0.3 点）。
- 对生成式推荐或 QueryRec 中的 prompt/技能管理：不是所有提示模板或策略都值得固化进模型，可以通过蒸馏信号筛选少数高价值技能，实现轻量级模型能力提升，特别适合频繁迭代的线上系统。
- 强调选择步骤是保证稳定进化的关键；实际业务中应设置在线评估或小流量实验验证技能有效性，避免直接引入未过滤技能伤害线上模型。
NativeScope：基于正确锚点的原生拓扑关系限定检索
🧭 关系限定检索 · 原生拓扑锚点
用 (A,r,B) 关系范围限定再排序，RAG 召回在文档/记忆上提升 42.75/22.00 个百分点
📌 工作参考价值（4 点）
- 在电商知识库或客服 Agent 中，商品详情页模块、订单时间线、客服会话轮次等原生结构都可以作为 belonging/before/after 的范围过滤信号；先把用户问题中已有的锚点（如商品 ID、会话时间点）转成 scope，再在范围内做语义排序，能显著减少无关 chunk 召回。
- 工程上优先建设结构化范围索引，而不是只优化 query 改写：论文中 NS-FullQ 与短 query 版本差异不显著，说明主要收益来自关系性范围限定，而非排序问题变短，因此应把原生拓扑和过滤算子纳入检索链路。
- 自动锚点定位会带来明显风险：Top-1 自动锚点让记忆召回从 72.50% 跌到 35.50%。业务上应优先使用用户显式选择、稳定记录 ID 或高置信度上游定位器；弱锚点场景需要软约束或回退到全局检索，避免硬范围过滤继承定位错误。
- 可复用的评估思路：把检索评估拆成“给定正确锚点的条件召回”和“自动锚点定位”两部分，能更清楚地区分定位误差与范围检索能力，适合在搜索/推荐/Agent 记忆系统中做模块化归因。
NTCIR-19 大语言模型自动评估 2（AEOLLM-2）任务综述
🧭 LLM 自动评测 · 长文本深度研究报告
Tsinghua University · Quan Cheng Laboratory · University of Science and Technology Beijing
推出 Deep Research Evaluation 子任务，聚焦 LLM 生成深度研究报告的自动评估，收到 10 队 91 个提交
📌 工作参考价值（4 点）
- 评估 LLM 生成的商品文案、推荐理由、广告创意等长文本时，先建立人类标注的质量基准，再开发自动评估器并关注与人类打分的一致性（如相关性、事实性、可读性）。
- 长文本生成评估需要细分维度，不要只给整体分；可参考任务将 deep research 报告质量拆解为多个标注维度，便于定位模型问题。
- 自动评估器本身要作为系统组件持续迭代：用 human-annotated ground truth 定期回归，关注自动化指标与人类评估的秩相关（Kendall/Spearman），而不是只盯绝对分数。
- 任务中参赛方法常见 LLM-as-judge 或集成指标，可迁移到业务中做离线文案质量门禁，但需注意长文本事实性错误的检测仍是难点。
OnTrack：流式结构感知最优传输用于 LLM Agent 轨迹实时监控与干预
🧭 Agent 实时轨迹监控与干预 ★ 深度解读
Cribl AI Research Lab
将 Agent 执行轨迹建模为增长 DAG，用流式结构感知最优传输与成功参考实时对齐，毫秒级识别失败前兆并提前中止
📌 工作参考价值（4 点）
- 对电商/广告投放 Agent 中的不可逆操作（改价、发券、退款、删记录）增加一个预执行门：用工具 schema 标注可逆性，执行前同步检查必需的前置产物是否存在，并可选地与历史成功轨迹做一次提案对齐；成本远低于 LLM-as-judge，且可实时阻断。
- 监控能力按可用信息分层降级：无参考时仍可检测 loop/stall（重复工具调用但无新信息）；有成功轨迹时将轨迹建成 DAG 做结构感知 OT 对齐，能发现因果倒置/幻觉分支；参考轨迹按来源分级（gold/mined 可自动干预，planner 生成只警告），避免误杀。
- 在线部署轨迹对齐时不要每步重算 OT：维护 warm-start coupling，每事件只做一次 Sinkhorn/条件梯度迭代，仅当需要干预时才跑收敛解，可将单步延迟压到 1ms 级；这对实时监控 Agent 链路可复用。
- 干预策略不要用 naive 的首次 flag 即 abort，而应使用 severe flag 密度 + 滚动窗口阈值；论文显示首次 flag 误杀率接近 99%。部署前需要在 held-out 流量上标定阈值，并验证 false stop 率。
OpenMobile-2：构建可扩展环境与应用原生工具的通用移动智能体
🧭 移动智能体环境与工具混合训练
Nanjing University · SenseTime · The University of Hong Kong · Xi'an Jiaotong University · National University of Singapore
开源移动智能体OpenMobile-2，提供110+应用环境、12K SFT轨迹与2K可验证RL任务，支持GUI与原生工具混合使用
📌 工作参考价值（4 点）
- 借鉴「GUI + app-native tool」混合模式：在电商 Agent 中，把搜索、加购、下单等关键操作封装为结构化工具，与页面 GUI 操作交替使用，可降低对视觉解析的依赖，提高动作准确率和可执行性；同时保留 GUI 兜底应对未封装的长尾页面。
- 用可验证任务 + 自动奖励扩展 RL 训练：借鉴其 2K+ 可执行任务、自动 reward 的设计，在推荐/客服 Agent 训练中构造「完成订单/加入购物车/点击商品」等可自动判定的任务，低成本获取大规模 RL 数据。
- 构建跨 App 工作流仿真环境：在电商场景中，模拟搜索、详情、购物车、支付等多 App 跳转与重置，用于离线评测和训练 Agent，避免在真实 App 上试错；其 MobileGym++ 的 reset/verification 机制可直接迁移。
- 关注长时程商业任务评测：MobileGym++ Bench 支持 GUI-only 与 hybrid 共享任务套件，可用于对比不同交互范式的效果，帮助选型工具化 vs 纯视觉方案。
排练一切，记住无物：Attic-KV 只排练将被读取的内容
🧭 LLM 长上下文 KV 缓存压缩 ★ 深度解读
Nanyang Technological University
提出训练无关的 Attic-KV 排练策略，以自生成 QA 与内容自适应锚点取代全文重读，大幅提升极限压缩下的长上下文问答与缓存复用
📌 工作参考价值（4 点）
- 电商商品详情、文档库做预计算 KV 缓存时，可用 LLM 对每个商品/文档生成“读者可能问的问题+原文引用答案”作为 rehearsal，再做 3-5% 预算的 KV 淘汰；比全文重读更能保住属性、价格、政策等答案片段，且 5% keep ratio 可把缓存容量放大 20 倍。
- 选择 rehearsal 长度不要固定比例，按内容稠密自适应：锚点数量=目标 keep ratio，再扩展到包含锚点的句子长度；商品参数表、FAQ、规格列表会被排练更多，营销 prose 少排练，避免预算浪费。
- 可直接替换现有 KVzip/KVgrad/RestoreKV 的 rehearsal，不改变 scoring、不重训；适合已有推理加速链路的团队，先用 KV2+Attic 低成本验证，再决定是否引入 restore tokens。
- 自生成 QA 放在离线/一次性路径，每个商品或文档只生成 6 个 Q&A（≤256 tokens），压缩耗时反而低于全文重读；适合大规模语料缓存、RAG 文档库与 Agent 长对话记忆。
PreSTO：预测子树预取加速 LLM 幂采样
🧭 LLM 推理加速 · 幂采样预取
University of Texas at El Paso · Georgia Institute of Technology · Morgan Stanley
将 MH 串行接受/拒绝展开为决策树批量预取，不改转移核，加速 LLM 幂采样 1.7-2.3 倍
📌 工作参考价值（4 点）
- 若业务在 LLM 推理中采用 self-consistency / best-of-n / 拒绝采样（含 MH 接受/拒绝），可将串行“提出-判断”展开为决策树，用一次 batch 请求预取多个可能分支，再沿原始接受规则回放，分布不变但大幅减少模型调用轮次；适用于生成 item 标题、搜索 query 改写、广告文案等多候选投票场景。
- 预测性子树遍历规则：用轻量模型预测哪些分支更可能带来更多有效转移，优先预取高收益子树，减少无效 KV cache 与计算；在 Agent 多轮推理、RAG 多跳 query 改写中可借鉴“先预测路径价值，再决定 speculative 分支”的思路。
- 工程核心是 batch 内做子树级 speculative execution 并保证 kernel 不变，无需改模型或采样器；已有推理框架若支持 batch prefill/continue，可低成本实验。
- 整体偏学术，若业务对延迟不敏感或没有大规模 MH 采样，直接收益有限；主要价值在 LLM inference optimization 的方法论。
Project Greenhouse：构建完全开放与主权的智能体搜索重排模型
🧭 开放主权 agentic search 重排 ★ 深度解读
University of Waterloo
用从零预训练+SFT 的 3B 点式重排模型，以少量 GPU 实现不依赖第三方权重的开放主权检索重排
📌 工作参考价值（4 点）
- 可复用训练配方：3B decoder-only 模型从通用语料（ClimbMix）从零预训练，再用公开相关性标注（RLHN-250K）做 LCE 点式微调，即可逼近/超过同量级 fine-tuned listwise/pointwise 重排器；电商/广告团队可照搬到商品/广告候选重排，避免依赖 Qwen/Gemma 等第三方权重带来的 license 与合规风险。
- 工程集成简单：点式重排把 query-doc 对映射为标量分数，候选独立打分、排序；相比 listwise 更适合局部候选集（如召回 top100）和线上并行，3B 可单 GPU 部署，适合 agent 搜索循环中对抓取/召回结果做优先级筛选。
- 模型 soup 提升稳定性：同一 SFT recipe 多次训练后平均权重作为最终 checkpoint，降低单次波动；在业务迭代中可用少量多次微调再平均来提升线上指标稳定性。
- 重排器可当 relevance judge/奖励信号：其标定后的分数可作为 RAG/agent 搜索中的相关性校验、强化学习 reward 或 rollout verifier，与 LLM 生成/重排组件解耦。
潜在核心分词器：压缩，但要有意义
🧭 多语言 tokenizer 结构发现与词表构建
Microsoft Research Africa · Microsoft Research Accelerator · Microsoft Research India
提出 LCT 将结构发现与词表构建解耦，用形态约束提升多语言分词质量
📌 工作参考价值（3 点）
- 多语言电商/搜索场景若自建或扩展 tokenizer，可把结构发现与词表构建解耦，用 MDL/熵边界/形态约束代替纯 BPE frequency merge，优先保障低资源语言可复用单元。
- 用 fertility 和 MorphScore 评估现有 tokenizer 的语言公平性；对高 fertility 语言做定向词表扩展或 capacity 重分配，可降低线上 LLM 推理成本。
- 生成式推荐/推送文案涉及多语言时，词表质量直接影响序列长度与表示质量；LCT 的结论说明分配词表 capacity 要考虑语言形态结构，而非仅语料频率。