LLM 分类器的电路化组合与成本优化
🧭 LLM 多分类器自适应组合与成本优化
Harvard School of Engineering and Applied Science · Kempner Institute for the Study of Natural & Artificial Intelligence · School of Electrical and Computer Engineering, Georgia Institute of Technology · Department of Electrical and Computer Engineering, University of California, Santa Barbara · Center for Computational Mathematics, Flatiron Institute
将多个 LLM 分类器组织为自适应查询电路，以更低成本突破路由/级联的准确率前沿
📌 工作参考价值（4 点）
- 在电商/广告/搜索中，LLM 常用于意图分类、商品属性打标、内容审核、相关性评分等；借鉴电路思想，将不同 prompt/模型/温度配置视为带成本的分类器，基于混淆矩阵动态调度，比固定级联更省调用成本。
- 工程实现上，可把每个 LLM 分类器封装为统一 Query/Decision 节点，离线用验证集估计各节点的 per-class 错误率和成本，再用动态规划搜索给定预算下的最优执行路径；在线按查表决策，适合批量打标和实时流量。
- 需要低成本高可靠性的 LLM 评审或 guardrail 场景，可先用便宜模型筛简单样本，对不确定性样本再追加强模型或 self-consistency，但要预先校准各分类器的条件错误率，避免误差传播。
- 对 Agent 评估 / 自动评测 / 推荐理由质量把关等任务，论文结论支持在多个弱监督信号之间做电路化融合，不等同于简单投票或级联，能更高效利用算力预算。
指代音视频分割中基于预决策表征的推理预算控制
🧭 自适应推理 · 生成前隐状态路由
Tongji University · IEIT SYSTEMS (Beijing) Co., Ltd.
发现过长思维链对简单查询有害，利用生成前隐状态线性探测路由器省60% token且保留96%性能
📌 工作参考价值（4 点）
- 在 LLM-powered 推荐或 Agent 工作流中，不要默认所有 query 都走长 CoT/多步工具调用：简单 query 可能因过度推理产生 phrase 或 localization drift。可设计基于模型生成前隐状态（首 token 前的 state）的轻量路由器，判断是否需要深度推理。
- 用线性探针对内部表征做二分类，比基于文本特征或不确定性 proxy 信号更有效；且只需单次前向，无需额外生成，适合在线低成本决策。
- 报告的 60% token 减少且保留约 96% always-long 性能，可作为成本-质量 trade-off 的实用参考；对推理成本敏感的电商/广告 Agent 场景值得尝试类似的 pre-decisional routing。
- 该工作是 Ref-AVS 任务，未在推荐系统上实验；但思想可迁移到 RAG 是否检索、长上下文是否展开、多步推荐解释生成等自适应推理控制。
面向混合 RL 推理负载的 KV 缓存感知准入调度
🧭 LLM RL 混合负载推理调度优化 ★ 深度解读
Nanjing University · StepFun
路由层依据工作负载类型与 KV block-time 需求动态控制 session 准入，避免 KV 缓存击穿，吞吐提升超 50%。
📌 工作参考价值（4 点）
- 在需要大规模 LLM 推理的业务（如商品问答、推荐理由生成、多轮 Agent 导购）中，可借鉴 MISA-T 的按工作负载类型分配 KV 保护额度：为短输入长输出的 RLVR 型、均衡 RLHF 型、长上下文多轮 Agent 型请求分别设定 session 准入上限，防止某个类型挤占缓存导致全局命中率崩塌。
- KV block-time 估算方法可直接复用：用 session 平均块数 × 类级驻留时间而非单纯 kv 块数衡量资源需求，尤其适用于含工具调用、等待外部 API 的 Agent 场景，能更准确地预留缓存空间。
- 自适应 overload 收缩机制可替代静态并发数调优：根据近端缓存命中率下降与等待队列长度自动下调准入上限，避免手动扫参；在模型、序列长度或混合比例变化时无需重新调节。
- 实验表明 KV offload 与路由层准入控制完全兼容（开启 CPU 备份后 GPU KV 利用率更高且吞吐提升 35.6%），对于采用分级缓存（HBM/CPU）的部署可直接叠加，无需改动调度逻辑。
路由在最需要时最难学：Web Agent 表征路由的界限
🧭 Agent 表征路由与成本优化
University College London · Holistic AI · UCL Centre for Artificial Intelligence
多观察模式的路由收益被重运行噪声夸大，弱智能体因标签不足难以学习路由
📌 工作参考价值（4 点）
- 多表征系统（如文本+图像+融合）可借鉴路由思路：按任务特征动态选择最优表征，但需注意重运行噪声（12-14%）会夸大收益，评估时务必用足够重复实验校准。
- 当基础智能体成功率低时，路由训练样本极少（路由标签源自智能体自身成败），此时应先提升智能体核心能力再引入路由，避免“鸡生蛋”困境。
- 成本-质量权衡策略可直接复用：仅将基础模式无法解决的任务发送到最强模式，可在不降低成功率前提下节省 9.5-30.6% 成本，适合电商 Agent 多级调用（如廉价 KV cache vs 完整生成）。
- 任务文本作为零成本路由规则（如关键词过滤）效果有限且脆弱，建议谨慎使用，优先构建基于置信度的级联路由。
InMind：Agent 记忆系统隐式关联盲点基准
🧭 Agent 记忆评估 · 隐式关联盲点 ★ 深度解读
University of Science and Technology of China · Metastone Technology
提出 InMind 基准，揭示基于检索的记忆系统在间接查询中因缺乏相似线索而系统性地遗漏关键记忆，差距从 84% 跌至 14%
📌 工作参考价值（4 点）
- 业务场景的隐式关联风险：电商、推荐系统中用户历史行为（如拥有宠物）与当前查询（搜索“百合花”）之间缺少 token 或语义重叠，基于嵌入的检索会遗漏这种安全/偏好信息。可借鉴 InMind 的任务构造方式，主动设计跨域桥接问询，测试自身系统是否会“记得但不用”。
- 评估范式：三重控制分离失败原因：InMind 用直接查询控制存储成功、in-context 控制模型桥接能力、目标召回检查检索是否送达，将检索失败与存储或知识缺失剥离开。业务内部评测可复现这一范式，快速定位问题出在写入、模型还是检索端。
- 路由决策是核心开放问题：always‑in‑state 诊断（仅维持一次 200 行 profile）恢复大部分性能（68.8%），而 MemoryOS 这类带有可见 profile 的混合系统仍差很远，说明关键并非“有可见状态”，而是“决策哪些记忆必须始终可见”。对推荐中的长期记忆，可引入重要性路由，如根据未来可能桥接的风险（健康、安全）对记忆打标，强制进入上下文。
- 嵌入增强不能根本解决问题：从 384 维换到 3072 维 embedding，目标召回上升但应用率仍在低位，证明单纯增大 embedding 并无法掌握药理、法律等冷门桥接知识。在工程中不应仅依赖 embedding 相似度，可考虑配合结构化知识图谱或启发式规则来显式表达某些隐式关联。
TRACE-ROUTER: 面向Agentic AI的任务一致自适应在线路由
🧭 Agent任务级自适应路由
Georgia Institute of Technology · Intel · Texas A&M University
用任务级上下文Bandit路由替代请求级路由，通过延迟奖励统一优化Agent工作流的准确率与延迟。
📌 工作参考价值（4 点）
- Agent任务内固定模型池：对电商客服、搜索推荐Agent等多步工具调用场景，可在任务入口用上下文Bandit选择一个LLM，整个任务会话固定使用该模型，避免每步独立路由带来的反馈归因偏差。
- 利用任务级延迟奖励在线学习：直接使用最终的任务成功/失败和总延迟作为奖励信号，无需预估单步复杂度，工程实现简单，适合线上持续优化路由策略。
- Bandit策略可迁移：若业务中已有Agent工作流和模型池，可将现有逐请求路由器替换为任务级Bandit，只需在任务结束时收集终端奖励，即可用LinUCB等标准方法更新策略，降低试错成本。
- 平衡成本与效果：在预算受限的推荐Agent中（如商品咨询、比价），可自动将复杂任务路由到大模型，简单任务用小模型，在不牺牲最终准确率的前提下显著降低延迟和推理成本。
组合 LLM 何时有效？对路由、投票与智体混合的共同失败天花板分析
🧭 多模型 LLM 集成评估 · 共同失败率上限
KAIKAKU
多模型 LLM 增益上限由所有模型全错的 β 率决定，而非平均错误相关性 ρ，67 模型实验发现 β 被低估约 2.5 倍
📌 工作参考价值（4 点）
- 在推荐系统的多模型集成（多召回/多排序融合）前，估计共同失败率 β，直接判断增益天花板，避免在 β 较高的场景中投入无效集成。
- 选择集成模型时，主动降低 β 而非只看平均错误相关性 ρ；优先选择低 ρ 的异质模型组合，远离高 ρ 自集成（如 Self-MoA），以提升集成上限。
- 若无法实现精确的查询级路由（如实时预测每条 query 的最佳模型），应谨慎使用投票或级联，单最佳模型可能更优；可利用 Clopper–Pearson 原理用少量带标注样本评估集成潜力。
- 评估多路召回或 LLM 投票策略时，直接统计所有通道同时失效的样本比例（即 β），针对这些“硬样本”做定向优化，如增加多样性信号或引入外部校验。