用于缓解小语言模型智能体停滞的进展感知蒸馏
🧭 Agent 蒸馏 · 停滞抑制 ★ 深度解读
The Pennsylvania State University · Microsoft CoreAI
提出 ProD，在蒸馏中显式惩罚学生轨迹停滞，提高小模型 Agent 成功率与推理效率
📌 工作参考价值（4 点）
- 在电商搜索/客服/投放 Agent 的 SLM 蒸馏中，可直接引入 stagnation score：对最近 k 轮 action/query 做 ROUGE-L 或 embedding cosine 相似度监控，识别反复调同一类 API、改写同一 query；离线训练时把这些信号做成动态 margin 的偏好 loss。
- 推荐用 ProD 式混合目标：L_PRO + λ L_SFT，λ=1；adaptive margin 采用 c0*(α*stagnation_gap + (1-α)*ans_mismatch)，α=0.5 是稳健默认。可在现有 LoRA SFT 蒸馏后做 1-2 轮迭代，生成 on-policy 轨迹再更新。
- 推理阶段 repetition penalty 或缩短教师轨迹不能真正解决停滞，需要训练阶段对 student 自身行为加约束；这样做能同时降低平均轮数约 12%、token 约 21%，对生产时延和成本有直接收益。
- 业务环境无法频繁调用 LLM-as-judge 时，用 lexical ROUGE-L 已足够作为停滞信号，和 semantic/judge 相关性 >0.92；在代码/API action 场景可优先使用。
面向小语言模型工具学习的教师引导策略优化
🧭 Agent 工具学习 · 双向 KL 约束 ★ 深度解读
Nanjing University of Aeronautics and Astronautics · 360 Security Capability Center · Nanjing University · Tongji University · Shanghai Jiao Tong University
提出 SeTPO，在 GRPO 中按奖励门控注入教师 token 级反向 KL 信号，并用教师演示前向 KL 保留结构，提升 SLM 工具调用
📌 工作参考价值（4 点）
- 在 RL 训练 SLM 工具调用/函数调用时，不要对所有轨迹都上教师蒸馏；按任务奖励门控只对低奖励轨迹注入教师 token 级修正（用 log p_student - log p_teacher 修正 GRPO advantage），可保留高奖励轨迹的纯 task-driven 更新，避免过度约束。
- 持续保留一个小的 auxiliary SFT/演示损失（如权重 0.1）在 RL 过程中：用冻结教师生成的完整参考轨迹做交叉熵，能稳定输出格式（<tool_call> 等结构），防止 reward 上升但格式坍塌；这对生产环境结构化输出尤其重要。
- 教师模型容量不是越大越好：论文显示 0.5B 学生配 1.5B 教师优于 3B/7B；迁移能力与容量差距存在倒 U。业务选教师可优先选与学生同架构、容量适中的模型，降低分布差异。
- 若工具/API 场景有确定性 checker，可把 composite reward 设为格式奖励 + 正确性奖励（工具名/参数名/参数值 Jaccard+exact match），配合 γ 接近最大奖励的门控，让低奖励轨迹获得教师修复信号。
查询联盟：学习检索动作
🧭 RAG 检索动作控制 · LoRA 轨迹微调
University of Passau
用 teacher search traces 将 RAG 检索决策建模为 7 路动作预测，LoRA 微调小模型作为控制器，动作 F1 0.6536、端到端 EM 0.7946
📌 工作参考价值（4 点）
- 把 RAG/Agent 中隐式检索决策显式化为结构化动作空间（decompose/search/reformulate/extract/verify/stop），用 teacher trace 构造分类数据，LoRA 蒸馏到 3B 小模型；电商客服、搜索 Agent 需要低延迟可控检索时，可用 action head 替代自由生成，提高稳定性和可观测性。
- LoRA 监督微调小模型从 trajectory state 预测 next action，比 zero-shot prompting 高约 3.7 倍，可作为轻量路由器放在检索前，减少大模型调用；线上先判定动作类型再分发给对应工具，类似 query 改写/意图路由。
- TF-IDF + logistic regression 基线达到 0.5399，说明动作控制任务中词法特征很强；业务数据量小或冷启动阶段，先上线性模型做 sanity check，再逐步上 SLM。
- 单一小模型同时承担 controller 和 generator，端到端效果提升且减少服务编排复杂度；对资源受限、链路长的实时搜索/推荐 Agent，可考虑合并角色降低链式延迟。
小模型大作为：探索紧凑语言模型在 RAG 生成阶段的潜力
🧭 小型语言模型 RAG 生成器基准与设备端部署
Siberian Neuronets LLC, Novosibirsk, Russia
系统评估小型语言模型在 RAG 生成器的表现，证明其可在无 GPU 的设备端合理时间运行
📌 工作参考价值（4 点）
- 低成本 / 边缘端 RAG 部署：在电商客服、商品问答等场景，可用 SLM 替代 LLM 作为生成器，直接运行在智能终端或本地服务器，避免 GPU 成本，保障数据隐私。
- 生成器选型 benchmark 方法：复用其多数据集（开放/专有、不同主题与问题类型）评估框架，为业务中的 RAG pipeline 快速筛选合适的轻量生成模型。
- 延迟优化参考：论文验证了 SLM 在无 GPU 硬件下的推理时间仍在可接受范围，可指导搜索推荐系统中实时类 RAG 应用（如解释性生成）的时延可行性评估。
- 检索与生成能力解耦测试：聚焦仅更换生成器模型的效果，类似思路可应用到推荐理由生成、广告文案自动改写等模块，独立评估不同 SLM 的文本生成质量。
SCOPE：面向边缘部署的实时自然语言PTZ摄像代理
🧭 Agent · 语言驱动摄像代理与仿真基准 ★ 深度解读
Armada AI
通过SLM规划器与VLM感知工具解耦，实现边缘实时PTZ摄像代理，并发布536任务基准与19种模型组合分析
📌 工作参考价值（4 点）
- 规划与感知解耦的架构：将SLM作为调度中心，感知工具（VLM）按需调用，避免图像 token 进入对话上下文，降低延迟和显存压力，适合多模态 Agent 的边缘部署。
- MoE SLM 的延迟–准确性平衡：Qwen3-30B-A3B（激活参数 3B）在推理延迟上接近 4B 密集模型，但工具路由和推理能力显著更强，是实时控制环路中的实用选择。
- 量化几乎无损：FP8 量化在多数配置下准确率持平或略优，且减少显存，对生产环境中的模型压缩与加速有直接参考价值。
- 仿真–真实的双向评估框架：在 Blender 中精确复现 PTZ 动作空间和工具 API，实现可复现的闭环评测，这一方法论可迁移至其他具身 Agent 或 IoT 控制的迭代开发中。
当云端Agent遇到设备端Agent：混合多智能体系统的实践教训
🧭 混合云边多智能体系统 · 架构与成本/能效权衡 ★ 深度解读
Qualcomm AI Research
系统研究混合云边多智能体架构的性能-成本-能效权衡，揭示规划式与建议式架构的任务依赖性及上下文重置对长程执行的关键作用
📌 工作参考价值（4 点）
- 混合部署策略：将 token 密集型执行放在设备端（Qwen3 4B-32B），云端（GPT-4o）仅作周期性监督，可大幅降低 API 成本同时保持竞争力，适合电商客服 Agent、商品信息聚合等长程交互场景。
- 按任务特性选型：结构化规划（PEVR）在状态空间大且错误不可逆的 UI 操作任务中显著优于建议式（EVA），而深度搜索类任务中建议式更优，启示电商 Agent 在导购对话（需要严格跟进步骤）和文档检索（需要灵活聚合）场景应采用不同协作模式。
- 控制监督频率与上下文重置：过频繁的云端干预会损害性能，合适的验证间隔及干预后的上下文重置可防止 KV-cache 膨胀，让设备端 SLM 能胜任长程任务，适合内存受限的移动端部署。
- 避免简单路由：混合 MAS 能解决单纯云或设备端模型独立无法完成的任务子集，因此构建云端-设备协同系统时应考虑动态任务分配而非静态路由，在电商 Agent 工作流中可据此设计协调整合模块。
HARNESS-LM: 赞助搜索检索下SLM的三阶段训练配方
🧭 赞助搜索检索 · 知识蒸馏与模型压缩 ★ 深度解读
Microsoft AI India
通过教师训练、ℓ2对齐和对比细化，将大检索模型能力迁移到轻量级在线查询编码器，并实现27×延迟降低与线上收益提升。
📌 工作参考价值（4 点）
- 三阶段解耦训练范式：广告检索或推荐召回场景可先训练一个不受延迟约束的强教师（大模型、多模态特征或LLM增强特征），再用ℓ2回归将轻量级查询塔对齐到教师查询空间，最后用业务数据对比微调，获得接近教师精度且满足在线延迟的模型。
- ℓ2对齐简单有效：无需标注数据，利用大量无监督查询日志即可将大模型的几何结构迁移到小模型，避免复杂的对比蒸馏损失或核对齐，在电商搜索、推荐序列等海量无标签语料上极易落地。
- 逐步剪枝再对齐：借鉴Ministral 3的级联压缩思路，逐层/逐FFN维度剪枝后重新对齐，可系统探索延迟-质量帕累托前沿；如从28层剪至4层仅损失1.1%精度，获得6×延迟缩减，适合需要多档位部署（如GPU/CPU）的业务场景。
- 对比细化恢复剪枝损失：冻结教师文档编码器后，用业务正负样本单独微调查询编码器，能有效弥补因压缩引起的精度下降（剪枝4层模型提升2.7 P@100），可作为快速迭代的轻量适配手段。
小语言模型作为队友：教育评估设计中的私密部署比较研究
🧭 教育评估生成任务中的SLM vs LLM对比评估
SLM在教育题目生成任务中性能接近LLM，但模型自评不可靠，须有人工闭环
📌 工作参考价值（4 点）
- 若业务场景（如私域商品评价问题生成）需低成本、隐私敏感部署，SLM 是可行选择，性能接近大模型，可优先实验。
- 为生成式推荐或 Agent 的指令设计建立多维质量指标时，可借鉴 Bloom 分类法，对生成内容层次化打分，避免单维度评价。
- 模型自评（用 LLM 评价 LLM 输出）存在系统性偏差，必须加入人工校验环节；在人机协同工作流中，可先让 SLM 粗筛，专家抽检校准。
- 在 Agent 工具链中，对小范围、高并发的结构化内容生成（如提示词模板、回复候选），用 SLM 可实现质量与成本的平衡。