Think Short, Defer Smart, Act, and Repeat: Calibrated Reasoning and Uncertainty-Aware Deferral for Edge LLM Agents
边缘 LLM 智能体的校准推理与不确定性推迟框架
🧭 边缘 LLM Agent 推理预算与智能推迟
Northeastern University London
提出 TSDS，集成轻量收敛探针与困惑度推迟规则，通过 LTT 联合校准，在边缘 ReAct 智能体上显著减少思考计算量并保证性能
📌 工作参考价值（4 点）
- 在构建基于 ReAct 的推荐或客服 agent 时，借鉴轻量收敛探针，监测多步推理中动作的稳定性，当连续几步预测的动作一致时提前终止推理，节省推理成本，适用于商品属性搜索、对话式推荐等需要多步交互的场景。
- 设计基于困惑度的推迟规则，对 agent 生成的最终动作序列计算困惑度，若低于阈值则本地执行，否则转交云端大模型，有效控制云端调用成本，并可设定可接受的调用率上限。
- 利用 LTT 方法在历史交互日志上联合校准推理停止阈值和推迟阈值，使系统在满足云端调用率约束的同时最大化成功奖励，提供统计保证，可在推荐系统的多步决策流程中应用。
- 对于需要权衡延迟和精度的推荐场景（如实时推荐解释生成），TSDS 的动态推理深度和推迟策略可迁移，实现自适应的资源调度。