AI Papers Daily

#overthinking

2 篇

To Think or Not to Think: Pre-Decisional Reasoning Budgets for Referring Audio-Visual Segmentation

指代音视频分割中基于预决策表征的推理预算控制

🧭 自适应推理 · 生成前隐状态路由

Tongji University · IEIT SYSTEMS (Beijing) Co., Ltd.

发现过长思维链对简单查询有害，利用生成前隐状态线性探测路由器省60% token且保留96%性能

📌 工作参考价值（4 点）

• 在 LLM-powered 推荐或 Agent 工作流中，不要默认所有 query 都走长 CoT/多步工具调用：简单 query 可能因过度推理产生 phrase 或 localization drift。可设计基于模型生成前隐状态（首 token 前的 state）的轻量路由器，判断是否需要深度推理。
• 用线性探针对内部表征做二分类，比基于文本特征或不确定性 proxy 信号更有效；且只需单次前向，无需额外生成，适合在线低成本决策。
• 报告的 60% token 减少且保留约 96% always-long 性能，可作为成本-质量 trade-off 的实用参考；对推理成本敏感的电商/广告 Agent 场景值得尝试类似的 pre-decisional routing。
• 该工作是 Ref-AVS 任务，未在推荐系统上实验；但思想可迁移到 RAG 是否检索、长上下文是否展开、多步推荐解释生成等自适应推理控制。

Reasoning | 2026-10-15 | cs.MM | score 6/10

adaptive reasoningchain-of-thoughtmultimodalroutingoverthinkinglinear probe

Dynamic Rollout Editing for Reducing Overthinking in RL-Trained Reasoning Models

动态轨迹编辑：缓解 RL 训练推理模型的过度思考

🧭 GRPO 训练中的动态轨迹编辑

Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences

针对 GRPO 训练中序列级信用分配导致过度思考膨胀，提出训练时动态编辑成功轨迹的冗余部分

📌 工作参考价值（4 点）

• Agent 多步推理的截断训练：在电商 Agent 用 RL 训练时，若成功轨迹存在冗余推理，可借鉴 DRE 思路，在答案出现后截断并保留前缀，避免对无用 token 的正向强化。
• GRPO 信用分配的工程修正：在广告文案生成或推荐解释的 RL 训练中，即使整体生成质量不错，序列级奖励会错误地鼓励拖沓；可引入轨迹编辑，显式偏好简洁版本。
• 减少线上推理浪费：训练时压制 overthinking，能降低部署后 Agent 在搜索、问答场景的 token 浪费，直接节省成本。
• 监控与干预点：初始化 GRPO 时检查成功轨迹的过度程度，早期干预可避免反馈循环，适合在推荐模型 RL 微调时作为监控指标。

Training | 2026-06-16 | cs.CL | score 7/10

overthinkingGRPOrollout editingcredit assignmentRLHFreasoning models