AI Papers Daily

#Convergence

2 篇

Token Budget Saturation and Mechanistic Early Detection of Reasoning Non-Convergence in Chain-of-Thought Models

推理模型Token预算饱和与不收敛早期检测

🧭 推理收敛早期探测与退出机制

University of Maryland

CoT推理呈双峰收敛，内部表征可早期预测失败，为提前退出开辟路径

📌 工作参考价值（4 点）

• 在LLM推理链生成中部署线性探针监测隐藏状态，当检测到高概率收敛失败时提前终止，可节省大量推理成本，适用于推荐理由生成、搜索解释等业务场景。
• 对简单到中等复杂度任务（如商品描述优化、query意图分类解释），采用budget forcing限制思考token数至256，几乎不损失准确率，显著降低延迟。
• 工程实现中优先使用内部激活探针而非基于输出文本熵或重复率的行为指标，前者信号更强且更早。
• 根据问题难度或早期探针信号动态分配计算资源，使推理预算自适应，实现成本与效果的平衡。

Reasoning | 2026-07-23 | cs.LG | score 6/10

Chain-of-ThoughtEarly DetectionProbeToken BudgetConvergenceReasoning

Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence

平衡 LoRA：消除参数不变性加速收敛

🧭 LoRA 优化 · 平衡投影 ★ 深度解读

École Normale Supérieure PSL · CNRS · Apple

提出 BaLoRA，通过投影到平衡流形改善 LoRA 条件数，实现更快收敛且几乎无额外开销。

📌 工作参考价值（4 点）

• 在生成式推荐或 Agent 微调中，用 BaLoRA 替代标准 LoRA：每步优化后加一次极分解+SVD 投影（复杂度 O((a+b)r²)），收敛更快且不增加显存。
• 高秩微调场景（如复杂多模态推荐、大规模 Agent 模型）下，BaLoRA 在高 rank（64、128）优势显著，可避免条件数恶化。
• BaLoRA 对学习率和初始化缩放更鲁棒，降低超参搜索成本，适合业务中快速迭代。
• 投影保持乘积 AB 不变，无伤融入现有 LoRA 流水线，可即插即用。

Training | 2026-05-29 | cs.LG | score 8/10

LoRAConvergenceConditioningBalancedPEFT