#Intervention

4 篇

PIVOT: Progressive Intervention via Online Teacher Correction

PIVOT：通过在线教师纠正进行渐进式干预

🧭 强化学习训练 · 在线教师干预

University of Chinese Academy of Sciences · Tsinghua University · Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences

在RLVR中插入教师纠正轨迹并施加token级KL监督，大幅提升困难推理任务的学习效率与最终表现

📌 工作参考价值（4 点）

在电商/Agent多步决策任务中，RLVR常因稀疏奖励（最终是否成交、任务是否完成）而训练低效；可引入教师模型（如GPT-4/内部大模型）在失败轨迹上在线生成修正步骤，并把这些修正插入学生rollout，只对插入段做token级KL蒸馏，避免整条轨迹过度依赖教师导致不可学。
当一组rollout全部失败时，结果奖励无梯度；可借鉴PIVOT的双重信号：先通过轨迹级干预保证至少部分轨迹包含正确片段，再对教师段做密集token级监督，这适合电商智能客服、商品推荐对话等场景中“用户不满意”的负样本利用。
论文的消融表明，干预位置（如失败点附近）和KL监督范围（仅教师段vs全轨迹）对最终性能影响显著；在业务中可先小规模网格搜索这些超参数，避免教师信号过强导致学生退化为模仿教师，丧失RLVR的探索收益。
若已有线上强模型可作为教师，PIVOT的在线纠正成本可控，适合将弱模型（部署端）通过RLVR+教师干预进行蒸馏式增强，用于推荐解释生成、搜索query改写等轻量生成任务。

Training | 2026-10-29 | cs.CL | score 7/10

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

学习在何处注入新用户轮次以重定向 LLM 推理自纠正

🧭 LLM 推理自纠正 · 干预位置学习

KAIST

UPTURN 用 130K 参数头学习失败推理的干预位置，以新用户轮次注入纠正指令，无需微调即提升数学推理准确率

📌 工作参考价值（4 点）

在对话式推荐/搜索 Agent 的 multi-step 推理或工具调用失败时，可训练轻量 MLP 头（冻结 encoder）从若干候选 step 中选一个「重试起点」，只保留前缀、重新生成后缀，避免整轮重跑；该头只以最终任务成功（如是否下单/点击）做弱监督，不需要过程标注。
干预时把纠错指令作为新的 user turn 注入，而不是拼在原生成文本里 inline 注入；在固定生成预算下，角色转换更容易改变模型后续生成分布，这对包含 system/assistant/user 轮次的搜索推荐多轮对话尤其适用。
该框架与现有 RL（如 GRPO）和 self-correction 正交，可在强化学习后的 policy 上叠加，作为推理时纠错模块，适合业务中不重训大模型、只加小模型控制干预时机的低风险上线方式。
但注意其训练信号只有 final-answer correctness，对没有明确二元成功信号的推荐场景（如点击/转化稀疏）需要重新设计 reward，迁移价值主要在「何时重试」的选择器+「新 user turn」重定向技巧。

Reasoning | 2026-10-09 | cs.CL | score 7/10

Self-Correction LLM Reasoning Intervention MLP Head No Fine-Tuning

From Reweighting to Rewriting: Unlocking the Intervention Effects of Influential Samples in Training Data Attribution

从重加权到重写：解锁训练数据归因中高影响样本的干预效应

🧭 训练数据归因 · 影响力函数干预

Peking University · YiXin-AI Lab · Beijing Academy of Artificial Intelligence

影响力函数选中的样本在重加权下干预有限，但对其响应进行重写可实现更强、持久且双向的行为改变

📌 工作参考价值（4 点）

在 LLM 微调治理中，若需修正拒答/过度生成、安全合规、商品属性表达等行为，用影响力函数（IF）选出的少量高杠杆样本，直接重写其 response（而非 instruction），比调整样本权重或随机改样本更有效且效果更持久、双向可控。
可把 IF 作为数据清洗/标注预算分配工具：优先重标注 IF 分数高的训练样本，用行为对齐/对抗的监督信号做定向改写，能通过极小样本集实现行为翻转，避免大量重训。
重加权在评估 TDA 时会低估样本干预价值，实际落地评估归因方法时应区分“局部重加权效应”与“重写干预杠杆”，不要仅用 weight-based 干预去验证归因质量。
针对电商/搜索场景的 LLM 应用（如商品问答、广告文案、政策拒答），可构建行为探针（如 epistemic abstention、safety refusal），用 IF 定位问题样本并重写响应来快速修复 badcase。

Training | 2026-09-01 | HF Daily | score 6/10

Training Data Attribution Influence Functions Response Rewriting LLM Intervention Safety

A Gravitational Interpretation of Fine-Tuning Reversion

微调回归的引力解释：几何视角下的行为恢复与干预

🧭 微调行为退化的几何机制与方向干预

Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), UAE

用历史训练流形的“引力”解释微调后行为回归，通过阻断回归方向有效抑制有害性恢复

📌 工作参考价值（4 点）

持续微调或在线学习场景中，可监控表征漂移与历史回归方向(v_rev)的对齐程度，预警行为退化风险。
计算v_rev只需保存初始化检查点与当前模型的激活差异，工程开销低，适合嵌入增量训练流水线。
若需保留特定能力（如去偏见推荐），可在更新时投影梯度以阻断v_rev方向上的位移，实验证明能以极小任务代价大幅降低有害性。
方法不依赖特定安全向量，利用训练历史本身定义回归方向，对搜索推荐模型的偏好保持与灾难性遗忘缓解具有启发意义。

Training | 2026-06-25 | HF Daily | score 6/10

Fine-Tuning Reversion Geometry Safety Alignment Representation Drift Intervention Training Dynamics