TPMM-DPO: Trajectory-aware Preference-guided Model Merging for Iterative Direct Preference Optimization
TPMM-DPO：轨迹感知偏好引导的模型融合用于迭代直接偏好优化
🧭 迭代 DPO 训练稳定性优化
Guangxi University
提出轨迹感知模型融合方法，用学习到的融合权重整合迭代 DPO 过程中的历史模型，构建更稳定的参考模型，有效抑制噪声累积和性能退化。
📌 工作参考价值（4 点）
- 迭代偏好对齐的稳定训练：在电商对话、推荐理由生成等用到迭代 DPO 的场景，直接用上一轮模型作为参考可能引入噪声累积。可借鉴 TPMM-DPO，保留历史模型轨迹，通过可学习融合权重动态构建参考模型，提升训练稳健性。
- 模型融合权重学习：相比简单平均，学习到的融合权重能更好地抑制噪声，可应用于其他需要集成多代策略模型的场景（如 Agent 多轮自我改进）。
- 偏好数据抗噪：当偏好标注存在噪声（如人工标注不一致、自动收集的反馈），该方法能减轻过拟合和性能波动，适合电商 UGC 环境下的大规模偏好数据训练。
- 工程实现简单：融合模块即插即用，一般是在线合并模型参数，无需额外训练奖励模型，可直接插入现有 DPO pipeline。