#denoising

4 篇

CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF

CleanRM：用少量干净反馈对 RLHF 做样本级噪声奖励建模

🧭 RLHF 奖励建模 · 样本级噪声校正 ★ 深度解读

Zhejiang University · Xiaohongshu Inc · National University of Singapore · New York University · University of Illinois at Urbana-Champaign

用少量干净反馈经最优传输校准样本级噪声率，并构造无偏代理损失提升奖励建模与 RLHF

📌 工作参考价值（4 点）

点击、点赞、评分等 point-wise 反馈噪声天然是样本级的，不应沿用全局噪声率假设；可抽样少量高质量人工/专家复核样本作为 clean set，训练一个轻量样本级噪声率估计器，再做损失校正。
把 CleanRM 的两阶段思路迁移到 CTR/CVR 或推荐 reward 建模：先学样本级翻转概率 μ(x)、ν(x)，再用无偏 surrogate loss 训练主模型；相比全局 IPS 或 forward correction，更贴合业务中不同 item/query 的噪声异质性。
最优传输对齐 clean set 和 noisy set 的联合 (embedding, preference) 分布，工程上只需 backbone 输出的 embedding 和少量干净标签，不需要大规模标注；可复用于 LLM-as-judge 的评分去偏，尤其当业务依赖模型打分构建训练信号时。
下游策略优化对 reward model 的噪声高度敏感；在电商/Agent 场景如果要用 reward model 驱动策略或排序，先做样本级去噪能直接放大下游收益，论文中 FFT 安全分数相对 naive 提升 79.5% 可作为收益量级参考。

Training | 2026-10-15 | stat.ML | score 8/10

DTAMLP：面向会话推荐的去噪时间感知 MLP

🧭 会话推荐 · 时间去噪 MLP

University of Electronic Sciences and Technology of China

针对会话推荐中短 dwell time 的偶发噪声，提出可插拔时间权重融合与 FFT 滤波的全 MLP 模型 DTAMLP

📌 工作参考价值（4 点）

将 dwell time 作为软权重而非等权特征：用阈值截断（超过一定秒数就 cap）并做对数/归一化，与 attention 得分相乘，作为插件嵌入现有 session/序列模型，冷启动快、改动小，可优先在电商详情页点击序列上尝试。
频域去噪可作为通用 embedding 侧模块：对用户行为序列 embedding 做 FFT，学习可训练滤波器（如实部/虚部权重或 mask），再逆变换，再送入 MLP/Transformer，计算开销低，适合处理多意图混杂的浏览序列。
消融设计提示：不同去噪机制可能互补，但需控制阈值和频域模块容量，避免过拟合；上线前先用离线数据验证单独模块增益。
注意评估的诚实性：论文明确说不是 SOTA，主要是机制验证；迁移到业务时先做小流量 AB，关注浏览深度、误触率等指标，而不是只看点击率。

RecSys | 2026-08-13 | cs.IR | score 7/10

面向冷启动推荐的隐式反馈去噪方法 DIF

🧭 去噪隐式反馈 · 冷启动推荐 · 伪标签生成 ★ 深度解读

Kuaishou Technology · Hong Kong Baptist University · Peking University · Nanjing University · Chinese Academy of Sciences

利用内容相似暖物品为冷物品生成置信度加权的伪标签，并通过不确定性估计自适应修正标签噪声

📌 工作参考价值（4 点）

冷启动物品的伪标签生成套路：利用已经训练充分的暖物品协同表示和用户塔输出，通过内容相似度检索top-k暖物品，用内积生成伪标签。电商冷启动物品（新品、新店铺）可复用这一思路，用图像/文本多模态相似度找到同类历史商品，借用其学习好的交互信号。
置信度加权聚合：对top-k伪标签按内容相似度做softmax加权，提升伪标签精度，避免简单平均带来的噪声。温度系数τ可调节相似度区分度，实践中相似度通常很高（>0.9），需要τ来拉开差异。
样本级不确定性自适应修正：结合相对熵（模型预测与标签的差异）和物品冷启动状态（曝光次数指数衰减）估计标签噪声，再按该不确定性对原始标签与伪标签做 convex 组合。这一机制可灵活插入任何双塔或CTR模型训练，且对暖物品影响极小。
工业在线部署架构：详细给出了内容相似暖物品实时检索与表示更新的pipeline设计——多模态推理服务→消息队列→item-to-item ANN服务→协同表示 Embedding 服务，完全适配流式训练场景，可供搭建推荐系统实时特征工程的团队直接参考。

RecSys | 2026-06-17 | cs.IR | score 10/10

仅需极少量 RLVR 训练：通过秩-1 轨迹外推 LLM

🧭 RLVR 训练效率优化 · 参数轨迹外推

University of Virginia · Washington University in St. Louis

发现 RLVR 参数轨迹是低秩且线性的，提出 RELEX 只需 15% 训练步数即可外推高质量 checkpoint

📌 工作参考价值（4 点）

在线学习/RL 调优的早期停止：在电商推荐、Agent 策略的 RL 微调中，监控参数更新矩阵的秩，若观察到类似秩-1 结构，可大幅压缩训练步数，直接外推后续 checkpoint，节省算力。
低资源快速实验：仅需短窗口（如 15% 步数）和简单 SVD+线性回归，无需额外训练即可获得完整训练的近似模型，适合快速迭代验证想法。
模型合并与聚合中的去噪：秩-1 投影可滤除随机优化噪声，这一思想可迁移到联邦学习的参数聚合或多臂老虎机策略合并，提高鲁棒性。
长期性能预测：在无法完整训练的场景（如在线 A/B 测试需快速决策），用少量步数的参数变化线性外推长期趋势，提前终止劣化方向。

Training | 2026-05-19 | HF Daily | score 7/10