Reinforcement Learning for Neural Model Editing
用强化学习实现神经网络模型编辑
🧭 将模型编辑建模为RL问题，学习权重修改策略
将模型编辑转化为强化学习问题，通过奖励反馈学习权重修改策略，实现遗忘与去偏
📌 工作参考价值
- 模型快速遗忘 / 合规调整：当需要从推荐模型中清除特定商品或用户群体的不良影响时，可借鉴 RL 策略自动搜索最优权重更新，替代手工设计遗忘算法，提升响应速度。
- 多目标平衡：奖励函数兼顾效用保持和编辑目标，该框架可迁移至推荐系统，在引入多样性、公平性等新约束时，自动调整模型参数以平衡点击率等核心指标。
- 持续模型维护：线上部署后，基于新业务数据或规则，利用 RL 代理执行增量式模型编辑，避免全量重训，节省计算资源。
- 自动化算法设计：将模型编辑算法设计过程自动化，减少人工介入，尤其适用于需频繁更新的大规模模型场景。
动机：编辑预训练神经网络通常需要针对特定目标设计专门算法，耗时且费力。本文探索将模型编辑形式化为强化学习问题，让代理通过奖励反馈学习权重修改策略，免除手动设计。
方法：提出两个环境：MaskWorld（乘法缩放权重）和 ShiftWorld（加法更新）。奖励函数结合效用保留（保持原始性能）和任务特定编辑目标（如遗忘或去偏）。代理观测模型状态，选择逐层或逐权重的编辑动作，最大化累计奖励。
结果：在文本分类的偏见缓解和图像分类的机器遗忘任务上评估。遗忘任务中，遗忘集准确率降至近 0%，保留集准确率保持 90% 以上；去偏任务中，偏见相关性能提升超过 5%，同时保持通用分类效用。
结论：验证了模型编辑可转化为 RL 问题，策略可从奖励中学习而非手工设计，为自动化模型编辑提供了新思路。