R^3: Advertisement Compliance Rectification via Group-Relative Experience Extractor and Curriculum Reinforcement
R3：基于组对比经验与课程强化学习的广告合规修正框架
🧭 广告合规改写 · 课程强化学习 · 经验合成
Tencent
用组对比经验提取和两级课程强化学习，在视频广告文案合规修正中平衡审核通过率与语义意图保留
📌 工作参考价值
- 合规改写中的Compliance‑Intent权衡：广告或电商文案的自动修正常面临过度修改破坏原有卖点的问题。借鉴R3的课程强化学习设计——先只优化合规率进行充分探索，再引入“编辑距离”“连贯性”等软奖励进行正则化——可有效避免local optimum式的过分保守修改，适用于任何需要平衡“安全”与“创意”的文案生成或改写场景。
- 经验提取缓解数据稀缺：R3的GCEE（Group‑Relative Compliance Experience Extractor）通过对比失败与成功的改写轨迹，让LLM自动总结出具体、可操作的合规经验（如“直接删除‘终极’等词，而非寻找同义词”），并注入prompt。这种方式可迁移到电商搜索query改写、商品标题合规审核等任务中，用低成本的经验归纳替代昂贵的人工标注或规则维护。
- 奖励门控防止reward hacking：在奖励设计上，R3将“连贯性奖励”和“编辑数量奖励”乘以二值合规得分（Rcom），确保在内容仍违规时不激励模型追求次要目标。对于搜索推荐中的多目标RL（如相关性+多样性+收入），这种“主目标门控”机制能有效抑制指标投机。
- 工业级视频修正流水线启示：R3的完整流程（语音识别→文本改写→语音克隆与时长/响度对齐→字幕重新渲染）展示了LLM+音频技术在生产环境中落地全链路文本修正的范例。对于包含视频或直播内容的电商平台，这条流水线可直接用于对违规口播内容进行自动化整改，提升审核效率。
动机：在线广告平台每日因合规审核拒绝海量视频广告，手工修正成本极高且不可扩展。现有安全驱动的重写方法往往过度编辑，虽然通过审核但严重损伤广告主的原始语义意图与营销效果。如何在“合规”与“意图保留”之间取得最优平衡，是广告视频文案自动修正的核心难题。
方法关键点：
- 经验驱动的数据合成：先由强LLM（Gemini3‑Flash）直接改写合规文案，仅对难以处理的样本启动GCEE模块。GCEE通过对比同一广告多次改写轨迹中的失败→成功转化点，让LLM提炼出具体合规经验（如应替换的绝对化用语模式），存入经验库并做去重和冲突控制，再按条件注入后续合成过程，由此生成兼顾合规与最少编辑的训练数据。
- 课程强化学习与分层奖励：在Qwen3‑8B的SFT基础上，采用两阶段GRPO训练。阶段一只激励合规率，鼓励大幅改写以探索所有可行解；阶段二引入编辑量惩罚和连贯性奖励，但在所有辅助奖励前用二值合规得分（1/0）门控，迫使模型先保证合规再优化意图保留。为防止过度惩罚必要改动，编辑奖励设置容忍阈值τ（实验取7），在τ内的编辑不扣分。
- 全链路视频修正框架：文字识别（ASR+OCR）→ 基于R3的结构化编辑列表生成 → 音频端零样本声纹克隆、时间拉伸与动态范围响应对齐 → 字幕重新渲染，实现高清完播视频的自动化合规修正。
关键结果：在包含11k训练、1k测试的工业数据上，覆盖量化声明、绝对化用语、误导夸大、最高级声称四类违规，R3取得85.50%的平均合规率、94.70%的连贯率和81.02%的合格修正率（QRR），较Qwen3‑8B‑SFT的ComR +2.92%，QRR +8.79%，并显著优于直接调用Gemini3‑Flash的改写。3天在线A/B测试显示，合规率相对提升2.62%，广告主采纳率相对提升21%。
核心启示：将合规修正视为多目标优化问题，并通过课程强化学习让模型“先学会写合规，再学会少改多保留”，是解决安全审核中过度编辑痛点的有效范式。