Taiji: Pareto Optimal Policy Optimization with Semantics-IDs Trade-off for Industrial LLM-Enhanced Recommendation
太极：工业级LLM增强推荐的语义-ID帕累托最优策略优化
🧭 LLM增强推荐 · 帕累托最优RL对齐 ★ 深度解读
Kuaishou Technology · Unaffiliated
通过逆推推理生成高质量CoT和帕累托最优策略优化实现LLM语义与推荐ID信号的动态平衡，提升广告收入
📌 工作参考价值（4 点）
- 数据蒸馏与过滤：利用逆推推理（RUPR）和基于PPL的拒绝采样（ORFT）生成高质量、领域相关的CoT数据，可借鉴到电商评论分析、用户意图理解等需要长文本推理的场景，尤其适合在缺少精确标注时自动筛选可靠推理路径。
- 动态多奖励平衡：POPO通过梯度对齐或奖励变异系数动态调整语义和ID奖励权重，避免手工固定权重，适用于多目标对齐的Agent训练或生成式推荐，能自动找到帕累托最优解，提升综合效果。
- 轻量级实现：POPO-light仅用rollout奖励的均值和标准差，零额外计算开销，适合工业级大规模RL训练；可直接嵌入现有GRPO流程，在算力受限时作为快速替代方案。
- 特征工程与检索增强：将LLM生成的语义表征量化为稀疏ID特征，并检索相似用户的行为序列作为排序模型输入，这种增强方式不改变主模型架构，可平滑迁移到推荐、广告等场景，对长尾用户效果显著提升。