#Multi-Objective

5 篇

Utility-Aware Generative Recommendation: Utility-Enriched Semantic Codes and Utility-Guided Decoding

效用感知生成式推荐：融合效用语义编码与效用引导解码

🧭 生成式推荐 · 效用感知 SID 与解码 ★ 深度解读

Kuaishou Technology · Peking University

将多目标效用写入SID末级并引导beam search，降低高价值候选被剪枝

📌 工作参考价值（3 点）

UE-SID 思路可直接迁移到电商/广告的 Semantic ID 体系：前几级保持语义量化不变，只在末级用 LFQ 释放弱判别 semantic bits，替换为 GMV、转化率、客单价、时长等 utility bucket。新商品上线或爆款衰减时只更新 utility bits，不重训 generator/tokenizer，适配目录高频变化。
UGD 的工程实现很适合低风险上线：复用 decoder 隐状态 + stop-gradient，只训练轻量共享 MLP 和行为专用 token head；beam search 打分用 logp + λ Σ w_m Norm(q_m)，无需额外 backbone 前向，QPS 几乎不降。多目标权重配置化，可随时切换不同业务目标。
对比 RL 和 post-rerank：UGD 在每一步 prefix 剪枝时估计 utility，避免 GRPO 只在完整 sequence 上优化而无法顾及中间剪枝；也比后排序更能保留已剪掉的高价值候选。做生成式召回/query 生成时可优先考虑这种 decode 端 utility 引导，而不是加重训练端 RL。

GenRec | 2026-11-02 | cs.LG | score 10/10

组件感知反馈驱动的自进化程序

🧭 LLM 程序进化 · 组件级归因反馈 ★ 深度解读

Santa Clara University

对进化搜索中的每次代码变更做组件级归因并写入记忆，让 LLM mutator 在重排任务上收敛更快、效果更好

📌 工作参考价值（4 点）

在 LLM-guided evolutionary search 或自动优化 pipeline 中，不要只给 mutator 看完整代码和总分；把每次 mutation 的组件 diff（新增/删除/修改的函数、常量）与 evaluator 返回的 metric 变化组成 (component_set, delta_metrics) 记录，显式注入 prompt，能显著减少 LLM 从长上下文推断编辑效果的负担。
双参考帧设计值得复用：local frame（child vs parent）回答“上一步有没有用”，global frame（child vs seed）回答“整条 lineage 是否值得继续”。在搜索停滞时调用 global frame，可帮助 mutator 换策略而不是在局部瞎试。
多目标优化目标函数可借鉴：将质量项和成本项分别对 seed 归一化，加一个小的 λ 项和 min(a,b) 项，既能同时优化质量和 token 成本，又避免搜索只玩一个维度。电商重排/广告出价等成本敏感场景可以直接套用。
本地可服务模型（如 Qwen3.6-35B-A3B）就够用，不依赖 frontier LLM；组件级归因反馈提高了样本效率和跨域泛化，对线上持续自动调参/调 pipeline 有直接工程价值。

LLM | 2026-09-29 | cs.IR | score 9/10

Self-OPD：无教师的流匹配模型在线策略蒸馏

🧭 流匹配模型对齐 · 无教师自蒸馏

Tsinghua University · Zhejiang University · Alibaba Group

提出无需任务专属教师的在线策略蒸馏框架，将学生自探索转为逐步监督，超越现有 RL 与 OPD 方法

📌 工作参考价值（4 点）

无教师自蒸馏思想可迁移到生成式推荐或 LLM 对齐：业务中训练任务专属教师模型成本高，可借鉴 Self-OPD 的分支自探索机制，让学生模型通过自身多步采样获得优势信号，减少对复杂教师网络的依赖。
多目标奖励融合技巧：在电商搜索/推荐中常需同时优化点击、转化、多样性等指标，Self-OPD 在 reward 层面融合归一化分数而非在梯度层面直接加权，能缓解目标冲突，可在多目标 RL 或 LLM 微调中尝试。
分支探索 + 优势加权更新：生成式推荐或文案生成场景中，可使用类似“确定性基线 + 随机分支”的方式产生多样化候选，通过奖励对比计算优势，再用 pull-push 目标引导模型，可能提升生成结果的 reward 对齐效率。
工程实现上注意 SDE 候选与方差归一化：该方法引入 SDE 分支和方差归一化来稳定训练，对于训练不稳定或高方差的 RL 任务有借鉴意义，但需注意计算开销翻倍。

Training | 2026-08-26 | HF Daily | score 6/10

SPEAR: 社区搜索中端到端自适应改写与检索的防短路框架

🧭 端到端查询改写与检索联合优化 ★ 深度解读

National University of Singapore · Shanghai Dewu Information Group Co., Ltd.

通过梯度隔离双嵌入、乘性门控和动态选择器，解决改写-检索错位与通用词主导效应，点击召回@10提升99.5%

📌 工作参考价值（4 点）

在多路召回改写系统中，可用乘法门控替代加法路径评分（如 Softplus 保证非负后加权），强制改写贡献需同时满足高置信与高 item 相关，直接消除高频通用词的分数膨胀问题。
若模型同时服务召回和排序任务，采用双嵌入分支 + stop-gradient 隔离梯度，保护召回语义不被 CTR 优化扭曲，工程上仅需增加少量投影 MLP，易于部署。
动态生成样本级的 scale/bias 参数（由用户和 query 表征共同决定），使改写权重与匹配分数能随请求自适应校准，比固定超参更具个性化性。
离线评估改写模型时，可同时关注 Exposure Recall、Click Recall 和 Semantic Similarity 三个指标，分别衡量检索覆盖、点击恢复和意图保真，避免单一语义相似度的片面性。

QueryRec | 2026-08-03 | cs.IR | score 9/10

多解码器 OneRec：工业推荐中可控的多目标生成式检索

🧭 生成式检索 · 多目标配额可控 ★ 深度解读

Kuaishou Technology

用共享编码器+多 LoRA 解码器+约束束搜索，在统一生成式检索框架下实现多目标候选配额可控、梯度隔离与互补去重

📌 工作参考价值（4 点）

多目标生成式推荐可借鉴该共享基座 + LoRA 专家 + 梯度隔离方案：保留一个通用的 General Decoder 吸收曝光样本，每个业务目标（时长、互动、冷启）仅挂载低秩 LoRA 和独立的 BOS / SID 残差，新增目标不干扰主解码器。
连续反馈的 RL 微调值得尝试：对时长类目标，不做阈值二值化，直接用用户历史组统计标准化持续奖励，结合 L-GBPO + KL 参考正则，能保留偏好强度且不破坏通用 SID 合法生成能力。
多路解码时务必用约束束搜索（MD-CBS）避免配额浪费：不同目标解码器按优先级运行，已生成的前缀或完整 SID 在后续路由中被屏蔽，实验证明完整 SID 级别屏蔽优于浅层前缀屏蔽，可恢复几乎全部有效候选数。
若资源有限，可通过配额与束宽解耦实现成本控制：3 个 LoRA 仅增加 20% 参数量，推理时可通过减小单个解码器的束宽/配额来调节 FLOPs，配额向哪个目标倾斜即可定向提升该路召回。

GenRec | 2026-07-29 | cs.IR | score 10/10