基线项与增量项:Instagram Feed 排序中的用户、物品与请求去偏
🧭 推荐排序去偏 · 价值模型 ★ 深度解读
Meta
在排序价值模型中保留原始预测并给增量项单独权重,用一个算子统一用户、物品、请求三类去偏
📌 工作参考价值(4 点)
- 排序公式里不要直接移除 bias:把原始预测 p 和增量项 Δ 分别加权,交给在线调参决定配比。电商推荐中用户历史点击率、商品热度、请求上下文都能分别构造 baseline,避免单一权重无法平衡“习惯性点击”和“候选真实增量”。
- 三类 baseline 成本都很低:user/item 历史均值可预计算,request baseline 直接读当前候选池的 mean 或 p75。电商搜索/推荐可以借鉴 request baseline 处理同一 query 下候选池强弱偏差,且只需 O(N) 或 O(N log N),不加模型推理成本。
- 用 quantile Pearson r + Var% 做离线筛查,只当 high-recall filter,不用于排序;真正决策靠在线四臂消融(none/raw/incremental/both)。可避免离线指标误杀有潜力的 debias 信号。
- 媒体格式类偏差(如图片/视频尺寸)走 debiased label,流行度偏差走 VM scoring term;概率信号比较用 logit gap,回归信号用原单位 gap;稀疏 baseline 特征要 clamp 并单独看 zero share。
一种用于度量校准度的排序方法
🧭 模型校准度量 · rankECE
Boston University · University of Chicago
提出 rankECE,基于相邻预测概率比较的校准误差度量,比常用分箱 ECE 近似更准确
📌 工作参考价值(4 点)
- 在广告/推荐系统的 CTR、CVR 预估中,模型概率校准直接影响竞价与排序;现有校准评估常用分箱 ECE,但分箱宽度和边界选择会影响结论。rankECE 基于相邻点比较,无需设置分箱,更适合在线模型监控和 A/B 测试中的校准对比,尤其当正样本稀疏时。
- 可以将其作为离线评估流程的补充指标,与 AUC、LogLoss 一同监控校准质量;实现时可将预测分数排序后计算相邻点差异的加权平均,工程上容易对接现有特征和标签存储。
- rankECE 对局部校准偏差更敏感,适合发现模型在特定预测概率区间(如高点击率头部流量)的系统性偏误,便于业务方定位问题。
- 注意该度量最初针对二分类概率校准,如果推广到多分类或 Learning-to-Rank 场景需要适配,例如对每个类或每个位置计算局部校准。
电商搜索中长期用户价值建模的直接因果效应优化
🧭 电商搜索 · 长期价值建模 · 因果优化 ★ 深度解读
Taobao & Tmall Group of Alibaba
用 actor-critic 直接优化代理指标对长期 GMV 的相对因果效应,学习个性化 item 级融合分数
📌 工作参考价值(4 点)
- 用相对因果效应替代预测关联做跨粒度对齐:不要只学「代理指标能预测长期目标」,而是学「代理指标上升时长期目标上升多少」。在业务里可以把 critic 对干预前后的预测差作为训练信号,减少纯相关性代理带来的误导。
- actor 输出融合权重而非直接输出分数:让 actor 从用户/请求特征生成多个上游预测分数的凸组合权重,既保留可解释性,又稳定优化。在线只部署 actor,把学习到的代理分数作为新增项加入现有排序公式,原有权重不动,风险可控。
- 用户级聚合要做曝光次数校准:代理指标按用户聚合时,不同用户曝光量不同会带来混杂。固定参考曝光次数并用校准模型做归一,能更干净地刻画代理指标与长期目标的关系。
- 加条件归一化排序损失作为正则:因果效应损失非凸不稳定,可以加一个把代理指标和长期目标归一化到同一分布后的 pairwise ranking loss,提升训练稳定性,类似业务多目标融合里可以复用。
一个层级,两个系统:语义商品ID用于发现面排序与搜索页查询改写
🧭 语义ID 跨推荐搜索共享层级 ★ 深度解读
DoorDash Inc.
一次性构建的分层语义商品ID同时支撑个性化排序与查询改写,排序聚合前缀特征、改写基于商品概念转移
📌 工作参考价值(4 点)
- 用 RQ-KMeans 从商品文本 embedding 构建三层语义 ID(L=3, K=512)作为跨商家商品概念层级;排序中按 L1/L2/L3 前缀聚合消费者、区域、全局行为统计得到多粒度 dense 特征,再用 SentencePiece BPE 对 (position, code) 符号串学出子词,构建 item/user 序列 embedding,比直接用前缀更互补。
- 查询改写不要直接 LLM 生成:先把 query 通过关联加购商品映射到 L2/L1 语义前缀,在概念空间用 NPMI 构建转移图;需要细化时从 L2 下降到 L3 子节点,用 query-specific 加购证据排序;LLM 仅负责最后将概念渲染成用户可见 query,保证可控性和可解释性。
- 服务时必须恢复上下文:用 merchant 当前可用商品过滤概念候选,避免推荐无货意图;排序保留 listing ID 和 taxonomy,SID 只作为补充,防止量化边界问题。
- 共享表示不共享模型:推荐和搜索各自独立使用同一语义层级,无需联合训练;排序在多个前缀深度同时消费,查询改写则 L2 横向导航、L3 纵向精化,适合低成本迁移到现有系统。
面向PCVR预测的结构化分词与目标感知兴趣表征STAR
🧭 工业推荐排序 · 序列-特征统一建模 ★ 深度解读
Tsinghua University · Peking University
STAR通过结构化特征分词、DIN式目标感知序列解码与加权InfoNCE对比目标,在PCVR排序上稳定提升AUC
📌 工作参考价值(5 点)
- 高基数稀疏特征别直接丢弃:频率 remap + 共享 unknown bucket + 序列哈希分支,让长尾 ID 重新进入模型;同时保留高频 ID 专属 embedding,可迁移到电商 user/item 长尾特征。
- 对行为序列做 target-aware decoding 而非全局 pooling:DIN 式 query 用 candidate item 与序列 token 的差/点积计算注意力,能更准提取与当前广告/商品相关的兴趣;公式(4-6)可落地。
- 训练加 InfoNCE 对比辅助目标,对 user-item 表示做 in-batch 对齐,提升排序 AUC 而非 LogLoss;适合推荐排序场景,注意温度与权重衰减。
- 稀疏特征中的零值需区分真实零与 padding/missing:加 non-zero mask、整数 ID 偏移,避免特征混淆;工程上要重建映射表保证 train/infer 一致性。
- 缩放容量优先加 hidden width 与 HyFormer block depth,而非 embedding 维度或稀疏参数量;embedding 扩增增益不单调且有成本。
仅靠打分不够:排名中效用-公平性权衡的缺失及其弥补
🧭 排序效用与公平性权衡 · 后处理优化
University of Illinois Chicago
证明排序中仅靠打分函数无法实现最优效用-公平性权衡,半贪婪后处理可逼近理想前沿
📌 工作参考价值(4 点)
- 推荐系统重排序引入公平性目标时,避免仅依赖单一预测分数排序,应使用显式列表级后处理(如半贪婪方法)来平衡公平与效用
- 半贪婪后处理计算开销远低于穷举搜索,可在线部署,适合电商/广告大候选集的公平性干预
- 跨请求的累积公平性约束(多查询公平)比单次推荐公平更能改善长期生态,可作为长期公平优化方向
- 实验表明基于分数的随机排序(如概率排序)也无法充分实现公平-效用前沿,建议直接优化排序策略而非调整分数
BiRD:基于双向排序的检索增强生成防御机制
🧭 RAG安全 · 双向排序信号
Wuhan University · Naval University of Engineering · Xi’an Jiaotong-Liverpool University
发现毒化文档的双向排名对齐特征,提出结合前向与后向排名的双信号防御框架,兼顾效率与鲁棒性
📌 工作参考价值(4 点)
- 电商 RAG 系统可借鉴双向排名一致性检查作为轻量级毒化检测:在检索后计算查询到文档的前向排名和文档到查询的后向排名的一致性分值,筛选异常文档,额外延迟 < 1s,适合在线服务。
- 双向排名信号不依赖特定 LLM 或检索器,可嵌入现有检索管道作为插件式过滤器,迁移成本低。
- 该发现启示在推荐/广告系统反作弊中,可分析用户与物品的双向近邻关系来检测异常交互,例如刷单用户的邻居行为异常。
- 实验证明该方法在强攻击下仍有效,可应用于电商问答系统防投毒,提升生成答案的可靠性和任务准确率。