AI Papers Daily

#two-tower

3 篇

Multimedia Asset Personalization via Multimodal Embeddings at Netflix

Netflix 多媒体资产个性化：多模态嵌入解决冷启动并统一画布

🧭 多模态嵌入 · 冷启动资产个性化 ★ 深度解读

Netflix · Cohere

将 CLIP 与三模态 MediaFM 嵌入拼入双塔 item tower，统一画布模型并显著提升冷启动与搜索效果

📌 工作参考价值（4 点）

• 冷启动创意/素材优选：电商/广告中的商品主图、广告创意、短视频封面等，可以把 CLIP 类预训练 embedding 作为冻结特征拼进 item tower，不改双塔架构，即可获得跨类目、跨场景的知识迁移，特别适合新商品新创意。
• 多场景模型统一与数据平衡：多个展示位/画布若分开训练，可考虑合并为单一模型，并用 reward-based weighting 按长期价值给样本加权，而非手调 per-scene 权重；但必须同时注入内容特征，单独统一模型或单独内容嵌入在线可能都不显著。
• 评估与筛选：用 explore data 记录精确 propensity，IPS 离线指标更能预测线上；构建 popularity winner 线性 probe 作为廉价 gate，先筛选 embedding 版本再上端到端 A/B，可大幅降低实验成本。
• 工程部署：precompute-first 三层预计算：素材 embedding、item tower 输出、个性化选择都离线/日更算好，在线只做 KV lookup，多模态模型不进请求路径；只对 top N 候选物料化，平衡成本与覆盖。

RecSys | 2026-08-18 | cs.IR | score 8/10

multimodal embeddingscold-starttwo-towerCLIPMediaFMIPS

Don't Contrast the Impossible: Region-Constrained Batching for Contrastive User Modeling on a Local Community Platform

区域约束批采样：消除本地社区平台对比用户建模中的不可能负样本

🧭 对比学习 · 区域约束负采样 ★ 深度解读

Danggeun Market Inc. (Karrot)

提出区域约束批采样(RCBS)，通过构造区域同质mini-batch将地理不可能负样本替换为可行负样本，提升用户表征质量与下游推荐效果

📌 工作参考价值（4 点）

• 地域受限业务的负采样策略：外卖、本地生活、社区电商等有曝光半径的场景可直接借鉴，按配送区域或商圈组织batch，减少因配送范围外导致的无效负样本，让模型专注真实可曝光物品的对比。
• 零模型改动的经验性trick：仅改变数据加载时的shuffle逻辑，不改模型结构与loss，工程落地成本极低；可按粗/细粒度区域分组逐步降低不可能负样本比例（如从0.98→0.30），观察到Recall稳定提升。
• 负样本难度信号的隐性引入：RCBS使batch内天然充满“可行但未交互”的负样本，这种harder negative能提供更强训练信号，尤其适合两塔模型直接迁移。
• 与倾向性加权的互补：若存在进一步曝光偏差，可在区域batch内叠加IPS等倾向性修正，先行用RCBS去掉曝光概率为0的样本，再对剩余样本做概率加权，实用且易扩展。

RecSys | 2026-07-31 | cs.IR | score 8/10

contrastive learninguser modelingnegative samplingregional constrainttwo-towerbatch sampling

Real-Time Hard Negative Sampling via LLM-based Clustering for Large-Scale Two-Tower Retrieval

基于 LLM 聚类的实时硬负采样双塔召回

🧭 双塔召回 · 硬负采样 · LLM 聚类 ★ 深度解读

Meta

提出一种在线聚类的硬负采样框架，利用 LLM 生成 item 语义簇并实时抽取簇内 hard negative，显著提升召回并缓解流行度偏差

📌 工作参考价值（4 点）

• 用 LLM 离线生成 item 语义簇替代规则类别：电商/视频场景可构建多模态内容理解模型，产出 300 级粗粒度簇（簇内 item ≥ 10k），作为硬负采样的先验，比人工品类树更适应内容语义和用户兴趣迁移。
• 实时 OOB 池 + 哈希分桶采样：将 item 池按 cluster_id 分段维护，更新与采样均 O(1)，训练 QPS 损失仅 -1.4%，可直接嵌入现有双塔训练流，不需异步构建 ANN 索引。
• 簇内采样缓解反馈循环与流行度偏差：从与正样本同簇的 item 中抽取负样本，迫使模型学习细粒度区分能力，工业实验中 Top100 热门 item 曝光占比从 50% 降至 32%，长尾曝光桶（≥1k impressions）增加 50%，对去偏效果明显。
• 评估避免 k-core 过滤与采样指标：使用全量全局排序评估 HR@50/100，更反映冷启动与稀疏场景的真实效果，业务落地评估时可参考此严格设定。

RecSys | 2026-07-01 | cs.IR | score 10/10

hard negative samplingLLMclusteringtwo-towerretrievalpopularity bias