Multimedia Asset Personalization via Multimodal Embeddings at Netflix
Netflix 多媒体资产个性化：多模态嵌入解决冷启动并统一画布
🧭 多模态嵌入 · 冷启动资产个性化 ★ 深度解读
Netflix · Cohere
将 CLIP 与三模态 MediaFM 嵌入拼入双塔 item tower，统一画布模型并显著提升冷启动与搜索效果
📌 工作参考价值（4 点）
- 冷启动创意/素材优选：电商/广告中的商品主图、广告创意、短视频封面等，可以把 CLIP 类预训练 embedding 作为冻结特征拼进 item tower，不改双塔架构，即可获得跨类目、跨场景的知识迁移，特别适合新商品新创意。
- 多场景模型统一与数据平衡：多个展示位/画布若分开训练，可考虑合并为单一模型，并用 reward-based weighting 按长期价值给样本加权，而非手调 per-scene 权重；但必须同时注入内容特征，单独统一模型或单独内容嵌入在线可能都不显著。
- 评估与筛选：用 explore data 记录精确 propensity，IPS 离线指标更能预测线上；构建 popularity winner 线性 probe 作为廉价 gate，先筛选 embedding 版本再上端到端 A/B，可大幅降低实验成本。
- 工程部署：precompute-first 三层预计算：素材 embedding、item tower 输出、个性化选择都离线/日更算好，在线只做 KV lookup，多模态模型不进请求路径；只对 top N 候选物料化，平衡成本与覆盖。