#Pinterest

3 篇

Advancing Relevance Measurement with Vision-Language Models for Web-Scale Search

利用视觉语言模型提升网络搜索相关性评估的工业实践

🧭 视觉语言模型 · 搜索相关性自动评估 ★ 深度解读

用微调VLM替代人工标注，结合分层采样，将搜索A/B实验的MDE降低6倍且成本降至近零

📌 工作参考价值（4 点）

用开源VLM（Qwen3-VL-4B）微调替代人工相关性标注，达到94.2%±1级一致性，可将标注成本降低超99%、周期从2天缩至2小时，适合电商/广告搜索中快速评估排序实验。
分层采样设计（按查询兴趣类别×流行度分层）能大幅缩减相关性指标的方差，使MDE降低6倍（从~1.4%到≤0.25%），对检测微小却重要的排序变化极有价值。
保留配对的实验组查询，用配对差异消除个体偏差，使得VLM标签的系统性误差在差值中被抵消，可作为Agent评估或多模态搜索中LLM裁判的校准手段。
多语言微调通过单一多语言VLM支持非英语市场，虽相关性略降但配对差异仍稳健，可复用到跨境电商搜索的自动化评估。

Eval | 2026-08-03 | cs.IR | score 8/10

MESH：通过异质内容统一扩展检索规模

🧭 异质内容统一检索 · 尺度优化

提出模块化门控偏置校正框架MESH，缓解多内容层级检索中的扩展偏置，大幅提升稀疏内容召回能力

📌 工作参考价值（4 点）

异质内容分域建模：将不同曝光频次的内容（爆款、长尾、冷启动）划分独立特征域，通过域隔离减少高频信号对低频信号梯度更新的干扰。电商推荐中可针对新品、长尾商品设置专属子塔或门控单元，避免被爆品淹没。
门控偏置校正单元：在上层融合前引入可学习的门控偏置，自动校准不同域的输出置信度，缓解冷门 item 在打分时被系统性低估的问题。可直接嵌入现有双塔或多塔的融合层。
稀疏 item 缩放指数提升14×：该方法显著改善新鲜物品的长尾分布拟合，线上新鲜 repin 提升5.5%，证明长尾内容也能从模型容量增长中受益。适用于电商新品冷启、UGC内容推荐等场景。
异步 Serving 提升吞吐2.87×：模块化设计天然支持异步执行，稀疏分量可延迟更新或复用缓存，降低在线延时。对需要多路召回融合的大规模系统，可作为工程优化参考。

RecSys | 2026-07-14 | cs.IR | score 9/10

微调LLM作为补充预测器改进广告系统

🧭 生成式推荐 · 广告辅助预测 ★ 深度解读

Pinterest, Inc., USA

用微调LLM预测潜在转化广告商，注入检索与排序，线上广告回报提升4.94%-6.69%

📌 工作参考价值（4 点）

LLM补全弱信号用户：对行为稀疏的用户，用LLM基于跨域特征（站外搜索/URL）预测可能转化的广告商，作为检索候选补充，显著提升覆盖与转化。
Semantic ID增强LLM：将多模态内容（PinCLIP嵌入量化后的SID）拼入prompt并通过多阶段继续预训练注入模型，可大幅提高广告商预测召回率（Recall@20 +7.2pp），是低成本引入视觉/协同信号的实用路径。
渐进式训练与奖励设计：先SFT学单目标，再GRPO扩展到多输出并利用位置奖励与长度惩罚，这种简单到复杂的两阶段方案适合工业广告预测，GRPO的格式奖励保证了结构化输出直接可用。
工程化部署要点：通过用户分层降低推理量、增量更新只处理活跃用户、vLLM+Ray分布式批量推理配合前缀缓存和连续批处理，可在成本可控下实现天级全量推断，适配推荐系统的时效约束。

RecSys | 2026-05-27 | cs.IR | score 10/10