#embedding

3 篇

pplx-embed-v2-late Technical Report

PPLX-Embed-V2-Late：0.6B/9B 多模态后期交互检索模型

🧭 多模态 late-interaction 检索蒸馏 ★ 深度解读

Perplexity AI

用 18B 教师表征蒸馏出 0.6B/9B 多模态 late-interaction 模型，支持大模型离线建库、小模型在线查询的共享向量空间

📌 工作参考价值（4 点）

非对称部署：用 9B 离线索引商品/文档/图片，0.6B 在线编码 query；报告显示 0.6B query + 9B doc 比纯 0.6B 平均 nDCG@10 高 1.6pp，query 延迟不变，适合电商大规模商品库和低延迟搜索。
表征蒸馏优于直接 contrastive：训练小 late-interaction 模型时，直接拟合 18B 教师的 token 级 L2 归一化表征，比单独对比学习更稳，尤其 <1B 模型；业务里想压缩强检索模型可以优先考虑这种 pointwise distillation。
128 维多向量是低成本选择：在视觉文档检索上，0.6B 128 维 multi-vector 超过同尺寸 0.8B 模型 3.3pp；相比 4096 维 dense，存储和 ANN 成本显著降低，适合电商图片搜索、商品详情页截图检索。
训练工程 trick：用 gradient caching + 自定义 Triton MaxSim kernel 支持 16,384 对比 batch；quasi-random golden-ratio Kronecker 采样保证多个子数据集比例稳定且均匀出现，可复用到多源商品/query 数据混合。

RAG | 2026-10-21 | cs.IR | score 8/10

X-Embedding：多语言专利现有技术检索的两阶段训练框架

🧭 检索排序 · 两阶段训练

Patsnap

提出两阶段训练框架 X-Embedding，先做专利结构与多语言对齐预训练，再用 X 类引用微调，64 维 Hit@100 达 89.09%

📌 工作参考价值（4 点）

两阶段训练：先做领域/结构对齐的预训练（如商品标题、描述、属性、用户评论等多视图对齐；跨语言商品对齐），再做任务微调，比直接 SFT 提升显著（+3.19 Hit@100），在低资源语言上增益更大。
hard negatives 构造：用检索候选和弱相关（A 类）作为负样本，提升区分度；推荐系统可用曝光未点击、同类目但低相关、历史负反馈物品作为 hard negatives。
Matryoshka 表示学习：一个模型输出 64/1024 维 embedding，低维保持高精度（89.09%），便于线上存储和检索成本控制，推荐召回可动态调整向量维度。
多语言对齐：对齐不同语言家族成员，可扩展到跨境电商/多语言用户场景，用跨语言正样本对增强语义一致性。

RecSys | 2026-10-21 | cs.IR | score 6/10

生成式原型锚定项表示用于序列推荐

🧭 LLM 增强物品表示 · 生成式用户原型 ★ 深度解读

The Chinese University of Hong Kong · McGill University · Tongji University

用大模型生成物品理想受众描述（原型），并通过行为校准将其与真实交互模式对齐，提升序列推荐效果

📌 工作参考价值（4 点）

物品原型生成可迁移至电商冷启动：利用 LLM 基于商品标题、品牌、描述等元数据生成“理想目标用户画像”，作为额外的语义特征补充 ID 嵌入，显著改善长尾或新品缺少行为信号时的表示质量。
行为校准损失可直接复用：提出的基于物品共现统计的自适应排斥力调节方法（association‑weighted repulsion），本质是对均匀性损失的行为先验注入，可以轻量地加到已有 CTR／召回模型的表示学习模块，迫使嵌入布局贴合真实交互结构，而无需额外架构。
模型无关且推理零开销：GenAIR 的嵌入生成过程离线完成，与 GRU4Rec、SASRec、Bert4Rec 等常用序列模型无缝衔接，推理时仅需缓存向量，适合对延迟敏感的生产环境。
可扩展至生成式 Query 推荐：原型生成逻辑可自然映射到搜索/推荐场景：为用户搜索意图生成原型描述、为推送消息生成受众画像，进而提升 QueryRec 或内容理解中的语义匹配质量。

RecSys | 2026-06-09 | cs.IR | score 10/10