Contextual Embeddings Beyond the Gold Chunk
上下文嵌入：超越单一黄金块的分级蒸馏
🧭 上下文嵌入训练与评测 ★ 深度解读
Perplexity AI · turbopuffer
用查询感知压缩模型蒸馏分级 chunk 相关性替代 gold-chunk 标注，发布 9B/0.6B 模型并刷新多基准 SOTA
📌 工作参考价值（4 点）
- 用 query-aware 压缩模型/reranker 产生 token 级 graded relevance，聚合为任意 chunk 软标签，替代二值 gold chunk；既避免标注绑定分块，又让支撑证据不再被当负样本。电商搜索、长商品详情、合同、政策文档检索可复用这套在线蒸馏链路。
- 文档级检索可采用 multi-vector + MaxSim：每个文档保存多个 chunk embedding，查询-文档相似度用最高 chunk 分数；在 RAG/商品召回中比单向量更细粒度，且不增加 chunk 数存储。
- 评测不要只看单一 gold chunk，应标注 answer groups + evidence groups，并报告 Answer@K、Evidence recall、Tokens to full coverage；这能暴露排序在 aspect coverage 与读取代价上的真实差异。
- 大模型蒸馏小模型保持共享 embedding space，让索引侧用 9B、查询侧用 0.6B，配合 MRL 1024/2048 维度 + int8 量化，可在不同存储/延迟预算下切换。