Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
计算而非几何：意义同一性是计算产生的，不是嵌入自带
🧭 RAG 语义向量假设的实证挑战
Independent Researcher
系统实证显示同义改写判断依赖句子在同一前向中的联合计算，冻结双塔向量几乎无法读出该关系
📌 工作参考价值（4 点）
- 同义 query 归一化、商品标题同款识别、广告文案去重等任务中，不要依赖双塔向量 cosine 相似度（AUC 仅 0.55-0.65）。直接用 cross-encoder / 联合前向读头，或现成 BGE-reranker-large（AUC 0.94），1.5B 联合 probe 即可达 0.90+，成本可控。
- 搭建召回/检索时，dense 双塔召回对 paraphrase 类语义不够敏感，建议增加 hybrid retrieval，并用联合注意力的 reranker 做第二跳，而不是期望单塔召回解决含义等价问题。
- 若为线上性能必须保留双塔结构，可从联合教师模型（如 BGE-reranker）蒸馏分数到小型联合读头或非线性 pair 模块；但注意 bi-encoder 直接 fine-tune 到 paraphrase benchmark 会显著损失 STS-B/QQP 迁移（Spearman 下降约 0.25），需任务隔离或加通用损失。
- 对 query 改写、push 文案、广告创意等生成后需要判断"是否同一意图/同义"的场景，优先用 LLM/联合编码核对，而不是保存的句子向量比较。