生成式信息检索语义 ID 空间的系统性研究
🧭 生成式检索 · Semantic ID 设计空间 ★ 深度解读
Artefact Research Center · LERIA, Angers University
统一 PQ 与 RQ 的语义 DocID 设计空间，发现混合 PQ×RQ 最优，Uniqueness Ratio 是训练前关键门槛
📌 工作参考价值（4 点）
- 在生成式推荐/检索中构建 Semantic ID 时，先计算 Uniqueness Ratio U：若 U<0.9，下游 MRR/Recall 会显著崩塌，应作为训练前的硬性门槛，避免浪费训练资源。
- 短 DocID 或强压缩 token 预算下，优先选择端到端训练的 R-VQ，而不是分层 k-means；R-VQ 码本使用更均匀，能保持 U 和检索性能，例如 M=4 时 R-VQ 仍达 44.0 MRR@10，而 PQ×R-VQ 只有 26.2。
- 可尝试混合 PQ×RQ 结构：将 item embedding 先分成 C 个并行子空间，再在每个子空间做 L 层残差量化，同等 token 预算下（如 C=2, L=8）可超过纯 PQ 和纯 RQ，适合电商物品多模态 embedding 的语义 ID 设计。
- 用训练前的结构诊断指标（Uniqueness、Normalized Entropy、Shared Semantic Similarity、Contrastive Alignment Preservation）快速筛选 DocID 空间，尤其要区分 hierarchy 与 parallelism 的结构偏好，选择对应度量，避免只靠端到端训练评估。
生成式文档检索的 Token 级信用分配优化
🧭 生成式检索 · Token 级信用分配 ★ 深度解读
Shandong University · Peking University · Baidu Inc. · Leiden University
提出 TCA，用 gold hidden-state 轨迹对齐赋予每个 DocID token 细粒度奖励，并以 GRPO 位置归一化优化生成式检索。
📌 工作参考价值（4 点）
- 若在做生成式 item 检索 / semantic ID 生成，不要把 RL reward 当 sequence-level 标量广播到所有 token；可复用 TCA：冻结 SFT 参考模型，缓存 gold item ID 的 decoder hidden states，用当前生成 hidden state 与 gold 的余弦相似度作为 token 级 reward，再加 exact-match bonus 与长度惩罚，轻量且直接对齐解码轨迹。
- 用 GRPO 时，优势估计采用按解码位置在候选组内做标准化，而不是学习 value function；这在离散、trie 约束的 ID 空间中更稳定，尤其适合电商类目树或语义 code 类结构化 ID。
- 保留 constrained decoding / trie 约束；没有约束的 rollout 会生成大量非法或低质量 ID，token 奖励噪声大，NQ-PQ 上 R@1 掉 4.84。业务中生成类目路径或 SKU ID 时，RL 采样和推理阶段都要做合法前缀/路径约束。
- KL 正则强度按 ID 类型区分：lexical / title-URL 类 ID 用很小 KL(0.01) 防止语言模式漂移；semantic / PQ code 类 ID 敏感，KL=0 效果最好。电商场景若生成长尾商品标题或 ID，可按 ID 是否语义化调这个超参。