H3D: Benchmarking Unsupervised Text Hashing for Fine-Grained Document Deduplication
H3D：面向细粒度文档去重的无监督文本哈希基准
🧭 文档哈希基准 · 去重评测
Zhongguancun Laboratory · Beihang University · Monash University · Hong Kong Polytechnic University
提出统一基准H3D，比较无监督非学习哈希与预训练嵌入量化哈希在细粒度文档去重上的效果、效率与鲁棒性
📌 工作参考价值（4 点）
- 商品描述去重选型：在电商平台中，对于近似抄袭或刷单生成的商品描述，MinHash/SimHash等结构指纹方法速度快、效果好，适合大规模近重复检测；若需识别改写或翻译后的同义描述，可选用BGE嵌入+LSHash，但需权衡计算开销。
- 内容去重的工程化评估：参考H3D的统一评测框架（map、ndcg@20、效率、鲁棒性），可在自有业务数据上快速对比不同哈希方法的适用性，避免盲选。
- 冷启动场景：无监督非学习哈希无需训练数据或相似对标注，部署简单，适合新业务线快速启动文本去重。
- 相似度度量的等价性分析：论文对不同哈希码下不同相似度度量（如Jaccard、Hamming）何时排序等价的分析，可指导实际系统中度量函数的选择，减少实验开销。