Interpretable Representation via LLM-Driven Generative Disentanglement for Local-Life Service Recommendation
LLM驱动生成式解耦:本地生活服务可解释SID生成
🧭 生成式推荐 · Semantic ID
Kuaishou Technology
提出先解耦后量化的SID生成框架,将LLM纠缠隐状态分离为地理与语义槽再分别量化,大幅降低SID冲突并提升推荐效果
📌 工作参考价值
- 电商/本地推荐中的SID冲突解决:本地生活或电商场景中,地理、品牌、类目常纠缠在同一隐空间,导致量化后SID高频碰撞。可借鉴LGRID的生成式解耦思路,在LLM编码后加入结构化解耦块,将地理层级和语义属性显式分离后再分别量化,显著降低冲突率(从97%降至39.9%)。
- 属性可解释性训练:通过课程式属性解码(coarse-to-fine)和结构感知对比学习,可以利用少量监督让LLM隐状态具有显式的属性语义,实现高精度的粗/细粒度地理解码(>99%),这种可解释表征可直接用于冷启动物品画像或可解释推荐标题生成。
- 双流残差量化的多属性扩展:DSRQ对地理和语义槽使用独立码本,避免码本竞争,同时保持粗到细的层次结构。当业务存在多类异构属性(如价格段、适用人群)时,可复用该双流思路,每个属性流独立量化,再拼接成统一SID。
- 工业部署友好:离线SID构建仅增加约1.56倍时间,在线延迟几乎不变(1.04倍),仅需查表获取预生成SID并与原ID嵌入拼接,不改变推荐模型结构,适合大规模工业系统直接嵌入。
动机
本地生活服务推荐(如外卖、到店)严格受地理可达性约束,用户决策遵循“先地理、后兴趣”。现有基于LLM的语义ID(SID)方法多采用“单表征→量化”范式,将地理、品牌、类目等信息压缩到一个隐向量,导致语义纠缠,量化时细粒度地理特征被强语义淹没,SID碰撞严重(LGSID碰撞率97%),可解释性差。独立字段编码又会丢失地理与内容的交互依赖。因此,需要在量化前进行生成式解耦,构建属性对齐的地理和语义槽,再分别离散化。
方法关键点
- 联合LLM编码:用LLM编码POI文本,保留地–内容双向依赖,避免独立编码的信息割裂。
- 结构化解耦块(SD-Block):通过语义锚点注入、锚点引导感知和结构化因果路由,将纠缠隐状态路由到4个地理槽(省份→城市→区→街道)和4个语义槽(品牌、类目等)。结构注意力掩码实现组内自回归(符合行政包含顺序)、组间独立,阻止跨组信息混合。
- 渐进式生成解耦(PGD):按地理层级和语义顺序,用课程式解码目标训练槽表征使其可被LLM解码回属性文本,建立显式语义锚定。
- 结构感知对比学习(SACL):构造分层硬负样本(同粗地理不同细地理、同地理不同内容、同内容不同区域),增强细粒度地理和语义的区分性。
- 双流残差量化(DSRQ):对地理和语义槽分别进行两层残差量化,生成4-token SID,避免码本竞争,保留层次结构。
- 部署方式:离线生成SID,在线以嵌入和的形式拼接到原itemID嵌入,不改动线上模型。
关键结果
- 推荐性能:在快手和Foursquare数据集上,LGRID集成到10种推荐模型中均取得提升,最高相对AUC增益5.44%。
- 可解释性:粗粒度地理属性解码准确率超99%,细粒度街道达92.34%,品牌达86.62%;SID前缀分布具有清晰的空间层级和语义聚类。
- SID质量:全量SID冲突率从97%(LGSID)降至39.9%;码本更深层利用率从几乎为零大幅提升至77.3%。
- 消融实验:结构化因果路由、PGD、SACL缺一不可,去除任一组件均导致细粒度属性解码和检索大幅退化。
最值得记住的一句话:在本地生活推荐中,量化解耦前显式构建地理和语义属性槽并分别量化,是降低SID冲突、提升可解释性与推荐效果的关键。