从内容到相关性再到个性化的渐进式 CTR 预估
🧭 多模态 CTR 预测 · Semantic ID ★ 深度解读
Alibaba Group
用多尺度细粒度 Semantic ID 将多模态内容融入 ID 型 CTR 模型，先做 query-item 相关性预训练再做点击微调，显著提升冷启动与创意区分
📌 工作参考价值（4 点）
- 把连续多模态 embedding 换成多尺度、字段保留的离散 SID：图片用 VAR 多尺度 code maps（1×1/2×2/3×3/4×4）得到 30 个 spatial token，不要用单个 global embedding；下游 SID lookup 可随机初始化，卡片离线抽取、在线只做 lookup，避免生成延迟。适合电商主图、创意图片、标题/OCR 等多模态特征接入现有 ID 排序模型。
- 两段式训练可直接迁移到业务：先做 query-item relevance 等语义相关任务（可用 LLM 教师或人工标注）全参数预训练共享 backbone，再用点击/转化日志全量微调。注意保留 dense 和 normalization 状态，只重置稀疏 optimizer accumulators；这比 embedding-only transfer 收益更大，也避免联合训练分布冲突。
- 架构上用 query 做 Q、title/OCR tokens 做 K/V 的 cross-attention，输出按字段身份拼接；图片 SID 按 scale/position 固定顺序拼接，避免平均池化。此设计在搜索广告、推荐主图排序里可复用，尤其适合需要识别同 item 不同创意差异的场景。
- 评估时除 AUC/GAUC，建议增加冷启动子集和同 item 内不同创意的 replay CTR（NSCTR），否则 ID 记忆会掩盖语义理解收益；在线业务指标中 GMV 提升幅度值得重点关注。
LLM 增强多图学习与对比对齐的 POI 推荐
🧭 多图对比学习 · LLM 语义增强 ★ 深度解读
Institute for Digital Transformation - University of Applied Sciences Ravensburg-Weingarten, Germany
用 LLM 生成语义图和地理图扩展 LightGCN，通过跨视图对比对齐缓解 POI 冷启动
📌 工作参考价值（4 点）
- LLM 生成 item 语义图：对 item 的多模态信息（图/文/元数据）用 LLM 生成 photo summary + keywords，再用 sentence transformer（如 all-MiniLM-L6-v2）编码后做 top-k 相似度建图。电商/本地生活可直接对商品标题、详情、图片生成摘要，构建商品语义邻接图，冷启动 item 也能获得邻居信号。
- 地理邻近性建模：用 Haversine 距离 + top-k（k=10）构建地理 item-item 图，权重取 1/(1+distance)，与语义相似度权重同尺度，归一化后做 LightGCN 传播。本地生活/门店推荐可直接复用，电商可扩展到配送范围、仓储邻近等空间关系。
- 跨视图对比对齐很关键：将 collaborative embedding 与 semantic/geographic embedding 做双向 InfoNCE，仅对 batch 内正样本计算，τ=0.2，λ=0.05 作为正则化项。消融显示该对齐是主要收益来源，去掉后 Recall@20 下降 22.9%。建议在多路召回或表示融合场景中，用对比损失强制行为表示与内容/空间表示一致。
- 工程实现简单有效：所有视图共享 item embedding 矩阵，多图传播后直接 additive fusion 相加，不引入额外参数。这种轻量设计适合线上快速迭代，后续可替换为可学习加权融合。
一图多益：构建单一高质量item-item图用于多模态推荐
🧭 多模态推荐 · item-item图复用
The University of Hong Kong · The Hong Kong Polytechnic University · The Hong Kong University of Science and Technology
预处理构建高质量item-item图，在表征增强、交互图增强和优化增强三阶段复用以全面提升推荐性能
📌 工作参考价值（4 点）
- 图构建方法可迁移：融合语义和共现信号，并通过三元闭合的NCER重加权边，能显著降噪。直接用于电商商品相似图构建，提升GNN召回或排序特征的质量，尤其适合多模态商品库。
- 残差门控机制RIG：自适应控制每个物品从近邻吸收多少信息，避免噪声平滑。可嵌入任何Graph SAE或注意力层，作为表征增强的插件，缓解过度平滑。
- 交互图增强解决冷启动：通过高置信度语义邻居创建虚拟user-item边，间接扩展交互图，对冷启动物品和长尾商品有明显增益。实现轻量，只需在线查表，适合大规模推荐系统。
- 优化增强INA：将正样本的top邻居作为折扣软正样本加入BPR，类似难例挖掘但更稳定。可直接应用于排序训练的目标函数，提升模型对相似商品的区分度，降低假阳性。
即插即用的概率残差学习提升跨域推荐
🧭 跨域推荐 · 因果去偏 · 用户聚类 ★ 深度解读
Rutgers University · Meta · University of Copenhagen · UIUC
提出即插即用的因果贝叶斯框架PRL，通过概率用户聚类与do-calculus去偏，显著提升基础推荐模型的跨域冷启动性能。
📌 工作参考价值（4 点）
- 即插即用增强现有模型：PRL 可作为任意深度推荐模型的附加模块，仅学习残差，无需调整原模型，适合在线上系统迭代升级。
- 残差建模策略：对基础推荐器的输出残差进行建模与纠正，尤其适用于跨市场扩张、新用户群冷启动等场景，可快速训练轻量纠正子模型。
- 概率用户聚类与簇特定子模型：自动发现用户偏好群组，每个簇用独立子模型预测残差，能提升个性化精度，类似将 MoE 思想应用于跨域迁移。
- 因果去偏缓解曝光/流行度偏差：通过 do-calculus 边缘化域级混淆因子，降低市场特有偏见，增强跨域泛化；在广告或电商推荐中可用于消除国家或渠道带来的偏差。
ViHoRec：质量控制越南酒店推荐数据集与冷启动基准
🧭 低资源推荐数据集构建 · 冷启动评估
Faculty of Information Technology, University of Science, Ho Chi Minh City · Vietnam National University, Ho Chi Minh City
贡献面向低资源越南语的酒店推荐数据集，通过跨平台对齐、质量控制和冷启动基准揭示稀疏数据下的难题
📌 工作参考价值（4 点）
- 跨平台实体对齐：电商/酒店业务涉及多数据源时，可借鉴论文的实体解析（Entity Resolution）方法，利用文本相似度与启发式规则统一不同来源的商品ID，构建统一交互。
- 冷启动策略选择：实验表明在极度稀疏、用户历史短的情况下，UserKNN优于BPR-MF等模型，提醒我们在新客/长尾场景下，基于邻域的协同过滤可能更稳定，可作为召回或兜底策略。
- 可复现的数据质量控制：论文采用可量化指标（如覆盖率、重复率、稀疏度）审计数据，而非人工清理，迁移到工业数据集构建时可设计类似的质量看板，确保数据迭代可追溯。
- 隐私合规发布：使用HMAC伪名化用户ID，既保护隐私又能维持可benchmark性，对于希望公开内部数据做学术合作的团队，提供了轻量级脱敏参考。
SG-OPD: 符号一致性门控与分阶段教师采样的在线策略蒸馏
🧭 训练方法 · 在线蒸馏与符号一致性
Zhejiang University · Hunan University · Tianjin University · Shanghai Jiao Tong University · Jilin University
用验证器信号在轨迹和 token 层面过滤教师噪声，显著提升数学推理中的在线蒸馏效果
📌 工作参考价值（4 点）
- 在蒸馏冷启动阶段，使用验证器认可的教师轨迹按比例混入学生采样，能缓解轨迹对齐脆弱性问题；对电商场景下从大模型向小模型蒸馏对话或推荐理由时，可参考该分阶段策略以稳定初期训练。
- 符号一致性门控根据验证器与教师偏好的方向一致性，外推或内插蒸馏更新，相当于给 token 级监督赋予可调信任权重；在生成式推荐或 Agent 动作生成中，可引入类似的二值验证器来鉴别教师 token 的可靠性，降低噪声标签对蒸馏的负面影响。
- 整体框架强调用验证器作为学生和教师之外的第三方信任信号，这为多智能体系统中的知识迁移提供了新思路：可以设计一个专门的验证 Agent，监督教师智能体对学生智能体的指导质量。
- 尽管实验集中在数学推理，但方法不依赖任务特定设计，可直接迁移至任意序列生成任务的在线蒸馏，例如商品描述改写、搜索 Query 扩展等。