SB AI Lab × AI Center × HSE University · 2026-09 · RecSys 2026
把生成式推荐里两件事拆开：骨干网络的容量用来预判下一个物品，而不是用来逐位拼写它的 SID。CoSID 让骨干只读一次历史（每个物品的 K 个码组合成 1 个 token），把末状态投影成一个紧凑的 next-item concept z；之后整个 trie 约束 beam search 都交给一个 2 层、约 7M 参数的 KV-cached 轻量解码器，并用 Composed-AR 教师初始化 + CE + 分层 KD 训练。四个 Amazon 数据集上精度持平或更高，beam 100 吞吐 6.1–6.2 倍、beam 1000 吞吐 7.3 倍，且吞吐基本不随骨干加深而下降。
Concept Bottleneck Decoding Lightweight SID Decoder Beam Search Efficiency Teacher-Initialized Distillation Cacheable User State
IIT Guwahati × Meesho · 2026-09 · RecSys 2026
把双目标跨域推荐里 CrossAug 式的“共享/私有表征线性拼接增强”换成条件扩散：以源域共享表征为条件，用去噪网络生成目标域共享表征，把跨域迁移建模为非线性的条件生成过程。训练上设计双路扩散目标，R→R 用真实目标表征做稳定对齐，R→A 用跨域拼接出的增强表征只当扩散目标（条件始终是真实表征），在 Amazon/Douban 多个域对上全面超过 CrossAug。
Dual-Target Cross-Domain Conditional Diffusion Shared-Specific Disentanglement Embedding Augmentation LightGCN
University of New South Wales × Macquarie University × University of Technology Sydney × CSIRO's Data61 · 2026-09 · RecSys 2026
把 Flow Matching 的起点从高斯噪声换成「跨域不变偏好」g_c，再用按时间步对齐的「域特定偏好」g_d 加域 embedding 作为条件，让确定性 ODE 只负责把可迁移兴趣搬运到目标 item 表征。结构上是三分支 Transformer 编码器（跨域 / X 域 / Y 域）+ 条件 Flow Transformer + 三视图对比学习，打分时把生成表征与域特定表征相加后点积 item embedding。
Flow Matching Cross-Domain Sequential Rec Informative Prior Initialization Domain-Aware Guidance Disentangled Preferences
Meituan (Dianping) · 2026-09 · RecSys 2026
把本地生活推荐里的「内容点击」和「POI 收藏」看成同一个潜在意图的两种表现，不再当两个独立问题；生成目标也从 item 抬到 intent 层。DPGR 在 HSTU 上把内容/POI 行为用分域投影塞进同一序列，用时空状态（时段/位置/在家-出差-休闲）在输入重加权、注意力加一条状态分支、末位上下文 token 三处条件化；再用单层 VQ-VAE 把双域「类目+行为类型」量化成 256 个意图码，多标签预测 top-K 意图，每个意图码嵌入作为 prompt token 各自聚合出一个用户向量并行查 ANN。
Local Life Service Dual-Domain Content-POI Spatiotemporal State Conditioning VQ Intent Codes as Prompts Multi-Intent Parallel ANN
Ant Group · 2026-09 · RecSys 2026
把重排里的多目标融合权重从生成器-评估器之外的静态手调规则，变成由用户实时多行为历史生成的个性化权重，并在生成器与评估器之间共享，让生成器在训练时就知道最终按什么权重打分，消除两阶段目标错位。机制上用 MoE+任务门控的 MAM 产出 w_k，用 CNN(核 1/2/4)+Transformer 的局部支路与空洞 TCN 全局支路组成的 DCM 做线性复杂度的序列上下文建模，在支付宝双列广告流全量上线。
Generator-Evaluator Re-ranking Adaptive Multi-objective Fusion Shared MoE Weighting Permutation-level Contrastive Loss Alipay Dual-column Feed
Alibaba (Taobao & Tmall Group) · 2026-09 · RecSys 2026
把生成式重排的监督从「预测下一个曝光 item」换成「页面级累计点击/成交数的有序回归」：每一步预测若把候选放在第 t 位，前缀累计点击/支付数 ≥ j 的概率（j=1..K）。Encoder 对 user+全部 100 个候选+历史做全局自注意力，Decoder 自回归出 hidden state，再用共享 MLP 一次前向给全部候选打分；上游 CTR/CVR 分在 embedding 层和打分层双重注入做残差式增量重排，推理时用相邻步分数差+统一阈值+rank 归一融合 CTR/CVR/GMV 再加 MMR。
Generative Re-ranking Page-level Ordinal Regression Full-candidate Decoding Multi-Objective Fusion Residual Upstream Scores
Zhejiang University × JD.com · 2026-09 · RecSys 2026
提出“前缀等价类坍缩”（prefix equivalence-class collapse）这一概念：Semantic ID 前缀约束解码时，共享前缀的分数被热门后代撑高，冷门兄弟节点在早期层就被剪掉，后面再也救不回来。PCP-Decoding 不重训模型，在每一步对合法子节点的 logit 减去 α(u)·Δ（子前缀与父前缀的类目内相对热度对数差），α(u) 由用户近 30 天点击的冷门偏好推断、上界为 γ，从而在束搜索内部重分配 beam 预算。
Decoding-Time Calibration Popularity Debiasing Prefix Pruning Training-Free Personalized Long-Tail
Beihang University × Baidu × City University of Hong Kong · 2026-09 · RecSys 2026
把召回和排序塞进同一个 early-fusion Transformer：用户前缀后面同时拼候选 code token 和候选 item token，一次前向既出 code 分布（生成式召回）又出多目标分数（判别式排序），排序监督直接塑造召回表示。SID 侧放弃 RQ-VAE 分层量化，改用由 DSSM 多任务双塔（吸收了用户反馈）的 item 塔驱动的单层 16384 平铺码本，并用按使用频率加权的分配距离 d_j=||z-e_j||^2·r_j^tau 压制头部 code。
Unified Retrieval-Ranking Flat Single-Layer Codebook Feedback-Aware Quantization Early Fusion Target Attention Baidu Feed Deployment
University of Glasgow · 2026-09 · RecSys 2026 (Doctoral Symposium)
这是一篇博士论坛论文，把推荐里的推理重新定义为推理时额外计算的设计问题：关键不在 latent 还是 text、算多还是算少，而在推理 trace 是否扎根于推荐自身的信号（用户行为与物品），而不是事后编出来的语言 rationale。已完成的 RecRec 把专用推理状态和用于预测的 R 个隐兴趣解耦，用分轮深监督训练；推理时可以跑得比训练深度更深，相对最强推理基线 NDCG@10 提升 +4.3%~+14.8%。后续计划在 SID 生成式推荐上沿形式、grounding 粒度、监督来源三个维度梳理设计空间，并建立算力对齐的评测协议。
Inference-Time Scaling Latent Reasoning Decoupled Reasoning State Compute-Normalized Evaluation Doctoral Symposium
Meta AI × UNC Chapel Hill · 2026-07 · arXiv
把「生成式推理重排器」的解码范式从自回归(AR)逐 token 换成块扩散(block-diffusion)并行解码——一次前向可提交多个 reasoning/answer token，在长推理链的场景下拿到 2.4–3.5× 吞吐。难点是并行解码会打开两个精度 gap：结构 gap(答案位并行独立打分→出现重复/漏项/越界 ID 的非法排列)和分布 gap(在固定 teacher 轨迹上微调是 off-policy)。Diffusion-GR2 用「转换微调 CFT(把 AR 的合法排列能力迁移进扩散解码器) + on-policy 蒸馏 OPD(在自己解码的轨迹上用 AR teacher 做逐 token 稠密监督) + RL」三段闭环，在 Amazon Beauty 上恢复到与 AR 近乎持平的排序精度。
Block Diffusion Reasoning Re-ranker Parallel Decoding On-Policy Distillation Inference Speedup
Snap Inc. · 2026-07 · RecSys 2026
把生成式召回从「生成离散 SID」或「冻结物品塔后再训查询生成器」改成 embedding-native：同一个 LLM 既编码物品元数据成索引向量，又把用户行为序列编码成查询向量，两侧在同一空间里联合训练，线上直接走标准 ANN。训练用物品对对称 InfoNCE（IRL）锚定物品空间，加上带目标侧 stop-gradient 的历史到目标 InfoNCE（NIP），在 Snap DPA 广告上线拿到 CVR +2.91%。
Embedding-Native Retrieval Shared LLM Dual Encoder SID-Free Stop-Gradient Contrastive Ads Retrieval
Spotify · 2026-07 · RecSys 2026
把首页「货架」（shelf，横向主题行）从人工模板 + 专用召回，改成「先生成假设、再履约」：LLM 根据用户画像生成自然语言的货架假设（如「带管弦乐质感的冰川氛围后摇」），附带内容类型、熟悉度、新鲜度等约束；再由一个不看用户画像、只看假设的 SID 生成式检索模型，在按内容类型分开的 trie 上做约束解码，把假设落到具体曲库实体上。之后由 LLM 挑最终 k 个 item 并改写标题，使标题和实际内容一致，全流程离线日批预计算，在 Spotify Home 上作为排序候选上线。
Shelf Hypothesis Planning Planning-Fulfilment Decoupling Constrained SemID Retrieval Title-Promise Alignment LLM-as-a-Judge Evaluation
Taobao (阿里淘天) · 2026-07 · arXiv (Technical Report)
淘宝 RecGPT 系列第三代：把 LLM 推荐从「无状态一次性重扫全历史」升级为「有状态记忆驱动」。三件事——Memory Hub 把长期行为蒸馏成可增量演化的结构化记忆单元（用户建模算力 −55.8%）；Hybrid-modal 基座让 LLM 在文本 tag 之外原生生成 Semantic ID，打通 tag→item 的有损瓶颈；Latent Intent Reasoning 把 ~2800 token 的显式 CoT 内化成 10 个可解码 latent token（200:1）。线上 A/B 相对 V2：IPV +1.28%、CTR +1.00%、TC +1.97%、GMV +3.97%，端到端算力 −52.4%。
Semantic ID Latent Reasoning LLM Memory Industrial Deployment RLRF
· 2026-06 · arXiv · 未核实
将个性化着陆页选择（PLPM）建模为序列决策问题，用 Decision Transformer 捕捉跨会话长程依赖，避免马尔可夫假设和 TD 自举误差。通过 L-RTG 模块提供日级全局消费目标，HRM 模块分解会话奖励以消除信用模糊，实现日级轨迹的统一生成。
Decision Transformer Offline Reinforcement Learning Page Navigation Long-Horizon Credit Assignment Constrained Optimization
University of Illinois Urbana-Champaign × Meta · 2026-06 · RecSys 2026
把「物品的兴趣归属」从单一硬类目改成「分布式兴趣画像」：在稀疏化的 item-item 共同交互图上做可微软聚类，每个物品得到一个对 C 个兴趣原型的稀疏概率分布 p_i，并据此算出一个连续的兴趣画像 token y_i。用户序列改写成 [x_i1, y_i1, x_i2, y_i2, ...] 交替格式，LLM 同时预测下一物品和以 p_i 为软标签的兴趣原型；公开集在 1+99 采样评测下全面领先，Meta 线上多指标 +0.06%~0.19%。
Co-Engagement Graph Sparsification Soft Modularity Clustering Continuous Interest Profile Token Interleaved Item-Profile Sequence Soft-Label Interest Prediction
Netflix × University of Alberta · 2026-06 · RecSys 2026
把「多阶段召回-排序-重排 + 行/实体分模型」的首页构建，换成一个问题：给定用户上下文这个 prompt，直接自回归生成整张多行首页（行 token + 实体 token，按布局顺序）。照搬 LLM 配方：在正反馈生产页上做 next-token 预训练，再用加权二分类（WBC，逐 token 价值估计）或页级 RL（奖励模型 + Dr. GRPO）后训练；~200M 模型线上核心指标 +0.24%，端到端延迟降 20%。
Whole-Page Generation Netflix Homepage Weighted Binary Classification Page-Level RL Constrained Decoding
Meta AI · 2026-06 · arXiv (Technical Report)
把工业推荐漏斗里离用户最近、最被忽视的「重排(re-ranking)」阶段做成一个会推理的生成式 LLM。四阶段训练：① 在 ≥99% 唯一性的语义 ID 上 mid-training 让 LLM 认识十亿级商品目录；② 用强 teacher 蒸馏出「引用 SID 的 CoT 推理轨迹」装上推理先验；③ 用 DAPO + 可验证奖励(AUC/NDCG)做 RL 精炼排序；④ 一整套工业化改造(上下文压缩 >80%、OPD 替代崩溃的 SFT、把 CoT 内化成非思考策略换 ~15× serving ROI)。关键发现：re-ranking 的 reward 极易被 hack——LLM 会偷懒保留原序或利用 position bias，必须上「条件可验证奖励」去 hack。工业流量 +18.7% R@1 / +9.6% N@3，且两周不重训不衰减。
Generative Re-Ranking Semantic ID Verifiable Reward RL On-Policy Distillation Reward Hacking
Kuaishou · 2026-06 · arXiv
把 LLM 的「先想再答」真正做进生成式推荐，并第一次让「思考模式」在真实推荐基准上稳定超过「不思考直接出结果」。核心论点是把推荐推理拆成 感知(Perception) 与 认知(Cognition) 两根地基——感知=让 itemic token ground 到底层语言语义（不再是 opaque ID），认知=把用户行为序列重组成由粗到细、逻辑连贯的兴趣点链。并提出推荐推理是「溯因(abductive)」而非「演绎」：无唯一答案、意图不可观测，只能假设潜在兴趣点→建模演化→论证候选契合。快手本地生活广告线上落地，组合部署曝光 +10.33% / 收入 +8.23%，ROI>5。
Reasoning Rec Generative Recommendation CoT Perception-Cognition Specialize-then-Unify
National University of Singapore × University of Science and Technology of China × Tencent · 2026-06 · KDD 2026
让 LLM 在 Semantic ID（SID）上做显式推理再出物品。先用「多任务对齐 + 教师模型扩写的 SID-语言富文本语料」把 itemic token 接进语言空间，再用 GRPO 以"命中下一个物品"为 outcome reward 自探索推理轨迹，免标注、学术规模数据即可超越非推理生成式推荐，并带来跨域泛化与可解释性。
generative-recommendation semantic-id llm4rec GRPO reasoning
Kuaishou Technology × 北航 · 2026-06 · arXiv
提出「推荐即生成」(RaG)范式——把推荐从"在固定视频池里检索排序"改为"按推断出的用户兴趣现场生成个性化视频"。桥梁是解耦语义ID(D-SIDs，内容/风格分离)；真正训练的是 GRM/IM/VGAs 三组 LLM + SCRL/GDPO 约束式联合 RL，底层文生视频是自研预训练工具。快手广告线上 A/B 增收 +5.46%(其中纯生成贡献 +1.87%)。
Recommendation As Generation Disentangled Semantic IDs Video Generation Agents Constrained GDPO Industrial Scale
Kuaishou (快手) · 2026-06 · arXiv
把 LLM 当推荐增强器，针对其后训练两个卡点给出系统解法：SFT 阶段用「目标物品 PPL」把开放域推荐 CoT 的质量从不可度量变成可计算标量；RL 阶段用 POPO 自适应权衡「LLM 语义奖励」与「推荐协同 ID 奖励」，达到两目标 Pareto 最优而非此消彼长。已在快手广告上线服务 4 亿+ 日活。
LLM4Rec LLM-as-Enhancer Pareto Optimization GRPO Reward Balancing
Google DeepMind × YouTube · 2026-06 · arXiv (Conference'17 / ACM 格式投稿)
把 Semantic ID 从「物品侧」扩到「用户侧」。用一个 encoder-decoder（从预训练 LLM/Gemini 适配而来）同时产出两种用户表示——decoder 自回归生成离散的「SID-based 用户 token」（语义锚定、可解释、抗词表漂移），encoder 池化出传统「稠密用户 embedding」（兼容现有下游）。关键认知：离散 token 与稠密 embedding 捕捉互补信号，二者同时喂下游收益叠加；且共享 SID 词表天然支持长短视频跨场景统一建模（multi-context decoding 一次 encoder 前向解多场景），在 YouTube 十亿用户全量上线。
User Semantic ID Dual-Output Representation Cross-Scenario Modeling Encoder-Decoder Industrial RecSys
高德地图 AMAP × 阿里巴巴集团 · 2026-05 · RecSys 2026
把首页推荐从“逐个打分卡片”改成“生成一条带参数的工具调用序列（意图流）”，定义 GSISR 任务：序列要逻辑连贯且在时空约束下物理可执行。GPlan 用渐进式隐式 CoT 蒸馏（PICD）把 Qwen3-235B 教师的结构化推理按块压进每块 3 个保留 latent token，配合与压缩课程绑定的两段式学习率 CALR；再用时空反事实 DPO（SC-DPO）只扰动时间/位置构造双向偏好对，并以 anchor/gap/center 正则把偏好限制为“随上下文切换”而非“全局压低负样本”。
Intent Sequence Planning Implicit CoT Distillation Counterfactual DPO LBS / Map Recommendation Latent Reasoning Tokens
Netflix Research · 2026-05 · RecSys 2026
把“生成式推荐做大”重新定义为一个生产迁移问题：规模只是其中一环，还要看任务余量、重训成本、缓存服务时延和新品泛化。用带偏移的幂律 P(N)=P0-(N/N0)^-a 拟合各任务的天花板来判断哪里值得继续加参数，再用 1% 采样 softmax + d/8 投影解码头降训练成本、用带时间衰减的多 token 监督对齐缓存服务、用语义 item 塔 + ID 掩码处理冷启动；1B 主干在 Netflix 1M 用户影子流量上全面超过 2M 基线。
Offset Scaling Law Multi-Token Prediction Cached Serving Alignment Cold-Start Semantic Tower Netflix Industrial
City University of Hong Kong × Kuaishou (香港城市大学 × 快手) · 2026-05 · arXiv
RPORec 把 LLM 的显式 CoT 推理「以文本为接口」接进推荐，而不是耦合 hidden state。两阶段迭代：阶段一冻 LLM、训一个把 CoT 当辅助信号的轻量检索头 Rechead；阶段二冻 Rechead、用它产出可验证奖励（格式/NDCG/CoT 质量）用 GRPO 反过来精炼 LLM 推理。文本接口避开了 SID 与 LLM 词表的语义鸿沟。快手广告线上 A/B（10% 流量、4000 万用户、21 亿曝光）Revenue +1.348%、ADVV +1.058%。
LLM4Rec Reasoning-Augmented RLVR GRPO CoT-as-Feature
Pinterest · 2026-05 · RecSys 2026
提出“全栈统一”概念：召回和排序不仅共享模型结构，还要共享输入格式、单阶段训练和线上服务栈，并以可插入现有漏斗的方式落地。做法是在 PinRec 生成式召回主干上加 Masked Action Modeling（行为 multi-hot 沿特征维拼到 item embedding 上并随机 mask，不再像 HSTU 那样交错 action token），用“过去行为序列 + 未来 feedview 曝光页”混合样本做 sampled softmax + 多头 BCE 联合训练；线上排序进程通过 CUDA IPC 直接读召回进程的用户历史 KV cache。离线 save Hit@3 比线上排序模型高 14.7%，Recall@10 持平 PinRec；L0+L1 上线后 BMI 保存 +0.95%，推送打开 +0.91%，端到端延迟 -11.1%，QPS +63.6%。
Masked Action Modeling Unified Retrieval-Ranking Cross-Stage KV Cache Feedview-Centric Training Data Drop-in L0+L1 Serving
Meituan · 2026-04 · RecSys 2026
把历史序列的单位从 item 提升到 sample：每条历史行为不再只是一个 item embedding，而是当时那条完整训练样本（用户画像+物品+上下文+交叉特征，约 600 个特征域）的快照。Sample Tokenizer 用分组自适应残差量化（HGAQ，4 组、B=32 个特征一个子 token、3 层 RVQ×256 码）把每条样本压成 648 bit 的离散码，离线存 KV；SIF-Mixer 在 (L+1)×T 的 token 矩阵上交替做行内（样本内特征交互）和列向（跨样本时序）注意力，美团外卖线上 CTR +2.03%。
Sample-Level Tokens Residual Vector Quantization Factored Row-Column Attention Unified Ranking Backbone Food Delivery
Shopee · 2026-04 · RecSys 2026
生成式推荐（GR）一直被诟病「表达力天花板低于判别式精排」：判别模型能直接拿 item 特征做 user×item 交叉打分，GR 却只在压缩后的 Semantic ID 上自回归解码、解码时看不到任何 item 侧信号。本文用贝叶斯定理证明：按判别分 p(y|f,u) 排序等价于按生成后验 p(f|y,u) 排序，后者可沿 item 特征自回归分解——即「带全特征访问的生成模型 = 判别模型」，差距只来自特征覆盖度而非建模范式。由此提出 Chain-of-Attribute（CoA）：在 SID 序列前先「speculate」出 category/seller/brand 等粗粒度属性 token，再条件解码 SID，把被 SID 压缩丢掉的 item 侧特征交叉补回生成轨迹，每步条件熵严格下降、beam search 更稳。再加 Capacity-constrained SID（曝光加权残差量化压马太效应）+ CDC（Task-Conditioned BOS 多场景条件 + hash Content Summary 组合特征）+ RFT/DPO 业务对齐。Shopee 离线 HR@50 +22.6%（订单样本 +15.5%），线上 A/B GMV +5.60%、订单 +4.76%、PVCTR +5.37%，端到端 110ms（旧多级链路 266ms）。
Generative Recommendation Semantic ID E-commerce Chain-of-Attribute DPO
清华大学 DCST × 清华 AIR × 泉城实验室 · 2026-03 · KDD 2026
指出生成式推荐一个被系统性忽略的错配：训练用 CE（teacher-forcing，只约束「总分」这一个标量），推理用 beam search（每一步都做 top-K 剪枝）。这两者是不同的成功条件——full-sorting 只要求「累计总分进 top-K」，允许中间步用后面的 token 补偿；beam search 要求「每一个前缀都进 top-K」，是一条合取约束链，任意一步失守则整个 item 永久出局。CE 从未因「掉出 beam」被惩罚过，于是全局 Top-20 里有 16% 在解码中途被剪掉。APAO 把这条前缀级约束显式写进训练目标：给每个前缀长度加 pointwise / pairwise 排序损失，再用 KKT 闭式解的自适应权重把优化压力动态压到「当前最弱的前缀」上（beam 成败由最短板决定）。理论上证明它是 beam search recall 的下界代理，且 pointwise 变体与 CE 同复杂度、零额外 forward。TIGER/Llama 双骨干四数据集全面提升（Llama 上 Recall@10 最高 +13.39%），微信公众号平台线上 A/B pCTR +0.9%。
Generative Recommendation Beam Search Training-Inference Gap Prefix-Aware Loss Semantic ID
CMU × UC San Diego × Meta · 2026-03 · arXiv (2603.19809)
系统性拆解「生成式推荐(GR)凭什么比 item-ID 模型强」这个广为流传的假设。把每条测试样本按所需能力划成「记忆 vs 泛化」两类，发现 GR(TIGER)在泛化子集赢、item-ID(SASRec)在记忆子集赢；进一步用 token 级 prefix n-gram 透镜揭示 GR 的「泛化」很大程度上其实是 semantic-ID 前缀上的「记忆」。最后用一个免训练的 MSP 指示器做记忆感知自适应集成，把两种范式的长板拼起来。
generative-recommendation semantic-id memorization generalization TIGER ensemble
Xiaohongshu Inc. × Shanghai Jiao Tong University × Fudan University · 2026-03 · arXiv (under review)
小红书把多模态大模型（MLLM）的内容表征对齐到 CTR 模型已有的 item ID embedding 空间，生成"代理 ID embedding"（IDProxy），让冷启新 item 无交互数据也能直接顶替 ID embedding 进现有排序模型。核心是 coarse-to-fine 两阶段：先用对比学习把 MLLM 表征拟合到 ID embedding 分布，再用轻量 adaptor 抽 MLLM 多层 hidden state 端到端跟 CTR ranker 联合训练并复用其结构先验。已上线 Content Feed 与 Display Ads，新 note AUC 增益约为全局 2 倍。
cold-start CTR multimodal-LLM embedding-alignment industrial
Spotify · 2026-03 · arXiv (2603.17533v1)
NEO 把预训练 decoder-only LLM 改造成「无工具、目录受约束」的统一生成器：用 Semantic ID(SID) 把 1000 万级异构 item 当作一种新模态，与自然语言交错在同一序列里。靠三阶段对齐配方（语义基座→域对齐→能力诱导）+ 前缀 trie 约束解码，单模型同时做推荐/搜索/推荐解释/用户兴趣画像，且全程语言可控（language-steerable），离线全面超越 Spotify 多年打磨的生产基线。
semantic-id llm4rec generative-retrieval unified-model constrained-decoding
USTC × Upwork × CUHK × NUS · 2026-03 · RecSys 2026
把生成式推荐的监督从「离散 code 级」推进到「分布级」：RQ-VAE 每层对所有 codeword 的 softmax 亲和度（软分配）本身就是信息更丰富的语义表示，却在硬 argmin 时被丢掉。SODA 把用户历史经 Encoder AvgPool+MLP 投到 codebook 空间做同样的软量化，再用以负对称 KL 为打分的 BPR 损失，让本人历史分布比批内其他用户平均分布更贴近目标物品分布；作为辅助损失插入 TIGER/LETTER/ETEGRec 的交替训练，推理零开销。
Soft Codebook Distribution Symmetric KL BPR Loss Plug-and-Play Auxiliary Loss Tokenizer-Recommender Alignment Alternating Optimization
Tsinghua University × BUPT × Kuaishou · 2026-02 · RecSys 2026
GLASS 的核心主张：生成式推荐是粗到细的生成，SID 的前缀（决定落在哪个语义簇）和后缀（在簇内定位具体 item）需要不同形态的长期兴趣信号，不能像 SIM/DualGR 那样一刀切地注入。前缀侧用 SID-Tier：利用一级码本很小（64 个码）的特点，统计长期历史与每个一级码原型的余弦相似度分布直方图，压成一个兴趣 token 拼进 encoder，给第一个 SID「冷启动」。后缀侧用 Semantic Hard Search：把已生成的第一个 SID 当作检索 key，从长期历史里捞出同簇的 item，经第二路 cross-attention + 自适应门控融合进 decoder，校准后续细粒度 token；再用语义邻居扩充或缩小一级码本解决检索结果过稀的问题。
Long-term Interest Prefix vs Suffix SID-Tier Semantic Hard Search Codebook Resizing
Tencent × 武汉大学 · 2026-02 · arXiv
把 Semantic ID 构造从 "先学 embedding 再 RQ 量化" 的两阶段范式改造成端到端联合优化：Embedding 与 SID 共同从原始广告数据训练，避免两阶段语义损失与 RQ 的层间误差累积。配合多粒度对比学习 + summary-based 重建，Hit Rate 提升最高 4.62%、Recall 最高 45.46%。
Semantic ID Generative Recommendation End-to-End Contrastive Learning
Alibaba Inc. × Fudan University (阿里 × 复旦) · 2026-01 · arXiv
第一个用 LLM 直接「生成式建模用户负向兴趣」的工作（不是把负反馈当辅助信号去增强正推荐，而是离线生成「用户最可能不喜欢的 item 集合」做过滤）。三个核心洞察 + 对策：(1) 负反馈极稀疏、被正序列淹没 → 用 hierarchical Semantic ID 压缩上下文 + Item-Level Alignment（四选一对比任务）让 LLM 先学会「什么 item 会招致负反馈」；(2) next-negative-item 目标被系统曝光顺序污染（只覆盖用户真实 top-1 负兴趣的 7%）→ 把 GT 从「下一个」扩到「未来 7 天 + Swing 协同负 item」，top-4 覆盖率从 17% 升到 64%；(3) 加正序列反而掉 45% → Progressive GRPO 课程式从短到长喂上下文 + reward 同时奖励「与未来负反馈相似」并惩罚「与未来正反馈相似」。淘宝工业数据上 HR@20 +11.5%、长尾 item +24.9%、模拟在线 Candidate Acc. 翻倍（0.29→0.70）。
LLM4Rec Negative Feedback Semantic ID GRPO E-commerce
ByteDance · 2026-01 · arXiv 2026 (cs.IR)
用「语义 token」彻底替代排序模型里的 item ID，解决 ID 冷启动 / 退役导致的稀疏 embedding 分布漂移，从而打通 dense 参数的 scaling law。TRM 三件套——协同感知多模态表征、Gen/Mem 双 token 混合分词、判别+生成联合训练——在字节个性化搜索上离线 QAUC +0.85%、稀疏存储 -33%，且 dense 参数越大相对 ID baseline 优势越大；线上活跃天数 +0.26%、换 query 率 -0.75%。
semantic-id ranking-model scaling-law llm4rec tokenization
Kuaishou (快手) · 2026-01 · arXiv
生成式推荐的 item identifier 之争给出第三条路：不用 raw title（会幻觉、判别力弱），也不用 Semantic ID（要扩词表 + 对齐训练、跨域不通），而是把每个 item 压成 5 个标准化英文关键词「Term ID」，全部来自 LLM 原生词表。靠「邻域 in-context」生成全局一致 + 局部判别的 TID，再用「item→TID 内化 + 序列预测」多任务 SFT 把开放词空间收敛到语义子空间，配双级弹性 grounding。Amazon 上 in-domain Recall@5 提升 7.8%~30%，跨域平均提升 50%+，有效率/直命中率 >99% 几乎无幻觉，且 K=3000 压缩词表精度只掉 <1%。
LLM4Rec Generative Recommendation Item Identifier Term ID Cross-Domain
Alibaba Group (阿里巴巴, 淘宝广告) · 2026-01 · WSDM '26 (arXiv:2502.08309v2)
把"用 LLM"的 pretrain→prompt→应用三步范式搬到工业推荐：先用生成式预训练一个 Large User Model（LUM）把 UBS 建成 next-condition-item 预测的知识库，再用"condition token 当 prompt"按场景/query/类目触发用户兴趣，最后把触发出的兴趣 embedding 作为特征喂回成熟 DLRM 排序/召回。三步解耦让 LUM 可离线缓存、scaling 到 7B 仍不增加在线延迟，淘宝广告搜索线上 A/B CTR +2.9% / RPM +1.2%。
Generative Recommendation Scaling Law User Model Next-condition-item Prediction E-commerce Ranking
Alibaba International Digital Commerce Group × Wuhan University · 2026-01 · RecSys 2026
把 SID 生成从「固定左到右的自回归」改成「掩码扩散去噪」：在 OPQ 并行码本上，从全 [MASK] 的 8 位 SID 出发，用双向注意力解码器按置信度自由选位、多步迭代填充，生成顺序不再写死。训练侧在时间维度用余弦课程调度逐步加大掩码个数，在样本维度按「目标 token 在用户历史中出现得越少越优先 mask」分配位置；推理侧先 4 步单位置 warm-up 锁定语义锚点，再每步并行填 2 位并配合 beam search 出 Top-B。工业集上比 RPG 提升约 10%，东南亚电商广告线上替换 TIGER 收入 +1.20%、GMV +3.69%。
Masked Diffusion Decoding Parallel OPQ Codebook Curriculum Noise Scheduling History-Aware Masking Order-Agnostic SID Generation
Kuaishou · 2026-01 · RecSys 2026
把 SID 由粗到细的逐层生成类比为 LLM 的思维链，把首层 token 走错导致后续全错的问题定义为 Semantic Drift，并引入 LLM 推理里的过程奖励模型（PRM）做逐步校验。具体是与生成主干联合训练一个轻量 path-level PRM（单 token 路径嵌入作 query、复用 encoder 输出做 cross-attention，按层 InfoNCE + 均匀负采样），推理时每步先扩到 K+ 条候选、由 PRM 打分剪回 K'=K 条。decoder 计算量不变，加大 K+ 即可做 test-time scaling；快手线上 App 使用时长 +0.12%~0.13%。
Process Reward Model Test-Time Scaling Semantic Drift PRM-Guided Beam Search Exposure Bias
小红书 (Xiaohongshu) · 2026-01 · RecSys 2026
把 OneRec-V2 的 GBPO 在推荐里的毛病归结为「对称保守」(Symmetric Conservatism)：正负样本共用一个保守上界，冷启动正反馈被压住、被拒绝主导的负反馈又挡不住多样性塌缩。SAGE 用三件事改它：序列级几何平均重要性比（GSPO 式）、正样本放宽上界到 1+eps_boost（DAPO Clip-Higher 式）、负样本按 slate 类目熵低于滑动均值的程度加大惩罚（BAPO 式），再加 GDPO 式先分目标组内归一化再加权聚合的 advantage。实验在 Qwen3-8B 上同时跑 Semantic-ID（OneRec-SAGE）和原生文本（TextRec）两种动作空间。
Asymmetric Clipping Sequence-Level Importance Ratio Entropy-Aware Penalty Multi-Objective Advantage Decoupling Native-Text Item Generation
USTC × NUS × CUHK × Upwork · 2026-01 · arXiv (cs.IR)
用「软标识符」(对码本的连续概率分布) 替代 RQ-VAE 的离散 one-hot 码字, 打通一条可微路径, 让最终推荐损失同时反传监督 tokenizer 与 recommender, 实现真正端到端联合训练。再用温度退火对齐训练/推理、码字均匀性正则防码本坍缩、双路协同蒸馏补回粗粒度协同信号, 三剂量解决软标识符带来的三个副作用。
generative-recommendation semantic-id soft-identifier RQ-VAE end-to-end distillation
Taobao (阿里淘天) × 中国人民大学 · 2025-12 · arXiv (Technical Report)
淘宝 RecGPT 第二代（V3 的前作）：把 V1 的「多路并行 LLM 独立重扫全历史」重构成协同的分层多智能体系统。四件事——Hybrid Representation Inference 用 adaptor 把每个商品/query 压成 1 个 [entity] atomic token（32K→11K，7×压缩，LLM 冻结只训 adaptor）；Hierarchical Multi-Agent System（Planner→Experts→Arbiter）消除路由间 13.46% 冗余；Constrained Reward Shaping 用乘性 indicator 门控把次要奖励当硬约束、解决多奖励梯度打架；Agent-as-a-Judge + Judge-as-a-Reward 把评估拆成多维子评估器再蒸馏成稠密 reward，形成自改进飞轮。线上 A/B 相对 V1：CTR +3.01%、IPV +3.64%、GMV +3.39%、NER +11.46%，GPU 算力 −60%。
Multi-Agent Context Compression Constrained RL Agent-as-a-Judge GRPO
Kuaishou · 2025-11 · arXiv (v2; 投稿 KDD '26)
把「显式可控的文本 CoT 推理」装进生成式推荐——同一个 LLM 在一次自回归里先吐 <think> 推理、再吐目标 item 的 semantic ID，统一了对话/推理/个性化推荐三件事。三阶段训练（Itemic Alignment 把 item token grounding 进语言空间 → Reasoning Activation 用剪枝上下文蒸馏 CoT → Reasoning Enhancement 用 Rollout-Beam reward + GRPO 强化），并提出 Think-Ahead 部署架构把重推理离线化、在线只做受约束补全。快手短视频线上 App Stay Time +0.159%，公开 benchmark SOTA。
Reasoning Rec Generative Recommendation Semantic ID GRPO CoT
合肥工业大学 × 新加坡国立大学 · 2025-10 · arXiv (投稿 Elsevier)
200+ 篇论文的生成式推荐全景综述，最大价值不是"又一份清单"，而是它选定的切分维度：不按模型类型分类，而是按生成能力**注入推荐流水线的哪个环节**分成 data / model / task 三层——数据层（用 LLM 造数据与统一异构信号）、模型层（LLM-based / 大推荐模型 LRM / 扩散三条路线）、任务层（对话、可解释、推理、个性化内容生成）。这个切法同时对应了该领域的历史演进顺序：早期只敢用 LLM 补数据，中期把生成机制搬进架构，现在扩展到全新任务形态。文中最实用的是四张对照表——文本 prompt / 协同信号 / item tokenization 三类对齐范式的代表工作逐条列了 backbone 与用户建模方式，以及把 SFT / SSL / RL / DPO 四种训练目标写成统一公式并列。另一条硬结论：生成式**并非普遍优于**判别式，只在数据稀疏跨域、天生生成型任务、大规模训练三种条件下才有可靠增益。
Survey Generative Recommendation Large Recommendation Model Item Tokenization Diffusion Rec
Google DeepMind × YouTube · 2025-10 · arXiv
把预训练 LLM（Gemini-1.5 MoE）改造成 YouTube 工业级生成式召回模型。三阶段：Semantic ID 物品 token 化（SID-v2，多模态融合+多分辨率码本+共现对比）、领域续训 CPT（SID 词表对齐文本）、生成式召回 SFT（beam search 自回归生成下一视频 SID）。相比大 embedding 表召回模型，样本效率更高、有效曝光多样性大幅提升，已上线 YouTube 服务十亿级用户。
generative-retrieval semantic-id LLM4Rec RQ-VAE continued-pretraining
Roblox × University of Maryland · 2025-10 · RecSys 2026
把生成式推荐里的「位置」拆成两种含义：事件在序列里的序号（order）和发生的墙钟时间（time），主张两者都应作为 RoPE 的旋转角来源，而不是把时间塞进额外 embedding 或注意力偏置。TO-RoPE 在角度域把 index 角和 time 角线性融合，并给出 early fusion、split-by-head、split-by-dim 三种实例；关键发现是同一旋转平面内混合两种角度会互相干扰，按头或按维度硬切分更稳。
Rotary Position Embedding Temporal Encoding Time-Aware Attention Positional Encoding Ablation Roblox
Renmin University of China × Shopee × USTC × NUS · 2025-09 · arXiv (Technical Report)
Shopee 把 LLM 成功的两个「架构之外」机制——上下文工程(context engineering)与多步推理(reasoning)——同时搬进工业级召回+排序级联系统。三大件：①结构化上下文工程(交互历史 IH + 偏好锚点 PA + 情境描述符 SD + 候选集 CIS)统一成 token 序列喂纯 Transformer；②块级隐式推理(block-wise latent reasoning)，把 ReaRec 的单 token 推理升级为「一组 hidden state」迭代精炼，用 block size 调推理带宽；③渐进式多任务训练，用「曝光→点击→下单」反馈链给每一步推理做过程监督。线上 Shopee 主搜召回 +1.08% GMV/UU、排序 +1.12% GMV/UU 且广告收入 +2.90%。
Context Engineering Latent Reasoning Cascade Ranking LLM4Rec Industrial Deployment
Spotify · 2025-08 · RecSys '25
在「搜索+推荐」统一生成式模型里，Semantic ID 该用哪种 embedding 来构造是决定性因素。任务专属 embedding（搜索调优 / 推荐调优）只在单任务上强、在另一任务上崩。用一个对搜索和推荐联合微调的 bi-encoder（Multi-task）产出共享 Semantic ID 空间，能在两任务间取得最佳折中，且不增加 token 预算。
semantic-id generative-retrieval joint-search-rec llm4rec rq-kmeans
Kuaishou Technology × Southeast University · 2024-12 · AAAI 2025
快手提出 LEARN，把"Rec-to-LLM"（喂对话给 LLM 出文本）反转成"LLM-to-Rec"：冻结 LLM 当 item 内容编码器抽 content embedding，再用一个从头训的 12 层 causal-transformer（PAL）把开放域语义投影进协同域，用对比/dense-all-action loss 对齐推荐任务。双塔产出的 user/item emb 直接喂线上排序模型，工业 A/B 上 CVR/营收稳定正向，对冷启动与长尾用户收益尤其显著。
LLM4Rec content-embedding twin-tower cold-start industrial-recsys
ByteDance · 2024-09 · arXiv
用两层非共享 LLM 做序列推荐：Item LLM 把商品文本压成一个 [ITEM] token 的 embedding，User LLM 把这串 item embedding 当输入序列做 next-item 预测。把"文本进文本出"的低效 LLM4Rec 改成"embedding 进 embedding 出"，序列长度回到 ID 模型量级，复杂度大降；并系统回答了预训练权重有没有用、要不要微调、能不能 scale 三个问题。
LLM4Rec sequential-recommendation item-embedding user-modeling scaling-law
Google DeepMind × Google · 2024-05 · arXiv (v2, RecSys '24 LBR)
工业排序模型普遍用「随机哈希 video ID」做 item 表征，记忆力强但完全无法泛化到新/长尾 item。本文用 RQ-VAE 把冻结的内容 embedding 量化成层次化离散的 Semantic ID（SID），再用 SentencePiece(SPM) 把 SID 序列切成变长子词去哈希进 embedding 表，从而在 YouTube 十亿级语料的实时排序模型里替换掉 video ID，在不掉整体质量的前提下显著提升冷启动/长尾泛化。关键证据是 SPM-SID 在大 embedding 表下全面优于 N-gram，并能自适应减少头部 item 的 lookup 数。
semantic-id rq-vae sentencepiece ranking cold-start youtube
Google DeepMind × University of Wisconsin-Madison · 2023-05 · NeurIPS 2023
生成式推荐的奠基作。用 RQ-VAE 把物品内容嵌入量化成「层次化 Semantic ID」(一串由粗到细的语义码元组)，再训一个 seq2seq Transformer 直接自回归生成下一个物品的 Semantic ID——彻底取代传统「item embedding + ANN 最近邻检索」。范式转变带来三件传统模型做不到的事：相似物品共享码元→知识迁移、冷启动物品可被召回、温度采样可控多样性；且 embedding 表从 N(物品数) 缩到码本大小(1024)。
Semantic ID RQ-VAE Generative Retrieval Sequential Recommendation Cold-Start
UC San Diego × Amazon · 2023-05 · KDD 2023
彻底丢掉 item ID，把每个 item 的 key-value 属性「拍平」成一句话，整条用户序列就是「句子的序列」，用一个改造过 embedding 层的 Longformer 直接编码并检索下一句（下一个 item）。语言即 item 表征，因此天然可跨域迁移、可处理冷启动 item，零样本就能逼近全量训练的 ID 模型。
ID-free Rec Sequential Recommendation Language Representation Cold-start Cross-domain Transfer
DAMO Academy, Alibaba Group · 2022-05 · arXiv
把工业推荐系统里所有任务（召回/排序/解释生成/个性化内容创作/对话推荐）统一成"自然语言文本的理解或生成"，全部交给一个预训练语言模型 M6（300M，类 GPT-3/T5）。用文本而非 item ID 表征用户和商品，从而支持开放域、零样本推荐；再用 option tuning（只调 1% 参数胜过 fine-tuning）、多段 late interaction（缓存前 L′ 层、请求到来只算最后 ≤3 层）、蒸馏+剪枝+早退把模型压到 2M 上端侧，是早期把"LLM as 推荐基座"做到真实落地（淘宝/支付宝线上）的代表作。
LLM4Rec foundation-model prompt-tuning late-interaction generative-recommendation
Tencent Hunyuan · 2026-09 · arXiv (Tech Report)
80B 总参 / 13B 激活的细粒度 MoE 开源模型。架构本身是 DeepSeekMoE + GQA 的成熟组合（1 共享专家 + 64 细粒度专家激活 8 个），真正的内容在两处。① Dual-Mode CoT 把「推理深度」从模型选择问题降级成推理时的一个控制标签——不训两个模型，而是同一套后训练里用 `<think>` 块的空与非空区分快慢思考，用户拿 `/no think` 与 `/think` 切换。② 四阶段后训练（推理向 SFT → 推理向 RL → 全场景 SFT → 全场景 RL）把「推理专精」与「全场景可用」拆成两个串行相位，前者用可验证 reward（答案校验 + 36 语言代码沙箱），后者用一个通用生成式 reward model 当语义锚 + 16 个子领域各自的打分服务。值得注意的是它唯一大幅超过更大模型的维度是 agent 工具调用，而那是靠五角色合成引擎与两万种格式组合单独喂出来的，不是通用能力的副产品。
Fine-grained MoE Dual-Mode CoT Post-Training Pipeline Agentic Tool Use Open Source Release
个人技术博客（leoniemonigatti.com） · 2026-08 · Blog（技术综述）
系统梳理投机解码（speculative decoding）这一「无损」推理加速范式：用轻量 drafter 一次提议 γ 个候选 token，target 模型单次 forward 并行验证，靠拒绝采样保证输出分布与 target 严格一致——加速不以质量为代价。核心概念区分在于它不是量化/剪枝那类近似压缩，而是把 memory-bound 的自回归解码换成 compute-bound 的批量验证。全文以 L = (T_draft + T_verify)/τ 这一延迟公式为主线，把近三年 drafter 设计串成一条演进链：独立草稿模型 → Medusa 多头 → MTP → EAGLE 系列特征级自回归 → DFlash 块扩散并行 → DSpark 半自回归 + 置信度调度验证，并指出最新的范式转折：到了一定服务规模，投机解码不再只是「起草问题」，更是「验证调度问题」。
Speculative Decoding Inference Acceleration Draft-Verify EAGLE Block Diffusion
Alibaba Qwen Team · 2026-08 · arXiv (Tech Report)
Qwen3.8-Flash-Next 的架构消融报告：125B 总参 / 6B 激活的稀疏 MoE，另加 51B 放在 host memory 的 n-gram embedding 表。核心方法论主张是「loss、下游指标、训推成本、训练稳定性是同一个设计问题」——每个候选改动都必须沿这三条轴同时评估，而不是只看 loss。四个组件承担设计：GDN + 全注意力 3:1 层间混合、微块粒度压缩索引的 Qwen Sparse Attention、把残差流拓宽到 4 路并逐通道门控读取的 Gated Residual、以及 Layer 2 的单层 n-gram embedding。配 Muon 优化器与重新拟合的超参 scaling law，用 1/3 激活参数、1/3 训练 token、约 1/9 训练 FLOPs 追平上一代 397B-A17B 旗舰。
Hybrid Linear Attention Sparse Attention Residual Design Muon Optimizer Training Stability
Peking University × DeepSeek-AI · 2026-07 · arXiv
把投机解码的两个瓶颈——草稿质量与验证开销——各用一个正交机制解决。① 语义上，并行 drafter 因位置间独立而产生「多模碰撞」导致后缀接受率崩塌，DSpark 用半自回归结构（重并行骨干 + 轻量串行头）在几乎不增延迟的前提下注入块内依赖；② 系统上，固定验证长度在高并发下是净浪费，DSpark 用置信度头预测逐位置「前缀存活概率」，配合硬件感知调度器把验证长度形式化成全局吞吐最大化问题按负载动态裁剪。关键概念区分是「verify smarter, not longer」：投机解码的收益上限不由草稿长度决定，而由验证预算的边际回报决定。线上 DeepSeek-V4 实测把 Pareto 前沿整体外推。
Speculative Decoding Semi-Autoregressive Serving Scheduler Calibration Inference Efficiency
ByteDance Seed × HKU × ANU × PKU × RUC · 2026-05 · arXiv (Seedance Team Research)
把扩散建模从「对 token 做 observation recovery」升级为「对连续隐变量做 prior transport」：先用 Text VAE 学文本↔latent 的稳定映射，再用 block-causal DiT + Flow Matching 在 latent 空间学 global semantic prior，最后由 conditional decoder 实现局部 token。用 unified Markov-path view 把自身与 AR / LLaDA / Plaid 在理论上完全区分。
Latent Diffusion Block-causal DiT Flow Matching Hierarchical Latent Unified Multimodal
MIT · 2026-05 · arXiv preprint
把 Diffusion Language Model 的「连续」推到极致——从 token embedding 起，整条 denoise 轨迹都待在连续 embedding 空间，只在最后一步 t=1 才离散化；而且 denoiser 和 decoder 共享同一份网络权重（用 mode token 切分支），没有独立 decoder。配合 x-prediction + Flow Matching 的 rectified-flow 路径，让 image-domain 的 CFG / SDE 采样器自然迁移过来。
Continuous DLM Flow Matching Embedding Space Classifier-free Guidance Shared Denoiser-Decoder
DeepSeek-AI · 2026-04 · arXiv (Tech Report)
把「百万 token 上下文」从昂贵的实验配置做成工业可常态化服务的能力——核心范式是用混合稀疏注意力（CSA 压缩+稀疏选择 / HCA 极致压缩）替换标准注意力，配合 KV cache 压缩与低精度存储，在 1M 上下文下把单 token 推理 FLOPs 砍到 V3.2 的 27%、KV cache 砍到 10%（Flash 更激进到 10%/7%）。同时引入 mHC（把残差映射约束到双随机矩阵流形以保稳定）与 Muon 优化器加速收敛，是一份"以效率为第一性原理"重构长上下文 LLM 的工业级技术报告。
MoE Hybrid Attention Long Context KV Cache Compression Muon Optimizer
Peking University × DeepSeek-AI · 2026-01 · arXiv
提出「条件记忆（conditional memory）」作为与 MoE「条件计算」正交的第二条稀疏性轴——Transformer 缺少原生的知识查表原语，被迫用多层计算去"模拟"检索。Engram 把经典 N-gram embedding 现代化（tokenizer 压缩 + 多头哈希 + 上下文门控 + 多分支融合），以 O(1) 查表提供静态记忆。关键发现是 Sparsity Allocation 呈 U 形 scaling law：把 20–25% 的稀疏参数预算从 MoE 专家挪给 Engram 严格优于纯 MoE。更反直觉的是收益不止在知识题（MMLU +3.4），而在通用推理（BBH +5.0）和代码数学（HumanEval +3.0）更大——机理分析显示 Engram 把浅层从"静态重建"中解放，等效加深网络，并把注意力容量让给全局上下文（Multi-Query NIAH 84.2 → 97.0）。
Conditional Memory Sparsity Allocation N-gram Embedding MoE Scaling Law
DeepSeek · 2025-01 · Nature 645:633-638 (2025) · arXiv v2 2026-01
证明纯 RL（GRPO + 规则可验证奖励）就能涌现出 self-reflection / verification / aha moment；R1-Zero 完全不用 SFT 冷启动，R1 加少量 cold-start SFT 修可读性。
Reasoning RL GRPO Self-Evolution
University of Virginia × Princeton PLI · 2024-05 · NeurIPS 2024
把 DPO 的 implicit reward 重新设计为「序列平均 log-likelihood × β」，整段抛掉 reference model；同时在 Bradley-Terry 目标里加一个 target margin γ，强迫胜者 reward 比败者高出至少 γ。核心洞察：DPO 训练用的 reward 跟推理时的 generation metric (avg log-prob) 根本不对齐——SimPO 让两者完全一致，所以更稳更强。虽然原论文聚焦 chat 对齐，但对生成式推荐场景天然契合：去 ref-model 节省的显存在百万级 item vocab 下放大一个数量级；length-norm 直接化解长 session 推荐的 length-bias 病。
DPO Preference Optimization Reference-Free Length Normalization Target Margin
Meta AI / NYU · 2024-01 · arXiv (later ICML 2024)
Actor 与 Judge 合一：模型用 LLM-as-a-Judge 给自己生成的多个回答打分，组成偏好对做迭代 DPO。Instruction following 和 Judge 能力同步上升。
Self-Reward DPO Iterative
Anthropic · 2022-12 · arXiv
提出 RLAIF：用一组人写好的 "宪法" 原则替代逐条人工标注，让模型自我批评+修订自己的回答，再用 AI 偏好做奖励信号。是 Self-Rewarding 类工作的精神鼻祖。
RLAIF Self-Critique Alignment
Ben-Gurion University of the Negev · 2026-09 · RecSys 2026
把 Semantic ID 重新看作树上的路径：每个 token 的含义由前缀决定，而不是各层独立的码本属性；作者用 RQ-VAE SID 的前缀/后缀相似度分析支撑这一点。据此提出 Adaptive Silhouette Tree (AST)：自顶向下递归 KMeans，每个节点按 silhouette 自适应选分叉数；并用 MILP 约束每个子分支至少拿到父节点 rho 比例的交互质量，保证长尾前缀有监督。
Tree-Path Semantic ID Adaptive Branching Silhouette Clustering Mass-Constrained MILP Tokenizer-Only Comparison
University of Glasgow × Brave · 2026-09 · arXiv (cs.IR)
把「SID 生成式检索会不会让 LLM 忘了怎么说话」当成一个独立问题来测：只做 SID 检索微调时，Qwen3-0.6B 的 WikiText PPL 在 25 步内从 31.69 涨到 6,956，最终 FKL 达 5.5–13.0，模型基本丧失自然语言能力。提出 SpeakGR，把「学 SID」和「保住说话能力」写成同一参数上的双目标：检索侧是层级受限的 SID 交叉熵，保持侧借用 on-policy distillation——学生屏蔽 SID token 自己采样续写，冻结的原始模型在同一前缀上给出下一 token 分布，在原文本词表上做 forward KL。Adaptive SpeakGR 再用 EMA 化的漂移量乘性调节正则权重 λ。六组 backbone×数据集上 FKL 下降 81–94%，召回基本保持，Adaptive 版在 5/6 组召回比固定权重版更好。
Semantic ID Generative Retrieval Catastrophic Forgetting On-Policy Distillation Adaptive Regularization
AI Center (Moscow) × HSE University（另有一家原文匿名机构） · 2026-09 · RecSys 2026
立场论文：把码本式 SID 重新定义为表示层、生成器、线上服务三方之间的契约，而不是物品的语义描述；这个接口既是生成式推荐能落地的原因，也是现在问题集中的瓶颈。作者归纳出五道裂缝（目标错配、身份与共享、静态码与漂移、LLM 对齐税、服务约束反噬），并复现 6 条公开 SID 管线：在 Amazon Beauty 上，只要把 SASRec 换成全量 CE 训练，就全部赢过论文里的 SID 方法（NDCG@10 高 5%~29%）。
Position Paper SID Fracture Taxonomy Strong Baseline Audit SASRec Full CE Regime-Aware Evaluation
Meta · 2026-09 · RecSys 2026
把短视频广告画面上叠加的文字（促销文案、价格、CTA、品牌）当成一种被低估的排序模态，并论证它的高收益部分不需要新的 dense 塔：只要用 3 字节的 RQ-VAE 语义 ID 加 TF-IDF 词袋，挂到排序模型现有的稀疏 embedding 表上即可。链路为：CTR 打分器选帧加 SSIM 去重，再用专用 OCR（约为 VLM 吞吐的 80 倍）识别，之后用广告域句向量 TextRay（768 维）编码，最后由 3x256 RQ-VAE 量化成语义 ID。Instagram 广告排序模型离线 NE -0.055~0.06%（Reels 约 0.12%），线上 80% 流量 A/B 中 NE -0.06~0.08%。
Video Ad OCR Semantic ID As Ranking Feature RQ-VAE Commitment Loss Pitfall LLM-as-Judge Representation Eval Instagram Ads
Kuaishou Technology · 2026-09 · RecSys 2026
把 SID 构建看作结构化语义推理：6 层码本按层分工，L1-L3 硬绑定人工类目树（54/586/4049），L4-L5 用 LLM CoT 生成的关键词和主播描述做软蒸馏，L6 不加约束，使 SID 前缀就是可读的类目路径。对称 query/item 多分面编码器、带拓扑 mask 的半监督 VQ 和 BART 式解码器五 loss 联合训练，在线用 Trie 加类目约束解码；快手直播搜索 HR@200 比 UniSearch 相对 +17.5%，线上 TPC +3.90%。
Taxonomy-Anchored Codebook LLM CoT Label Distillation Hierarchical Constrained Decoding Live-Stream Search Explainable Semantic ID
Kuaishou Technology · 2026-09 · RecSys 2026
把两阶段 SID 生成式推荐的问题概括为「跨阶段信息解耦」：tokenizer 只看文本语义、缺协同信号；生成阶段对 code 重新 embedding，又把语义先验丢了。SCRec 双向补信息：tokenize 前把 SASRec top-10 相似商品的标题拼成文本，与本商品文本一起用 sentence-T5 编码后加权（a）再做 RQ-VAE；生成阶段用门控把冻结的语义向量融进 code embedding，并加 InfoNCE 和 Poincaré 球测地距离做对齐。
Textualized Collaborative Signals Semantic-Guided Generation Hyperbolic Manifold Alignment Cross-Stage Coherence Plug-in Module
Tsinghua University · 2026-09 · RecSys 2026
把「SID 对齐」拆成两个层面来问：表征层面模型是否真的理解 SID token，任务层面对齐初始化能否提升推荐。表征探针显示 OpenOneRec 的 SID 形成与文本分离的干净子空间、且随规模和 pro 训练越发「协同化」（8B-pro 的 SID-a 范数达文本 2.08 倍），SID→文本解释对模板敏感；在工业短视频日志上固定架构/数据/预算只换 SID embedding 初始化，SID-only 输入下 Xavier 初始化在 HR@20/50/100 明显优于对齐初始化，结论是对齐是有条件的，取决于输入里是否有语义侧信息。
SID-Language Alignment Embedding Initialization Ablation Representation Probing OpenOneRec Negative Result
Sber AI Lab × AI Center × HSE University · 2026-09 · RecSys 2026
把 SID 冲突消解从实现细节变成设计选择：TIGER 式追加码本的最后一个 token 通常只是组内计数器，白白浪费一个码本。作者在量化器、生成模型、SID 长度都不变的前提下，把计数器换成全局流行度分位桶（Global Popularity）或组内随机排列（Random），在 Amazon Toys 上 NDCG@10 最高 +12.7%。
Semantic ID Collision Disambiguation Token Popularity Signal Quantizer-Agnostic Short Paper
Alibaba Group (HangZhou) · 2026-08 · WWW 2026 (Short Paper)
指出主流生成式检索「先训 embedding、再学 codebook」的两阶段级联有两个结构缺陷：误差累积（一阶段的表征偏差二阶段无法纠正）与交互建模缺失（codebook 只看静态 embedding，看不到 query–product 交互，导致同款商品被分到不一致的 ID）。提出把 embedding 模型与 RQ-VAE codebook 放进同一个目标里联合训练——在量化前的 h_product 与量化后重构的 h_recon 上同时施加 query–product InfoNCE，让检索梯度穿过量化器回流；再用「同款商品簇」（不同卖家/尺码的同一 SKU）的均值表征做 MSE 约束，把同款拉进同一码空间邻域。2000 万淘宝商品 + Qwen2.5-7B 两阶段（Product2Code → Query2Code）实验，Recall@100 从 TIGER 的 26.38 提到 30.71，同款共享 ID 前缀长度 ALSP 从 3.92 提到 4.42/5。
Semantic ID Generative Retrieval RQ-VAE Joint Training E-commerce Search
Tencent (腾讯 PCG) × 深圳大学 × 中山大学 · 2026-07 · arXiv (cs.IR)
指出把 item 编成 L 级层级 Semantic ID、再拍平成 token 序列自回归生成，与推荐任务之间存在两个结构性 gap：(P1) 编码侧 item 边界消失——拍平后 encoder 分不清哪些 token 属于同一个 item；(P2) 解码侧语义漂移——层级码本是棵树，任一层选错就跳进错误子树、目标叶子再也够不到（TIGER 上 c3 前缀正确时 77% 准、前缀错时暴跌到 0.6%，128× gap）。提出 BARGE 三个轻量正交模块：ICA 补 P1，HPR（同通道路径重排）+ DPD（跨通道正交双路解码 OR 融合）补 P2。参数不增、Beauty R@10 +19.6%、腾讯 A/B CTR +0.60%。
Semantic ID Semantic Drift Beam Search Reranking Orthogonal Quantization Generative Recommendation
Michigan State University × Snap Inc. · 2026-07 · RecSys 2026
把 term ID（文本 ID）的设计问题从“词选得好不好”转成“它们拼出来的解码 trie 适不适合 beam search”：作者用 beam 存活率模型论证好 trie 需要两条性质：浅层分支因子小、叶子深度可变（ID 长度随物品语义丰富度自适应）。BONSAI 先用 LLM 从标题/描述里抽关键词，再在每个节点上用贪心最小集合覆盖选最少的共享词把物品切开、递归建树，配合 SFT + 在 trie 上做受限 beam search 的 GRPO，在 Amazon 三个子集上比 GRLM 高 16%~21.6%；只把 GRLM 的原有关键词按最小覆盖重排，也能涨 7.7%~9.1%。
Decoding Trie Design Variable-Length Item IDs Minimum Set Cover Textual Term IDs Beam Survival Analysis
Taobao & Tmall Group of Alibaba (阿里淘天) · 2026-07 · arXiv (cs.IR)
现有生成式检索的 DocID/Semantic ID 纯粹从语义 embedding 量化而来，存在两个硬伤：(1) 碰撞——多个 item 映射到同一 DocID，300M 大库尤其严重；(2) 目标错位——DocID 的编码目标是「语义重建」，而系统真正优化的是「业务转化」，同一语义簇里转化率差几个数量级的 item 却拿到相邻甚至相同的 ID。CRID 的做法极简：把 DocID 拆成「语义簇前缀 + 簇内业务价值序号」两段，最后一级 codebook 不再做语义量化，而是让簇内 item 按 30 天转化数排序、用序号（ordinal rank）当最后一个 token。这一处改动同时解决碰撞（每个 rank 唯一对应一个 item，构造上无碰撞）和目标错位（DocID 结构直接对齐业务指标），且新品增量更新只需簇内重排、无需重训码本。更关键的是论文给了一套「个性化偏好 vs 统计先验」的增益分解分析框架，解释了为什么序号编码有效、以及语义簇大小如何在两者间权衡——这套框架直接指导了生产 codebook 选型。淘宝 300M 大库上 top-K Hitrate 全面超越最强 EBR，全流量部署 +1.06% GMV。
Business-Value DocID Ordinal Ranking Collision-Free Generative Retrieval Incremental Update
YouTube × Google DeepMind · 2026-07 · RecSys 2026
把 Semantic ID 从“只当物品标识符”扩展为“双用途 token”：同一串 RQ-VAE 码既做协同过滤的可学习 ID 特征，又当作稠密内容 embedding 的压缩载体。训练日志里只存 K 个整数 token，模型图内用导出的 RQ 码本查表求和、再过一个轻量解码器 f_theta 即时重建内容向量（SiDec），从而绕开长用户历史上 L×d 浮点向量的落盘/join/传输 I/O 瓶颈。
Semantic ID Decoding Embedding Compression I/O Efficiency Long User History YouTube Production
City University of Hong Kong × ByteDance · 2026-07 · RecSys 2026
把跨域生成式推荐的 SID 拆成「共享-专属混合的粗层 + 纯域专属的细层」两段：前 L1 层由共享编码器和域专属编码器各自做 RQ，再用 Gumbel-Softmax 门按物品选择走哪一支；残差进入第二阶段，每个域独立做 L2 层 RQ。解码端顺着这个两段结构做「两次 LLM 前向」：第一次用占位符一次性拿到所有位置的隐状态，前 L1 个 token 以状态累加方式串行出；第二次填回前段 token 后，后 L2 个 token 并行出。在三组 Amazon/Douban 跨域数据上，精度比 GenCDR 平均高约 1.5%，比 Beam Search 平均降延迟 85.1%。
Cross-Domain Sequential Rec Shared-Specific Hybrid Tokenizer Gumbel-Softmax Codebook Routing Serial-Parallel SID Decoding Domain LoRA Adapters
AMAP, Alibaba Group · 2026-07 · RecSys 2026
把 SID tokenizer 的训练目标从重建换成纯对比：融合文本、图像、空间、协同四路 POI 表征后做 Gumbel-softmax 软残差量化，量化结果与各模态做 NT-Xent，不再用 MSE 重建，目标是提高 POI 之间的可区分度。拿到 SID 后，在 Qwen2.5 上做 SID/Geohash/描述对齐与轨迹语料的继续预训练、SFT，再用曝光日志做 EAKTO（带正奖励锚定和条件负样本更新的 KTO），把 0.5B 模型部署在高德首页「猜你想去」，线上 P-CTR +5.83%。
Contrastive RQ Tokenizer Next POI Recommendation Multi-modal SID Fusion Exposure-Aware KTO Spatio-Temporal Continued Pretraining
University of Rochester × Meta MRS × MBZUAI · 2026-06 · arXiv (cs.IR)
现有生成式推荐的 Semantic ID 是「时间无关」的——同一个 item 无论在什么时间点被交互，都量化成同一个 SID，时间只在 session 构造、序列 position 上隐式起作用，从未进入「语义抽象层（tokenization）」。ChronoID 把时间当成一等公民直接注入 SID 学习：先把 interaction 的时间戳编码成时间 embedding，再和 item 文本 embedding 融合、量化成离散 SID 喂给 LLM 做 SFT。论文系统性地把「时间入 SID」的设计空间拆成三个正交维度——(1) 时间编码用绝对时间戳 vs 相对时间间隔；(2) 融合顺序 early（先融合再量化）vs late（先各自量化再拼 ID）；(3) 量化器结构 residual（RQ-VAE 层级）vs parallel（多独立码本）——并配一个「时间显式、无未来信息泄漏」的新 benchmark，回答 what/how/where 三个问题：相对时间 > 绝对时间、parallel 量化 + 相对时间是最优组合，在 Amazon Industrial 上 HR@3 相对 MiniOneRec 提升 36.1%。
Time-Aware SID Relative Time Parallel Quantization Generative Recommendation RQ-VAE
· 2026-06 · arXiv
提出一个诊断语义ID退化的理论框架，通过期望重叠率(𝑂𝜋)和有效码本容量(𝐾eff)分解分布惩罚和几何惩罚。以此为指导，将连续表示学习与离散聚类解耦，用VAE重构连续几何，再用分层K-Means完成离散匹配，实验揭示重构保真度、符号鲁棒性与行为感知匹配的三方权衡。
Semantic IDs Vector Quantization Codebook Collapse Recommendation Decoupled Residual Quantization
Yandex · 2026-06 · arXiv (cs.IR)
Yandex 音乐的工业方案：指出生成式检索（GR）的一个结构性错配——beam search 优化的是「SID token 序列的似然」，但推荐质量看的是「item 级相关性」，两者在 (a) beam 误差累积导致序列似然失准、(b) 多 item 碰撞到同一 SID 得相同分 两种情况下发散。Gryphon 在 encoder-decoder GR 上加一个联合训练的 Item-Level Scoring Module (ILSM)，复用同一次前向的 encoder 用户表征：beam 只负责生成候选 SID 集合，再把每个 SID 解析成具体 item 用 ILSM 直接重打分——绕开失准的序列分、也能区分同 SID 的不同 item。工业音乐平台 Recall@1000 +3.7%(vs vanilla GR)/+2.5%(vs 去碰撞 GR)，item 级重排比同候选的 beam 似然排序还高 +4.2%；线上作为唯一候选源替掉 15+ 召回器 + 整个预排序阶段，收听时长无显著变化 (+0.25%)。
Generative Retrieval Item-Level Scoring SID Collision Beam Search Miscalibration Candidate Generation
Meta MRS × Meta Training Data Infra × FB Monetization · 2026-06 · RecSys 2026
提出“生命周期协同设计”：把十亿节点图召回的建图、训练、在线服务三段看成互相传递需求的整体，而不是各自优化。服务端用与图模型联合训练的两层残差量化簇索引（5000×50=25 万簇）替代在线 KNN，U2U2I 变成读簇内最近活跃用户的物品队列；训练端用离线 PPR 预计算邻居 + 自包含边中心数据，彻底去掉在线图存储/采样引擎；建图端用流行度纠偏 + 截断把数百万亿边压到数千亿并 1 小时内重建。
Co-learned RQ Cluster Index Billion-Node GNN U2U2I Retrieval Codebook Balancing Offline PPR Neighbors
Huawei Technologies · 2026-06 · arXiv (cs.IR) / CIKM 2026 Resource
华为的「资源型/工具型」论文（非新 tokenizer、非新 benchmark）：SID tokenizer 越来越被当成可复用的独立产物（导出的 item→code 映射就是生成器要用的地址空间），但覆盖缺口、full-code 混叠、行为弱前缀、尾部压缩、前缀扇出这些问题往往训完生成器才发现。SIDInspector 定义一套「adapter 契约 → 校验门 → D1–D5 探针 → 报告」的 mapping-first 诊断接口，在下游训练前就把 tokenizer 产物 profile 出来。核心发现：「可寻址性（addressability）」与「行为前缀对齐（behavioral prefix alignment）」会分道扬镳——ReSID 导出零混叠、但最强的前缀-共现对齐反而来自一个确定性的类目前缀 control（D3 0.447 vs 学到的 0.154 / 0.055–0.080），说明二者必须分开诊断。工具已开源。
Diagnostic Tooling Tokenizer Artifact SID Aliasing Prefix Alignment Pre-Training Triage
Taobao & Tmall Group of Alibaba · 2026-06 · arXiv (cs.IR)
淘宝直播的工业落地：把生成式推荐搬进直播预排序，针对直播两大特性做了两处关键改造——(1) 用「动态 SID」补「静态 SID」，静态 SID 编码主播历史多模态、动态 SID 用 EMA 更新的 RQ-KMeans 码本实时反映直播间当下内容/热度；(2) 用「生成+判别」混合架构，encoder-decoder 生成 SID 的同时，用 task query 从 SID 抽任务特定表征并显式融合 user-streamer 交互（点赞/下单）cross feature 做多任务预测。在线 A/B：观看时长 +3.38%、GMV +0.72%、涨粉 +3.12%，已全量部署服务数亿用户。
Dynamic SID Live Streaming Generative-Discriminative Multi-Task Ranking EMA Codebook
Google · 2026-06 · RecSys 2026
把“文本化 SID + 自定义 token 表示稠密特征”的 prompt 范式，换成“传统特征 → soft token”的新模态：每个历史行为把 SID、频道、客户端、观看时长等异构特征拼接后经 MLP 投成 1 个 d_model 维 soft token，与文本 token 交错输入 LRM（PLUM）。每条历史从 12 个文本 token 压到 1 个，prompt 1536→480 时排序 AUC 持平、训练提速约 200%；生成式召回线上 Unique Impressions +16.8%，1 天新视频 +67.1%。
Soft Token Feature-to-Token Projection Prompt Compression PLUM / YouTube Long Sequence Compression
TikTok × ByteDance · 2026-05 · RecSys 2026
直播间平均只播约 40 分钟，item ID embedding 在生命周期内根本学不收敛，作者因此主张：item ID 短命时，ID 主导效应是根本瓶颈，应当在候选侧彻底退役 item ID，而不是再往 ID 旁边加多模态特征。FLUID 用短视频+直播跨域联合训练的单塔多模态编码器（SigLIP2 + Qwen3-Embedding-0.6B）产出 128 维切片向量，RQ-KMeans 量化成 4×64 的 LUCID，房间级 LUCID 按层多数投票得到；两者经 prefix n-gram embedding 以独立 token 晚融合进 Zenith++ 排序器，再用三阶段 warmup（加切片、撤 ID、加房间）替换 item ID。
ID-Free Ranking Livestreaming Cold-Start Late Fusion Tokens Staged Warmup Prefix N-gram SID Embedding
· 2026-05 · arXiv
现有SID基生成推荐评估假设每个SID唯一对应物品，但实际存在大量SID碰撞（多物品共享同一SID），导致SID级指标高估项级性能。本文提出碰撞纠正评估（CCE）和零碰撞重分配（ZCR），纠正指标偏差并提供零碰撞SID分配用于公平比较。
SemanticID Collision CollisionCorrection GenerativeRecommendation EvaluationMetrics TokenizerComparison
LinkedIn · 2026-05 · arXiv (cs.IR)
LinkedIn 工业界工作：把「organic feed 行为」跨域蒸馏成用户 Semantic ID 喂给广告 CTR 排序模型，解决广告域交互稀疏/冷启动。核心发现是「行为丰富度原则」——SID 源里编码的行为信号越多，跨域迁移增益越大（profile 文本 +0.036% → 活动微调 LLaMA +0.107% → feed 行为聚合 +0.213%）。方法上提出 RQ-FSQ（残差量化 + 有限标量量化）在 30–280× 压缩下追平 dense embedding AUC，及 HDE 前缀 n-gram 稀疏表模块端到端训练；最冷启动用户 CTR AUC +1.522%。
Cross-Domain SID User Semantic ID Ads CTR RQ-FSQ Cold-Start
University of Illinois Urbana-Champaign × Meta × University of California San Diego · 2025-11 · RecSys 2026
把「物品语义的粗到细层级」显式写进 Semantic ID：不再把类目/标题/描述拼成一个向量做 RQ-VAE，而是按 类目→标题→描述 三个语义层各自编码、各自量化成一个 token，再用预训练 SASRec 的 CF 向量量化成最后一个 token。生成时按粗到细顺序解码，并给每个 token 加 level/position 嵌入；在 Instruments/Yelp/Beauty 上比 TIGER、IDGenRec 等平均高约 6-7%，冷启动子集增益约 10%。
Field-Level Hierarchical Tokenization Coarse-to-Fine Decoding CF Token As Finest Level Level Embedding Cold-Start SID
Renmin University of China (Gaoling) × Kuaishou Technology · 2025-06 · SIGIR 2025
生成式推荐里 item tokenizer（把 item 编成离散 Semantic ID）和 generative recommender（自回归生成 target item 的 SID）历来是「两段式解耦」——tokenizer 预训练完就冻死，对下游推荐目标无感知。ETEGRec 把两者合成一个「双 encoder-decoder」端到端框架，靠两条「面向推荐的对齐损失」把 tokenizer 和 recommender 拧到一起互相增强：(1) Sequence-Item Alignment（SIA）——recommender 编码器的序列状态 z_E 和 target item 协同 embedding z，喂进同一个 tokenizer 应产生相似的码字分布，用对称 KL 对齐；(2) Preference-Semantic Alignment（PSA）——recommender 解码器首个隐状态 h_D（用户偏好）与 RQ-VAE 重构的 target 语义 z̃，用 InfoNCE 对齐。为稳住训练用「交替优化」（每 cycle 先训 1 epoch tokenizer 再冻结训 recommender）。三个 Amazon2023 数据集上全面超过 TIGER/LETTER。这篇正是 UniGRec 里那个第二名 baseline「ETEG-Rec」的原始论文。
End-to-End Tokenizer Tokenizer-Recommender Alignment Alternating Optimization RQ-VAE Generative Recommendation