AI Papers Daily

#VQ-VAE

2 篇

ID2Pattern: Pretraining Generalizable Identity Behavior Patterns for Transaction Risk Foundation Models

ID2Pattern：为交易风险基础模型预训练可泛化身份行为模式

🧭 身份行为模式预训练 · 交易风控/电商 ★ 深度解读

Ant International · East China Normal University

用 LAID 匿名 ID 编码与多尺度 VQ pattern codebook，从高基数身份序列中提取可泛化行为模式，提升风险/电商预测。

📌 工作参考价值（4 点）

• 高基数 ID 不要用 hash/ID embedding，用 LAID 匿名编码：将 user/device/card/item 等 ID 映射为局部 ID、novelty、occurrence、recurrence 四通道；词表固定、不受 ID 新增影响，且对 ID 值置换不变。适合冷启动、跨域迁移以及线上推理速度（比 hash 更快，参数不随 ID 增长）。
• 用多尺度 VQ pattern codebook 做无监督预训练：在 short/medium/long 三个时间窗口各自量化成离散 behavior pattern，通过 masked identity-state recovery 学共享码本；离散 pattern 比连续表示更稳，可跨数据集 transfer，甚至略优于 in-domain 预训练。
• 可迁移到电商/广告序列建模：淘宝/RetailRocket/Synerise 上的结果表明，短期 window 捕捉 repeated revisit（转化意图），长期 window 捕捉 novelty（风险/偏好变化）；可以把用户行为序列中 ID 的高基数问题与语义特征解耦，作为 plug-in 加到 GRU/LSTM/Transformer/Mamba 骨干。
• 工程实现上，LAID 计算只需 window 内等值比较，无需全局映射：单次 pass O(#fields * sum L_s)；pattern token 仅给 backbone 增加 3 个 token，复杂度可控。适合高 QPS 在线支付/推荐场景。

Other | 2026-10-30 | cs.AI | score 8/10

Identity Behavior ModelingPretrainingTransaction RiskHigh-Cardinality IDVQ-VAESequence Foundation Model

StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training

StableVQ：稳定向量量化 tokenizer 训练实践指南

🧭 VQ 视觉 tokenizer 训练稳定性

Huazhong University of Science and Technology · KlingAI Research · South China Normal University

针对共享投影码本 VQ 训练不稳定，提出 Dynamic STE、Region VQ Loss、Decoupled Schedule 三项无参改进，稳定提升码本利用率与重建质量

📌 工作参考价值（4 点）

• 若在生成式推荐中使用 VQ / Semantic ID 做物品量化，常遇到码本坍塌或利用率低：可借鉴 Region VQ Loss 的思路，让码本独立学习完整覆盖编码器输出分布，而非依赖编码器梯度抖动激活，提升 ID 多样性。
• Dynamic STE 修正了低码本利用率下直通估计器的梯度不稳定问题，适合推荐场景中离散 ID 生成（如 Gumbel-Softmax 或 ST-Gumbel）的梯度回传，避免因初期码本利用率低导致训练崩溃。
• 多模块联合训练（如编码器-解码器 + 码本、生成器 + 判别器）常因收敛速度不匹配而不稳定：Decoupled Schedule 将不同模块使用独立学习率调度，可直接迁移到多任务推荐模型或 Agent 策略与价值网络的联合训练。
• 整体无额外可学习参数、轻量易插入，适合在现有推荐召回或特征量化模块上低成本验证。

Training | 2026-09-21 | HF Daily | score 6/10

Vector QuantizationVQ-VAECodebook TrainingTraining StabilityImage TokenizerDiscrete Representation