Selective Test-Time Compute Scaling for Click-Through Rate Prediction via Uncertainty-Triggered Feature Path Exploration
面向CTR预测的选择性测试时计算缩放：不确定性触发特征路径探索
🧭 测试时优化 · CTR预测 · 不确定性估计
Alibaba Group
提出训练无关、模型无关的测试时框架UTTSI，根据样本不确定性自适应分配多路径探索，显著提升CTR预测性能
📌 工作参考价值
- 不确定性感知的推理预算分配：在电商推荐中，用户/物品交互稀疏导致部分样本预测不可靠。UTTSI 通过 Count-Min Sketch 统计特征频率作为先验，结合模型 logit 置信度（或梯度属性）计算样本不确定性，从而为高不确定性样本投入额外计算，低不确定性样本快速通过。该方法无需修改模型，可轻量植入现有线上服务，尤其适合特征稀疏的业务。
- 多路径特征探索与一致性加权：对高不确定性样本，基于频率和属性分数随机采样生成多个特征子集，并行做多次前向预测，再用一致性加权聚合，可平均化噪声、提升鲁棒性。工程上可将多个子路径预测部署在并行 worker 上，保持单次前向延迟不变，适合有GPU平算资源的在线推理。
- 自适应特征过滤：通过离线计算每个特征场的可靠性阈值（分位数），推理时过滤低可靠性特征（频率+属性双低），简单有效。可单独作为一种特征去噪 trick 应用于生成式推荐或 Agent 的输入预处理，在保证高置信度特征的同时抑制噪声。
- 测试时计算缩放的范式迁移：本工作表明，即使不改变模型结构和训练流程，仅在推理时按需分配计算，也能带来可观的线上收益（A/B CTR 相对提升 5.3%）。对于有严格延迟要求但有额外算力的电商推荐系统，可以借鉴这种“推理时计算预算分配”思想，对低置信度请求进行多路召回或额外特征融合，而不影响基础链路。
动机：工业CTR模型在推理时样本的预测可靠性差异巨大，稀疏的特征组合常导致预测失准。现有的训练阶段自适应门控和特征交互结构学习固定的选择函数，无法为每个实例单独调整。受LLM测试时计算缩放启发，本文旨在填补CTR领域测试时优化的空白，提出一个训练无关、模型无关的框架，根据样本不确定性自适应分配推理计算量。
方法关键点：
- 频率先验估计：使用 Count-Min Sketch 离线统计每个特征值在训练集中的出现频率，作为数据级可靠性信号。
- 双信号不确定性估计：组合模型 logit 置信度（归一化 logit 绝对值）和属性加权的频率置信度（通过反向传播得到梯度范数作为特征重要性权重），计算样本不确定性分数 u(x)，连续分配探索路径数 K(x) = ⌊K_max·u(x)⌋。
- 自适应特征过滤：对所有样本计算复合得分 w(fᵢ)=β·频率得分 + (1-β)·属性得分，依据离线产生的每特征场分位数阈值过滤不可靠特征，形成精炼特征集。
- 多路径探索与一致性聚合：对不确定样本（K(x)>0），基于 w(fᵢ) 进行伯努利采样迭代 T 步生成 K(x) 条特征路径，对每条路径做前向预测，最终与精炼预测一起进行一致性加权平均；确定样本直接输出精炼预测。
- 计算开销：平均约 2.8 倍基础模型调用，但所有路径可并行，最差延迟等同于一次单路径前向传递。
关键结果：
- 在 Criteo、Avazu、KDD12、工业（513M 曝光）四个数据集上，以 OptFu、HSTU、PLE 为骨干，UTTSI 均取得显著提升，例如 OptFu+UTTSI 比最佳基线 OptFu 的 AUC 分别提升 +0.0037、+0.0048、+0.0044、+0.0046，Logloss 相应降低。
- 消融实验验证了双信号估计、属性引导采样和多路径聚合各组件均不可或缺。
- 不确定性校准：双信号估计器与预测误差的 Spearman 相关系数达 0.91（工业数据），远高于仅用 logit 置信度的 0.76。
- 工业平台 7 天在线 A/B 测试，相对 CTR 提升 5.3%（p<0.01）。
核心洞见：通过在测试时按样本不确定性选择性投入计算资源，并以多路径探索平均化稀疏特征导致的估计方差，UTTSI 在不改变模型的前提下，有效弥合了训练与推理之间的可靠性鸿沟。