#GBDT

4 篇

Balancing Trial and Reorder: A Hybrid Sequential Transformer-GBDT Ranker for On-Demand Delivery

平衡试新与复购：按需配送场景的混合序列Transformer-GBDT排序器

🧭 排序模型 · 序列推荐 · 混合架构

Wolt (DoorDash, Inc.)

生产级统一排序器UVR结合双向Transformer序列编码与GBDT，通过标签平滑和试新偏置采样提升商家试新率

📌 工作参考价值（4 点）

混合架构值得借鉴：用双向 Transformer encoder 学习用户序列并输出 embedding，作为特征输入 GBDT ranker，兼顾序列建模能力与 GBDT 对表格特征、业务规则（局部配送约束）的处理便利性，适合需要快速迭代和可解释性的工业排序场景。
试新/复购权衡的调参 trick：通过 trial-biased sample weighting（提高试新样本权重）和 label smoothing 引导模型推荐新商家，同时离线监控 reorder MRR 的退化，在线用融合指标 Global CVR 兜底，可在电商新品冷启动或类目探索中复用。
跨域统一排序模型：将餐厅和零售四个独立模型合并为一个 UVR，共享用户序列表示，不仅提升试新率还简化 serving stack，减少多模型维护成本，适合多业务线推荐系统整合。
离线/在线指标拆分：离线分别评估 trial MRR 和 reorder MRR，发现试新提升伴随复购下降，但在线核心指标稳定；建议业务中定义融合指标并分层监控，避免单一离线指标误导。

RecSys | 2026-09-14 | cs.IR | score 7/10

DICS：面向决策树分类器的数据驱动质心分裂方法

🧭 决策树分裂搜索加速 · 训练效率优化

Department of Mathematical Sciences, University of Texas at El Paso

用聚类构建类感知的紧凑候选分裂集，大幅缩小分裂搜索空间，加速决策树训练且精度不降

📌 工作参考价值（4 点）

在电商/广告排序常用的 GBDT（LightGBM/XGBoost）训练中，可借鉴 DICS 思路：对高基数数值或类别特征先做聚类，用聚类质心作为候选分裂点，替代逐值扫描或直方图分桶的固定候选，有潜力进一步降低分裂增益计算量。
类感知的质心分裂能保留判别信息，适合处理类别不平衡或特征与标签强相关的场景，例如 CTR 预估中的用户行为计数特征、商品价格等连续特征。
该方法可作为特征预处理步骤集成到现有树模型训练框架中，对训练数据采样聚类得到候选分裂集，再交给树模型搜索，工程实现上只需增加一次聚类开销，换来后续所有节点分裂搜索空间减小。
注意 DICS 的理论保证依赖假设，实际落地时需在小规模数据上验证精度损失；若精度敏感，可结合已有直方图方法做混合候选集。

Training | 2026-08-20 | cs.LG | score 6/10

GEAR：生成式扩展与真实锚定的两阶段表格基础模型蒸馏

🧭 表格基础模型蒸馏 · 生成式扩展 ★ 深度解读

Renmin University of China · Ant Digital Technologies, Ant Group · Nanjing University

用生成样本只作为教师查询位置，再用 OOF 真实数据锚定，把表格基础模型压缩为 CPU 可部署的 MLP/树模型

📌 工作参考价值（4 点）

在电商/广告场景用大型上下文依赖模型（TFM/LLM）做 teacher、蒸馏到线上轻量模型时，可复用两阶段协议：先用生成样本只作为 teacher query 点、丢弃生成标签，避免 generator 标签 bias；再回到真实样本做 OOF soft/hard 混合锚定。
OOF teacher prediction 是防自标签泄漏的关键。推荐/广告中如果用 teacher 对训练样本打分再蒸馏，样本本身在 teacher context 里会造成泄漏；按 fold 排除后再 query，能明显提升蒸馏稳定性和泛化。
对 LightGBM/XGBoost 这类树模型，直接蒸馏容易不稳定；但先用合成 teacher soft targets 预训练、再真实锚定，二分类 AUC 能超过 CatBoost。适合在现有在线树模型上引入 foundation model 蒸馏，保持工程兼容性。
生成器质量决定扩展上限：TabDiff/TabPFGen 优于低容量 Copula/CTGAN；若没有合适生成器，优先用基于真实表条件生成的生成器，生成量 K 控制在 10-20 附近，边际收益已经递减。

Training | 2026-08-19 | stat.ML | score 8/10

LLM激活引导何时可行？基于早期隐藏状态预测的可控性

🧭 LLM激活引导 · 早期状态预测引导效果

University of Maryland, College Park · MBZUAI

用生成前几步的隐藏状态差异训练GBDT，预测激活引导是欠调、成功还是过调，预测器可指导强度搜索，大幅降低解码成本

📌 工作参考价值（4 点）

激活引导的行为预测可用于Agent/对话系统：在电商客服、推荐解释生成等场景，若需控制输出风格（如语气、说服力），可在生成前几步后即判断引导是否有效，避免了完整生成后评估，节省推理成本。
特征工程思路可复用：提取引导前后隐藏状态的差异，对比不同层和初始token位置的激活偏移，这类特征能结构化编码引导传播路径，类似做法可用于业务中判断模型是否遵循特定指令。
轻量预测器做在线决策：用GBDT对早期状态做三分类（欠调/成功/过调），预测速度快，可嵌入推理管线，实时调整引导强度或决定是否重试，无需耗时的网格搜索。
引导强度动态搜索：利用预测器作为指导，在小部分解码步骤后预测效果，快速逼近最优强度，这种思路适用于任何需要调参的控制方法（如LoRA权重、prompt权重）。

LLM | 2026-06-09 | HF Daily | score 7/10