Offline-to-Online Learning in Linear Bandits
离线到在线线性Bandit学习
🧭 离线到在线学习·线性Bandit ★ 深度解读
University of Alberta
通过预算机制切换UCB与LCB，同时实现接近纯在线和纯离线策略的遗憾界
📌 工作参考价值（4 点）
- 推荐系统上线时常有离线日志数据，LinOtO 的「安全基线 + 预算探索」框架可直接用于冷启动阶段：先用离线保守策略（LCB）累积足够预算，再逐步过渡到在线探索，避免早期高遗憾。
- 预算机制可迁移到 Agent 决策：设定一个可接受的最低收益阈值，只有当累积超额收益（预算）为正时才执行探索动作，否则回退到保守动作，保证系统安全性。
- 实验表明离线数据是否包含最优动作对最终效果影响显著，这提示在构造离线先验时应尽量覆盖潜在最优选项，例如通过历史 top 动作并加入适量随机探索数据。
- 线性 Bandit 框架可用于简化版的上下文推荐：将用户-物品交互视为线性奖励，利用最小二乘估计和置信区间进行探索，配合离线协方差矩阵评估覆盖度，计算成本低，易于工程实现。