记忆作为受控过程：LLM Agent 的习得式自适应记忆管理
🧭 Agent 自适应记忆控制 · Contextual Bandit ★ 深度解读
University of California Los Angeles · University of Washington · Northwestern University
将 Agent 记忆访问建模为 MDP，用在线 contextual bandit 学习自适应策略，零额外 LLM 调用且后端无关
📌 工作参考价值（4 点）
- 轻量级记忆控制器：可将 Agent 检索深度、是否注入过往成功策略、何时遗忘陈旧信息的决策，接管为一个表格式上下文 Bandit，在线学习 Q 表，收敛只需几十个任务，无需额外 LLM 推理，适合电商对话 Agent、智能客服等对延迟和成本敏感的场景。
- 后端解耦：记忆控制策略与底层存储（向量库、图记忆、潜 Token 记忆等）分离，现有系统只需暴露检索/存储接口即可无缝装配，便于在推荐商品问答、多轮导购等场景中，渐进式将固定 retriever 升级为自适应 retriever。
- 令牌节省机制：通过抑制无效检索、复用成功计划模板，MEMCON 实现 5–20% 的 token 消耗下降同时提升成功率，对计费严格的 LLM 应用有直接成本收益。
- 状态设计思路：在电商推荐 Agent 中，可按“目标商品类别”“步骤阶段”“是否卡壳”“记忆库规模”等构建紧凑状态，配合少量离散动作空间，即可部署类似 UCB 策略，让 Agent 学会何时更多检索历史对话、何时直接复用成功推荐链路。
TreeSeeker：深度搜索中的树结构试错与分支返回框架
🧭 Agent深度搜索的树结构试错与预算分配 ★ 深度解读
Microsoft · East China Normal University
提出TreeSeeker，通过树结构分支状态和文本UCB操作控制实现深度搜索的受调试错与预算重分配
📌 工作参考价值（4 点）
- 多路径搜索控制：在需要多步信息收集与证据整合的代理任务（如电商导购助手、事实核查）中，可为每个候选方向（查询、来源、假设）维护独立分支状态，利用进度、冲突和失败线索动态分配搜索预算。
- 文本UCB预算分配：通过大语言模型对候选操作（利用/探索/剪枝）进行语义评分（价值、不确定性、风险），无需精确数值奖励即可实现探索-利用-剪枝决策，适合开放域搜索任务。
- 记忆压缩与锚点保留：TreeMem将长历史压缩为分支局部状态，同时保留叶踪迹作为短期锚点，可有效控制上下文长度并保持决策连贯，适用于长对话或长搜索轨迹的代理。
- 操作级决策简化空间：将预算分配抽象为利用、探索、剪枝三种操作，避免细粒度路径评分，降低组合空间，提高大语言模型决策的稳定性和效率。
基于图光滑函数的谱Bandit算法及其在推荐系统中的应用
🧭 图光滑Bandit · 有效维度 · 推荐冷启动 ★ 深度解读
Inria Lille · Microsoft Research · Technicolor Research Center
将图光滑性引入Bandit学习，通过有效维度使regret与节点数解耦，适用于探索阶段（T<N）的推荐场景
📌 工作参考价值（4 点）
- 物品冷启动探索：利用物品相似图（如内容/协同过滤构建的k-NN图）的拉普拉斯谱基，在用户反馈稀少时（T≪N），可以用少量试探发现高偏好物品，Regret远低于标准线性bandit。
- 有效维度作为复杂度指示：真实推荐场景中，物品图的有效维度d通常远小于总数N，可提前估算d来决定是否值得使用谱Bandit，若d接近T则普通LinUCB足够。
- SpectralTS实现高效探索：Thompson采样版本无需对每个物品计算置信区间，每次更新仅需O(N²)（V秩一更新+采样），比SpectralUCB的O(N³)更易于部署在大图上；适合需要毫秒级决策的在线推荐系统。
- 图光滑先验的注入方式：将图拉普拉斯作为正则项（谱惩罚）等价于假设物品奖励函数光滑，可复用到其他线性bandit或贝叶斯模型（如LinUCB/LinearTS）中，只需在协方差矩阵初始化时加入Λ=Λ_L+λI即可。