TreeFlex: Agents Navigating Their Own Search Trees
TreeFlex：让 Agent 自主导航搜索树的树形搜索框架
🧭 Agent 策略引导的树搜索与 RL ★ 深度解读
Meta AI
TreeFlex 让同一 LLM 在 Reflection 与 Execution 间切换，自主选择保存的中间状态继续搜索，并用树感知 GRPO 训练，在深度研究和 SWE 上显著超越 ReAct 与 FoldAgent
📌 工作参考价值（4 点）
- 对于多轮推荐/搜索 agent，维护一个显式状态树（候选 query、商品集合、对话状态），让模型自己决定回溯或分支，可避免线性上下文被低质量探索路径污染。工程上可以像 TreeFlex 一样用“卡片”摘要表示节点，Reflection 角色只看摘要选点，Execution 角色只加载所选路径的详细上下文，既省 token 又保留全局视野。
- Tree-aware GRPO 的训练方式值得复用：把一次树搜索视为一个 rollout，每个输出只在其生成时的上下文上计算损失，而不是拼接所有分支后训练，这样能避免训练与推理分布不一致，且无需树形 attention mask。这对任何多路径决策 RL（如对话策略、搜索链路优化）都适用。
- 过程惩罚设计（如失败调用 -1、超出当前指令范围的操作 -0.2）比单纯最终奖励更能约束 agent 行为；业务上可以针对推荐 agent 的无效工具调用或偏离当前用户意图的探索给予轻量负奖励，避免盲目分支。
- 资源效率：TreeFlex 用更多推理换取准确率，但在相同采样数下优于重复采样 baseline；因此，在允许高延迟的场景（如深度研究型推荐、复杂用户意图解决），增加可控分支回溯比单纯增加样本量更有效。