Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B
等Token预算下，自我反思与改写不及重复采样：1.5B至7B模型实验验证
🧭 推理方法效率评估
Stony Brook University
在相同生成token成本下，所有自我审视方法均不优于简单重复采样，且模型增大后改写类方法仍显著落后。
📌 工作参考价值（4 点）
- Agent 决策中避免过度自我反省：在搜索推荐 Agent 的设计中，让模型反复审查自身输出、改写答案可能不如直接多次采样并取多数投票高效，尤其在延迟敏感的在线推理场景，应优先考虑简单的并行采样策略。
- 预算控制应以实际生成 token 数为准：对比不同推理策略时，需严格统计所有提示、反思、改写、辩论等环节的 token 消耗，否则可能高估复杂提示工程的实际收益。
- 小模型更适合简单 Best-of-N：1.5B 级别模型自我挑选答案会带来显著负收益，直接取多数票即可；模型增大到 7B 后差异缩小，但仍无需引入昂贵自我评估。
- 反思重写机制需谨慎验证：在商品描述生成、查询改写等任务中，若采用 Self-Refine 或 Reflexion 类方法，需在同等计算预算下与多次采样基准对比，确保额外 token 消耗带来真正提升而非仅由采样多样性贡献。