LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data
LongZero：从零数据增强 LLM 长上下文推理
🧭 长上下文推理 · 零数据自合成 RL
Tsinghua University
LongZero 让 LLM 无需外部数据，通过自合成紧凑证据再展开为长上下文，用 GRPO 提升长上下文推理
📌 工作参考价值（4 点）
- 在电商/搜索推荐 Agent 中，常需对长会话、多商品描述、多文档策略进行推理；可借鉴 LongZero 的思路，让模型先生成结构化的证据链（问题-答案-支持证据），再将证据扩展为多文档上下文，构造无外部标注的 RL 训练数据。
- 当业务场景缺少高质量长上下文标注数据或不想依赖更强教师模型时，可以用 GRPO 在自合成任务上训练，提升模型在长文档抽取、多跳推理、多轮检索上的泛化能力。
- 将自合成多轮检索任务加入训练，有助于优化 Agent 在长上下文中的检索与定位能力，例如在商品知识库、用户评论、活动规则中定位支撑某一推荐/答案的证据。
- 注意该方法主要针对长上下文推理本身，不直接提升推荐精度；作为基础能力训练手段，可集成到现有 Agent/LLM 训练流程中，重点解决推理链路可靠性与长上下文定位问题。