Towards Direct Latent-Space Synthesis for Parallel Branches in LLM-Agent Workflows
面向LLM-Agent工作流中并行分支的直接隐空间合成
🧭 Multi-Agent 并行合成 · KV cache 复用 ★ 深度解读
Georgia Institute of Technology · Meta
让合成器直接消费并行Worker的KV cache，通过两阶段训练和cache映射实现高效高质量的并行分支汇总
📌 工作参考价值（4 点）
- 用KV cache替代文本串联进行Agent间通信：在并行子Agent完成推理后，直接复用其KV cache，避免重新编码文本前缀，大幅降低TTFT。对电商客服、多工具调用等并行任务可显著提升响应速度。
- 两阶段训练策略值得借鉴：先通过大规模并行上下文对话数据做通用适应（Track 1），再通过蒸馏文本合成轨迹获得推理能力（Track 2），最后合并checkpoint而非顺序微调，能避免遗忘并平衡泛化与推理。这在需要同时处理简单汇总和复杂判断的推荐/问答系统中可复用。
- 可学习的Cache Mapper + LoRA组合：使用MLP根据分支数、长度生成仿射校准系数，配合LoRA适配，让模型适应非顺序的cache输入。工程上成本低，可作为即插即用模块接入现有的并行Multi-Agent流程。
- 轨迹信息选择对效率敏感：实验表明只传worker的final output能实现最佳准确率-延迟折衷，传完整轨迹虽准确率高但开销大。在电商推荐Agent中，可优先压缩子Agent输出为简洁摘要再合成，避免完整交互历史的重传。