GACC-Bench: Benchmarking Goal-Adaptive Context Compression Ability across Large Language Models
GACC-Bench：评估大语言模型目标自适应上下文压缩能力
🧭 LLM 上下文压缩评估基准
Fudan University · Huazhong University of Science and Technology · JD.com · Harbin Institute of Technology · The Hong Kong University of Science and Technology (Guangzhou)
提出 GACC-Bench 基准，评估 LLM 在给定高层目标下压缩长上下文时保留目标相关信息的能力，发现与完整上下文仍有显著差距
📌 工作参考价值（4 点）
- Agent 长会话上下文压缩：在电商导购、客服 Agent 等长对话场景中，压缩上下文时显式传入当前用户意图或任务目标，能显著提升压缩后的信息保留质量，减少 token 成本。
- 压缩评估方法可复用：采用“固定 reader + 同一压缩上下文回答多个问题”的评估方式，能更真实地衡量压缩是否保留了目标相关的多角度信息，而非只看单一问答准确率。
- 目标相关性约束：目标引导压缩优于无目标压缩，而错误目标会降低性能，说明业务中需确保压缩时的目标描述与实际下游任务一致，避免引入噪声。
- 多目标分组评估：将同一上下文下的多个问题按共享目标分组，可以检测压缩是否遗漏某个目标维度的信息，适合用于诊断生产环境中压缩策略的薄弱环节。