When Gradients Collide: Failure Modes of Multi-Objective Prompt Optimization for LLM Judges
文本梯度多目标优化LLM裁判提示的失败模式：梯度稀释与指令干扰
🧭 LLM裁判多目标提示优化
Amazon · IIT Jodhpur
揭示多任务文本梯度优化中梯度稀释（特异性降低59%）和推理时指令干扰两大致命瓶颈
📌 工作参考价值
- 多目标评估提示优化需警惕耦合程度：当 LLM 裁判需要同时评估多个维度（如流畅度、相关性、一致性），将所有维度放在一个梯度 LLM 中联合优化会导致梯度特异性从 9.0 暴跌到 3.7（下降 59%）。在业务中做自动提示调优时，应尽量保持『每个维度独立生成梯度，再合并』的 SSC 模式，而不要过早将所有维度混合输入梯度 LLM。
- 推理时指令长度不对称会损害整体性能：即便每个维度都有独立的、经过优化的指令，直接拼接到同一个 prompt 中，Spearman 相关性也会下降 5.3 个点。原因是详细指令会抢占模型注意力。在电商商品评价、多维度质量打分等场景，如果使用单个 LLM 一次输出多个分数，必须控制各维度指令的长度比例，避免某个维度过于冗长。
- 可用梯度特异性指标监控优化质量：文中定义的『梯度特异性』（gradient specificity）可由 LLM 自动打分（1-10 分），适合作为多目标提示优化的过程诊断指标。在自动化提示工程 pipeline 中，一旦检测到特异性骤降，说明梯度信号已稀释，可触发回退到独立梯度模式或停止优化，防止无意义消耗。
- 超体积指标与平均性能的背离值得注意：在联合优化（CCC）模式下，虽然平均 Spearman 停滞，但超体积指标（HVI）持续增长，说明探索到了在各维度上有差异的特化提示。这对需要保留多样性候选的 Agent 协作场景可能有参考：多智能体 prompt 优化可以先用联合模式产生一组 Pareto 解，再从中人工精选。
动机
LLM 被广泛用作多维度文本评估的裁判（如 SUMMEVAL 同时评价摘要的流畅度、相关性、连贯性、一致性），但为特定领域定制裁判提示时，需要同时优化多个评价指标。文本梯度方法（TextGrad 等）在单目标提示优化上有效，却难以处理多目标冲突，因为其产生的自然语言梯度缺乏数值向量空间，无法应用 PCGrad、MGDA 等经典多任务冲突消解技术。本文系统研究了多目标文本梯度优化 LLM 裁判提示时会出现何种失败模式。
方法关键点
- 基于 TextGrad 流水线，定义了阶段级分解模式代码（Loss、Gradient、Optimizer 分别为 Separate 或 Combined），共测试 Single、SSS、SSC、SCC、CCC 五种模式。
- 在 SUMMEVAL 数据集上，使用 Qwen3-8B 作为任务模型，Qwen3-235B-A22B 作为损失/梯度/优化器 LLM，固定提示骨架，仅优化各维度的指令文本。
- 提出两个过程级诊断指标：梯度特异性（梯度建议是否聚焦于单一维度，1-10 分）和反馈遵从度（优化器是否按梯度修改指令）。
- 设计 oracle 指令拼接实验，挑选单任务最优指令组合成多任务提示，以此分离优化时的梯度稀释与推理时的指令干扰。
关键结果
- 在 6/10 的配置中，优化从未超越初始通用提示（Spearman ρ 停滞）。只有 Single 模式在 MAE 验证下获得 +0.031 的微弱提升。
- 梯度稀释断层：当梯度 LLM 同时处理所有维度（SCC, CCC），梯度特异性从 9.0 骤降至 3.7，下降 59%，且优化器遵从度仍高（7.8-8.8），说明瓶颈在梯度质量。
- 推理时指令干扰：即便从单任务优化中挑选最优指令，拼接后 Spearman 比初始通用提示下降 0.053；极端情况下降 0.163（流畅度维度几乎失效），归因于各指令长度不对称导致注意力分配失衡。
- 超体积指标（HVI）在联合模式（CCC）下增长 6.9%，说明探索到了多样化的提示前沿，尽管平均性能未提升。
核心洞察
多目标文本梯度优化 LLM 裁判面临的两个瓶颈是结构性的：梯度稀释发生在优化阶段，指令干扰发生在推理阶段。要突破瓶颈，需要从架构上分离梯度生成或均衡指令长度，而非单纯改进单任务优化算法。