Test-Time Augmentation for LLMs: When Input Diversity Beats Output Diversity at Matched Compute
LLM 测试时增强：等量计算下输入多样性胜过输出多样性
🧭 测试时增强 · 输入多样性 vs 输出多样性
Amazon Web Services
在固定推理预算下，语义改写聚合比自一致性更高效地将计算转化为准确率，性价比高约 1.8 倍
📌 工作参考价值
- 改写聚合替代重采样：在电商搜索问答、推荐理由生成等需准确答案的场景，用同一 LLM 生成 k 个语义等价改写，分别回答后多数投票，比单纯多次采样自一致性成本-收益更优。
- 实施要点：改写与回答调用分离，改写提示必须保留原问题的选项、格式、图像引用；可用更强模型做改写（例如用 Sonnet 为 Haiku 生成改写）；推荐 $k=4$ 在成本与效果间平衡；仅在模型置信度中等（基线准确率 40-80%）时使用，高准确率大模型无益。
- 避免混合模态增强：若输入含图像，只增强文本，同时增强图像与文本会引入噪声导致性能下降；词汇增强（拼写错误）可能损害强模型，优先用语义增强。
- 低成本备选：若改写调用额外开销不可接受，词汇增强（字符扰动）几乎零成本，仍可获得小幅度提升，适合对延迟敏感的线上链路。
动机
推理时计算昂贵，自一致性（Self-Consistency）通过多次采样不同推理路径提升 LLM 准确度，但每次推理都消耗计算。测试时增强（TTA）在监督学习中通过汇总多次输入变换的预测来提高鲁棒性，但在生成式 LLM 上未曾系统比较其与输出侧多样性的效率。本研究在严格控制计算量（k 次 LLM 调用）的条件下，探究输入多样性（改写、扰动）是否比输出多样性（自一致性）更高效地将计算转化为准确率。
方法关键点
- 三种输入增强策略：
- 语义 TTA：用 LLM 一次生成 k 个语义等价的改写，每个改写独立回答并多数投票。
- 词汇 TTA：施加字符级随机扰动（交换、增删、错拼），5% 概率，每问最多 10 处扰动，不再额外调用 LLM。
- 视觉 TTA（多模态时）：对图像做小角度旋转、亮度/对比度微调。
- 自一致性基线：同一输入重复采样 k 次推理路径（温度 0.75），多数投票。
- 公平比较：所有方法均使用相同基座模型、相同 CoT 提示、相同数量 k 次回答调用，语义 TTA 额外包含一次改写调用，成本单独分析。
- 多数投票机制：离散答案任务，平局随机打破。
关键实验与结果
- 数据集与模型：MMLU、MMMLU（多语言）、MMMU（多模态）、HLE、Math500、IMDB，主要使用 Claude 4.5 Haiku，k∈{2,4,6} 栅格搜索。
- 主要精度增益：语义 TTA 在 6 个基准上平均提升 1.8 个百分点，在 5/6 任务上超过自一致性，统计显著（p<0.05）。在 Math500 和 MMMLU 上差距最大。
- 成本效益：语义 TTA 每美元获得的准确度增益约是自一致性的 1.8 倍，Pareto 支配自一致性；词汇 TTA 提供几乎免费的小幅增益。
- 最佳 k 值：语义 TTA 在 k=4~5 接近最优，自一致性则随 k 增加持续改善。
- 模型规模影响：TTA 对中等模型（Haiku）提升最大（+2.75pp），对强模型（Opus）几乎无增益，甚至词汇 TTA 可能损害强模型。
核心结论
“对于当前的中等水平 LLM，变化输入比变化推理路径更能高效地将推理计算转化为准确率。” TTA 是训练无关的轻量级增强，最适合在基座模型能力中等且无法升级到更大模型时使用。