Target-Aware Calibration Data Selection for Preserving Uncertainty in Quantized Language Models
目标感知的校准数据选择：在量化语言模型中保持不确定性
🧭 LLM 量化校准与不确定性保持
Yale University · The Hong Kong University of Science and Technology · The Hong Kong University of Science and Technology (Guangzhou) · City University of Hong Kong · Shanghai Institute of Optics and Fine Mechanics
提出 DPQ 配方族，用全精度预测选择高不确定样本与通用锚点构建目标对齐的量化校准集，保持不确定性行为。
📌 工作参考价值（4 点）
- 在电商/广告/Agent 场景部署量化 LLM 时，如果下游逻辑依赖 confidence/abstention（例如低置信度转人工、拒答策略、阈值决策），校准时必须针对业务目标分布选择数据，不能复用通用随机校准集。
- 可直接借鉴 DPQ 的“高 doubt 样本 + 通用锚点”思路：用全精度模型对线上日志打分，筛选边界难例（低 margin、高 entropy、错分类样本）加入校准数据，再混合一定比例通用样本，以保持量化后模型在关键决策边界附近的不确定性排序。
- 不同部署目标需要不同校准配方：如果关心“可回答性边界”（如 FAQ/客服拒答），可增加高怀疑样本比例（类似 DPQ-r75）；如果更关心广泛分类/选择题场景，应选用较温和或单信号（confidence-only / entropy-only）的校准集。
- 该方法属于轻量预量化数据选择，不改量化算法，可配合 GPTQ/AWQ 等主流 PTQ 框架，工程改造成本低，便于在推理优化阶段做 A/B 对比验证。