Pre-Inference Routing for Cost-Efficient Document Field Extraction
面向成本高效的文档字段提取的预推理路由
🧭 模型推理成本优化 · 预推理路由
Independent Researcher
提出预推理路由：在文档提取前预测难度，动态选择廉价或强模型，成本降低31-77%且质量损失≤0.02 F1
📌 工作参考价值
- 模型级联成本优化通用范式：在推荐、问答或 Agent 流水线中，先用轻量模型处理简单流量（如高频、低风险 query），对复杂流量（长尾、歧义 query）再调用大模型。核心前提：廉价模型要「有足够失败率」且「失败可预测」——从日志统计廉价模型在各分段上的质量，若某段失败率低则没必要路由。
- 用极少标注试点验证路由可行性：不必全量标注或复杂实现，先用 100-200 条样本评估廉价模型在该业务的 F1 或准确率，看是否满足「足够失败」条件；再提取简单特征（如文本长度、信息熵、图像清晰度）用逻辑回归拟合，看路由后 Pareto 前沿是否改善——成本节约 30% 以上且质量损失可接受时才工程化。
- 路由器特征从业务可观测信号入手：论文发现 BOW 路由器和人工特征效果接近，说明业务侧不必过度设计特征，直接用文本/结构化元数据（如订单金额、商品数量、历史点击率）作为特征就能工作；可解释特征（如布局复杂度、缺失值比例）能帮助评估路由效果上限。
- 路由器需按场景独立训练：论文指出路由器不能跨数据集迁移，即业务上每个产品线（如搜索、推荐、客服）需维护自身路由策略，即使底层模型一致；可定期用新数据 retrain 路由器，避免分布漂移失效。
动机: 文档提取系统通常对所有文档用同一模型，简单文档处理成本高，强模型只在困难案例上有收益。本工作探索在推理前用低成本特征预测文档提取难度，据此路由到廉价或强提取器，从而在维持质量的同时降低成本。
方法关键点:
- 定义路由生效的两个必要条件：(1) 廉价模型要有足够高的失败率，才值得路由；(2) 失败必须可从可见特征（如图像模糊、布局复杂）预测。
- 用逻辑回归校准廉价模型的信心度，设置阈值控制质量-成本 trade-off；路由器可选词袋特征或人工工程特征，效果接近，说明路由上限由文档类型决定而非特征设计。
- 提出用小型标注试点（pilot study）快速评估路由是否可行：先统计廉价模型在该领域的性能，判断条件(1)；再训练简单路由器看能否预测失败，若不能则放弃路由。
关键结果:
- 在满足两条件的收据发票上，路由使成本降低 31–33%，F1 损失 ≤0.02；在低质量广告购买表单上成本降低 77%，效果显著。
- 对已很容易的干净数字发票或营养标签，路由无收益，因为廉价模型本身已足够好。
- 路由器须按数据集重新训练，跨数据集迁移无效；两个成本差异 5× 和 3× 的模型对均验证了上述结论。