Measuring the Serving Stack Instead of the Model: Hidden Confounds in Local Tool-Use Evaluation
测量的是服务栈而非模型：本地工具调用评估的隐藏混淆
🧭 LLM 评估 · Tool-Use 服务栈混淆
Northeastern University, Seattle
本地 Tool-Use 评估中 serving stack 的协议差异会系统性污染模型工具调用保真度测量结果
📌 工作参考价值（4 点）
- 在自建 LLM Agent 评估时，把 serving 层返回码、rejection、retry exhaustion 作为结构化字段写入轨迹；否则模型未调用与 HTTP 400/重试耗尽会被混为 0% 工具调用保真度。
- 对齐不同推理栈（Ollama/llama.cpp/vLLM/SGLang）对 tools= 请求的处理：先用同一批请求做 cross-stack probe，确认返回的是 native tool_calls 还是文本，避免把服务栈行为当成模型差异。
- 对需要文本工具列表的模型，采用“保留 native 通道 + 额外文本 tool list”的协议可能恢复测量保真度；不要对所有模型强制统一 text protocol，Llama-3.2 等原生工具调用模型反而会下降。
- 指标口径避免 turn-pooled 与 per-instance 混用，二者可差约 55 个点；constrained decoding 能压缩解析失败，但要监控非终止与长尾延迟。