MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes
MetroLLM-Bench：评估语言模型作为交通售票机运行时的基准
🧭 LLM 工具调用与策略决策基准评估
Continker
955 例交通售票机工具调用基准，4B PEFT 模型在 Tier1 上超越 GPT-5.6 且部署成本极低
📌 工作参考价值（4 点）
- 规则引擎 + LLM 补充：先用确定性规则覆盖标准场景，仅将政策调整、复合场景、无障碍等边界 case 交给 LLM，可降低延迟与成本，同时利用 LLM 灵活适应业务规则变化。
- 小模型 PEFT 已够用：在特定领域工具调用任务上，4B 模型经 PEFT 可匹配甚至超越大模型，且 PEFT 增益随模型尺寸增大而递减；业务中可优先微调小模型而非追求大参数量，显著降低硬件与部署成本。
- 分层评估体系：将任务分为确定性 Tier1（自动评分）和语义 Tier2（LLM judge），并发布标准化 harness；在电商 Agent、推荐解释生成等场景可借鉴，先保证结构化动作正确，再评估语义质量。
- 机器可渲染终端状态：要求模型输出结构化、可直接执行的状态（如 action、quote），避免自由文本；这对生成式推荐（如直接生成 Semantic ID 或排序指令）有直接参考价值。