Grouping the Stochastic Machine: Precision, Not Capability, as the Frontier Metric for AI Systems
评估前沿 AI：精度而非能力，输出一致性才是分水岭
🧭 LLM 系统评估 · 输出一致性
Independent researcher, London, United Kingdom
提出用重复请求的输出一致性（precision）而非基准能力作为前沿模型区分指标，并给出测量框架与决策方法
📌 工作参考价值（4 点）
- 在电商/推荐/Agent 系统中增加重复一致性评估：对关键任务（query 改写、推荐理由生成、商品标题生成、Agent 决策）固定 temperature 多次采样同一输入，用确定性规则或文本相似度计算一致率，监控输出漂移，避免只看平均指标。
- 区分两类失败指导调优：一致失败（集中偏离）说明是系统性 bias，可以通过规则/后处理/提示词修正；分散失败（高方差）说明模型或采样策略本身不可靠，需要换模型、降低 temperature 或加入约束解码。
- 低成本的 harness 设计：复用现有多轮测试集，针对每个任务重复 N 次，用确定性评分（无需 model-in-loop grader），能快速定位哪类任务不稳定，适合接入 CI/CD 作为回归门禁。
- 人机协作监控：跟踪 Agent 与人类配合过程中的输出 grouping 随时间变化，作为可靠性 KPI，累计信号帮助发现模型退化、策略失效或环境漂移。