Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents
行动胜于言语：测量工具使用智能体的跨语言策略保留
🧭 多语言智能体 · 策略评估与测量
Microsoft Research India
跨语言评估不应只看答案，需测量行动轨迹一致性；四个前沿模型保留自同一性的份额稳定在71–73%
📌 工作参考价值
- 多语言 Agent 上线前，不应仅比对最终答案，要监控行动序列差异：可借鉴 Icross/Iwithin 归一化指标，排除随机性和自一致性天花板，真实衡量语言切换对行动策略的冲击。
- 注意测量中的混淆因子（轨迹长度、空轨迹、偶然一致）：任何多模块系统的跨语言对比都需长度匹配、空值剔除，并测量偶然一致基线，否则会误判模型强弱排序。
- 发现「英语枢轴」是成本与失败模式的隐性来源：模型在非英语任务中大量调用翻译工具并内转英语推理，即便指令禁止仍不放弃，这直接导致非英语分支成本更高、失败模式独立于英语回归测试——部署多语言 Agent 时必须针对各语言分支单独审计。
- 单条正则解析可能制造虚假的多语言失败：使用固定模板提取工具调用时，某些模型可能用自然语言提及工具而非严格遵循语法，仅解析失败而非能力不足；建议在日常链路中报告解析失败率，超过 20% 的模型应视为不可排名，避免评估噪声掩盖真实能力。
动机：传统多语言评测只比较最终答案，但是对工具使用 Agent，路线即产品：不同语言下即使答案相同，中间步骤（翻译、搜索、计算）的差异会导致成本、延迟和失败模式完全不同，且审计与安全限制都绑定在动作序列上。因此需要直接测量 Agent 在面对同一任务但不同语言时，是否执行相同的行动策略。
方法关键点：
- 构建 6 个并行多语言基准（含 41 种语言），每个任务在跨语言版本间通过严格对齐键保证语义一致。
- 固定符号化工具脚手架（Search/Calc/Translate/Summarize/Finish），提取动作轨迹（trace）而非最终答案。
- 定义归一化策略保留指标
˜I = Icross / Iwithin：跨语言轨迹一致性除以同语言自一致性，消除解码随机性天花板。 - 系统纠正五种混淆：轨迹长度（长度匹配）、空轨迹（排除）、偶然一致（通过排列测量真实零基线≈0.56）、天花板效应（除以自一致性）、无基线（同语言对照）。
- 温度阶梯实验分离出跨语言差异是结构性而非采样噪声（跨语言一致平坦，自一致性随温度陡降）。
关键结果：
- 在贪婪解码下，Gemma-3-27B、Sarvam-M、Qwen3-235B、Llama-4-Maverick 四个模型归一化策略保留值高度收敛在 71–73%，模型身份仅解释 5.7% 的方差。
- 小于约 10B 参数的模型该规律破裂，且原始绝对差距排名严重颠倒（与贪婪解码下排名相关系数 ρ=−0.80）。
- 因果干预证实英语枢轴负载因果关系：删除 Translate 工具降低跨语言一致度，与各模型依赖翻译的程度成剂量反应；且指令放弃英语推理被拒绝率超 99%。
- 发现单一正则表达式可制造 26 倍准确率测量假象：GPT-OSS-120B 因语法不符被判定 76% 空轨迹，但加入两示例后准确率从 2% 飙至接近 45%，而模型本身可读输出准确率几乎未变——提示解析失败会成为多语言能力的测量幻象。
值得记住的一句话：答案一致不等于策略一致，行动轨迹的差异决定了成本、失败模式和可治理性，是 Agent 多语言评估不可丢弃的维度。