#CLI

3 篇

Matched Capabilities, Different Behaviors: A Controlled Study of MCP and CLI Interfaces for Language Agents

匹配能力、不同行为：语言智能体MCP与CLI接口受控研究

🧭 Agent 接口表示与工具调用行为分析 ★ 深度解读

The Hong Kong Polytechnic University · Institute of Computing Technology, Chinese Academy of Sciences

在可执行能力固定时，MCP与CLI的接口表示差异显著改变智能体动作选择、失败恢复与成本，DART可修复实现层失败

📌 工作参考价值（4 点）

工具接口设计应作为决策环境的一部分：在构建商品搜索Agent、客服Agent或推荐解释Agent时，同一组底层API用MCP schema还是CLI命令呈现，可能改变动作分布和任务成功率。建议针对具体模型做接口A/B测试，不要默认MCP一定优于CLI或反之。
借鉴DART解耦“语义决策”与“接口表达”：当工具调用失败时，先验证语义动作是否有效，若有效则只修复参数格式化或调用语法，不重新选择动作。这种commitment-preserving修复可在不增加推理步数的情况下提升恢复率，并显著降低token消耗（最高每任务省27.1k token）。
组件级消融定位接口敏感点：将接口分解为presentation、realization、feedback，在相同决策上下文下做因子实验，可快速定位是schema描述、解码协议还是错误反馈导致行为漂移，指导工程化接口优化。
交互轨迹的早期分歧会传播：在线Agent系统中，早期接口诱发的细微动作差异可能通过历史状态放大，最终导致任务失败或成本剧增。可通过配对轨迹分析识别高风险决策点，设置针对性干预或缓存策略。

Agent | 2026-10-24 | HF Daily | score 8/10

KaliBench: A Fine-Grained Benchmark for Cybersecurity Tool Use on Kali Linux with Runtime-Free Verifiable Rewards

KaliBench：面向 Kali Linux 的细粒度网络安全工具调用基准与免运行时可验证奖励

🧭 LLM 工具调用评测与可验证奖励训练

Khalifa University · University of Western Australia

构建 8,504 条自然语言到 CLI 的细粒度基准，用可验证奖励把 8B 模型训练到接近 685B MoE 水平

📌 工作参考价值（4 点）

在电商/广告 Agent 中，若需要模型生成参数化工具调用（如推荐 API、搜索 API、营销活动配置），可仿照 KaliBench 构建「意图 → 结构化调用」的细粒度评测集。对工具名、参数名、枚举值做 canonicalization 和别名归一化，能定位到 flag 绑定、参数顺序等细粒度错误，而不是只看端到端失败率。
设计“无运行时可验证奖励”：用 gold 命令/参数与预测结果做确定性匹配（可包含语义等价的 alias 映射）作为 RL 奖励，避免每次 rollout 都跑真实线上环境；适合用 8B 级小模型做工具调用训练，压缩到接近大 MoE 效果，降低推理成本。
构建训练数据时采用多阶段验证：LLM 初判 + 沙箱/模拟器执行 + 人工复核。对业务中高价值的 Agent 工具调用数据，这一组合能显著降低不可执行或错误参数样本进入 SFT/RL 集。
结果显示无工具 schema 提示时模型 exact 匹配很弱；在业务 Agent 中应尽量提供结构化 tool schema、枚举约束或 few-shot 示例，把生成空间从自由文本 CLI 转向受约束 JSON 调用，以提升可执行率。

Eval | 2026-09-30 | HF Daily | score 7/10

LLM Tool Use CLI Benchmark Verifiable Reward Cybersecurity

WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation

WildClawBench：面向真实世界长周期智能体的基准测试

🧭 Eval ★ 深度解读

Shanghai AI Laboratory · The Chinese University of Hong Kong · Fudan University · University of Science and Technology of China · Shanghai Jiao Tong University

构建60个真实长周期多模态Agent任务，揭示前沿模型在原生运行时下最高仅62.2%

Eval | 2026-05-10 | HF Daily | score 9/10

Benchmark Agent Evaluation CLI Multimodal Long-horizon Safety