Chronicle: Cut-Point Replay for Regression Testing of LLM Agents
Chronicle：LLM Agent 回归测试的切点回放
🧭 LLM Agent 回归测试与录制回放
Microsoft
通过切点回放把 LLM agent 失败运行转成 CI 回归测试，兼顾录制的可复现与新代码实跑
📌 工作参考价值（4 点）
- 把 LLM agent 运行中的模型调用、工具读取外部状态等非确定性边界作为 cut-point 录制，之后可部分回放、部分实跑新代码，快速把线上事故变成 CI 回归测试。
- 录制开销很低（23μs/边界），可在电商/广告 agent 的关键工作流中在线开启录制，积累回归 case，不影响性能。
- 对高风险工具（退款、出价、商品发布等）做 guard/安全断言时，cut-point replay 比全 stub 更能捕获真正的不安全变更，避免测试假阴性。
- 业务中可先离线模拟模型边界，用 replay 验证修复，再逐步接入 CI，减少对 LLM 调用的依赖和成本。