When Errors Become Narratives: A Longitudinal Taxonomy of Silent Failures in a Production LLM Agent Runtime
错误变为叙事：生产LLM Agent运行时的无声故障纵向分类
🧭 Agent系统可靠性 · 无声故障分类与防御 ★ 深度解读
Independent researcher
提出五类机制导向的无声故障分类，揭示LLM系统特有的“fail-plausible”故障模式并给出工程防御框架
📌 工作参考价值（4 点）
- 上下文卫生是防止幻觉污染的第一关：在 Agent 或生成式推荐流水线中，必须将错误输出（如 stderr）与数据通道严格隔离，避免命令替换捕获错误日志并注入下游 LLM 导致虚构输出。可借鉴文中“一行 >&2 切断整条幻觉链”的思路。
- 分层反捏造守卫：对高风险生成场景（推荐理由、商品卖点、工作总结），建立来源可信度标注、禁止短语黑名单（从实际故障中抽取），并采用风险分级的提示守卫模块，共享给所有 LLM 调用任务，防止单点 copy-paste 式维护。
- 声明式状态收敛 + 机器同步：在多组件 Agent 系统中，建立声明式注册机与运行时真实状态的自动 diff 与同步（如定时任务登记 vs crontab、模型注册 vs 实际路由），避免人工遗漏导致的长期无声错误。可设计分级收敛策略：告警 → 预执行 → 自动同步。
- 将人工审阅纳为可观测性第一信号：无论自动测试与治理检查多密集，定期人工阅读最终推送给用户的消息（如推荐摘要、通知），这是发现 fail-plausible 等高阶语义故障最有效的手段。可进一步用 LLM-as-judge 做日常输出评分，但该评判器本身也需纳入同样的治理框架。