AURA: Agentic Diagnosis and Refinement for Production Recommender Systems at Scale
AURA：生产级推荐系统的智能体诊断与代码级优化
🧭 Agent 驱动的推荐系统诊断与代码级优化
The Walt Disney Company, San Francisco, CA, USA
用分层 LLM Agent 从真实会话日志中自动诊断推荐失败模式，并生成代码级修复提案
📌 工作参考价值
- 分层聚合框架可复用到电商故障诊断：把 LLM 逐会话判断作为原料，再经分类→合并→采样→分析→验证→综合六步漏斗，产出带严重度、证据和根因假设的失败分类法。可类比识别“高利润商品过度推给价格敏感用户”“长尾库存被埋没”等细分问题，替代人工切片分析。
- 封闭分类法优于开放式：初始发现阶段后锁定类别词汇，避免类别漂移和清理开销。工程上使用数据库支撑的提示模板，支持版本化和回滚，且能通过配置层切换平台。
- 防御性验证层必须做：每个 LLM 输出边界加程序化检查：会话 ID 存在性、JSON schema 校验、代码文件路径验证，防止幻觉标识符和错误引用。这是生产环境可信度的关键，尤其适用于代码生成和数据分析 Agent。
- 多模型路由控成本：高容量分类/合并用轻量模型（如 Flash），低容量分析/验证/综合用前沿模型，可将下游分析成本控制在总成本的 1-8%。
- 离线闭环筛选是廉价门槛：对诊断出的失败模式生成修复代码后，先在诊断队列上离线评估，能快速否决无效改动，避免消耗 A/B 资源。即使是看似合理的特征交叉也可能无效。
动机 聚合指标（AUC、NDCG、precision/recall）只能告诉我们模型平均是否变好，无法揭示细粒度定性问题，如特定人群或场景下的推荐崩溃、多样性塌缩、临时陈旧等。人工定性分析依赖领域知识，规模小且昂贵。生产推荐系统需要可扩展的自动化诊断，并直接连接到代码级改进。
方法关键点 AURA 是一个端到端智能体流水线，包含四个顺序阶段：
- 会话选择：通过随机/分层采样、领域 SQL 和 LLM 筛选 Agent 并行提出候选问题队列，经去重和共识排序选出进入深度诊断的会话。
- 诊断阶段：采用六步漏斗处理大规模会话——并行分类（每会话标注 GOOD/BAD 及类别）、跨批次合并、采样保留值得深入分析的类别（安全类强制保留）、逐类别分析产出结构化发现（描述、严重度、根因假设、证据、可操作建议）、验证代理交叉检查一致性、综合生成执行摘要。
- 假设与技术提案：读取推荐系统代码、特征定义、训练管道和数据 schema，将每个诊断发现映射到具体组件，生成根因假设和候选修改建议。
- 代码实现：使用生成-评估-改进循环，由独立评估器对每个建议的可行性、正确性和副作用打分；通过者经程序化验证（文件路径、导入）后生成 Pull Request。 验证、工程师评审和跨运行记忆贯穿所有阶段。平台特异性通过配置层注入，核心代码不变。
关键结果 在两个生产平台（Platform A：家庭向，96,801 会话；Platform B：通用向，101,594 会话）上评估。
- 诊断质量按 25 项行为化 rubric 评分：Platform A 从 15/25 提升到 23/25，Platform B 从 17/25 提升到 24/25；大部分改进来自架构修复（如类别词汇关闭、严重度数据对齐、采样阈值调整）而非提示工程。
- 封闭分类法显著优于开放式：Platform B 从 30+ 重叠类别减少到单个重命名，零合并；Platform A 也收敛到 13 类别枚举。
- 成本上，上游逐会话判断占总成本 92-99%，AURA 下游聚合分析仅占 1-8%；端到端一次运行约 253（B），每个可操作发现约 $5.38。
- 离线闭环验证：针对 Platform B 最主要的 Genre Pref. Mismatch 生成的两个修复（用户-流派交叉特征、候选感知注意力）在诊断队列上均未能改善排名，且全局指标在 ±0.1% 噪声内持平，避免了无意义的 A/B 测试。
最值得记住的一句话：工程师信任来自结构化证据而非 LLM 权威，离线筛选是廉价拒绝无效修复的关口。