FlashVector: Agent for Hierarchical Model Serving Stack Optimization
FlashVector：分层模型服务栈优化智能体
🧭 Agent 驱动的服务栈自动调优 ★ 深度解读
Stanford University · Unity Vector AI Team
将 LLM 驱动的 GPU kernel 优化范式推广到模型服务器、特征处理与运行时配置的全栈自动调优
📌 工作参考价值（4 点）
- 将服务栈各层抽象为统一的 Profile-Diagnose-Optimize-Verify 循环，每层只需提供领域化的 profiling 工具（GPU 用 Nsight，CPU 服务用 eBPF）和知识库，即可复用同一套 agent 框架优化 CUDA、C++、Python 等异构代码，避免为每个组件单独建系统。
- 优化验收必须通过生产流量回放 + 全栈负载测试，且收益超过测量噪声 floor（基线 ±6%，可重复采样收紧到 2.1%）；对浮点重排等改动设置预测输出偏差阈值，防止精度回退。这套验证机制可直接迁移到模型/服务的上线把关。
- 维护一个持续更新的优化知识库（业务逻辑、模型结构、组件架构、优化 cookbook），每次运行后只做 in-place refine 而不是累积全部历史，能有效控制上下文窗口增长、减少 LLM 幻觉，适合长期运行的优化 agent。
- 代码优化和参数搜索可以用同一 loop：在 SLO 约束下用真实请求回放搜索 batch size、实例数等配置，并通过 shadow canary 放量验证；模型每次重训或服务更新后自动触发新一轮，可以避免配置漂移导致的成本回升。