AgentKernelArena: Generalization-Aware Benchmarking of GPU Kernel Optimization Agents
AgentKernelArena：面向泛化性的GPU内核优化代理基准测试
🧭 GPU内核优化代理评估基准
AMD
首个覆盖HIP/Triton/PyTorch-to-HIP的智能体GPU内核优化评估基准，引入未见配置泛化测试。
📌 工作参考价值（4 点）
- Agent迭代优化流程的量化评估：借鉴其编译、正确性、性能三道门控检查的设计，可为推荐系统中代码生成Agent（如特征工程脚本优化、数据处理pipeline生成）构建类似的闭环评测，确保输出代码在真实环境中可用且高效。
- 泛化测试避免过拟合：论文揭示从零生成的kernel容易硬编码特定输入形状，在未见配置下正确性大幅下降。在电商场景中，若用Agent生成模型训练或推理代码，应增加不同batch size、序列长度等配置的泛化测试，避免隐式过拟合。
- 隔离执行与集中评分：其模块化工作区隔离执行、集中打分的框架可复用于多Agent系统的性能基准测试，尤其适合评估代码优化类Agent的鲁棒性和速度提升。
- 对推荐场景的直接价值有限：工作聚焦底层GPU kernel优化，与业务层的生成式推荐、多智能体协作关联较弱，主要提供评估方法论参考。