RedEvoAgent: Automatic Red-Teaming Agent with Experience-Driven Skill Evolution
RedEvoAgent:经验驱动技能演化的自动红队智能体
🧭 LLM Agent 技能进化与安全红队 ★ 深度解读
City University of Hong Kong · Shenzhen MSU-BIT University
将攻击轨迹蒸馏为可读技能,并用验证棘轮做候选更新,提升黑盒 Agent 攻击效果与工具效率
📌 工作参考价值(4 点)
- 对商品推荐/搜索 Agent 的策略迭代:把召回-排序-重排或 query 改写策略写成可读 skill 文档,候选版本只有验证集或小流量指标严格优于当前策略才上线;失败候选进入 rejection context,减少反复生成无效配置。
- 在多工具 Agent 链路中做“决定性工具归因”:不按工具出现频率记功,而把成功案例归因到直接带来正向反馈的工具/动作,可避免策略坍缩到高频但低效的工具。
- 工具/策略先做隔离评分画像:对候选工具在固定数据上单独评估,再让 LLM 结合轨迹总结优先级;比检索全量历史轨迹上下文成本更低、可读性更好。
- 可零样本复用与安全测试:在一个模型/执行环境上进化出的 skill 可迁移到其他模型/harness,适合多租户电商 Agent 的对抗测试、鲁棒性评估;工具调用次数也可作为效率指标纳入评估。