AI Papers Daily

#red-teaming

4 篇

How I Aligned Your Model: Scaling Up Multilingual Safety Training with Templates

如何对齐你的模型：用模板扩展多语言安全训练

🧭 多语言安全对齐数据增强

ETH Zurich

提出模板化多语言安全数据增强流水线，发布60语言MSafeTemp语料并揭示英语评估会误判多语言安全

📌 工作参考价值（4 点）

• 多语言生成式推荐/搜索的评估必须本地化：论文证明仅英语评估会漏掉多语言攻击和文化适配后的失败。电商全球场景中，多语言产品描述生成、搜索建议、客服Agent的安全与质量评估同样不能只测英语，需构建目标语言+文化适配的测试集，尤其注意文化特定实体（本地品牌、俗语、敏感话题）。
• 模板化数据增强可复用于多语言query/文案生成：从已有的有害/敏感prompt中抽取安全模板，翻译并填充文化真实实体，是低成本扩充多语言训练数据的方法。在推荐系统里可类比地用于生成多语言搜索词、商品标题或营销文案的多样化训练样本，避免人工撰写成本。
• 安全对齐是部署多语言LLM Agent的硬前提：搜索推荐Agent会处理用户输入并返回建议，若多语言安全漏洞被利用，后果严重。这篇工作提示在训练或SFT阶段应加入多语言安全数据，且要包括本地化有害实体，而不是简单翻译英语安全样本。
• 数据质量控制流程值得借鉴：论文中通过母语者验证、自动过滤等步骤确保生成语料质量，这种流水线可迁移到业务中大规模生成数据时的质量把关环节。

Training | 2026-10-29 | cs.LG | score 6/10

multilingual safetydata augmentationtemplate-basedalignmentlow-resource languagesred-teaming

X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems

X-AgentRed：针对多服务生态下个人代理的自演化红队框架

🧭 Agent 安全红队 · 工具依赖图

Meta Reality Labs Research · Meta Superintelligence Labs · Meta · FAIR at Meta

构建工具依赖图并利用执行反馈迭代扩展，系统性发现跨服务有害工具调用路径，显著超越STAC

📌 工作参考价值（4 点）

• 可借鉴工具依赖图构建：梳理电商 Agent 中所有服务工具的 effects（如优惠券领取、订单取消）、harms（资金损失、隐私泄露）与 preconditions，得到有向图，用于测试组合错误，尤其跨服务如搜索推荐 + 购物车 + 支付。
• 执行反馈闭环：把尝试执行失败的路径反馈给红队生成器，替换等效工具或细化前置条件，更有效地暴露长尾安全漏洞，适合集成到 Agent CI 红队流程。
• 用图采样 recipe 而非直接 LLM 生成，能避免模型对常见工具组合的偏好偏差，提升对隐蔽组合的覆盖；电商广告场景可用来检测跨工具异常链路（如优惠券叠加导致价格错误）。
• 该方法不依赖具体模型，与 STAC 对比提升 1.77x 有害路径率和 2.99x 工具覆盖率，可作为思路引入多服务 Agent 上线前安全评估。

Agent | 2026-10-09 | cs.AI | score 7/10

red-teamingpersonal agentstool dependency graphexecution feedbackmulti-servicesafety

GPT-Red: Automated Red Teaming via Self-Play at Scale

GPT-Red：基于自博弈的大规模自动化红队代理

🧭 安全红队 · 自博弈对抗训练

OpenAI

训练自博弈红队代理自动发现提示注入攻击，对抗训练出最强鲁棒模型GPT-5.6

📌 工作参考价值（4 点）

• 对抗训练思想可迁移至推荐模型鲁棒性增强：对召回/排序模型注入对抗样本（如恶意特征序列）训练，提升生产系统抗干扰能力。
• 自博弈架构可借鉴于生成多样化攻击样本：类似用生成式对抗网络思路，在审核/风控模型中持续进化攻击模式，扩大覆盖。
• 红队代理作为自动评估工具：可构建面向推荐系统的“黑盒攻击代理”，在离线评估中压测模型边界，提前暴露盲区。
• 工程上，将红队发现的高危模式加入训练集形成闭环，可系统化提升模型版本迭代的安全性。

Agent | 2026-07-27 | HF Daily | score 7/10

red-teamingself-playprompt-injectionadversarial-trainingRLsecurity

What AI Red-Team Evaluations Can and Cannot Prove

AI红队评估能证明什么与不能证明什么

🧭 AI安全评估证据理论

APIsec Research Labs

推导出红队评估的证据上限，揭示当前基准对高频危害足够但对罕见灾难性危害严重不足

📌 工作参考价值（4 点）

• 评估Agent决策链的安全性时：可借鉴其“证据天花板”概念，明确在给定测试用例数量下，能多置信地排除某类安全风险；尤其当Agent执行高风险操作（如资金转账、删除商品），需量化评估对罕见灾难性错误的保障能力。
• 设计红队测试基准：文章指出当前基准对高频危害（如偏见回复）有效，但对罕见灾难性危害（如自动大额折扣误发）需要数个量级更大的测试集。这意味着若想用红队证明Agent在罕见事故上的安全性，必须开发更大规模、更具针对性的测试用例，或采用自适应红队。
• 评估报告的表述：借鉴“clean sheet比单个重现失败更关键”的结论，在安全报告中强调零漏洞结果比个别失败更有证明力，尤其当基准规模超过阈值时。
• 方法论可迁移到推荐系统：如果将“有害输出”替换为“推荐事故”（如推荐违法商品），可通过计算每个类别的最低可检测危害率，决定测试集规模，避免漏检罕见但高风险的问题。

Eval | 2026-07-22 | HF Daily | score 6/10

red-teamingsafety benchmarkevidential ceilingrare harmhypothesis testingevaluation methodology