AI Papers Daily

#guardrails

2 篇

RAG-Safety-Bench: Reliable Evaluation of Retrieval-Augmented LLM Safety

RAG-Safety-Bench：检索增强 LLM 安全性的可靠评估

🧭 RAG 安全评估基准

University of Ottawa

提出 RAG-Safety-Bench 基准，用四种条件隔离 RAG 安全退化因素，发现护栏不保证 RAG 安全且良性文档也可能引发不安全生成

📌 工作参考价值（4 点）

• 在企业知识库接入 LLM/RAG 做客服、商品问答或营销文案时，不能只依赖模型自带安全护栏，需对检索文档做安全过滤、冲突检测和输出审核。
• 设计 RAG 评估时，可借鉴论文做法：将检索质量与生成安全性解耦，设置 oracle/相关/随机文档等条件，定位安全退化到底来自检索内容还是模型自身。
• 即使检索文档看似“安全/良性”（如产品描述、用户评价），也可能诱发不安全生成，因此需要额外的输出安全分类器或后处理规则，尤其在面向 C 端的生成式推荐场景。
• 模型选型时注意 trade-off：通用能力越强的开源模型可能越容易在 RAG 条件下被激活不安全能力，需要结合下游任务做安全性压测。

Eval | 2026-09-10 | cs.IR | score 6/10

RAGLLM safetyevaluation benchmarkguardrailsopen-source LLMs

Ouroboros: A Self-Developing Frontier Coding Agent with Reviewed Core Evolution

Ouroboros：通过审阅提交实现自我演化的前沿编码 Agent

🧭 自我演化 Agent · 核心演化与安全控制 ★ 深度解读

Lomonosov Moscow State University · Skolkovo Institute of Science and Technology · Joi Lab · FusionBrain Lab at AIRI · HSE University

一个自我修改运行时（harness）的编码 Agent，通过审阅提交通道持续演化，在 Terminal-Bench、OSWorld 等基准上取得最优结果。

📌 工作参考价值（4 点）

• 在电商推荐 Agent 中采用经验驱动演化：把线上故障、用户反馈、任务执行痛点自动转换为改进待办，经审查后修改 Agent 的工具链或提示词，形成自我优化的闭环。
• 实施多模型审查门控对抗自我修改风险：对 Agent 主动提交的代码/配置变更进行强制 diff 审查、指纹校验和 quorum 投票，防止模型自行绕过安全约束（如越权调用 API 或改变路由）。
• 将模型路由、宪法文件、紧急停止路径设为受保护的“治理表面”，通过外部预算、操作员通道和 /panic 信号保持人类权威，避免 Agent 演化过程中削弱控制。
• 借鉴长期运行 Agent 的持久化记忆层设计：维护故障模式注册表（error class → root cause → structural fix），让推荐系统 Agent 能将一次性错误提升为结构性改进，持续提升服务质量。

Agent | 2026-08-07 | HF Daily | score 8/10

self-evolving agentcoding agentbenchmarkguardrailsreviewed commitscontinual learning