GatewayBench：MCP 网关能力与安全统一评测平台
🧭 Agent 基础设施评估基准
Tsinghua University · University of Chicago · University of Illinois Urbana-Champaign
首个 MCP 网关统一评测基准，量化扁平与层级网关在任务完成、效率与攻击韧性上的差异
📌 工作参考价值（4 点）
- 在电商/广告 Agent 场景中，若需接入大量工具（商品搜索、订单、营销、报表等），优先采用层级式 MCP 网关，通过工具发现 meta-tool 按需检索，避免将所有工具 schema 塞入 context，降低 token 消耗并提升任务完成率。
- 评测自有 Agent 工具调用时，可借鉴 GatewayBench 注入大量无关工具，模拟真实大规模工具面，观察模型在干扰下的选择能力；工具池尽量用真实业务工具而非合成样本。
- 安全侧：层级网关并非天然安全，需在工具发现层增加权限过滤、来源验证与工具描述审查，防止恶意工具通过检索被暴露给 agent。
- GatewayBench 提供统一任务和可验证 judge 的评测框架，可直接复用其任务构建思路，为内部 MCP 网关选型和迭代建立可量化的回归测试。
CONTINUITY：可组合 LLM Agent 安全控制的安全上下文合约
🧭 Agent 安全控制组合验证
ZAST.AI
用 assume-guarantee 合约与认证安全上下文，保证 LLM Agent 跨组件端到端后果完整性
📌 工作参考价值（4 点）
- 在电商/广告/搜索的 LLM Agent 系统中，跨工具、跨组件调用（商品库、广告投放 API、用户数据）时必须显式传递认证上下文，不能依赖组件内部假设；可借鉴「签名 root grant + 接收回执」模式防止授权被中途丢弃或重放。
- 设计多 Agent 协作或工具编排时，采用 assume-guarantee 合约显式声明每个组件的输入前置条件和输出保证，避免单组件安全测试通过但组合后出现上下文断裂；适合安全敏感的推荐策略、召回和排序服务。
- 引入 transformation witness（字段级来源和变换证明）应对数据血缘要求：例如商品信息经清洗、聚合、过滤后产生推荐结果时，能追溯每个字段的修改链，满足合规审计。
- 工程实现上，可信核心仅 1.5K LOC，验证延迟在毫秒级（proof 4.21ms，端到端 7.17ms），可嵌入实时推荐链路做安全校验，无需引入重型可信执行环境。
跨模态安全漂移中的安全意识迁移（多模态大语言模型）
🧭 多模态安全对齐 · 表示迁移
Tsinghua University · Beijing University of Posts and Telecommunications · Northwestern Polytechnical University
提出安全感知表示迁移（SRT），冻结 MLLM 骨干下通过方向修正缓解跨模态安全漂移，提升安全性并保持通用能力
📌 工作参考价值（4 点）
- 多模态场景（如商品图+咨询文本、广告图文审核）不能只做纯文本安全过滤，需评估图文联合语义风险；可参考该工作构建图像-文本联合安全评估集，专门测“良性文本+风险图片”的请求。
- 若线上 MLLM 需要快速安全加固，可借鉴 SRT 思路：不微调大模型，仅在隐藏表征上学习一个安全方向偏移，用少量不安全样本训练轻量适配器，便于部署和回滚。
- 论文发现视觉风险线索注意力不足导致拒答弱，提示可在注意力层加监督/正则，或使用视觉 token 重要性加权，增强对风险区域的感知。
- 对于 Agent/推荐系统接入多模态 LLM，建议在 system prompt 中显式加入跨模态安全指令，并在离线评估中加入跨模态攻击样例，防止“文雅提问+危险图片”绕过策略。
AgentKernel：信任原生的智能体操作系统
🧭 Agent 安全操作系统设计
DeepKernel Lab · Tsinghua University
提出信任原生的智能体操作系统 AgentKernel，以身份、感知、认知、执行四支柱提供强制不可绕过的安全边界
📌 工作参考价值（4 点）
- 在电商/搜索推荐 Agent 中，将输入处理从单点过滤改为分层渐进式感知校验，避免恶意商品描述、用户评论等不可信内容直接进入决策链路。
- 对长期记忆（用户画像、历史会话、商品知识库）引入信息流控制与污点标签，防止低可信来源的内容污染记忆，从而降低错误推荐或越权操作风险。
- 工具调用权限应下沉到内核级强制边界，而非停留在应用层 middleware；在允许 LLM 调用改价、发券、修改广告出价等高权限工具时，可借鉴不可绕过的执行控制架构。
- 跨组织协作（平台、商家、广告主）的 Agent 身份由统一内核管理，可设计可信的委托与授权机制，减少权限滥用和越权访问。
RAGSieve：检索增强生成中知识投毒的自引用局部对比检测
🧭 RAG安全 · 自引用局部对比检测
Nanjing University of Information Science and Technology · Meituan
提出自引用局部对比检测框架，在查询时和语料入库时无需投毒标签识别RAG投毒文档
📌 工作参考价值（4 点）
- 在RAG检索后、生成前增加轻量检测层：对同一次检索的 top-5 与 rank 6-20 候选做分布对比（如相似度集中度、排名跃迁），发现异常文档直接过滤，不需要全局阈值，适合多品类电商检索结果分布差异大的场景。
- 语料入库阶段构建文档局部邻域图，检测与语义相似但词法不同邻居的密度异常，可提前拦截协同注入的商品描述、评论或UGC内容，降低在线风险。
- 方法无需投毒标注或可信参考语料，适合业务冷启动或无标注数据时快速上线防御。
- 联合部署查询时和入库时检测，攻击成功率从67.4%降至14.0%，且对干净检索F1影响有限，可作为RAG安全模块直接嵌入现有pipeline。
Token-Flow 防火墙：持久化 AI Agent 的语义运行时审计
🧭 Agent 运行时安全审计 · Token 流防火墙
State Key Laboratory of AI Safety · Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences
针对持久化 AI Agent，通过 token 流语义防火墙实现全覆盖预执行审计，将攻击成功率压至 12.5%
📌 工作参考价值（4 点）
- 在构建持久化推荐 / 客服 Agent 时，可对记忆更新、工具参数、检索文件等自然语言 token 流嵌入边界感知审计节点，阻止不安全指令传播到执行器。
- 采用 轻量级本地检查 + 分级仲裁 架构：绝大多数 benign 请求用本地规则快速放行（仅 0.69s 延迟），仅对模糊高风险案例才调用远端大模型裁决，实现安全与效率平衡。
- 借鉴 source‑sink 审计记录的设计，为 Agent 数据流（尤其是来自外部工具的返回值）建立可追溯的语义日志，便于事后分析攻击路径。
- 当系统中 Agent 可调用敏感 API（如商品上下架、价格修改）时，可利用类似机制在工具调用前进行语义拦截，避免 prompt 注入导致的误操作。
AOHP：面向个性化、高效、安全交互的开源OS级代理框架
🧭 OS级代理原生支持
Tsinghua University · Peking University · The University of Hong Kong
将AI代理视为一等OS角色，通过个性化服务组合、高效接口与安全信息流，提升任务完成率21.12%，降低51.55% token成本
📌 工作参考价值（4 点）
- 移动端Agent架构设计：将Agent作为OS一等公民的思路可直接用于电商/购物助手App，实现跨应用（如搜索、商品详情、支付）的无缝服务组合，提升用户转化。
- 降低LLM调用成本：高效代理接口通过系统级能力暴露减少对LLM的频繁调用，在需要多步推理的推荐场景（如对比商品、下单建议）中可显著节省token消耗。
- 敏感数据安全控制：细粒度信息流隔离机制适用于处理用户支付、地址等隐私数据，在推荐系统集成支付或用户画像查询时可借鉴其权限分级策略。
- 真实环境评测基准：开源的AOHP平台可作为移动端Agent能力评测的测试床，用于验证搜索推荐Agent在Android系统中的实际表现与安全合规性。
Agent libOS：面向长期运行能力受控LLM Agent的类库操作系统运行时
🧭 Agent运行时架构 · 能力安全控制 ★ 深度解读
Tsinghua University
将LLM Agent抽象为操作系统进程，把安全边界从工具包装下沉到运行时原语，实现按能力授权、阻塞等待与审计
📌 工作参考价值（4 点）
- 工具与权限分离：将模型可见的工具 Schema 与真实资源授权解耦，避免因 prompt injection 或输出注入导致越权操作，对构建电商客服、推荐系统 Agent 等需要安全控制的应用有直接参考价值
- 进程模型管理 Agent 生命周期：用 fork/spawn/exec/wait 等语义管理子任务和人工审批等阻塞操作，可以轻松实现推荐 Agent 的暂停、恢复、任务分派与状态隔离
- 类型化对象内存：用带权限和来源的类型化对象图替代原始对话文本，有利于记忆管理、上下文裁剪和知识复用，适用于需要维护用户画像和对话状态的推荐 / 查询推荐 Agent
- JIT 生成工具沙箱化：通过 Deno 的无权限运行和 syscall 代理机制安全执行 Agent 生成的 TypeScript 工具，可为企业环境下的动态工具扩展提供工程范本
扩大差距：通过离群值注入利用LLM量化
🧭 LLM ★ 深度解读
ETH Zurich
首次通过注入离群值让LLM在量化后触发恶意行为，成功攻破GPTQ、AWQ等优化型量化