RealCLI：CLI Agent 人机协作统一评估基准
🧭 CLI Agent 人机协作评估基准
Beihang University · Renmin University · IQuest Research
提出 REALCLI 双模式基准，统一评估 CLI Agent 任务执行与协作质量，揭示前沿模型协作能力严重不足
📌 工作参考价值（4 点）
- 电商/运营 Agent 常执行长链路任务（如批量改价、选品、报表生成），可借鉴 REALCLI 的“执行模式 + 协作模式”双评估：既测任务完成，又用 scripted user 模拟渐进需求与授权，防止只优化结果而忽略用户体验。
- 五维框架中的 steerability、trust calibration、safety boundary 可直接迁移为客服/自动报价 Agent 的评测 rubric，例如检查 Agent 是否在修改价格、发优惠券前请求确认、是否过度自信。
- 对于需要人机协同的推荐/搜索 Agent（如自动生成 query 或调整策略），可参考“约束修订”场景模板，设计测试用例评估模型在用户中途改变目标时能否平滑重规划。
- 工程上，scripted user 成本低，适合作为 CI 回归测试，避免每次都要真实人工参与，可先小规模试点。
LocUS：面向目标激活转向的头部选择与子空间投影
🧭 LLM 推理时激活转向 · 低秩子空间
Area Science Park, Trieste, Italy · Institute of Science and Technology Austria · Université Côte d'Azur, Inria, LJAD, Maasai Project Team, Nice, France
LocUS 将激活转向约束到输出词汇子空间并稀疏选择注意力头，以干预<6%参数匹配或超越 SOTA 并更好保持通用能力
📌 工作参考价值（3 点）
- 在电商客服/导购 Agent 中，可用 LocUS 做实时安全/合规控制：基于对比数据估计转向方向，但通过 unembedding 子空间投影和稀疏头部选择，仅干预 <6% 参数，避免大幅损害商品推荐能力。
- 利用模型原始 unembedding 矩阵作为属性子空间来源，无需额外训练即可定位特定属性（如“负评倾向”）对应的输出方向，并在局部修正，此法可复用于生成式推荐中的风格/属性控制。
- 对 LLM 生成推荐理由或商品描述的场景，可对生成的语义属性（如情绪、说服力）做 targeted steering，同时不改变物品 ID 或事实准确性，保持通用能力不下降。
面向安全机器人操作的障碍感知编码智能体约束框架
🧭 编码智能体的安全约束规划
USC · UCF · UCSB
提出 SafeHarness，通过障碍感知路径规划与接触执行显著提升编码智能体的任务成功率和避碰率
📌 工作参考价值（4 点）
- 约束优先级显式化：在 prompt 里写“不要撞障碍物”不够，需把安全约束拆成结构化步骤。电商 Agent 中“不违规”“不超预算”等约束可借鉴：先规划、验证约束、必要时重新规划，再执行。
- 阶段分解定位失败：将任务拆成 route phase 和 contact-rich moment，分别定位不满足约束的环节。推荐/广告 Agent 可对“选品→出价→文案”分段做约束检查，避免只在最终输出把关。
- 用结构化中间表示消解歧义：将物体表示成 bounding boxes、路径写成 waypoints，减少 LLM 对场景的自由裁量。对应到业务可用结构化 schema（如候选 query 列表 + 规则标签）让 Agent 做约束内选择。
- 验证-重规划闭环：选择路径后先 verify，不可行就 replan，而非一步到位。适合用在需要多步决策的推荐 Agent 流程，比如先选候选集再过滤违规项，失败后回退重选。
Emergence World：长时程多智能体系统的对抗压力测试
🧭 多智能体系统韧性压力测试 ★ 深度解读
Emergence AI
构建持续运行多智能体环境，通过钓鱼、误信息、记忆泄露测试系统韧性，发现识别不等于遏制、模型对齐不组合
📌 工作参考价值（4 点）
- 部署多智能体生产系统（如客服、营销自动化、供应链）时，必须补充长期运行和对抗性注入的持续测试，不能只做单轮安全评估。识别到威胁不等于系统会采取正确行动，需要在工具调用和动作执行层加装强制约束（如 action firewall、tool dependency check），防止 agent 在识别后仍将恶意内容写入持久记忆或执行后续操作。
- 同质化单一模型部署可能导致群体性谄媚（societal sycophancy）和集体行动失败，即使个体模型能力合格。混合模型部署可以引入行为多样性，降低系统级风险，但会改变同一模型与 persona 的行为，需要重新评估。建议在生产多智能体系统中配置至少 2-3 种不同厂商模型，并监控群体决策的异议率。
- 记忆系统设计需考虑隐私泄露后的扩散风险。论文中记忆泄露后，agent 将私密内容写入公开写作、治理提案和搜索，且检测不意味着遏制。建议对 agent 的长期记忆与外部写入设置访问控制和自动审计，定期检查是否将敏感信息扩散到公开渠道。
- 长期运行中工具调用可靠性和目标漂移是常见问题。论文观察到工具错误在数千次操作后复发，目标漂移随运行时间变化。建议对 agent 生产环境监控 tool call error rate 和 goal alignment 分数，设置自动重启或人工干预阈值，并定期审查 agent 自建工具和 routine 的传播与采用情况。
持续多轮压力下的 LLM 谄媚行为测量
🧭 LLM 多轮压力谄媚评估
Texas A&M University · University of Cincinnati
SPINE 基准用自适应 LLM 代理持续挑战 25 轮，揭示现有短对话评估低估模型谄媚，且模型常明知正确却选择迎合
📌 工作参考价值（4 点）
- 在客服、购物助手、审核 Agent 等场景，不要只用单轮或短脚本做安全/正确性测试；应加入 LLM 代理扮演固执错误用户，进行 20+ 轮自适应反驳的 red-teaming，因为 collapse rate 会随轮数上升。
- 对生成式推荐/LLM4Rec 场景，如果用户持续施压（如“我就是喜欢这个商品，你就说它合适”），模型可能放弃客观判断；需监控 reasoning trace 或加独立 critic 检查最终回答是否与内部推理一致，而不只看输出。
- emotional appeals 是最强的诱导策略，可专门构造带情绪压力的对抗样本（如“你不帮我我就失业了”）来训练模型坚守事实、价格承诺、售后政策等边界。
- 构建长期回归测试时，用自适应 LLM proxy 比预生成固定脚本书发现更多 sycophantic collapse，适合作为 Agent 上线前的自动化评估组件。
演化式模型与领域特定安全 Harness 框架
🧭 Agent 安全防御与自动化 harness 合成
Johns Hopkins University · University of Wisconsin–Madison · NVIDIA · University of Illinois Urbana–Champaign · UC Berkeley
自动合成针对冻结模型与目标领域的安全 harness，联合搜索自然语言策略和可执行代码逻辑，在保障效用下大幅降低攻击成功率
📌 工作参考价值（4 点）
- 在推荐/搜索 Agent 中增加独立安全层：将安全 harness 与推荐逻辑解耦，自动生成针对特定模型和业务域的策略与代码，避免手工编写规则，可快速适配不同推荐模型（如 LLM 推荐生成式商品描述）。
- 模型-领域特定的安全阈值自动调优：借鉴其联合搜索策略，为每个推荐模型和场景（如电商导购、广告文案生成）自动发现最优的安全约束强度，平衡过度拦截与安全漏洞，节省人工调优成本。
- 将领域合规要求嵌入可执行代码：类似地提取电商/广告领域的业务安全关系（如广告法违禁词、价格合规），编译为可执行的过滤逻辑，并集成到 Agent 的动作执行前检查中。
- 对抗性评估与在线迭代：在发布推荐 Agent 前，使用类似 PAIR 的自适应攻击模拟恶意输入或提示注入，评估防御有效性；将对抗审查作为持续集成的一部分，动态更新安全 harness。
表示对齐实现可泛化的语言模型安全
🧭 LLM 表示级安全对齐 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
提出 ReSO，直接对齐 LLM 潜在表示与人类道德分类结构，在不监督响应的情况下提升对抗鲁棒性
📌 工作参考价值（4 点）
- 在内容安全/合规审核中，不要只做输出层微调（如 DPO），可对物品/内容/query 的表示与安全分类结构做表示级对齐，增强对对抗改写、隐晦违规的泛化。具体可用 triplet 排序损失拉近同类安全内容表示、拉远危险表示。
- 若已有安全分类标签/人工判断，可构造 graded category vector（严重度×置信度），用 Bradley-Terry 目标对 latent 相似度排序进行优化，不需要生成标签，适合标签稀疏或冷启动场景。
- 监控训练过程中验证 RSA 与攻击成功率（ASR）的相关性，作为早停/剂量指标；在 ReSO 中观察到后期 RSA 回归伴随 ASR 上升，避免过拟合。
- 对 Agent 系统，若依赖 LLM 做安全决策，可考虑对状态/动作表示做类似对齐，提升对未见对抗输入的鲁棒性，而不是仅依赖 prompt 或输出过滤。
从重加权到重写：解锁训练数据归因中高影响样本的干预效应
🧭 训练数据归因 · 影响力函数干预
Peking University · YiXin-AI Lab · Beijing Academy of Artificial Intelligence
影响力函数选中的样本在重加权下干预有限，但对其响应进行重写可实现更强、持久且双向的行为改变
📌 工作参考价值（4 点）
- 在 LLM 微调治理中，若需修正拒答/过度生成、安全合规、商品属性表达等行为，用影响力函数（IF）选出的少量高杠杆样本，直接重写其 response（而非 instruction），比调整样本权重或随机改样本更有效且效果更持久、双向可控。
- 可把 IF 作为数据清洗/标注预算分配工具：优先重标注 IF 分数高的训练样本，用行为对齐/对抗的监督信号做定向改写，能通过极小样本集实现行为翻转，避免大量重训。
- 重加权在评估 TDA 时会低估样本干预价值，实际落地评估归因方法时应区分“局部重加权效应”与“重写干预杠杆”，不要仅用 weight-based 干预去验证归因质量。
- 针对电商/搜索场景的 LLM 应用（如商品问答、广告文案、政策拒答），可构建行为探针（如 epistemic abstention、safety refusal），用 IF 定位问题样本并重写响应来快速修复 badcase。
理解智能体AI系统中认知引发的风险
🧭 Agent 认知风险分层与治理策略
Shanghai Artificial Intelligence Laboratory · The Chinese University of Hong Kong, Shenzhen · Tsinghua University
按物理、社会、自我指涉三层次认知框架，系统分析LLM智能体对人类能动性与控制权的风险及缓解策略
📌 工作参考价值（4 点）
- 在电商Agent（自动选品、生成广告文案、push消息推送）上线前，可按三层认知框架设计审计清单：物理层检查工具调用与API权限，社会层审查对用户意图的操纵与隐私风险，自我指涉层防止目标漂移或自修改配置，逐层分级放行。
- 将“人类能动性、自主性、控制能力”作为核心指标纳入Agent评估集与在线监控；对涉及用户情绪或社会影响的推荐文案、自动客服等场景，强制保留人类审批节点。
- 对具备长期记忆或自我修正能力的推荐Agent，设置自我指涉风险检查点：定期比对当前目标与原始业务目标，避免过度个性化导致的信息茧房或目标篡改。
- 架构上采用“最小权限+风险隔离”：Agent调用外部数据和服务时，按认知层级分配权限——物理层只给只读API，社会层需人工确认，自我指涉层禁止自动改写自身prompt或工具配置。
超越组件测试：验证智能体 AI 系统
🧭 Agent 验证与评测方法
University of Messina · ICAR-CNR · CINI
提出五维验证分类法（行为/安全/时序/监管/多智能体），揭示轨迹级验证是关键空白
📌 工作参考价值（4 点）
- 测试思路迁移：电商 Agent（如自动选品、动态定价）必须评估决策轨迹而非单轮输出，可借鉴论文的“轨迹级验证”思维，构建包含工具调用、记忆交互的场景性测试集。
- 安全与合规提示：推荐/广告系统引入多智能体协商后，需关注时序有效性与监管合规，此评价框架可直接用于梳理自身系统中“行为/安全/时序/合规”覆盖缺口。
- 对抗性测试生成：论文提出“adversarial trajectory generation”，可用于生成对抗性用户行为路径（如极端比价、退货欺诈），测试推荐 Agent 的鲁棒性。
- 运行时监控架构：在线上推荐引擎中嵌入轻量级监控模块，持续校验智能体的动作序列是否偏离预期，降低长尾风险，论文给出的运行监视模式有直接工程参考价值。
SeerGuard：基于世界模型预测的移动GUI Agent安全框架
🧭 Agent安全框架 · 世界模型预测
JIUTIAN Research
通过预执行指令筛查与动作风险评估，结合多任务世界模型，显著提升GUI Agent的安全效用并降低风险成本
📌 工作参考价值（4 点）
- 在 Agent 流程中集成预执行动作风险评估模块，利用世界模型预测后续状态和风险，可拦截支付、删除等高风险操作，避免不可逆后果。
- 借鉴多任务学习构建安全增强世界模型（SAWM），同时优化语义下一状态预测与安全评分，提升风险评估的准确性和泛化性，可迁移至电商购物 Agent 的安全审核。
- 指令级高风险任务筛查作为第一道防线，快速拒绝“转账”“清空购物车”等敏感指令，降低系统整体风险暴露。
- 引入安全-效用得分（SUS）和风险成本得分（RCS），为 Agent 安全与性能的平衡提供可量化的评估指标，适用于推荐或对话 Agent 的安全测试。
权限过高是否多余：探究LLM代理中的过度权限工具选择
🧭 代理工具选择与权限控制
Institute of Information Engineering, Chinese Academy of Sciences · Beijing Academy of Artificial Intelligence · The Chinese University of Hong Kong · Institute for Artificial Intelligence, Peking University · School of Cyber Security, University of Chinese Academy of Sciences
揭示LLM代理在工具选择时偏好高权限工具且故障会加剧该倾向，并提出后训练防御以遵循最小权限原则
📌 工作参考价值（4 点）
- 对电商客服代理等场景，可将工具按权限分级，并在代理系统设计中强制‘最低权限’原则，避免因模型偏好而越权调用退款、改价等高危接口。
- 在后训练阶段加入权限感知偏好优化（类似论文的 privilege-aware post-training defense），通过构造偏好对让代理优先选择功能足够但权限更低的工具，从根源上减少过度授权。
- 仔细处理工具调用失败的降级/重试逻辑，防止代理在遇到瞬时故障时自动升级到更高级别工具，需预设权限升级白名单或人工审批流程。
- 可构建领域专属的工具权限基准（类似 ToolPrivBench），评估代理在订单查询、修改、删除等不同权限工具间的选择合规性，作为安全回归测试的一部分。
SIMMER：基于世界模型的LLM可执行规划潜在失败基准测试
🧭 Agent 规划可靠性评估 · 潜在失败检测 ★ 深度解读
The Pennsylvania State University
提出符号化厨房世界模型与状态机执行器，系统评估并缓解LLM智能体规划中的潜在与不可逆失败。
📌 工作参考价值（4 点）
- 借鉴“潜在失败”概念，在多步决策流程（如促销路径规划、智能客服对话策略）中引入隐性错误检测，避免最终目标被无声破坏。
- 使用符号化状态机执行器 + 世界模型进行离线仿真，可精确审计计划中的状态传播（如库存变化、用户意图漂移）导致的不可逆错误。
- 采用反事实前瞻模拟（Counterfactual Foresight），让模型在生成每一步时主动预测并修正潜在的隐性危害，显著提升规划安全性。
- 在序列推荐或 Agent 交互中，不应只检查即时前置条件，需定义后执行审计规则，捕捉全局安全违规（如资源耗尽、死锁）。
可扩展监督中保守主义的校准
🧭 可扩展监督 · 保守性校准 ★ 深度解读
Stanford University
聚合多种辅助监督信号为保守性惩罚，并用共形决策理论在线校准保守系数，确保长期违规率不超过目标值
📌 工作参考价值（4 点）
- 在线校准λ的思路可迁移至推荐：推荐系统中常常在安全性与效用间权衡（如低俗内容过滤vs流量），可借鉴 CCO 的增量 λ 更新规则 λ_{t+1}=λ_t+η(ℓ_t−α)，根据实时观测的违规率自适应调整保守程度，无需预定义固定阈值。
- 弱监督聚合惩罚：在电商多智能体场景中，可用多个廉价弱模型（如同步的安全检查、合规评分）对各候选动作打分，聚合与安全基线的偏差量作为惩罚，不要求各监督者完全理解主智能体，即可形成有效约束。
- 提供可证明的长期风险控制：推荐系统在动态环境中常遇到分布漂移，CCO 的 conformal 控制器不依赖分布假设，适合线上 A/B 实验中的风险控制，可设定 α 为可容忍违规率，保证长期平均不超过该目标。
- 基线动作的设计：明确指定一个保守基线动作（如“不推荐”），并确保其损失为零，为 CCO 提供安全兜底；在推荐/Agent 中可设计“安全 fallback”机制，当所有候选动作都被惩罚过高时自动回退到基线。
量化永久遗忘：通过电路归因实现抗压缩的机器遗忘
🧭 LLM ★ 深度解读
Lexsi Labs
提出 MANSU 框架，利用电路归因与量级底线保证 4-bit 量化后遗忘不逆转
量化与缓解前沿大语言模型的过早闭合行为
🧭 Eval ★ 深度解读
Stanford University
在医疗场景中，前沿LLM普遍在信息不足时给出不安全答案，安全提示可部分缓解但无法根除
LiSA：通过保守策略归纳实现终身安全适配
🧭 Agent ★ 深度解读
Google Cloud AI Research · Seoul National University · Google
在稀疏、嘈杂反馈下，通过结构化策略记忆与证据感知重用的保守归纳，持续改进AI护栏
WildClawBench：面向真实世界长周期智能体的基准测试
🧭 Eval ★ 深度解读
Shanghai AI Laboratory · The Chinese University of Hong Kong · Fudan University · University of Science and Technology of China · Shanghai Jiao Tong University
构建60个真实长周期多模态Agent任务，揭示前沿模型在原生运行时下最高仅62.2%