NRT-Bench:安全关键控制室中LLM操作员代理的多轮红队测试基准
🧭 Agent安全 · 多轮红队测试
AIM Intelligence · KAERI
构建多轮红队基准,揭示LLM代理在自适应攻击下高度脆弱,且模型间漏洞互不重叠。
📌 工作参考价值(4 点)
- 对推荐/对话Agent做安全评估时,可借鉴多轮自适应攻击模拟,而非单次注入,更贴近真实用户恶意交互。
- 防御措施可能互相抵消甚至反效果:在客服Agent中叠加安全模块前,务必针对具体模型做A/B测试,不能通用假设有效。
- 客观危害指标(如业务指标下降、用户流失)比LLM-Judge文本判断更可靠,可用于推荐系统的安全离线评估。
- 多个模型漏洞几乎互斥,提示在Agent链中组合不同LLM可能提升鲁棒性,但需避免单点被突破。
PACMS:即插即用的次模上下文选择引擎,提升长会话LLM Agent问答
🧭 Agent 上下文管理 · 次模优化 ★ 深度解读
Nasiko
提出基于设施选址次模函数的上下文选择方法,在保持回忆的同时将LLM Agent端到端QA准确率提升8~12个点
📌 工作参考价值(4 点)
- 电商对话Agent的长上下文管理:电商客服、导购Agent的会话会累积商品信息、用户意图、工具调用结果,PACMS的做法可直接移植:将所有来源(记忆、对话、API响应)统一为一个候选池,每次模型调用时根据最新查询做子模覆盖选择,优先保留与当前需求最相关的信息,丢弃冗余。
- 推荐解释/文案生成中的上下文压缩:在生成推荐理由或广告文案时,需从大量用户行为、商品属性中筛选关键句,可使用类似设施选址覆盖的贪心选择,在 token 预算内最大化覆盖相关属性,同时自动剔除重复表述。
- 插件化设计支持策略A/B测试:PACMS将上下文选择实现为可替换的引擎插件,通过本地HTTP服务暴露接口,支持多种策略(PACMS、MMR、top-k、last-k)。这种做法可直接照搬,让搜索推荐Agent的上下文组装逻辑与主框架解耦,便于线上快速切换和效果评估。
- 工程优化技巧:嵌入向量缓存常驻服务、失败时回退到简单策略(soft fail)、成本感知的贪心近似,这些实现细节对构建稳定低延迟的在线服务具有参考价值。
潜在链式思维中有效监督的信息论分析
🧭 潜在链式推理的监督优化
Ningbo Institute of Digital Twin, Eastern Institute of Technology · Department of Computing, The Hong Kong Polytechnic University
信息论分析揭示潜在CoT双坍塌,提出轨迹与空间监督,发现生成式重建优于几何压缩,建立信息-性能绑定
📌 工作参考价值(4 点)
- 在搜索推荐系统中若采用隐式CoT进行多步推理(如用户意图推断、推荐理由生成),不应仅依赖结果监督,应引入轨迹监督向中间隐状态注入步骤级信号,并利用空间监督保持隐空间语义结构,防止语义漂移。
- 避免将隐状态强行对齐到离散符号(如MSE回归到思维token),该做法会压缩推理空间;改用生成式重建(自解码器生成推理步骤)作为更灵活的语义锚,可更好地保留信息容量,提升复杂推荐任务的推理质量。
- 可借鉴统一潜在探针(ULP)的设计,通过测量隐轨迹与显式推理步骤的互信息,监控推荐模型中隐式推理过程的信息保真度,作为训练质量的评价指标,指导优化方向。
- 论文证实推理准确率与隐链信息保真度强绑定,因此在需要多步逻辑推理的推荐场景(如用户兴趣演化建模)中,应优先优化隐状态与推理逻辑的互信息,而非仅关注最终推荐指标。
权限过高是否多余:探究LLM代理中的过度权限工具选择
🧭 代理工具选择与权限控制
Institute of Information Engineering, Chinese Academy of Sciences · Beijing Academy of Artificial Intelligence · The Chinese University of Hong Kong · Institute for Artificial Intelligence, Peking University · School of Cyber Security, University of Chinese Academy of Sciences
揭示LLM代理在工具选择时偏好高权限工具且故障会加剧该倾向,并提出后训练防御以遵循最小权限原则
📌 工作参考价值(4 点)
- 对电商客服代理等场景,可将工具按权限分级,并在代理系统设计中强制‘最低权限’原则,避免因模型偏好而越权调用退款、改价等高危接口。
- 在后训练阶段加入权限感知偏好优化(类似论文的 privilege-aware post-training defense),通过构造偏好对让代理优先选择功能足够但权限更低的工具,从根源上减少过度授权。
- 仔细处理工具调用失败的降级/重试逻辑,防止代理在遇到瞬时故障时自动升级到更高级别工具,需预设权限升级白名单或人工审批流程。
- 可构建领域专属的工具权限基准(类似 ToolPrivBench),评估代理在订单查询、修改、删除等不同权限工具间的选择合规性,作为安全回归测试的一部分。
ScholarQuest:基于分类法的智能体学术搜索评估基准
🧭 Agent 检索评估 · 分类法引导
State Key Lab of Cognitive Intelligence, University of Science and Technology of China
提出 ScholarQuest 基准,系统评估智能体在开放文献环境中的迭代检索能力
📌 工作参考价值(4 点)
- 意图分类法可迁移至电商搜索:将查询意图细分为方法导向、场景锚定、对比型等,用于构建更丰富的搜索评测集或指导 Agent 的意图识别。
- 共享检索后端保证可复现性:固定文献库 ScholarBase 的设计思路可直接用于搭建企业内部的搜索 Agent 评测平台,确保不同方法在相同语料上公平对比。
- 多维评估信号:同时关注召回、效率与不同意图下的鲁棒性,为推荐/搜索 Agent 提供更全面的诊断信息,避免单指标误导。
- 基于引用图的可扩展答案构造:利用引用关系自动扩张相关论文,类似在推荐中利用物品共现链扩展候选池,可启发生成式推荐的评测数据生成。
SoftSkill:将 Agent 技能压缩为可训练软前缀的行为适应方法
🧭 LLM 推理行为压缩与自适应
The University of Hong Kong · Huawei Research · City University of Hong Kong · Huazhong University of Science and Technology
用可训练软前缀压缩长 Markdown 技能,以 32 个虚拟 Token 替代数百上千 Token,提升 QA 和数学任务准确率。
📌 工作参考价值(4 点)
- 推荐/搜索场景中常需长文本策略指令(如多路召回规则、排序准则),可借鉴 SoftSkill 将其压缩为可训练 soft prefix,大幅降低推理时的上下文长度和 KV cache 开销。
- Agent 执行复杂任务时,若技能描述过长,可预先训练任务专属的 latent prefix 来注入行为先验,提升 Agent 遵循流程的稳定性和效率。
- 工程上采用冻结基座模型、仅训练少量虚拟 Token 的方法,避免全参数微调,部署时只需替换短 prefix,实现低成本多技能热切换。
- 实验中长度仅 32 的 soft prefix 即大幅超越长 Markdown 提示,说明压缩技能表示本身具有强正则化效果,可迁移用于压缩推荐解释、搜索引导等长文本上下文。
SSD:空间推测解码加速自回归图像生成
🧭 自回归视觉生成中的并行推测解码
Rutgers University
利用2D空间局部性并行预测相邻token,将自回归图像生成加速13.3倍且质量无损
📌 工作参考价值(5 点)
- 对于电商/推荐/Agent从业者,该方法可直接迁移到任何自回归生成任务(如生成式推荐中的Semantic ID序列、商品描述、多模态内容生成):
- 利用 item 间共现或相似性图谱构建空间/结构化的并行预测分支,将逐 token 生成改为多 token 并发预测,减少解码步数,提升推荐结果生成速度。
- 工程上可实现类似树形推测解码的验证机制,用大模型一次产出多个候选 token,再由小模型并行验证,保持输出分布一致。
- 适合对延迟敏感的在线推荐场景,尤其在高分辨率、多模态内容生成(如商品图生成、广告素材合成)中应用,可大幅降低 RTF。
- 需要预先定义 token 之间的依赖关系(如商品 ID 序列的常见转移模式),可结合 Graph Embedding 或 co-occurrence 矩阵来设计并行预测目标。
Stellar:面向自然语言查询的可扩展多模态文档检索
🧭 多模态检索 · 高效延迟交互
通过词法过滤与磁盘驻留延迟交互,将多模态检索的内存和延迟降低1-2个数量级且效果不降。
📌 工作参考价值(4 点)
- 词法表示过滤(LRF):微调多模态大模型作为稀疏编码器生成高质量词法表示,可用于商品搜索的第一阶段候选过滤,大幅减少需深度计算的候选集。
- 磁盘支持的延迟交互(DLI):将商品/文档的多向量 token 级 embedding 存于磁盘,按需动态加载,可有效降低内存占用,适合百亿级商品索引。
- 平衡聚类的存储布局:根据负载模式设计磁盘存储结构,可借鉴到推荐模型的大规模稀疏特征存储,减少随机 I/O。
- 成本模型驱动加载:通过简单代价模型选择必要的 token embedding 参与最终评分,在实时推荐中可用于选择性计算用户与物品的细粒度交互特征。
UnityShots: 记忆驱动多镜头音视频生成与边界感知门控
🧭 多镜头视频生成 · 记忆机制
The Hong Kong University of Science and Technology · The Chinese University of Hong Kong · Kling Team, Kuaishou Technology · Tsinghua University · Sun Yat-sen University
用固定大小记忆槽和边界感知门控实现跨镜头一致性音视频生成,指标领先开源并与闭源持平
📌 工作参考价值(4 点)
- 多镜头连贯生成可直接用于商品展示视频:固定大小的长期记忆(锚定开场镜头)与短期记忆(前一镜头尾部)槽位设计,可在自动生成多角度、多场景商品介绍时保持产品外观、环境的一致性,避免人工拼接。
- 边界感知门控可用于用户行为序列的切点检测:将视觉切幅概率与节拍信号融合的思路,可迁移到电商用户session划分中,用行为突变信号(如点击间隔、内容切换)触发推荐策略切换。
- 离散切类型先验作为可控开关:通过AdaLN学习离散过渡强度,在生成时可控制镜头连接的平滑或突兀程度,类似推荐系统中多样性/一致性的可调节参数,适用于广告混剪的节奏控制。
- 参考说话人token保持音色:在虚拟主播、广告旁白等多镜头音频生成中,可保证人声一致性,无需滑窗音频库,降低工程复杂度。
有界噪声下的随机线性上下文老虎机:一种集合成员估计方法
🧭 在线决策 · 遗憾界改进
University of Illinois Urbana-Champaign
利用奖励噪声有界性提出 SME-OFU 算法,将遗憾界从 O(√T) 降至 O(log T)
📌 工作参考价值(3 点)
- 推荐系统中点击、转化等反馈天然有界([0,1]),可假定噪声有界,比次高斯假设更强,理论上能获得更低遗憾。实践中可考虑在置信区间构建时利用边界信息,例如采用截断或基于集合估计的不确定性量化,替代通常的 Hoedffding 不等式。
- 集合成员估计(SME)提供一种非概率的置信集构造方式,可尝试替代传统岭回归置信椭球,特别适合对噪声分布缺乏先验但对边界明确的场景(如转化率预测)。工程实现上,SME 本质上维护一个参数可行集,可通过线性不等式约束求解,复杂度可控。
- 该算法的 UCB 形式(SME-OFU)求解一个凸优化问题,可通过投影梯度或凸包近似处理。在推荐系统的在线学习模块中,可借鉴其乐观选择策略:在可行参数集中选择最大化奖励且满足信息约束的动作,以加速冷启动收敛。
针对智能体AI自动化攻击的防御性误导分析
🧭 Agent安全防御 · 误导性反馈
Keysight Technologies Inc.
提出检测后给出误导性非操作响应,将自动化越狱攻击成功率上界降低两个数量级
📌 工作参考价值(4 点)
- 对话推荐Agent的防注入策略:当检测到恶意输入时,不要返回统一的拒绝话术(如“我无法回答”),因为这会为自动化攻击提供可预测的反馈信号;改用看似合理但无实际操作的误导性回应,让攻击者误判成功,从而浪费其查询预算。
- 轻量级误导实现CMPE:借鉴文中的渐进式上下文误导方法,在对话状态中维护安全的信息片段,检测到恶意意图后逐步递送无关的“安全诱饵”,既保持对话流自然,又避免泄露系统边界。
- 防御评估指标迁移:用攻击者的阳性预测值(PPV)替代传统的ASR来评估鲁棒性,更能反映在自动化红队场景下误导策略的有效性,适合在电商搜索Agent上线前做对抗测试。
- 工程实现建议:将安全检测与响应生成解耦,检测模块判定恶意度后,将请求转发至专门的“误导生成器”(可用小型微调模型),不增加主流程延迟,对在线服务影响小。
指令遵循修订中自我偏好弱或缺失:四模型真实作者测试
🧭 LLM 自我偏好偏差评估
Tsinghua University
在可验证指令修订任务中,模型对自己文本的修正接受度与中立模型无显著差异,自我偏好不明显。
📌 工作参考价值(4 点)
- Agent 自修正流水线可放心使用确定性验证:当修正的正确性可由规则(如格式检查、字段完整性校验)自动判定时,模型不会因“作者身份”而抗拒改正,此场景下自我审查风险低。
- LLM 判定修正质量时仍需警惕自偏:本结论只适用于可验证修正;若修正优劣靠另一 LLM 判断,则自我偏好仍可能影响决策,应避免闭环自评。
- 要求模型解释拒绝原因可提升可控性:实验中拒绝修正时 97% 的理由是“挑错”,这提示在 Agent 拒绝建议后输出解释,有助于人工审核或后续自动过滤。
- 实验设计可复用到自改进评估:用确定性检查器作为 ground truth,避开 LLM 自评导致的循环偏倚,适合评估推荐文案生成、搜索 query 改写等模块的自修正效果。
执行状态胶囊:面向低延迟设备端物理AI服务的图绑定检查点与恢复
🧭 图绑定执行状态复用 · 低延迟LLM推理
提出图绑定执行状态胶囊,将LLM推理复用从KV片段提升至全状态边界,实现亚毫秒级快照/恢复与27倍TTFT加速
📌 工作参考价值(4 点)
- 若业务中存在实时Agent交互(如对话式推荐),可借鉴胶囊机制实现亚毫秒级状态分支与回滚,降低用户感知延迟
- 在需要维护会话级推理状态(如探索式推荐对话)时,全量状态快照可确保回溯一致性,避免仅KV缓存导致的状态发散
- 边缘设备推荐场景可参考静态图 + 连续缓冲区的设计,消除动态块表开销,提升小批量推理的确定性延迟
- 工程上,若自研推理系统,可考虑将可恢复状态抽象为封闭缓冲集,以实现更高效的状态管理;但目前需深度CUDA集成,落地依赖未来框架支持
自适应不确定性感知的LLM裁判审计精炼框架
🧭 LLM-as-a-Judge 审计与人类一致性校准
Georgia State University · Michigan State University · Concordia University · University of Manitoba
在有限人工验证下,迭代学习人类一致性信号并优先审查不确定比较,提升LLM评判可靠性
📌 工作参考价值(3 点)
- 当用LLM评判器离线评估搜索推荐系统的生成式内容(如推荐理由、对话推荐)时,可借鉴AURA的不确定性感知主动学习机制:优先将LLM低置信度的成对比较送人工审核,少量标注即可显著校准评判器偏见,降低大规模人工评估成本。
- 将“信任度”显式建模为隐变量并迭代更新的思路可以迁移到业务中:例如在推荐系统的A/B实验解读中,LLM对实验报告的分析结论可能因数据分布偏移而不稳定,通过收集少量人工验证反馈迭代修正信任权重。
- 提出的可靠证据传播策略可启发在多轮对话评估或序列推荐评估中,如何利用已确认的高质量判断来推断相邻未标注样本,从而提高评估效率。
AI写AI管:语义空间控制与跨391次连续会话的索引病消除
🧭 Agent长期协作中的符号退化与语义控制
Shenzhen Yunxi Technology Co., Ltd. · Information Technology Center, Tsinghua University
发现并解决长周期LLM协作中符号约束过载导致的“索引病”,提出语义活力法则与基线-日志物理分离机制
📌 工作参考价值(4 点)
- 避免推荐Agent系统提示膨胀:在为电商推荐、搜索等构建长期运行LLM Agent时,不要无节制地在System Prompt中添加符号索引、ID映射或防御性规则。一旦超过临界点,模型会放弃对业务语义的真实理解,转而进行自指推理,产生逻辑自洽但脱离实际(如生成不存在的商品ID、错误的活动规则)的输出。
- 采用基线-日志物理分离:将Agent的任务定义、核心指令(Baseline)与运行时的历史对话、上下文记录(Log)严格拆分。只在Baseline中保留最精简的自然语言目标描述,避免无效历史噪声污染推理,大大降低上下文窗口中的“索引病”风险。
- 用自然语言承载明确目的:在生成式推荐或Agent指令中,尽量用完整的、目标导向的自然语言语句代替符号化简写(如直接用“推荐适合露营的防水帐篷”而非“item:camping_tent_v3”)。这符合“语义活力法则”,能显著提升信息质量和模型遵守指令的可靠性。
- 量化指令体积并监控:定期审计Agent交互中AI Instructions的总长度和冗余度,作为健康状况指标。通过类似基线-日志分离的方法,我们可将指令量减少约75%,同时彻底消除索引病复发,这对维护长周期运行的推荐智体至关重要。