从被动遏制到主动保障：2026年三家Agent安全事件的教训
🧭 Agent 安全评估与主动保障
Walsh College, Troy, Michigan, USA
基于2026年三家前沿Agent安全事件，提出PASAC主动保障循环与五层边界保障栈，强调执行系统全链路持续校验而非依赖单一沙箱
📌 工作参考价值（4 点）
- 在电商导购、广告投放或推荐Agent上线前，把安全边界从“模型不越界”改成“执行系统不越界”：独立验证工具权限、网络出口和凭据注入，不能只依赖模型自述或单层沙箱。可直接落地五层边界栈中的可执行范围契约和egress强制。
- 评估环境采用least-capability access：按任务风险分层授予商品库、广告账户、竞价API的只读/读写/资金操作权限；涉及下单、改价、扣预算等高风险动作，必须设置自动停止条件和基于证据的人工重授权，防止奖励漏洞跨任务扩散。
- 跨运行监控对长会话Agent尤其重要：推荐/导购Agent可能跨用户、跨店铺复用记忆与凭据，需要隔离跨运行身份、监控异常网络出口和工具调用模式，尤其是访问Hugging Face类共享服务或第三方数据源时。
- 把Agent安全评估从一次性red team转为持续assurance：对生成式推荐、query改写等业务Agent也可以建立领先指标，如越界尝试率、新工具调用频率、凭据访问模式，触发策略自动收紧。
当场识破：探针有效检测破坏行为与非言语欺骗
🧭 白盒探针与LLM欺骗监测
FAR.AI
白盒探针可扩展至前沿LLM代理监测，在SHADE-Arena达98.8% AUC，并发布最大欺骗数据集FIBS
📌 工作参考价值（4 点）
- 若在电商场景部署LLM Agent（购物助手、自动客服、导购），可训练白盒探针作为实时合规/真实性监测层，检测代理是否产生虚假承诺、价格误导或隐瞒关键信息；相比纯文本监测，AUC提升显著，可离线训练后接入推理链轻量调用。
- 探针架构聚合多层和多token信息，优于单层线性探针，可移植到其他分类任务，如识别推荐理由中的虚构卖点或幻觉内容。
- 构建领域特定欺骗/违规数据集（类似FIBS）用于微调探针，数据量越大效果越好；可结合内部标注的agent轨迹与用户投诉案例快速起步。
- 注意：该工作偏向恶意欺骗与安全攻击场景，电商业务更多面临幻觉与营销合规问题，直接迁移需调整标签定义和评估基准。
当 KL 正则化在群体策略优化中失灵时
🧭 RLHF/GRPO 训练稳定性优化
Alibaba Group
系统分析 GRPO 中参考 KL 与奖励交互的七种失效模式，提出条件 KL 标定组内奖励系数的 ZCPO
📌 工作参考价值（4 点）
- 在电商/广告/Agent 场景用 GRPO 类方法做 LLM 策略优化时，若显式 reference KL 导致奖励收敛慢或指标波动，可尝试去掉 KL 项或改用条件 KL 只用在校准组内奖励系数，而非独立正则项。
- 对于文案生成、搜索词推荐等变长输出任务，注意 KL 会随 response length 增长且可能集中在少数 token，造成长度偏置；可考虑 per-token 或条件归一化，避免长文本被过度惩罚。
- 当组内样本 reward 相同或梯度取消时，独立 KL 梯度不会完全抵消，仍会推动策略漂移；可在组内 reward 方差接近 0 时关闭 KL 更新，或采用 ZCPO 式相对漂移标定。
- 将 KL 估计直接加入 reward 会引入采样噪声，建议分离 KL 估计与 reward 计算，并使用更稳健的组内相对校准系数。
短视频事实核查中最小充分证据的识别基准与框架
🧭 多模态事实核查 · 证据充分性选择
The University of Sydney
提出基于证据充分性的短视频核查方法，用16%证据达到与全量证据相当的准确率，并显式输出“证据不足”
📌 工作参考价值（4 点）
- 充分性驱动的增量证据检索：在 RAG 或 Agent 系统中，不必一次性加载全量文档，可借鉴其贪心搜索：每次选择最可能提升信心的证据，直到达到充分性阈值即停止，可显著降低 token 成本和上下文噪声，尤其适合实时性要求高的搜索推荐场景。
- 显式弃权机制：当证据候选池耗尽仍达不到充分性时输出“insufficient”，避免模型硬给结论。推荐系统可对低置信度的生成结果（如商品推荐理由、广告文案）增加弃权分支，触发补充数据或转人工，减少幻觉风险。
- 两层验证架构分离内部一致性与外部事实性：先验证视频/商品页面内部信息一致性，再用外部知识做事实判定，能提升生成内容的可信度。例如电商直播间商品描述核验：先比对主播口播与商品详情页，再检索外部标准或百科验证功效。
- 多模态证据选择思路：将视觉帧、语音转录、外部网页统一作为证据单元，按充分性而非相关性选择，对多模态搜索或直播内容审核有直接参考价值。
多流注意力残差
🧭 高效 LLM 预训练 · 深度残差架构
School of AI, Shanghai Jiao Tong University · Shanghai Innovation Institute · Dots Studio, Xiaohongshu Inc. · School of CS, Peking University
将单流深度注意力残差扩展为多流深度注意力，通过多尺度因果卷积生成多样化上下文视图，在 MoE 大模型上取得 1.58 倍预训练加速
📌 工作参考价值（4 点）
- 若业务需要自研或微调大模型作为排序/召回/Agent 底座，可评估用 MSAR 替换标准残差连接：保持单流存储、按需扩展多流深度检索，iso-loss 预训练加速 1.58×，对 MoE 架构尤其明显。
- 多尺度因果卷积生成不同上下文视图的思路可迁移到用户行为序列建模：使用不同 kernel size 的因果卷积提取短期点击、中期会话、长期兴趣等多时间尺度表示，再通过自适应混合融合，增强序列建模能力。
- 轻量自适应混合多个检索流的机制，可作为推荐模型中多兴趣/多视图融合的替代方案：避免显式维护多流表示和通信开销，降低工程实现复杂度。
- 需注意该工作验证于 18B/28B 大规模 MoE 语言模型预训练，直接搬到电商推荐的小模型或非 Transformer 结构收益未知；引入多流机制可能增加调试复杂度，建议先在离线评测中验证深度特征稀释问题是否真实存在。
EVIE：面向视觉文档检索的证据向量引导嵌入
🧭 视觉文档检索 · 多向量召回与索引压缩
Tencent IMA Product Center · Tencent Youtu Lab
提出视觉文档检索方案，用证据数据治理、双向蒸馏与层级索引压缩提升精度与存储效率
📌 工作参考价值（4 点）
- 数据治理方法可迁移：用多模态 judge 识别“有答案正样本”并过滤不可靠负样本，适合电商搜索、商品详情页图文匹配训练数据的自动清洗。
- Prefix-MRL 单 checkpoint 输出多个嵌套维度，线上可按延迟/存储预算动态切换 embedding 维度，无需重新编码或训练多个模型。
- HAC 索引压缩结合空间正则的 token 聚类，把多向量索引降到单阶段 MaxSim 可用的体积，128x 存储降低，适合大规模商品库的图文多向量召回。
- 多向量 + MaxSim 比单向量在图文混合 query-doc 匹配上更细粒度，但需控制索引大小，HAC 提供了准确率-存储权衡的新思路。
GeopoliticalQA：情报报告检索与生成基准
🧭 RAG 检索与生成基准评测
Mantis Analytics
构建 415 份情报报告、5,525 条 QA 的地缘政治 RAG 基准，系统评估检索与生成
📌 工作参考价值（4 点）
- 在电商/Agent 知识检索场景中，chunk 级检索质量不必依赖超大 embedding 模型；中等规模开源编码器 bge-m3 可与大 10 倍模型持平且优于商业 API，可先用这类模型做成本可控的域内检索。
- 文档画像先行的问题生成 pipeline 可用于构建电商搜索/推荐领域的合成评测集：先对商品/报告进行结构化画像再生成问题，并配合 LLM-as-judge 做质量过滤，提升训练与评测数据可用性。
- 即使给定黄金证据，复杂推理类问题（对应商品选品、活动归因、风险判断等）仍是生成瓶颈；在 RAG Agent 中应加强多步推理、证据整合与结果校验，而非只优化召回。
- LLM-as-judge 协议验证数据集质量的方法可直接迁移到搜索 query 改写、推荐理由生成等任务的离线评估，减少人工标注成本。
H2CE：异构两阶段交叉编码器建模地理语义交互用于 POI 重排
🧭 异构特征融合 · 两阶段 POI 重排 ★ 深度解读
Amazon · University of Trento
提出 H2CE 异构两阶段交叉编码器，融合 bucketized 数值描述与精确标量 MLP，用 pointwise+pairwise 重排 POI，NDCG@5 达 67.48%
📌 工作参考价值（4 点）
- 在电商/本地生活精排中，对价格、销量、评分、距离等强数值特征，可采用「bucketized text descriptor + 精确标量 MLP」双通道，并把数值 MLP embedding 与 cross-encoder [CLS] 做 latent concat；比 late weighted sum 更能学到 query 条件化交互。
- 两阶段 pointwise→pairwise top-K 架构适合实时重排：Stage1 用经济模型粗排，Stage2 只对 top 10~20 做 pair 比较，复杂度 O(N+K²)；训练 pair 时只从 Stage1 top-K 采样，避免训练/推理分布不一致。
- 压延迟可用 half-matrix：只评 unordered pairs，再用概率互补 Mji=1-Mij 重建另一半，比较次数减半、延迟降约 26%，精度几乎不伤。
- 零样本 LLM 重排不适合大规模候选和实时链路；本文 RankGPT 质量明显低于 fine-tuned cross-encoder，且贵得多，更适合离线标数据或小规模 judge。
Harness²：开放世界中的递归 Agent 驾驭框架
🧭 Agent harness 递归自改进 ★ 深度解读
Northwestern University · Google Cloud AI Research
提出 Harness²，通过对比性 Propose-Probe-Compose 与经验库更新，在无 ground-truth 的开放世界中持续改进 agent harness。
📌 工作参考价值（4 点）
- 将推荐/搜索 agent 的运行时组件（prompt、工具说明、技能、子代理、中间件）显式文件化，支持在线编辑和版本管理，比黑盒 prompt 更容易自动优化。
- 在没有 ground-truth 的在线场景（如 query 推荐、文案生成质量难以标注），采用 Propose-Probe-Compose 的行为对比方法：让候选 harness 与当前 harness 执行同一任务，对比轨迹和输出差异作为编辑证据，避免依赖不可靠的奖励模型。
- 建立跨任务的经验库（harness improvement library），存储成功的 harness 组件和适用条件，支持新任务时按需检索和复用，避免每次从零调优；类似电商场景中不同品类/活动下的 agent 配置可以复用。
- 将 harness 优化与模型解耦，冻结模型权重，只优化外围组件，降低成本并便于快速迭代；弱模型配合优化后的 harness 可以超过强模型默认 harness。
HarnessSQL：真实数据库环境中 SQL Agent 的 Harness 原生训练
🧭 SQL Agent 原生训练 · 执行奖励 RL
Hong Kong University of Science and Technology · Microsoft Research · Tsinghua University · University of Macau
提出 HarnessSQL 训练框架，在 SFT 和 RL 中保留完整 SQL 交互结构，大幅提升小模型在真实数据库任务中的执行准确率
📌 工作参考价值（4 点）
- 借鉴 harness-native 训练思想：在电商搜索/推荐 agent 训练时，让模型直接调用线上同构工具（商品检索 API、数据库查询、排序服务），保留完整交互轨迹做 SFT，而不是只输入问题输出答案，缩小训练与线上推理差距。
- 使用 execution-reward RL：以可验证的结果（如商品是否被正确召回、SQL 是否返回正确结果、用户是否点击）作为奖励信号，只对最终成功轨迹给予正奖励，能有效提升长程 agent 任务表现，且无需逐步骤标注。
- 引入 hidden oracle 自动过滤高质量轨迹：在业务中可构建规则或脚本验证任务完成情况，从海量交互日志中筛选成功样本用于训练，降低人工标注成本。
- 隔离可执行沙箱环境：在离线训练时为 agent 提供稳定、可控的数据库/服务沙箱，避免真实环境波动导致训练不稳定；同时可模拟错误注入，增强错误恢复能力。
合成自蒸馏实现小模型持续后训练
🧭 持续后训练 · 合成自蒸馏
KAIST AI · LG AI Research
提出合成自蒸馏，通过稍大同家族模型生成in-distribution监督，解决小模型持续后训练中获取与遗忘问题
📌 工作参考价值（4 点）
- 在电商/搜索场景持续更新轻量级 query 理解或 on-device 模型时，可借鉴「同家族稍大模型生成 in-distribution 伪标签」的蒸馏方式，避免直接使用真实用户反馈造成分布偏移和旧知识遗忘。
- 使用 rejection sampling 过滤低质量合成样本，能提升伪标签可靠性，适合电商/搜索中大量噪声标签或弱监督数据的场景。
- 持续学习前先量化模型输出分布偏移，发现偏移过大时强制启用 in-distribution 重写或防遗忘策略，可部署为在线监控指标。
- 低延迟场景（如移动端推荐特征提取、query 改写）可线下用稍大模型生成高质量训练数据，线上仅部署小模型，兼顾效果与推理成本。
何时需要在线蒸馏？离线学生轨迹蒸馏常更优
🧭 LLM 蒸馏策略 · 在线 vs 离线 rollout
Semi-OPD 用初始学生离线 rollout 蒸馏，在 17 对模型上 14 对优于 OPD，最高 +13.6% 精度、11.4 倍加速
📌 工作参考价值（4 点）
- 做 LLM teacher→student 蒸馏（如 query 改写 / 商品文案 / Agent 策略小模型）时，先别默认 OPD。用一批 hold-out prompt 统计初始师生输出的 top-64 token overlap；若 overlap 不高（论文中多数 < 90%），直接用初始学生离线 rollout 的 Semi-OPD，精度更稳且省 GPU。
- 离线 rollout 可以预生成、缓存、复用，训练时只用固定数据，天然适合电商/广告的离线训练流水线；Semi-OPD 相对 OPD 最高 11.4 倍加速，H100 成本明显下降。
- 若业务必须用 OPD（如需要在线探索），先做 warm start 让学生与老师输出分布接近；否则学生 rollout 随上下文增长会越来越 off-policy，蒸馏信号退化。
- 可以把 token overlap ratio 作为轻量监控指标，在启动蒸馏前判断 OPD 是否值得，避免盲目投入 GPU。
混合模态检索中的模态偏好与 Trident 去偏训练
🧭 多模态检索 · 模态偏好纠偏
University of the Chinese Academy of Sciences · Northeastern University · Tsinghua University · Nanjing University
发现文本高分偏置导致无关文本压制相关图像，提出多正视角 Trident 联合优化相关性判别与视角平衡，提升混合模态检索鲁棒性
📌 工作参考价值（3 点）
- 电商/广告多模态商品库常混有文本和图片，可用「文本/图像/融合视图」构造等权正样本，采用 Multi-Positive View InfoNCE 抑制文本高分偏置，避免无关文本商品挤掉相关图片商品。
- 上线前应做模态组成消融：当图片文档被语义对应文本逐步替换时若出现 V 型曲线，说明模型对混合模态敏感；需重点增加文本对抗负例或平衡文本相似度尺度。
- 对图片文档补充语义等同的文本视图，并把 fused text-image 作为协同正样本训练，能同时提升混合模态与单模态平均检索，适合复用到多模态 RAG/搜索召回或精排。
基于预条件空间的舍入：重新设计4-bit AdamW优化器状态量化
🧭 4-bit AdamW 优化器状态量化
University of California, Berkeley · Nubank
提出在预条件空间做随机舍入的4-bit AdamW状态量化方法，显著缩小与32-bit训练的验证损失差距
📌 工作参考价值（4 点）
- 若已经在用 TorchAO 4-bit AdamW 压缩大模型优化器状态，可直接替换第二动量的量化方式：不再做 state-space rounding，而是在 preconditioner space 计算随机舍入概率，改动集中在量化器实现层，训练流程无需重构。
- 第二动量码书可两条路线选择：ZIP-SR 保留零点适合大多数场景；ZE-EDEN 排除零点并 rescale 量化块，可缓解正量化底带来的预条件失真，对推荐/搜索模型中大量稀疏或接近零的梯度更有针对性。
- 第一动量用 4-bit NF4 已经够稳，但输出层（如推荐系统中的 item embedding 或 LLM 的 LM head）对量化更敏感，最后 10% 训练步对输出层第一动量做针对性随机舍入，能进一步降低验证损失，适合在微调生成式推荐模型时采用。
- 对需要大规模预训练或全参数 SFT 的电商/Agent 场景，该方法可降低优化器显存占用，同时把 4-bit 训练与 32-bit 训练之间的验证损失差距最多缩小 70%，适合作为训练成本优化的默认配置。
驾驭激活波：分析 LLM 隐藏状态信息与几何以支持推测解码
🧭 LLM 推理加速 · 推测解码层选择
Qualcomm AI Research · Stanford University
提出基于矩阵熵与 CKA 的 LLM 多隐藏层选择框架，在 EAGLE3 推测解码中优于固定层选择
📌 工作参考价值（4 点）
- 在 EAGLE3 类推测解码中不要盲用 [2, N//2, N-3] 等固定层，可用矩阵熵（informativeness）+ CKA（diversity）选择低冗余、高信息层，改善 draft 模型质量与加速比。
- token-entropy filtering 可过滤低预测熵 token 后再计算层选择统计，避免高频简单 token（如电商搜索中的常见 query、模板化文案）污染层重要性评估。
- CKA 跨层相似度分析能定位 decoder 中的几何/信息 compartment，帮助工程上决定哪些层适合共享、蒸馏或做 KV cache 优化。
- 对于用 LLM 做实时生成式推荐、搜索词/广告文案生成的业务，选择 hidden states 子集而非全部层，可在不显著掉质量的情况下减少 draft 模型输入维度，节省推理成本。