OpenSkillRisk：真实第三方风险技能下的智能体安全基准
🧭 LLM Agent 安全基准评测
City University of Hong Kong · Beijing University of Posts and Telecommunications · Li Auto Inc.
构建含263个真实风险技能的基准，揭示LLM智能体在规避第三方工具风险时的不足
📌 工作参考价值（4 点）
- 在构建面向电商场景的客服Agent或推荐助手时，若需集成第三方工具或自定义技能，可借鉴OpenSkillRisk的分类体系（七类威胁）进行安全风险预审，避免部署后出现有害行为。
- 重点关注“上下文敏感风险”和“系统级风险”，这类风险在当前最安全的配置下仍有17%的执行率，需在代码审查和沙箱测试中额外设计针对性的检测用例。
- 分析三种典型失败模式：未识别风险、识别后未阻止、执行超出用户意图。可在Agent框架中引入“风险识别→人工确认→执行”的防御回路，或通过提示工程强化LLM对恶意指令的警觉性。
- 若自研Agent平台支持外部开发者上传技能（类似插件市场），可参考该基准构建自动化安全扫描流水线，将技能描述与沙箱执行结果结合进行风险评估。
SalesLoop：基于性能反馈的强化学习销售线索排序框架
🧭 强化学习闭环排序优化 ★ 深度解读
Li Auto Inc.
通过闭环强化学习与位置感知奖励+判别式GRPO，解决销售线索排序中离线-在线指标不对齐、逐点-列表目标错位及分布漂移三大断层
📌 工作参考价值（4 点）
- 闭环反馈直接优化业务指标：借鉴 SalesLoop 的 Deploy→Collect→Reward→Update 月度迭代闭环，将线上真实转化（非代理标签）作为奖励，解决离线 AUC 与线上 KPI 背离问题。电商推荐中可类似地将成交、加购等延迟信号转化为位置加权 + 速度加权的奖励，驱动模型直接优化 Top-K 业务指标。
- 判别式 GRPO 实现列表级优化：将 GRPO 的组内相对优势思想用到排序分上，而非 token 生成概率，用 KL 散度对齐分数分布与优势分布，替代传统逐点 BCE。这对搜索/推荐中需要对整个候选列表优化 NDCG 等指标的场景非常实用，且无需价值网络。
- 位置感知奖励建模：奖励 = 转化标签 × log₂(rank+1) 的倒数 × 速度衰减，让模型感知高顺位转化的更高价值，适合有运营截断窗口（如每日 Top-1 万商品推送）的场景。可复用到广告位竞价排名或消息推送的排序训练。
- 温启动 + 低学习率保守更新：每月从上一轮参数热启，配合降低 10 倍的学习率及 BCE 正则项，防止灾难性遗忘并保持点校准。在业务持续迭代的场景中，这一策略能有效积累历史知识，实现复利式效果增长。
深度研究可靠吗？误导性知识导致错误结论
🧭 Agent 可靠性评估与误导知识防御
Beijing University of Posts and Telecommunications · Shanghai Artificial Intelligence Laboratory · Chongqing University of Posts and Telecommunications
构建误导性知识评估框架，发现深度研究智能体易受虚假信息影响，错误结论采纳率高达54.7%
📌 工作参考价值（4 点）
- Agent 信息源验证设计：可借鉴 MisKnow-Agent 的误导文档构造方式（控制权威性、风格），评估搜索/推荐 Agent 在面对看似可信但错误信息时的鲁棒性，尤其适用于长周期市场分析、竞品调研等场景。
- 多阶段验证架构：论文表明预/后研究防御（如交叉模型验证）能减轻但无法消除错误采纳，启示在 RAG 或 Agent 流程中，需在证据进入中间状态时（如每次检索后）就进行实时验证与修正，而非仅依赖最终报告。
- 错误采纳率指标 (FCAR)：可直接复用 FCAR 作为系统脆弱性指标，量化注入误导信息后 Agent 输出错误结论的比例，指导防御策略的迭代优化。
- 权威性偏见干预：发现权威来源和正式风格的误导文档更易被采纳，在推荐或搜索 Agent 中可针对性设计去偏模块，如训练模型区分权威度与可信度，避免权威光环效应。
Solar Open 2：250B-A15B MoE长上下文Agent模型
🧭 大规模长上下文Agent模型训练
Upstage
通过混合注意力与多专家蒸馏，以1/6参数量达到1.6T模型韩文办公Agent水平
📌 工作参考价值（4 点）
- 混合注意力降显存：每三个线性注意力层插一个softmax层、取消位置编码来实现1M token上下文窗口，在长轨迹Agent或对话系统中可大幅降低KV缓存开销，适合电商客服、端到端推荐流等需要处理超长历史序列的场景。
- 多教师在线策略蒸馏（MOPD）：先训练12个垂直域专家，再用在线蒸馏合并为单一模型，可复用于电商搜索推荐中的多任务学习（例如同时蒸馏意图识别、商品理解、对话规划等专家），避免维护多个专用模型。
- 数据价值策展：质量与稀有度感知的筛选、混合比例优化使10T数据优于原20T数据，在同等算力下提升效率。可借鉴到构建领域特定预训练语料（如电商搜索日志、商品描述），用更少token达到更好任务性能。
- 参数骨架迁移预训练：从上一代模型继承共享参数骨架（5.69B），其余从头预训练，既保留了原有知识又适配新架构。在推荐模型升级（如从稠密模型转MoE）时可大幅节省再训练成本，快速获得强初始点。
UniRank：统一序列建模与特征交互的排序模型基准
🧭 统一排序模型基准测试 ★ 深度解读
Anhui University · University of Science and Technology of China · Tencent Inc.
首个面向 Token 化统一排序模型的开放基准，标准化多任务点式自回归评估并降低训练成本
📌 工作参考价值（4 点）
- Tokenization 策略选择：Field 保留语义边界、Auto 学习全局交互、Chunk/Random 引入高熵分组表征，应根据特征场数量与交互需求选取；电商场景下 Auto 通常更稳，Chunk 在特征较多时可能带来多样性增益。
- 注意力激活函数：GeLU 和 SiLU 作为注意力 logits 激活在两个数据集上平均 AUC 提升最显著（KuaiRand +0.51, MerRec +0.38），优于传统 Softmax；Sigmoid 对点赞等稀疏任务有利，可针对不同目标 task 单独配置。
- 即插即用的 AttGate：在注意力后加一个可学习的 sigmoid 门控，是所有实验中唯一在两个数据集的所有任务上都有提升的组件（KuaiRand 平均 AUC +0.88, MerRec +0.99），可作为通用即插即用模块嵌入现有排序模型。
- 优化器与缩放定律：稠密参数优化器 AdamW 并非最优，LaProp、SOAP、Muon 在不同数据集上分别带来 0.6~1.9 个点的平均 AUC 提升；缩放时栈式模型提升 token 维度即可，层式模型需同时增加序列长度和深度，架构决定了有效扩展方向，不能只看 FLOPs。
样本高效地从智能体经验中学习
🧭 Agent 经验蒸馏 · 样本高效学习 ★ 深度解读
Monash University · ByteDance Seed
提出经验蒸馏，无需额外环境交互即可将 ICL 增益蒸馏到模型权重，保留 64.8% 增益，比 SFT 高 17 倍，比 RL 节省 9.6 倍样本
📌 工作参考价值（4 点）
- 在对话式推荐或 Agent 系统中，利用用户历史交互作为上下文进行 ICL，再通过单步经验蒸馏将改进的行为固化到模型权重，可大幅减少线上推理时的上下文长度和成本。
- 分支打包技术能够在单个训练序列中高效利用长交互历史中的多个决策点，可迁移至用户行为序列建模，如将多次推荐点击/转化作为监督信号紧凑打包训练。
- 模型自由的单步蒸馏避免了世界模型误差和额外的线上交互，适用于推荐场景中的离线日志训练，无需重新部署模型到线上试验即可提升策略。
- 可借鉴多任务经验蒸馏实现零样本或小样本任务泛化，通过多用户群体的历史经验蒸馏提升模型对新用户的冷启动表现。
展示而非描述：评估生成像素中的空间认知而非LLM文本
🧭 空间推理评测框架 · 生成式像素评估
Zhejiang University
提出ProVisE框架，将图像生成模型的视觉答案解析为结构化预测，实现像素级空间推理的公平评测
📌 工作参考价值（4 点）
- 对电商中需要空间理解的生成任务（如虚拟试穿、商品摆放、AR场景）有评测启发：可借鉴“协议化视觉答案”思想，将模型生成的图像通过规则解析成结构化指标（如物品位置、遮挡关系），从而量化评估生成质量。
- Agentic protocol builder 能自动为新任务生成评测协议，可迁移到广告创意生成、商品主图优化等场景，降低人工设计评测规则的成本。
- 揭示了文本推理与像素表达的互补性，在推荐系统多模态交互（如对话式推荐+视觉展示）中，可结合文本VLMs做高层推理、图像生成模型做像素级细粒度表达。
- 整体方法论对构建统一的多模态推荐评测基准有参考价值，但直接业务应用场景有限，更适合学术评测框架设计。
自适应贝叶斯在线学习专家聚合方法
🧭 在线贝叶斯专家聚合自适应预测
Inha University
将不同超参的贝叶斯更新规则视为专家并在线聚合，实现自适应预测，无需预选最佳模型
📌 工作参考价值（4 点）
- 在推荐系统的在线学习环境中，可对多组贝叶斯模型（不同学习率、先验）进行动态加权，自动适应数据分布变化，减少离线调参成本
- 将不同探索策略（如UCB、Thompson采样）视为专家进行聚合，能在线平衡探索与利用，适合广告出价或冷启动场景
- 提供了带有保证的置信区间（conformal inference），可用于推荐结果的不确定性量化，辅助下游决策（如是否向用户展示低置信度内容）
- Agent多智体协作中，各Agent的预测可作为专家，聚合后提升整体系统的鲁棒性，避免单个模型失效
超越噪声信号：多模态序列推荐的双层去噪框架
🧭 多模态序列推荐 · 双层图频域去噪
University of Science and Technology of China
提出图低通滤波和频域自适应滤波的双层去噪，联合清洗多模态特征与序列行为噪声，显著提升推荐鲁棒性
📌 工作参考价值（5 点）
- ### 可以借鉴到电商推荐工作中
- 特征层面图低通滤波去噪：利用物品语义图上的拉普拉斯平滑作为低通滤波器，能有效抑制预训练视觉/文本特征中与推荐意图无关的高频噪声。在构造电商场景的商品多模态特征（如商品图、描述）时，可直接复用此轻量模块，无需引入复杂注意力，计算开销小。
- 序列层面的频域去噪：通过 FFT 将用户交互序列变换到频域，用可学习的频率滤波器自适应增强良性信号、衰减异常点击等随机噪声。对于电商/广告场景中常见的误触、短暂兴趣等噪声行为，该模块能显著增强序列建模的稳定性，可插入现有 Transformer 或 SASRec 类骨干结构。
- 多模态对比对齐目标：引入跨模态对比损失，强制视觉与文本表征在语义上一致，能弥补模态间语义鸿沟。在构建商品多模态特征库时，可用此约束训练更好的对齐编码器，或直接在召回模型中加入该辅助损失。
- 整体架构即插即用：DDMSR 的 denoising 组件均可独立拆解，作为现有推荐模型的增强插件。对于已有序列模型（如 BST、DIEN），只需要在特征输入层和序列编码层分别接入图滤波与频域滤波，实验显示在多个公开数据集上稳定提升 3–8%，适合快速 A/B 测试验证。
DocOps：面向复杂文档操作的自主代理可验证基准
🧭 Agent 评估基准 · 文档操作
Chinese Academy of Sciences · University of Chinese Academy of Sciences · Baidu Inc.
构建可确定性验证的文档操作基准，揭示前沿代理在长程耦合任务中状态跟踪崩溃、浅层验证等关键失效模式
📌 工作参考价值（4 点）
- 评估框架的设计思路（层次化任务分解、确定性验证）可迁移至电商搜索/推荐 Agent 的自动化评测，避免人工标注成本，确保可复现性
- 识别出的三种失败模式对构建面向长流程任务（如多步查询改写、动态过滤条件组合）的 Agent 有直接警示：需加强长程状态追踪、深层次语义校验、避免破坏性操作
- 文档操作中的“全局一致性维护”问题类似推荐系统中多轮对话或交叉操作下的状态管理，借鉴其分析维度可设计更鲁棒的交互式 RecBot
- 若业务涉及报告自动化、表格数据净化等 Agent 编排，该基准的层级分类可直接作为能力分级和测试用例设计的模板
多头注意力残差：拆分深度路由查询突破单头瓶颈
🧭 多头深度路由 · 消除单头深度读瓶颈 ★ 深度解读
Independent Researcher · University of Wisconsin–Madison
将注意力残差的单头路由查询改为多头，零参数提升模型跨度，单头在大模型退化成有害
📌 工作参考价值（4 点）
- 推荐系统 Transformer 堆叠中，可借鉴 MHAR 替换标准残差连接：不同特征子空间（如用户长期兴趣 vs 短期行为）可从不同层检索信息，缓解单头深度读的妥协，预估中小尺寸实验见 100M–1B 连续改善。
- 单头深度路由在大模型上退化（1B 时比基线差 0.105），提示在大型 CTR/CVR 模型的多层聚合设计中应避免单一全局查询，分组路由更安全。
- 恒等转换方法（delta attention residuals）支持在已预训练模型上无损嫁接 MHAR 进行中训练，可迁移到推荐模型增量训练，避免 loss spike。
- 融合 Triton 路由内核将内存绑定操作的训练吞吐从 0.2–0.5× 提升至 0.55–0.88× 基线，类似的定制算子可优化推荐模型中层间特征重读的工程开销。
ENTRAP-VL：视觉语言模型双重上下文夹带分类探测工具
🧭 多模态评估工具 · 上下文忠诚度探测
IIIT Delhi, India · Dr. Ambedkar Institute of Technology, India · Heritage Institute of Technology, India · PwC, India
提出首个用于多模态上下文夹带探测的双模分类基准 ENTAP-VL，以文本和视觉独立诱发夹带现象。
📌 工作参考价值（4 点）
- 电商多模态搜索/推荐中，产品图片和描述常被无关上下文干扰，可借鉴双流探测思想，设计文本和视觉独立的鲁棒性测试集，检验模型是否被不相关但合理的上下文带偏。
- 评估多模态商品理解模型时，可构建类似“真实性-关联度”2×2 分类探针，检测模型是否轻信虚假但可能的上下文（如 PS 背景、误导性配文），提升可信度。
- 在 Agent 调用 VLM 进行多模态决策（如图文问答、商品审核）时，可将该探针作为安全检测环节，避免上下文注入攻击导致错误输出。
- 该工作的分类夹带条件设计（无上下文、随机上下文、矛盾上下文等）可直接复用，用于自制多模态评测集，量化模型对干扰的敏感度。
回答重建搜索密度：量化对话式答案的查询与来源压缩工作量
🧭 对话搜索评估 · 查询压缩度量
Aiso, Tel Aviv, Israel
提出 ARSD 度量，用最小查询次数覆盖答案信息单元，量化对话系统对搜索工作的压缩程度
📌 工作参考价值（4 点）
- 在电商对话Agent中，可用类似集合覆盖度量评估生成答案的信息密度，判断一次回答替代了多少次传统搜索，指导摘要长度与粒度优化。
- 对RAG生成的商品对比或推荐理由，可定义可检索信息单元，计算所需最少查询数，作为回答效率KPI，嵌入A/B测试。
- 查询分解策略设计时，可将ARSD作为奖励信号，训练模型用更少子查询覆盖关键信息，降低下游检索成本。
- 页面密度指标可分离查询压缩与来源压缩效应，帮助定位是提问不够聚焦还是答案引用冗余，指导改写或结果聚合模块的迭代。
ISO：一种原生 RLVR 优化栈
🧭 RLVR 训练优化 · 等谱优化
The University of Texas at Austin · UIUC · Emory University · Together AI · Recursive Superintelligence Inc
发现 RLVR 中的谱继承现象，提出等谱优化框架，固定奇异值只优化奇异框架，加速训练与模型合并。
📌 工作参考价值（4 点）
- 加速 Agent 或推理模型微调：借鉴 ISO-Optimizer 将权重矩阵 SVD 后固定奇异值谱，仅优化输入/输出奇异框架，可在电商搜索 Agent 或生成式推荐模型的 RL fine‑tuning 中大幅减少训练步数，快速验证 reward 设计。
- 无数据模型合并：ISO-Merger 能将多个共享基模型的专项模型（如分别擅长意图识别、参数抽取的 Agent 模型）合并为一个固定谱模型，无需任何额外数据或梯度更新，直接产出可部署的聚合模型，降低线上迭代成本。
- 从预训练到 RL 后训练的优化器迁移：可保留基模型的谱结构，仅将标准优化器（如 AdamW）应用于奇异框架，在推荐系统召回或排序模型的后训练场景中，可能获得更稳定、更快的收敛。
- 模型压缩或部署：固定谱意味着模型大部分参数保持静态，可结合低秩更新或量化，适合边缘侧 Agent 或推荐模型的轻量化部署。
基于 PLAID 质心向量的伪相关反馈查询扩展
🧭 质心感知的伪相关反馈优化多向量检索
University of International Business and Economics · University of Glasgow
利用多向量检索索引中的质心向量进行伪相关反馈，以很低计算开销提升检索效果
📌 工作参考价值（4 点）
- 低计算量查询扩展用于检索：直接复用 PLAID 索引中的质心向量作为“伪 token”，避免对返回文档进行重编码或 token 聚类，适合电商搜索等低延迟场景。
- 质心选择策略可迁移：采用“高用途且多样化”的挑选方式，防止冗余；在商品搜索中可对初检结果提取代表性语义向量作为扩展词，提升长尾查询召回。
- 反馈检索流程简单：扩展后的查询仅需再次运行同一索引的向量检索，无需额外模型或复杂工程，易于集成到现有流水线。
- 思路可泛化到生成式推荐：若将推荐对象编码为多向量或 token 序列，可利用类似质心反馈机制对用户表示进行实时调整，捕获近期行为偏好。