理解智能体AI系统中认知引发的风险
🧭 Agent 认知风险分层与治理策略
Shanghai Artificial Intelligence Laboratory · The Chinese University of Hong Kong, Shenzhen · Tsinghua University
按物理、社会、自我指涉三层次认知框架，系统分析LLM智能体对人类能动性与控制权的风险及缓解策略
📌 工作参考价值（4 点）
- 在电商Agent（自动选品、生成广告文案、push消息推送）上线前，可按三层认知框架设计审计清单：物理层检查工具调用与API权限，社会层审查对用户意图的操纵与隐私风险，自我指涉层防止目标漂移或自修改配置，逐层分级放行。
- 将“人类能动性、自主性、控制能力”作为核心指标纳入Agent评估集与在线监控；对涉及用户情绪或社会影响的推荐文案、自动客服等场景，强制保留人类审批节点。
- 对具备长期记忆或自我修正能力的推荐Agent，设置自我指涉风险检查点：定期比对当前目标与原始业务目标，避免过度个性化导致的信息茧房或目标篡改。
- 架构上采用“最小权限+风险隔离”：Agent调用外部数据和服务时，按认知层级分配权限——物理层只给只读API，社会层需人工确认，自我指涉层禁止自动改写自身prompt或工具配置。
LongRCA Bench：长程 Agent 失败责任角色与根因诊断基准
🧭 Agent 长轨迹故障根因定位
Computer Network Information Center, Chinese Academy of Sciences · Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences · Chongqing University · Institute of Computing Technology, Chinese Academy of Sciences · Singapore Management University
提出 LongRCA Bench 与训练无关的 RCTA 方法，将长轨迹 Agent 失败归因提升至 24.1% 精确根因步准确率
📌 工作参考价值（4 点）
- 可直接复用 RCTA 的两阶段归因流程：对电商导购、多步推荐、客服自动化等长轨迹 Agent，先按 segment 做摘要并检索可疑步骤，再回溯上游 handoff/指令做依赖定位；无需训练，便于在现有 LLM backbone 上快速部署。
- 故障归因评估应拆分 responsible-role accuracy 与 exact root-step accuracy：业务中先定位出错的角色/环节（如召回、排序、工具调用、策略手写）往往比直接定位具体步骤更易落地，也适合做监控告警和归因看板。
- 参考 LongRCA Bench 的构建方式：收集真实失败轨迹、避免注入错误、对最早决定性根因步骤做独立人工标注，可沉淀为自己的长会话 Agent bad case 离线回归库。
- 注意连最强基线也仅 13.2% 精确根因步准确率，说明长轨迹精确定位很难；不要依赖 LLM 一次性全轨迹归因，优先用分段摘要+依赖回溯缩小范围后再核验。
MACS：固定目录下可靠对话式电商推荐的混合多智能体框架
🧭 多智能体对话式推荐 · 硬约束确定性执行 ★ 深度解读
Stanford University · University of Southern California · Amazon · Massachusetts Institute of Technology
混合 shopping/merchant 双 agent 架构，用确定性 SQL 约束与跨轮 slot 状态实现最高约束合规与零漂移
📌 工作参考价值（4 点）
- 架构分离防幻觉：LLM 只做语言交互与偏好抽取，产品检索、SQL 过滤、品牌排除、价格/规格硬约束全部由 merchant agent 确定性执行，shopping agent 不直接碰 catalog。这个可以直接迁移到电商 agent 或对话推荐系统，确保不返回目录外商品、不违反品牌排除。
- Session-persistent slot dictionary：把预算、排除品牌、最低规格作为 typed slot 跨轮持久化，支持覆盖（预算更新）与反转（“HP 也可以”），并直接映射到 SQL WHERE；比靠 prompt 记忆可靠得多，适合多轮导购场景。
- 渐进放松 + 显式披露：当硬约束结果 <3 个时，按优先级放松可选规格，但价格上限与品牌排除永不放松；回复中明确告知用户放松了哪些约束。这样既能保证有结果，又不误导用户，对电商推荐体验重要。
- 评估拆分为确定性约束检查 + LLM 文本质量评分：约束用 SQL 验证、品牌用 regex 验证，文本质量用 G-Eval；避免 LLM-as-judge 循环。业务上可以复用这种混合评估框架，快速定位是约束违规还是表达质量差。
MINT：交易数据的通用零样本预测器
🧭 多模态交易推理 · 嵌入注入 LLM ★ 深度解读
Visa Inc.
用冻结交易序列编码器+LoRA适配LLM，通过嵌入注入实现高效零样本预测问答
📌 工作参考价值（4 点）
- 行为序列嵌入注入代替文本拼接：电商/推荐系统用户行为序列长、token 多，可预训练行为序列编码器生成紧凑嵌入，只训练 connector + LoRA，显著降低输入 token、在线延迟与显存，适合实时排序或用户表征注入 LLM 生成解释。
- 两阶段训练：先模态对齐（行为摘要 caption）再指令微调（QA + CoT 混合），提升 OOD 泛化。业务中构建预测/归因类任务时，可合成行为摘要和推理链，增强模型对未见问题的能力。
- 按任务类型选择表示：预测性任务用嵌入更好，提取式/事实查询用文本序列更优。推荐系统做可解释推荐或问答时，可根据是预测未来兴趣还是检索历史事实选择输入模态，或采用混合策略。
- LoRA 适配可插拔：领域特化会损失通用能力，但 PEFT 允许禁用 adapter 恢复 base LLM。部署时保留通用与垂直两套模式，切换成本极低。
MOSS-VL 技术报告：面向实时交互的视觉语言模型
🧭 多模态实时交互模型
Fudan University
开源视觉语言模型 MOSS-VL 通过门控交叉注意力实现边看边说，实时主动交互能力领先
📌 工作参考价值（4 点）
- 架构借鉴：将视觉 token 移出解码序列，仅通过门控交叉注意力注入视觉信息，可显著降低首 token 延迟，适合电商直播助手的实时交互场景
- 训练策略：合成交互语料库显式监督模型何时发言、何时沉默、何时修正，可借鉴用于训练主动提醒型电商客服或直播导购 Agent
- 课程学习：实时特定训练集中在轻量最终阶段，避免破坏离线基础能力，可用于多模态模型增量训练，降低工程成本
- 主动行为：在 OmniMMI Proactive Alerting 上 66.0 vs 37.5 的性能表明模型能主动捕捉关键事件，可应用于商品状态监控、用户行为异常提醒等场景
批量自适应剪枝：面向语言推理模型的周期性神经元激活感知权重剪枝
🧭 LLM 推理优化 · 自适应剪枝
The University of Tokyo
针对批量推理下训练无关自适应剪枝失效问题，提出周期 top-k 选择与激活记忆，实现推理加速同时保持精度
📌 工作参考价值（4 点）
- 在批量推理服务（如推荐系统中的 LLM 重排、解释生成、Agent 规划）中，如果采用训练无关自适应剪枝，优先用 top-k 选择替代阈值剪枝：批量共享 mask 时阈值受激活聚合分布偏移影响大，top-k 对分布偏移鲁棒，稀疏率更可控。
- 对长文本生成/推理链场景，可借鉴 activation memory 累积跨更新周期的神经元重要性，保留周期性重激活的关键神经元；这类似于对“反复出现的 pattern”做缓存，减少剪枝对长程推理的破坏。
- 工程上可设置 update period 周期性更新 mask，而不是每个 token 都重新选择，降低剪枝本身的开销；在 batch size>1、高吞吐优先的部署中，这是保持加速比的关键。
- 评估推理优化方法时应显式测试 batched inference，因为离线单样本精度无法反映线上批量服务下的漂移问题；尤其对于生成式推荐中的 LLM 打分/文案生成，batch 内样本分布差异可能导致 mask 失效。
PriCoRec：特征约束下隐私感知的云-端协同广告推荐框架
🧭 隐私感知云-端协同排序 ★ 深度解读
University College Dublin · Huawei Ireland Research Center
提出隐私感知云-端协同广告推荐框架，敏感特征留在端侧，以云预排序多样性正则和云指导轻量端模型兼顾效果与效率
📌 工作参考价值（4 点）
- 在隐私合规限制下无法云端使用用户画像时，可采用云-端分离级联：云端只用上下文/物品特征做粗排，端侧用完整敏感特征做精排；既满足数据不出端，又保留个性化能力。
- 粗排候选集质量直接决定端侧精排上限。可借鉴 DPP log-det 正则，在粗排训练损失中加入多样性项，缓解因特征受限导致的候选同质化；λ 建议 1e-3~1e-2，按验证集调节，可提升 Recall@100。
- 端侧模型不必复现云端大模型，可将云端粗排输出的相关性 logit 作为辅助特征输入端侧模型；端侧 embedding 维度 4、两层 PNN 即可取得显著提升，配合 FP16 存储和词表重映射能把模型控制在 7.7–29.4MB，推理延迟约 0.5–0.8ms。
- 训练粗排模型时，1:4 随机负采样 + BPR 成对损失是稳定有效的基础配置；若业务中用户敏感特征无法上云，可先按此框架拆分粗排和精排，再迭代优化多样性正则强度。
QUASAR：通过损失感知重建降低量化感知训练的损失下界
🧭 量化感知训练 · 损失感知重建 ★ 深度解读
Cornell University · Together AI
将损失感知重建引入 QAT 训练循环，用 Adam 二阶矩做 saliency 进行尺度搜索和加权最小二乘拟合，压低低比特模型 loss floor
📌 工作参考价值（4 点）
- 低比特部署 LLM 时，若线上沿用 PTQ 掉点明显，可切换到 QUASAR 式 QAT：保持 weight-only 量化，不增加推理 overhead，训练开销仅 +1.4%。对需要长期稳定低延迟的推荐/Agent 推理服务有直接落地价值。
- 可直接复用两个 trick：用 AdamW 的 second moment \(v_t\) 作为权重的 saliency 估计，无需额外 Hessian 计算/存储；每步在 [0.3,1.0] 范围内搜索裁剪因子，并对反量化 scale/zero-point 做 saliency 加权最小二乘闭式求解，插入现有训练循环成本极低。
- 在 2-bit 这类极端低精度下，QAT 对数学推理和长链 Agent 任务质量影响显著；QUASAR 直接低比特 SFT 平均数学基准比最强 baseline 高 10.9 点，且是唯一在 HMMT'25 上非零的方法，说明保住长生成能力很关键。
- 该方法兼容 NVFP4 等生产格式，可把同样思路迁移到 MXFP4 或自定义 block-scaled 格式；迁移时只需调整候选 scale 与网格约束，核心目标不变。
扫清迷雾：在 LLM Agent 中植入与精调主动探索能力
🧭 LLM Agent 主动探索训练 ★ 深度解读
Sichuan University · National University of Singapore · University of Leeds · Engineering Research Center of Machine Learning and Industry Intelligence
通过探索性数据构建和对比信号引导强化学习，大幅提升 LLM Agent 在多轮交互任务中的主动探索与决策能力
📌 工作参考价值（4 点）
- 电商购物 Agent 的训练数据要包含探索轨迹：标准人类专家轨迹中探索动作几乎为 0（如 WebShop 中 Next/Back 仅 0.1%），导致 SFT 后的 Agent 只会被动执行、不会翻页回溯。可以用强 LLM 配合树结构上下文，合成包含主动搜索、回溯、分支尝试的探索丰富轨迹，作为 SFT 初始化数据。
- 用树结构管理会话历史，避免长程任务中的上下文迷失：在电商搜索、多轮比价等场景，线性的 action-observation 历史会混淆有效路径与废弃分支。借鉴论文中的 tree-structured history + cognitive notes，在 Agent 内部显式维护分支、回溯指针和状态标注（如 [DEAD END]、[SUB-OPTIMAL]），能显著提升策略的探索质量。
- 用对比偏好对 + DPO 校准「探索 vs 执行」的决策边界：在关键状态上，采样学生动作与参考动作，通过 MC rollout 估计各自未来回报，过滤小差距对后做 DPO。这套机制可以迁移到推荐/搜索 Agent 的策略优化，让模型学会何时继续浏览、何时停止探索并做出购买/点击决策。
- 探索效率评估与难度分层分析：论文提出的 Eff = EE - WE 指标（有效探索减浪费探索）以及按任务难度分层统计探索强度，可用于业务中诊断 Agent 是否在做有效信息获取，而不是盲目增加交互步数。
SheetCompass：面向智能体表格推理的层次关系图框架
🧭 多Agent协同 · 层次图表格推理 ★ 深度解读
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China
将电子表格从扁平文本转为层次关系图，结合双级记忆与三Agent闭环，在SCB/SB/SheetRM上全面超越既有Agent方案
📌 工作参考价值（4 点）
- 多表/多域结构化数据可建模为表节点+列节点的层次图：显式保留包含、邻接等结构边，再用语义相似度+LLM逻辑打分构建跨表语义边；商品表、订单表、广告报表等联合推理可直接复用，避免扁平序列丢失空间与跨表依赖。
- 三Agent分工（Explorer 定位与子图提取 → Programmer 受图约束生成代码 → Reflector 用 checklist 校验执行状态）适合需要工具调用的长链路数据流水线，闭环校验显著减少语义错误。
- 双级记忆：静态专家知识（业务规则、公式模板、工具修复经验）与动态推理经验（当前轨迹、错误日志，成功经验回流长期库）结合，能避免重复犯错，适合长表格/报表生成任务。
- 用语义相似度筛选种子节点，再通过 BFS 提取共享子图进行上下文压缩，类似 RAG 中的上下文裁剪，可有效控制 prompt 长度，适合大规模表格/文档 Agent 场景。
SimpleOPD：简单与分词器无关的长上下文推理在线策略蒸馏
🧭 On-policy 蒸馏 · 跨 tokenizer 长上下文推理 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
用共享文本空间跨 tokenizer 对齐并加入终止 token 掩码与参考 KL 稳定长上下文推理蒸馏
📌 工作参考价值（4 点）
- 跨模型/跨 tokenizer 蒸馏工程：业务中想把大推理模型蒸馏到小线上模型，不必做人工 token 映射，直接让 teacher 用自己的 tokenizer 读 student 生成的文本，只对齐文本 span 完全相同的 token；实验中 lexical overlap 始终 >90%，大部分监督信号可以保留，适合 Qwen/Llama/GLM/Gemma 等不同家族的在线蒸馏。
- 长链推理蒸馏的稳定性 trick：OPD 直接从长上下文老师搬推理能力，学生容易出现长度爆炸、截断、重复；可以照搬两个简单做法：① 掩盖 </think>、<|im_end|> 等终止/结构 token 的 advantage，不强制学生模仿老师的终止倾向；② 加 student-reference KL，防止策略偏移。Intern-S2 和 Qwen3.5-35B 上能有效把截断率降到接近 0。
- KL 系数是重要的超参：师生差距越大，越需要更强的 reference KL；GLM-4.7 消融显示 0.5 不足、1.2 过度，1.0 最均衡。业务上做蒸馏可以优先按模型家族差异设 0.5/1.0 两档。
- 训练数据聚焦更利于能力迁移：仅用 proof-only 数据蒸馏，目标证明能力提升最大；混入通用可验证数学数据反而削弱 ProofBench 迁移。类比到业务：要蒸馏商品知识、query 改写或策略推理，训练集应保持任务纯净，不要混太多无关任务。
StateM：用 Harness Scaling 在 Terminal-Bench 2.1 达 95.3% / $15 前沿运行
🧭 Agent harness 扩展与状态机执行控制 ★ 深度解读
StateM 用状态机 runbook 外部化执行控制，不改权重，Terminal-Bench 2.1 达 95.28%，DeepSeek $15 达 88.8%
📌 工作参考价值（4 点）
- 将长流程 Agent（如生成式推荐、商品投放、数据分析 pipeline）编码为 YAML 状态机 runbook，每个阶段设 exit checks（离线评估分、数据完整性检查、配置校验），可显著减少 agent 提前退出或跳过必要步骤。
- 采用“状态即上下文与契约边界”设计：进入新阶段时刷新 phase-local 指令与进度摘要，避免长轨迹导致控制信号稀释；离开阶段必须通过可执行 command/predicate 校验，而不是 agent 自述完成。适合生成-验证-修复-发布这类闭环。
- 建立失败驱动的 harness 迭代流程：把每次失败归类为缺失上下文、无效转换、弱检查、提前交接、恢复失败等，将通用修复固化为 runbook 版本，不改模型权重。这能把重复踩过的坑沉淀为可执行约束，并保持模型不变。
- 跨模型迁移时，同一模型家族可冻结 runbook 直接复用；跨 provider 需按新模型适配 practices，但可保留 runbook 结构与开发原则。可以尝试用便宜模型 + 定制 harness 逼近昂贵模型，降低推理成本。
Twin：用测试时数字孪生玩未知游戏
🧭 测试时世界模型推断与规划 ★ 深度解读
Stanford University · Cornell University · University of Southern California · Yeshiva University
构建可执行世界模型，强制回放验证和规划后执行，以 93.3 分通关 ARC-AGI-3 23/25 个游戏
📌 工作参考价值（4 点）
- 对高成本真实动作（广告投放、push 打扰、人工客服介入）的探索策略，可借鉴 Twin 的 replay validation + halt-on-mismatch：用可执行代码模拟用户/市场动态，每次真实动作前强制模型回放历史交互，不一致就修复；执行中逐步校验，一旦预测失配立即停止并收集 counterexample，避免错误累积放大。
- 把 dynamics 与 goal/reward 显式分离，先验证转移模型，再通过假设-测试循环推断目标。在推荐/搜索中，用户意图常不可见，可先假设当前 session 目标（比价、闲逛、决策），用最小代价提问/推荐验证，而不是等点击或转化 reward 才优化。
- 让 LLM 生成可执行代码作为世界模型，而非黑盒神经网络，获得可解释、可验证、可 BFS 规划的优势；电商 Agent 可让 LLM 写业务规则或用户模拟器，通过离线日志回放验证，再用于策略推演和路径规划。
- 计算成本换真实动作数量：平均每个真实动作 224k tokens，但动作数减少约一半。对高价值动作划算，对高并发低风险推荐不划算；可按动作成本与风险决定是否启用 test-time compute。
VibeWorlding：多模态智能体能端到端构建3D开放世界吗？
🧭 多模态 Agent 3D 世界构建
AI Thrust, HKUST(GZ) · TEG AIPD, Tencent
提出 VibeWorlding 基准与训练框架，用多模态 RL 让开源 MLLM 在 3D 开放世界构建任务上超越闭源前沿模型。
📌 工作参考价值（4 点）
- rubric-based verifier 可迁移到 agent 闭环评估：把奖励分解为“可行性”和“意图满足”两类维度，用规则检测器（如碰撞检测）和 LLM 评分结合，能低成本扩展为 RL reward service，适合需要自动化评估长轨迹 agent 的场景。
- MCP 工具化沙箱：将检索、编辑、渲染等异构工具统一为 MCP 接口，方便 agent 调用并与 RL 训练环境解耦；可直接复用到商品图片生成、页面布局、活动落地页等 agent 工作流。
- 反向合成数据降低标注成本：人工构建少量种子世界，再反向生成大量多样化用户查询，可迁移到电商场景生成“意图→页面/推荐”训练对，减少人工标注。
- RL post-training 可针对性突破能力瓶颈：当闭环评估显示模型在特定环节（如编辑）弱，针对性 RL 训练能让开源模型超越闭源前沿，提示针对业务闭环的 agent RL 值得投入。
永不碰数字：面向事实型答案 AI 系统的结构化弃权架构
🧭 LLM 可靠性 · 结构化弃权
用确定性内核与生成外壳解耦，生成组件只影响问题解释不碰返回值，无法表达请求直接拒绝，从结构上避免 LLM 事实性幻觉
📌 工作参考价值（4 点）
- 在电商/广告的自然语言数据问数、指标看板、运营机器人中，把“数值/聚合结果”与“自然语言解释”拆开：生成模块只负责 paraphrase、确认语义，数值由确定性 SQL/指标内核计算，避免 fluent wrong answer。
- 建立 bounded set of answerable question shapes，把 LLM 的输入映射到有限查询模板；不能映射的请求直接拒绝或让用户重新表述，而不是让 LLM 兜底生成近似答案，尤其适用客服、价格/库存/预算等高风险查询。
- Agent 系统中可复用到工具调用与策略动作：LLM 只负责路由、生成确认问题和措辞，不参与最终执行参数计算；对写操作/策略参数使用确定性决策层，降低工具误用与事实性污染。
- 五决策配方可作为 human-in-the-loop confirmation 设计参考：在展示数值前先让用户确认问题语义，把不可结构化表达的需求排除在计算之前，提升生产系统可信度。