ForeDreamer：面向未来事件预测的自进化双智能体记忆架构
🧭 Agent 记忆与自进化 · 未来事件预测 ★ 深度解读
Zhejiang University · Ant Group · National University of Singapore · Zhejiang University of Technology
双智能体将嘈杂网络证据蒸馏为结构化事实记忆，并用双轨经验自进化提升预测校准
📌 工作参考价值（4 点）
- 在电商搜索/推荐 agent 中，可将召回/检索结果的处理从主决策链路剥离，由专门子 agent 用「指南+工具」流程把原始商品信息、用户行为、query 上下文蒸馏成结构化事实记忆，主 agent 只消费干净证据，降低长上下文噪声干扰。
- 自进化双轨经验：一条是文本经验（搜索计划、排序/预测校准提示），一条是过程性工具经验（可执行数据处理工具/流程）。推荐 agent 可基于线上反馈小流量验证定期更新经验池，采用 ADD/MODIFY/REMOVE 编辑和验证门控，避免线上劣化。
- Compositional Tool Reuse 减少重复工具生成：当需要新处理流程时，先检索并复用已有工具，只生成缺失部分；可应用于推荐 agent 的工具库管理，降低工具膨胀与相似代码重复。
- Diversity-Guided Exploration 防止策略收敛到单一 pipeline：定期根据现有策略类别摘要生成多样候选，避免只微调某一种召回/排序策略；可借鉴到推荐策略探索与自动策略生成中。
GUI-Primitives：诊断视觉语言模型 GUI 空间推理失败的基准
🧭 GUI Agent 空间推理评估基准
University of Southern California · USC Information Sciences Institute · Qatar Computing Research Institute (QCRI)
构建对比指令对基准，解耦候选定位与关系理解，揭示 VLM 在 GUI 元素定位的主要瓶颈是候选定位而非空间关系推理
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 落地 GUI 自动化时，可借鉴对比指令对方法：固定截图和锚点，只改变关系表达式，构造最小差异样本，低成本排查模型是“找错元素”还是“看不懂关系”。
- 该基准显示模型输出坐标大量落在候选框外（60–92%），工程实现中应避免让 VLM 直接回归任意坐标，可先接一个候选区域检测器（如 OCR/图标检测），再用 VLM 做区域内选择或关系判断，或对输出坐标做约束/后处理。
- 论文的 oracle 诊断：把两个候选框标记在图上，选择准确率提升 35–57 个百分点，说明“给定候选集后模型关系理解尚可”。业务上可用于两阶段 pipeline：召回候选元素（如商品卡片、按钮）后，再让 VLM 根据指令选择目标，降低定位错误。
- 评估 Agent 时，建议同时报告 strict point-in-box 与 conditional accuracy，区分候选定位失败与关系理解失败；这比单一 Overall Acc 更能指导模型迭代方向。
记忆投毒下的效用崩塌：内容筛查与溯源排序的边界
🧭 Agent 记忆投毒与溯源检索防御
Quantify Labs Ltd
1.2%记忆投毒使LongMemEval准确率从0.850降至0.300，内容筛查拦截0/360，溯源加权排序难用
📌 工作参考价值（4 点）
- 在电商/广告 Agent 的持久记忆写入侧，不要仅依赖内容筛查判断断言真假；需要接入外部 grounding（如商品价格、库存、活动规则权威源）才能识别伪造但语义通顺的虚假记忆。
- 检索侧不要使用 additive provenance penalty 或简单给可信来源加权；可在召回阶段对不同 provenance 的文档设置最大占用配额（bounded occupancy / quota），避免低可信源靠语义相似度淹没高可信证据，也避免高权重把低可信但真正携带答案的证据全部排除。
- 评估 Agent 记忆安全时，必须同时构造 mixed-provenance 语料：既看投毒攻击是否成功，也看当真实答案恰好来自 untrusted 来源时系统是否仍可用，否则容易过拟合防御、误伤业务指标。
- 内容筛查对低占比投毒（如 1.2%）不敏感，且对 trigger-laden 良性文本有误判；实际推荐系统中 UGC 或第三方商品描述不可全信，应把来源可信度作为检索约束而非后验过滤。
记忆增强解锁高效思维链推理
🧭 LLM 推理加速 × 记忆增强压缩
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Baidu Inc. · Tencent Inc.
提出训练无关的记忆增强压缩框架，用历史推理模式作为预填充支架补偿思维链压缩的信息损失
📌 工作参考价值（4 点）
- 在电商/推荐场景中，若用 LLM 做复杂推理（如商品属性抽取、多步排序、用户意图理解），可将完整 CoT 改为 Chain-of-Draft 风格短推理链降低延迟；同时构建可检索的“推理记忆库”，从历史正确推理中总结关键约束、公式和操作序列，作为 prompt 前缀注入，补偿压缩带来的准确率损失，无需训练，直接可用。
- 记忆的生成与使用可以借鉴 RAG 架构：将历史推理轨迹离线总结为结构化短记忆（如规则、公式片段）并建索引，线上根据问题检索最相关记忆，加入 system 或 prefix；注意实验表明增益来自记忆相关性，单纯拼接长上下文无效，所以向量相似度和相关性过滤要重点设计。
- 对推荐系统中的 query 改写、排序解释、广告文案生成等需要推理但追求低延迟的任务，可以采用“压缩+记忆”的组合：短输出 + 预填充的关键决策因子，达到速度与效果平衡，特别是线上高 QPS 场景。
- 该方法训练无关，兼容 token 级、推理轨迹级、推理状态级压缩，可作为现有 LLM 推理加速方案的轻量插件，适合快速验证对业务指标的影响。
基于自适应 LLM 提议的不良妊娠结局因果建模
🧭 LLM 自适应提议的因果发现 ★ 深度解读
The University of Texas at Dallas · Technical University of Darmstadt · Swarthmore College · Indiana University School of Medicine · Hessian Center for AI (hessian.ai)
将 LLM 作为自适应提议分布，按数据评分迭代生成因果图，恢复全部专家边并发现新边
📌 工作参考价值（4 点）
- 在需要 LLM 生成结构化对象（因果图、推荐路径、用户特征关系）时，建议用 Sample-Evaluate-Update 循环替代 one-shot：批量采样候选 → 用业务/数据打分 → 将 top-K 候选作为 in-context examples 喂回 LLM，能显著提升结构正确性和稳定性。
- 可把先验业务规则编码为 forbidden edges/硬约束，在 LLM 生成阶段直接过滤非法候选，避免后续修复成本；这与电商场景中时间顺序、曝光/点击因果限制、类目层级约束非常类似。
- 用 top-K 候选的“共同边/共同项”压缩表示替代全量候选列表，最多可减少 3 倍 prompt token，同时保持接近的性能；适合在线 Agent 或 RAG 里做预算受限的 LLM 探索。
- 结构评分上用决策树局部结构替代 BIC 的 full CPT penalty，更适合高基数离散特征或稀疏观察数据；在推荐系统里做轻量因果图/特征依赖建模时可以复用这一 trick。
将黑盒机器学习蒸馏为小型自解释语言模型用于学习分析
🧭 模型蒸馏 · 可解释 AI
Department of Human Development, Teachers College Columbia University
提出两阶段微调管线，把黑盒估计器及其事后解释蒸馏进小型开源 LLM，实现离线个体级预测与自然语言解释
📌 工作参考价值（4 点）
- 蒸馏+事后解释作为 mentor 的架构可迁移：把现有黑盒排序/预测模型（如 GBDT、FM、DNN）及其 SHAP/LIME/注意力归因一起蒸馏到小型 LLM，业务侧就能用自然语言给商家/运营解释推荐或广告出价原因，同时保留个体级预估。
- faithfulness-first 评估思路值得借鉴：不只评测文本流畅度，而是校验叙述是否忠实于归因结果，是否引用虚假特征、编造数值。电商生成式推荐/解释场景可以照搬这种审计机制，当作文本质量门槛。
- 离线小模型部署降低隐私与成本压力：文中蒸馏后 2B LLM 可在笔记本离线运行，学生记录不出本机。对电商场景可类比：把用户行为序列、特征留在本地推理，避免调用云端大模型，既省成本又满足隐私合规。
- 不平衡决策的警示：严重类别不平衡下，文本解释虽然流畅但决策会塌缩到多数类。做推荐/广告中的解释型 Agent 时，需要单独监控决策分布，不能因为语言流畅就认为模型可靠。
可信 RAG：检测生成式 AI 系统中错误信息与知识中毒的评估代理
🧭 RAG 评估 · 知识中毒检测
Tampere University
用 NLI 与加权中毒信号构建生成前评估代理，Trust Index 在 TruthfulQA 上达 91% 准确率和 100% 精确率
📌 工作参考价值（4 点）
- 在电商/广告/搜索 RAG 场景中，检索到的商品信息、商家文案可能被恶意污染，可把 NLI 事实校验 + 多信号加权评分做成生成前 guardrail，先丢弃低 Trust Index 的检索块，降低事实错误与合规风险。
- 采用中间件/Agent 形式实现，不改 LLM 主干，适合线上生成式推荐/客服 Agent 的风险拦截；但阈值必须按业务领域和生成风格单独校准，不要直接跨域复用，FEVER 结果表明跨数据集泛化需要 domain-specific calibration。
- 对指令注入类攻击，该方案召回高且易阻断；对实体替换、语义弱化等 subtle poisoning 仍难检测，电商场景应额外补充商品属性一致性校验或细粒度事实比对。
- 五信号检测器 + relevance-weighted aggregation + 高污染非线性阻尼可工程化为特征打分模块，适合作为检索后、生成前的风控层，优先处理高风险 query 和长尾商品知识。
量化感知修复：恢复压缩4位大模型的实用方法
🧭 LLM 压缩量化与蒸馏修复
Multiverse Computing
提出 Quantization-Aware Healing (QAH)，从原始未压缩模型直接蒸馏到4-bit量化学生，比 QAT 更快更稳，并开源 Hypernova-60B
📌 工作参考价值（4 点）
- 部署压缩大模型时，直接采用 QAH 蒸馏代替传统 QAT 恢复流程：在结构压缩+量化后，从原始未压缩模型蒸馏到量化学生，而非从 bfloat16 压缩中间模型蒸馏或 QAT 重训，可显著加速收敛（约7倍）并避免峰值后崩溃，减少手动早停的调参成本。
- 适用于电商/Agent 中需要低成本 LLM 推理的场景：例如用压缩量化后的 LLM 做 query 推荐、对话生成或商品文案，QAH 能保持与更大模型相近的质量，同时降低 4 倍权重内存和一半参数量，适合线上部署。
- 注意分布式训练后端对质量的影响：工程实现时需固定并验证后端（如 PyTorch FSDP、DeepSpeed 等），该论文报告了后端差异导致的可复现性差距，建议在训练压缩模型时对比后端并固定配置。
- 如果追求快速低成本恢复压缩模型，可以优先尝试蒸馏而非硬标签 QAT：QAH 对超参不敏感，不需要多周搜索，适合业务中快速迭代模型压缩版本。
LLM Agent 时代的图工程：从个体智能到系统智能
🧭 多智能体图工程系统智能 ★ 深度解读
Jilin University
系统梳理用图结构组织任务、代理与运行时状态的多智能体图工程范式，为复杂 Agent 系统提供统一抽象
📌 工作参考价值（4 点）
- 用图结构显式刻画多 Agent 工作流：在电商搜索推荐/Agent 系统中，把一次完整服务链路（意图理解、召回、粗排、精排、生成、校验）抽象为 DAG，节点是可执行子任务，边表示依赖/并行/验证约束。这样可以直接调度并行分支（如多路召回、多策略生成），避免单 Agent 串行执行造成的上下文挤占和故障定位困难。
- 把 Agent 能力建模为可路由的资源：对异构专家 Agent（如商品知识 Agent、用户意图 Agent、价格策略 Agent）建立能力标签和技能图谱，由协调器按任务需求动态组队与通信。可借鉴 Agent Capability Modeling + Team Organization 思路，替代固定的顺序 pipeline，适合促销活动、类目导购等需要多角色协作的场景。
- 引入 Runtime State Management 做状态持久化与恢复：在长流程推荐/Agent 任务中，显式记录每个子任务的执行状态、中间结果和 provenance，实现故障隔离与局部重试。这能显著改善“推荐链路某一步失败导致整个请求重算”的问题，尤其适合大促高并发下的降级和恢复。
- 关注 System Evolution 提升系统自优化能力：基于历史执行轨迹和运行时证据动态调整任务分解或 Agent 拓扑，类似从日志中提取可复用 skills/workflows。可用于电商 Agent 的持续优化，例如自动沉淀用户高频问题的解决路径，或根据转化反馈调整推荐 Agent 的协作结构。
目标感知的校准数据选择：在量化语言模型中保持不确定性
🧭 LLM 量化校准与不确定性保持
Yale University · The Hong Kong University of Science and Technology · The Hong Kong University of Science and Technology (Guangzhou) · City University of Hong Kong · Shanghai Institute of Optics and Fine Mechanics
提出 DPQ 配方族，用全精度预测选择高不确定样本与通用锚点构建目标对齐的量化校准集，保持不确定性行为。
📌 工作参考价值（4 点）
- 在电商/广告/Agent 场景部署量化 LLM 时，如果下游逻辑依赖 confidence/abstention（例如低置信度转人工、拒答策略、阈值决策），校准时必须针对业务目标分布选择数据，不能复用通用随机校准集。
- 可直接借鉴 DPQ 的“高 doubt 样本 + 通用锚点”思路：用全精度模型对线上日志打分，筛选边界难例（低 margin、高 entropy、错分类样本）加入校准数据，再混合一定比例通用样本，以保持量化后模型在关键决策边界附近的不确定性排序。
- 不同部署目标需要不同校准配方：如果关心“可回答性边界”（如 FAQ/客服拒答），可增加高怀疑样本比例（类似 DPQ-r75）；如果更关心广泛分类/选择题场景，应选用较温和或单信号（confidence-only / entropy-only）的校准集。
- 该方法属于轻量预量化数据选择，不改量化算法，可配合 GPTQ/AWQ 等主流 PTQ 框架，工程改造成本低，便于在推理优化阶段做 A/B 对比验证。
RAG 需要索引：摄取时语义编译胜过查询时解释
🧭 RAG · 摄取时语义编译与索引 ★ 深度解读
Endgame Labs, Inc. · Asia AI Institute, Musashino University · Faculty of Data Science, Musashino University · AIx, Inc.
提出摄取时语义编译 ISC，将语料编译为带验证来源的原子声明，查询时读取成本降低约21倍且准确率更高
📌 工作参考价值（4 点）
- 电商知识库/客服对话场景：将商品卖点、用户评价、客服承诺提前编译为原子事实（claim），每条事实携带 verbatim span、说话人、位置；RAG 时直接返回事实而非原始段落，可显著降低读取 token 并提升答案准确率，尤其适合高频查询。
- Agent 记忆/生成式推荐中写入 provenance 门禁：对从评论、对话中提取的每一条声明做精确字符串匹配，无法定位原文 span 的不写入，避免幻觉传播到下游答案或推荐理由。
- 成本模型 R* 指导编译决策：热门商品描述、政策文档、常见问题可提前编译；长尾、易变内容保留查询时解释，不要默认全量编译。
- 索引维护上借鉴增量低秩更新：频繁更新的商品语料不要每次全量重算 embedding，可考虑增量更新；模型升级用 Procrustes 对齐，只重新嵌入少量样本，降低迁移成本。
RARE：在 MoE 语言模型中解耦表示引导与专家路由
🧭 MoE LLM 表示工程与路由解耦
Huazhong University of Science and Technology · AIDX TECH PTE. LTD. · National University of Singapore
将行为扰动投影到路由器矩阵零空间，保持 MoE 路由一致，提升表示工程的控制效果与效用保留
📌 工作参考价值（4 点）
- 如果业务用 DeepSeek/Qwen 等 MoE LLM 做生成式推荐、query 改写或商品文案，需要对安全性、合规性、事实性进行在线控制时，避免直接对 hidden states 加扰动导致 expert 路由漂移；可借鉴 RARE 把扰动投影到 router matrix 的 null space，以保留下游能力。
- 该方法是轻量、无需训练的推理期控制手段，相比 SFT/RLHF 可以快速上线、实时调节，适合电商大促、广告审核等需要动态调整输出约束的场景。
- 工程实现只需缓存各层 router matrix 并计算其零空间投影，可在 vLLM 等推理框架中作为后处理插件集成，对延迟影响较小；论文在多个开源 MoE 模型上验证了通用性。
- 路由对语义内容敏感、对行为变化不敏感这一发现，提示在做 RAG 检索、query 改写时如果希望改变模型输出风格而不破坏专家选择，可以优先在表示空间的 router-null 子空间内操作。
RecVerse：忠实模拟人类购物行为的 GUI Agent
🧭 用户行为仿真 · GUI Agent · RL ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · University of Chinese Academy of Sciences · National University of Singapore · Alibaba Group
提出融合三级认知记忆与轨迹级 RL 的 GUI 用户仿真 Agent，显著提升行为保真与意图一致性
📌 工作参考价值（4 点）
- 在 LLM 驱动的用户模拟 / 智能导购中，不要直接拼接长历史，可采用三级记忆：Working Memory 保留最近 K 步视觉与心态、Episodic Memory 记录会话事件、Preference Memory 蒸馏高层购物意图；把记忆写入作为动作交给 RL 学习，能自动决定“何时记、记什么”，缓解长会话上下文爆炸。
- 训练用户模拟器别只做 next-action 模仿或 step-level reward，改用 trajectory-level RL：宏观奖励对齐动作类型分布（CTR/ACR/CVR/IPVR 等），微观奖励用三级类目层次做意图匹配，可避免过度探索或过度被动。
- 如果业务有真实页面截图，尽量让仿真/评估 Agent 走 GUI grounding，而不是纯文本元数据；论文显示 GUI 比 text 的类别意图一致性 HCO 从 19.03 提升到 30.00，RL 后进一步到 32.64。
- 评估用户模拟器时同时报告行为保真和意图一致性，防止 hit 率被过度交互撑高；可借鉴其指标：ATL 偏差、行为统计与真实分布的比值、类目重叠 HCO。
上下文感知物品画像：从大规模元数据提炼 LLM 重排关键信息
🧭 LLM 重排 · 物品画像 ★ 深度解读
Korea University · KT Corporation
CAIRO 将物品元数据与评论结构化为客观特征和主观特质，用轻量选择器按用户上下文生成个性化画像，显著提升 LLM 重排效果
📌 工作参考价值（4 点）
- 在 LLM 重排/生成式推荐中，不要直接注入全量商品元数据或仅用标题；先离线把 metadata + reviews 结构化为「客观特征 + 主观特质」字典，再按用户上下文挑选，可避免 +Feat 变体反而掉点。
- 用户相关属性选择不必每次调用 LLM：用小型 controller 网络基于协同信号学习 feature importance，在线只做 softmax + top-k 池化，离线存储 embedding，可将单用户画像耗时压到 0.2s 级，远低于 agentic RAG 的数百秒，适合在线 serving。
- 主观特质不要做成单一 summary；从评论中生成 3-7 个不同 facet 的 trait（如功能、品牌、使用场景），选择时用 user profile embedding 做 cosine 相似度，能覆盖同一商品对不同用户的不同卖点。
- 若要对生成画像做优化，可构造 proxy task（next-item 预测错误案例）让 LLM 诊断 trait 缺陷，并强制用客观属性 grounding 后修订，提升 profile 质量且更不易幻觉。
SPARCL：谱分区解析持续学习
🧭 持续学习 · 谱分解冻结核心子空间
University of Sheffield
识别解析持续学习中的谱干扰问题，通过冻结高能核心子空间并在残差块上递归最小二乘更新，实现闭环解与旧类 logits 核心贡献不变性
📌 工作参考价值（4 点）
- 在推荐/广告模型的增量更新中，可对特征自相关矩阵做谱分解，冻结高能量方向（对应用户主流兴趣、物品核心属性），仅在残差子空间用递归最小二乘（RLS）更新，减少对旧知识干扰。
- 用 RLS 闭式解替代梯度下降做在线更新，计算快且无需存储旧样本，适合高吞吐实时场景（如新物品冷启动、新活动不断上线）。
- 残差随机投影扩展为每个新任务/新产品增加轻量子空间，不干扰核心部分，可作为类似 LoRA 的模块化扩展策略。
- 注意：本文针对分类任务，推荐系统直接迁移需改造，但“谱分区+冻结核心+残差更新”的架构思想值得借鉴。