从碎片到融合：全模态嵌入综述与路线图
🧭 多模态嵌入统一框架与路线图
Ant Group · Shanghai Jiao Tong University · Australian National University · Tongji University · National University of Singapore
提出覆盖、可比、组合三能力框架与三条统一路径，系统梳理多模态嵌入研究
📌 工作参考价值（4 点）
- 在推荐/搜索中构建多模态商品或内容 embedding 时，先诊断系统在 3C 上的短板：是否覆盖了用户 query、商品图、描述、视频等所有输入？不同模态 embedding 是否真的可比（同空间）？若需组合属性（如“红色连衣裙”），仅靠对齐可能不足，应评估联合嵌入。
- 工程实现上可阶段式升级：若资源有限，先用 transformation 将表格、图等序列化为文本，复用现有 text encoder 快速上线；但要注意转换损失，适合冷启动和 MVP。
- 对比学习对齐双塔（如图文）存在 modality gap，导致跨模态检索的相似度分数不可直接比较；可在损失中加 gap 校准项，或后处理投影到同一子空间，提升图文一致性。
- 对 Agent 场景：当 LLM 需要理解混合输入（商品列表、图片、用户行为）时，优先使用联合嵌入模型而非分别编码再拼接，以保留组合语义，便于后续推理。
面向任务的长文档视觉问答综述：分类、演进与未来方向
🧭 多模态检索增强生成 · 长文档 VQA 综述
College of Computer Science and Technology, Zhejiang University · School of Software Technology, Zhejiang University · Polytechnic Institute, Zhejiang University · BWTON Technology Co., Ltd.
以任务瓶颈为主线，系统梳理长文档 VQA 的解析、证据检索、生成与评测，突出预算约束下的证据充分性
📌 工作参考价值（4 点）
- 电商售后、产品手册、合规条款等长文档问答场景，可参考其「证据组织与检索」组件化设计：把版面元素（表格、图表、段落空间关系）作为显式检索证据，而不仅是文本 chunk。
- 广告审核、商家资质审核需要从长合同/报告中找到依据，可借鉴「预算感知协调」与可验证理解的思想，在 token/延迟约束下动态选择直接阅读或检索。
- 面向客服 Agent 的架构：论文梳理的 Agentic Reasoning 与显式检索结合，可用于设计能持续管理证据、支持可纠正问答的长文档助手，降低幻觉风险。
- 评测维度中的证据充分性、可验证性，可直接迁移到内部长文档 VQA 评测集构建，重点考察答案是否有高保真证据支撑。
看见、维持与学习：多模态智能体记忆的演进
🧭 多模态 Agent 记忆机制综述
Rutgers · Notre Dame · Michigan · Fudan · UC San Diego
提出双轴框架解析多模态Agent记忆的形成/表示与管理演化，总结设计模式与原则
📌 工作参考价值（4 点）
- 将记忆分为 T1 静态 / T2 动态 / T3 自演进三层，可用于电商导购或客服 Agent 的记忆架构：用户长期偏好作为静态记忆（T1），会话内上下文动态更新（T2），跨会话策略通过经验持续优化（T3）。
- 双轴框架指导多模态商品信息（图片、视频、文本描述）如何编码与表示，可借鉴 modality-specific embeddings、文本/结构化记录、latent/parametric representations 的取舍，设计商品知识库和用户画像的融合方式。
- 原则强调 balancing source fidelity with abstraction、temporal validity and provenance、evidence grounding，对构建可解释、防幻觉的推荐/客服 Agent 记忆至关重要，尤其在召回证据和解释推荐理由时。
- 自演进记忆策略可类比在线学习或 meta-learning，适合需要持续适应用户兴趣漂移的推荐系统，可探索用 LLM 自动更新记忆管理 policy。
面向大语言模型的参数内记忆增强
🧭 LLM 参数化记忆增强综述
The Hong Kong University of Science and Technology · Hong Kong Baptist University
以参数放置与获取时间为两个正交轴，系统梳理部署期 LLM 参数化记忆方法
📌 工作参考价值（4 点）
- 在生成式推荐/对话 Agent 中，用 LoRA 或 prefix 参数封装长期用户偏好、商品知识或交互经验，替代每次拼接长历史，可显著降低 prompt token 与重复编码成本；在线更新 LoRA 可以跨会话沉淀用户兴趣。
- 按数据形态选择参数放置：稳定领域事实/类目属性适合固化在 FFN 或 MLP 层；时序行为、短期兴趣更适合 Attention 或 Hybrid 放置，离线训练 adapter 作为商品/类目记忆库，请求时即插即用。
- 与 ICL 协同：把长期稳定知识放进参数，短期促销、会话上下文仍走 ICL，减少上下文占用；多租户/多活动场景要评估 LoRA 合并时的 interference，避免用户偏好记忆互相污染。
- 购物 Agent 可用 online LoRA/TempLora 把成功决策、用户反馈实时写入参数形成私有记忆，而非无限堆积历史消息，对长会话和跨 session 个性化尤其有价值。
为何视频推理仍昂贵？视频与音视频 LLM 推理效率机制综述
🧭 多模态视频 LLM 推理效率综述
系统综述视频/音视频 LLM 的推理效率优化机制，按流水线阶段梳理 token 削减与算力降低方法
📌 工作参考价值（4 点）
- 若业务涉及商品短视频/视频广告理解，可借鉴其帧采样与 token 削减思路：在离线特征抽取或在线推理中先用轻量采样+连接层压缩，控制送入 LLM 的 token 数，降低 prefill 和 KV cache 成本。
- 对多模态 item 表示生成，可参考连接层 token reduction 架构，把视觉/音频 token 聚合成少量语义 token，用于召回或排序特征的轻量化。
- 建立 accuracy–cost 权衡表：在引入任何视频理解模块时，强制在同 host LLM 与输入协议下对比 FLOPs/延迟/显存，避免被跨论文异构指标误导。
- 整体是学术综述，纯文本推荐/搜索系统直接复用点有限；但若部署视频多模态能力，可作为选型与优化清单。
智能体式工件创建：系统、评估、原则与机会
🧭 Agent 智能体工件创建综述
The Hong Kong University of Science and Technology (Guangzhou) · Zhejiang University · University of Science and Technology of China · Tsinghua University · The University of Hong Kong
综述智能体式工件创建系统，提出有状态构建、运行时验证与反馈重定向的原则
📌 工作参考价值（4 点）
- 在广告创意/商品文案生成中，把生成结果建模为可操作状态，引入运行时验证（如自动检查品牌合规、卖点覆盖）并针对失败局部修复，避免每次全量重生成
- 任务分解需权衡局部复杂度和重组成本：对于强耦合的推荐解释或营销物料，分解过细反而增加协调开销，适合采用分层但保留共享上下文的 agent 架构
- 评估 agent 生成质量时，不要只依赖 LLM 作为评判者，因其可能与生成器共享偏好盲区；应加入业务指标、用户行为或人工抽检等独立信号
- 变更后要重新验证受影响状态，例如广告文案修改关键词后，需重新检查页面落地页一致性、合规性和转化预期
基础模型无监督后训练综述
🧭 无监督后训练 · LLM
HKUST(GZ) · HKUST · Xiaohongshu Inc. · WeChat, Tencent · CUHK
系统梳理80种无监督后训练方法，按内部信号来源分类并提出Input Visibility×Update Persistence统一框架
📌 工作参考价值（4 点）
- 可借鉴无监督后训练思路，利用电商/广告场景中大量无标签的 query、商品描述、用户行为文本对 LLM 做领域适配，减少人工标注成本。
- 四类内部信号（预测统计、样本关系、自生成目标、内部评估器）中，自生成目标（伪标签、rationale、curricula）在业务语料上最易落地：用当前模型对弱标注数据生成伪标签再做自训练，注意配合置信度过滤。
- 内部评估器（self-reward）用于排序/推荐模型微调时需警惕误差递归放大，建议与在线 A/B 指标绑定，避免仅依赖模型自评。
- Input Visibility×Update Persistence 框架可帮助决定部署形态：对时延敏感的在线推荐模块采用离线更新+冻结参数，对离线生成模块可做在线持续无监督更新。
一个症状，三个杠杆：在策略自蒸馏批判性综述
🧭 LLM 训练 · 在策略自蒸馏
OVHai LLM
系统化梳理OPSD的坍缩失败模式，提出信号位置、特权信息、动态衰减三杠杆框架
📌 工作参考价值（4 点）
- 若用 OPSD 微调生成式推荐/搜索 Agent（如 query 改写、商品文案生成），可用模型自身作 teacher 并注入业务侧特权信息（用户真实意图、最终成交商品），但必须监控生成多样性（熵、n-gram 新颖度）以防坍缩。
- 借鉴三个杠杆做训练设计：where——损失只加权关键 token（如最终答案/决策 token）而非全序列平均；what——teacher 的特权信息粒度要渐进揭示，避免过度强条件导致模型只学会抄捷径；when——蒸馏信号随训练衰减，后期保持与 base policy 的 KL 约束。
- 对 Agent 搜索/推荐，坍缩类比于动作空间收窄：训练时环境反馈或 oracle 路径会诱导窄策略，需加入熵正则或行为多样性约束。
- 没有新实验，但提供统一术语与诊断清单，适合作为生产 LLM 微调前的风险自查。
代理系统中的协同进化：走向超越人类设计的自引导进化
🧭 多智能体协同进化框架与分类
Hong Kong University of Science and Technology · University of Illinois Urbana-Champaign · The Chinese University of Hong Kong · The University of Hong Kong · Peking University
提出三阶段分类法，梳理多智能体与环境协同进化逐步摆脱人工设计约束的研究
📌 工作参考价值（4 点）
- 设计多智能体推荐系统时，可借鉴 Agent-Agent 协同进化中的对抗、协作与组织适应机制，使各策略 agent 在动态博弈中自动优化分工与交互协议，而非依赖人工静态编排。
- Agent-Environment 协同进化的思想可用于构建自适应的搜索推荐框架：将用户反馈、上下文环境作为演化压力，在线调整召回、排序、重排模块的参数或模型结构，应对数据分布漂移。
- 元协同进化为“可演化的 Agent 架构”提供思路，例如在电商 chatbot 或 query 生成 agent 中，使 prompt 模板、工具选择逻辑甚至内部思维链结构具备自我调优能力，减少人工迭代成本。
- 该综述强调的安全与可控性挑战，提醒我们在实际部署自动演化系统时需设计监控、回滚与约束机制，防止 agent 策略在长期演化中偏离业务目标。
持续学习的范式转变：从参数中心到系统级适应
🧭 持续学习 · 系统级适应框架
Institute of Automation, Chinese Academy of Sciences · National University of Singapore · Tsinghua University · Shanghai Jiao Tong University · Alibaba Group
提出三轴框架（何时、如何、何处）刻画持续学习从参数更新到系统级适应的演进
📌 工作参考价值（4 点）
- 系统级在线更新：推荐模型可将部分能力外置到记忆库或技能库中，新知识通过写入外部存储而非修改模型参数来实现，避免灾难性遗忘，适合高频变化的电商场景（如新品冷启、大促策略调整）。
- 推理时自适应：借鉴 test-time training 思想，在推荐服务推理阶段根据当前上下文（如用户实时行为）快速调整模型子集或 prompt，无需完整重训，降低延迟并提升实时性。
- 多策略混合更新：结合 off-policy（历史数据回放）与 on-policy（在线交互）更新，利用 LLM 驱动的 Agent 生成合成交互数据，平衡稳定性和探索，适合搜索广告的竞价策略持续优化。
- Agent 交互协议：将推荐系统组件（召回、排序、出价）作为 Agent，通过标准化协议交换记忆和技能，实现不同模块的独立持续进化，提升整体系统的长期适应能力。
大型语言模型记忆机制综述
🧭 LLM记忆机制综述
提出以架构为中心的LLM记忆分类框架，沿表征、更新、持久性三轴统一碎片化研究。
📌 工作参考价值（4 点）
- 长期用户建模：在电商推荐Agent中，可借鉴显式记忆存储（如外部KV Cache）持久化用户跨会话行为，解决长期偏好漂移问题。
- 混合记忆架构：采用短/长期记忆协同设计，短期记忆负责实时上下文（如浏览序列），长期记忆存储压缩画像（如购买历史Embedding），平衡延迟与个性化。
- 在线记忆更新：利用参数高效微调（如LoRA）实现轻量级在线用户兴趣更新，无需全量重训，适合千人千面的动态推荐场景。
- 记忆路由与压缩：将多源异构用户数据（点击、搜索、购买）通过记忆路由器动态写入不同存储分区，并结合记忆压缩技术降低存储开销，提升长序列处理效率。
多模态大语言模型的计算幽默：方法、数据集、评估与挑战
🧭 多模态LLM与幽默计算
Case Western Reserve University · The Hong Kong Polytechnic University
全面综述多模态LLM在视觉幽默理解与生成上的能力层级、基准与建模范式，揭示评估捷径等核心挑战
📌 工作参考价值（4 点）
- 电商广告创意中可借鉴多模态幽默识别能力，用于预筛选或评估营销素材是否包含不当或低效的幽默元素，降低品牌风险
- 用户生成内容（UGC）审核时可结合证据推理模块，提升对梗图、讽刺内容的理解准确率，减少误判
- 推送消息文案优化中可尝试可控幽默生成，但需注意安全性与文化适配，可先构建内部 benchmark 测试
- 构建幽默相关的评测集时需避免捷径特征（如文字重叠），确保模型学到真正的图文推理而非表面模式
自主信息寻求：Agentic 推荐系统的路线图
🧭 Agent 推荐系统自主性等级与范式综述 ★ 深度解读
National University of Singapore · Polytechnic University of Bari · Renmin University of China · University of Science and Technology of China
提出融合自主性等级与三种代理范式的统一分类法，系统梳理 LLM 代理如何改造推荐系统
📌 工作参考价值（4 点）
- 用 LoA 定位架构取舍：把自家系统映射到 L0–L5 谱系，明确当前痛点是工具调用（L3）、单 Agent 规划（L4）还是多 Agent 协同（L5），避免一上来就堆多 Agent。
- Agent 辅助而非替代：多数业务不需要 Agent 端到端取代原有推荐 pipeline。借鉴 L2–L3 的检索增强与工具驱动辅助模式，用 LLM Agent 做意图理解、约束推理、解释生成，保持原有召回/排序的稳定性。
- Memory 设计三件套：采纳 working/episodic/semantic memory 的分层设计，用短期对话摘要、跨 session 偏好记忆、语义知识库支撑个性化决策，在电商中可对应“购物车-历史订单-品类偏好”记忆体系。
- 多 Agent 协作的通信成本：从 manager–worker、debate–judge 等协作协议中选型时，优先用结构化工具调用管道而非自由对话，降低长链路中的 token 消耗与错误累积，并提前设计轨迹级评估指标。
图神经网络跨领域应用：全貌与核心洞见
🧭 GNN应用综述 · 部署关键约束
Computer Science and Applied Mathematics Laboratory (LIMA), Chadli Bendjedid University
一份跨越12个应用领域的GNN调查，揭示部署关键限制与设计选择真实收益
📌 工作参考价值（4 点）
- 构图成本与收益权衡：在电商推荐中，用户-商品二部图构造和维护成本高，应先评估简单基线（如LightGCN）是否已足够；异配性普遍存在（如商品共现与用户社交混合），复杂GNN反而可能被简单模型反超。
- 时序图增量更新优先：用户行为序列本质是时序图，但时态GNN在部署中难度大，工程上可优先采用流式增量更新与高效序列特征抽取，避免引入重型时态建模。
- 避免领袖榜陷阱：公共基准上SOTA的GNN架构在真实推荐场景中常因鲁棒性、延迟和分布偏移而失效，必须用自有业务数据严格测试，并重视过平滑、过挤压、公平性等部署级约束。
- LLM集成保持谨慎：将GNN与LLM结合（如GraphRAG做商品知识增强）目前证据仅为暗示性，可从轻量化的文本构图（如商品描述相似度图）起步，逐步验证知识注入效果。
从结构到协同：多模态大模型中视觉语言感知范式演进综述
🧭 多模态感知范式 · 统一视角演进
Sichuan University · Peking University · China Telecom · Northwestern Polytechnical University
首次以统一视觉语言视角系统梳理 MLLM 感知范式的五阶段演进，为多模态智能提供路线图
📌 工作参考价值（4 点）
- 业务中构建商品图文理解模型时，可参照该综述的五阶段（独立结构→浅层融合→深层交互→统一预训练→自主协同），判断当前模型所处阶段并规划升级路径；例如从双塔独立编码升级为交叉注意力融合，提升图文匹配精度。
- 在 Agent 多模态感知模块设计中，借鉴「协同感知」思想，让文本指令与视觉输入的交互不再仅发生在高层语义空间，而是允许低层视觉特征直接受语言引导，提高空间推理与指令遵循能力。
- 综述中梳理了各阶段代表方法（如 CLIP、BLIP-2、LLaVA、GPT-4V 等）的架构与训练 trick，可快速了解不同范式的工程实现取舍（如是否冻结视觉编码器、是否采用 Q-Former 桥接），为技术选型提供参考。
- 未来方向指出：统一感知需要解决幻觉、细粒度理解与效率瓶颈，这些同样制约电商场景下的多模态搜索/推荐，可提前关注稀疏 MoE、结构化知识注入等应对策略。
世界行动模型综述
🧭 具身预测行动模型设计空间
National University of Singapore
对具身预测-行动模型给出统一分类与设计权衡，强调“少预测未来、多聚焦控制”
📌 工作参考价值（4 点）
- 构建推荐环境用户仿真器（世界模型）时，可借鉴“生成更少未来，只保留控制所需信息”的设计原则，用潜在状态预测替代完整行为序列生成，降低计算与数据成本。
- 解耦预测基座与行动策略的设计模式可用于推荐 Agent：例如用轻量 Transformer 预测用户短期意图，将重计算留给策略决策，平衡延迟与丰富度。
- 从交互性、因果性、持久性等维度评估世界模型，可迁移到推荐系统 A/B 测试前的离线模拟器质量检查，特别关注分布外鲁棒性。
- 论文对视频生成 VS 潜在预测 VS 无生成推理的分支梳理，提示在搜索推荐 Agent 中也可根据场景（实时改价 vs 长期策略）选择不同程度的“未来预测”实现。
超越自然语言到代码：多模态代码智能的结构化综述
🧭 多模态代码智能综述 · 视觉到代码
Meituan · The University of Hong Kong · The Chinese University of Hong Kong · Institute of Automation, Chinese Academy of Sciences · Nanjing University
系统归纳多模态代码智能任务，按代码角色与领域分类，提出以验证为中心的未来方向。
📌 工作参考价值（4 点）
- 电商落地页、活动页自动生成：借鉴 GUI 代码生成方法，将设计稿或截图直接转化为前端代码，降低人工开发成本。
- 多信号验证提升界面质量：在生成后结合视觉渲染对比、交互状态检查等互补信号，减少人工审核，提高生成代码的正确性与一致性。
- 数据报表自动化：借鉴科学可视化代码生成（如 MatPlotAgent），从数据描述或示例图生成图表代码，用于自动化 BI 报表或运营分析。
- Agent 工具使用与验证闭环：将代码作为可执行策略，利用多状态验证与视觉反馈确保 Agent 动作的可靠性，例如在交互式推荐场景中自动生成并验证 UI 操作脚本。
从聊天机器人到数字同事：持久自主AI的范式转移
🧭 Agent 演进：从对话到可持久自主工作 ★ 深度解读
Tencent Youtu Lab · Tsinghua University · Sun Yat-sen University · Central South University · University of Illinois at Chicago
提出“Workspace+Skill”机制，推动LLM从单次对话转向有状态、可复用的任务执行
📌 工作参考价值（4 点）
- 构建有状态的 Agent 工作区：参考 OpenClaw 的 Workspace 概念，为电商 Agent（如自动比价、库存管理）维护持久化的文件系统、终端、浏览器状态，避免每次调用都重新获取上下文。
- 用“技能（Skill）”封装可复用推理链：将常见业务流程（如订单处理、退款审核）建模为可参数化的 Skill，包含规划、工具序列、中间校验与错误恢复，提升任务闭环率。
- 评估范式从答案质量转向任务状态验证：对于推荐或运营 Agent，不应仅看最终回答的准确性，而应检查任务是否真正改变了系统状态（如是否完成了一次广告投放调整），用“任务闭环率”作为核心指标。
- 数据构造从指令-响应对转向状态-动作-观测轨迹：训练电商 Agent 时，记录完整的交互轨迹（用户意图 → 动作 → 环境反馈），以轨迹级 reward 进行强化学习，比单轮 SFT 更能培养长期规划能力。
大语言模型智能体环境工程综述：建模、合成、评估与应用
🧭 Agent 环境工程与共同进化综述
从环境工程生命周期视角系统梳理智能体环境建模、合成、评估及与环境共同进化的研究
📌 工作参考价值（4 点）
- 自动化环境合成：可借鉴符号合成与神经合成两种范式，为电商推荐智能体自动生成训练场景（如模拟多轮对话、用户行为轨迹），降低人工设计成本。
- 难度驱动进化：借鉴难度驱动的环境进化策略，在推荐Agent训练中根据其在线表现动态调整环境复杂性，提升泛化能力。
- 四类智能体进化路径：记忆、工作流、轨迹、探索四种进化方向可直接映射到多智能体电商系统中的经验回放、流程优化、离线轨迹学习与在线探索。
- 多智能体环境即服务：未来多Agent环境可打包为可复用的沙箱服务，用于测试和优化协同推荐、竞价策略等复杂决策逻辑。
从Agent Traces到信任：LLM智能体证据追踪与执行溯源综述
🧭 LLM 智能体证据追踪与执行溯源 ★ 深度解读
Griffith University · Jiangsu University · University of Southern Queensland · Peking University · Great Bay University
提出LLM智能体证据追踪与执行溯源统一分类框架，连接检索、工具、记忆与通信，支撑调试、安全与审计。
📌 工作参考价值（4 点）
- 在构建电商智能体（如客服、推荐Agent）时，应记录完整的执行轨迹（检索、工具调用、记忆操作）并构建溯源图，用于调试和审计。
- 采用证据支持关系（SUPPORT, CONTRADICT）来验证生成的推荐理由是否基于实际检索证据，减少幻觉。
- 实施运行时防护：对工具调用参数进行来源追踪，防止注入攻击或不安全操作。
- 利用记忆溯源（memory provenance）确保个性化推荐不会因过时或偏差的记忆而输出不一致内容。
代码作为智能体基础设施：可执行、可验证、有状态的智能体系统综述
🧭 代码智能体基础设施与方法论综述 ★ 深度解读
University of Illinois Urbana-Champaign · Meta · Stanford University
将代码重新定位为智能体推理、行动和环境建模的可执行媒介，并提出三层框架统一代码智能体设计
📌 工作参考价值（4 点）
- 用代码作为推荐策略的可执行审计层：将推荐策略、规则或生成式推荐的推理步骤写成可执行代码（如 Python 脚本），通过执行反馈验证策略逻辑，实现可检查、可回滚的推荐决策，尤其适合电商场景需要业务可解释和合规审计的路径。
- 多智能体协作通过共享代码仓库协调：借鉴论文中 Manager/Planner/Coder/Reviewer/Tester 的角色分工，构建电商多智能体系统（如选品、定价、营销自动化的智能体团队），利用 Git 仓库和测试框架管理共享状态，实现冲突检测和集体验证。
- 动态工具生成与技能库复用：参考 Voyager 等系统的 lifelong skill library 思路，让推荐智能体在交互中自动生成并积累可复用的数据查询、特征工程或模型更新脚本，形成平台内的“技能市场”，降低重复开发成本。
- 执行反馈闭环提升可靠性：将推荐模型上线前的仿真评估或 AB 测试反馈接入代码执行循环，让智能体根据测试结果自动修正推荐逻辑或参数，实现自适应优化，减少人工介入。
超越个体智能：基于LLM的多智能体系统协作、失败归因与自我演化综述
🧭 Agent ★ 深度解读
西安交通大学 · 联想AI技术中心 · 华中师范大学 · 悉尼大学
提出LIFE框架将单智能体能力、多智能体协作、失败归因与自我演化统一为因果链环，填补了闭环诊断与自主改进的综述空白