4DMemory：长时程时空记忆基准与 Harness 增强 Agent
🧭 长视频时空记忆评测与 Agent 增强
Nanyang Technological University · Token Foundry, Alibaba · The Chinese University of Hong Kong · Institute of Neuroscience, Chinese Academy of Sciences · University of Chinese Academy of Sciences
发布900小时长视频基准与4DMemory Harness，使13个基础模型长时程时空推理提升超50%
📌 工作参考价值（4 点）
- 用户长期行为序列（浏览/点击视频、直播切片）可借鉴「感知记忆+工具检索」分离：将原始行为编码成可索引的时空片段，按需用专用工具抽取关键事件，避免把所有帧塞进长上下文，降低遗忘与幻觉。
- 4DMemory Harness 的多技能+工具模型编排可迁移到电商多模态 Agent：把商品识别、场景理解、OCR、时序定位拆成小模型/工具，由主 LLM 调度，并通过 model-specific RAG 为不同基底模型定制检索策略，论文中所有模型提升超50%，稳定性可复用。
- 长时程评测设计值得借鉴：构造跨数小时、数天的细粒度问题（例如商品在第几分钟出现、促销文案变化顺序），压测 Agent 长期记忆与召回模块，提前暴露长会话信息丢失问题。
- 如业务含直播回放、商品讲解视频或广告素材库，可复用 LongVideo 构建思路，标注时空问答对，评估多模态检索和推荐理由是否准确引用正确时刻。
指代音视频分割中基于预决策表征的推理预算控制
🧭 自适应推理 · 生成前隐状态路由
Tongji University · IEIT SYSTEMS (Beijing) Co., Ltd.
发现过长思维链对简单查询有害，利用生成前隐状态线性探测路由器省60% token且保留96%性能
📌 工作参考价值（4 点）
- 在 LLM-powered 推荐或 Agent 工作流中，不要默认所有 query 都走长 CoT/多步工具调用：简单 query 可能因过度推理产生 phrase 或 localization drift。可设计基于模型生成前隐状态（首 token 前的 state）的轻量路由器，判断是否需要深度推理。
- 用线性探针对内部表征做二分类，比基于文本特征或不确定性 proxy 信号更有效；且只需单次前向，无需额外生成，适合在线低成本决策。
- 报告的 60% token 减少且保留约 96% always-long 性能，可作为成本-质量 trade-off 的实用参考；对推理成本敏感的电商/广告 Agent 场景值得尝试类似的 pre-decisional routing。
- 该工作是 Ref-AVS 任务，未在推荐系统上实验；但思想可迁移到 RAG 是否检索、长上下文是否展开、多步推荐解释生成等自适应推理控制。
OneStreamer：统一流式视频交互中的感知、记忆与主动响应
🧭 流式视频LLM主动记忆与响应
NJU · PJLAB · JD · SJTU · USTC
通过共享主动生成过程联合学习证据记录与任务响应，形成可复用事实记忆且不牺牲实时感知
📌 工作参考价值（4 点）
- 实时用户行为流中的记忆机制：可借鉴 PHCM 思路，让 LLM 在用户会话中持续生成结构化摘要（如兴趣点、关键事件），作为可复用记忆补充最近窗口的原始行为，无需回溯全部历史即可回答后续 query 或做动态推荐。
- 状态监督稀疏化：PSTL 只对状态变化和状态持续的代表性 token 施加监督，减少重复无动作状态的负样本主导，适合序列推荐中的用户状态建模，降低标注成本并提升训练效率。
- 流式数据合成：该论文的数据合成管道强调输出内容与时序必须与当前可用证据对齐，避免信息泄露；在搜索推荐 Agent 的模拟数据生成中同样重要，确保生成样本符合在线实时约束。
- 主动生成作为统一接口：将感知、记忆和响应整合到同一个生成任务中，可指导设计电商 Agent，使模型在浏览/对话过程中持续产生可复用的中间记录（意图、属性），服务于后续推荐和问答。
EpiCon：通过共演化多模态记忆的智能体集体学习
🧭 多智能体共享多模态经验记忆 ★ 深度解读
MIT-IBM Computing Research Lab · University of Rochester · Massachusetts Institute of Technology
共享多模态外部记忆，两个2B模型负责经验更新与树形巩固，支持跨智能体系统复用且不动宿主参数
📌 工作参考价值（4 点）
- 可把 EpiCon 的共享外部记忆模式用于电商 Agent 中台：将 query 理解、商品图/详情页文档审核、素材生成等成功/失败轨迹沉淀为可复用 lessons 和规则，不同场景或模型版本直接检索复用，主模型不用再训练。
- 用 2B 小模型做 memory controller / tree organizer，而不是直接调骨干模型管理记忆，可降低 67–74% 记忆操作耗时；对需要频繁读写外部记忆的线上 Agent 有直接工程收益。
- 树形经验组织与 consolidation 生成规则，比扁平 memory 稳定；可借鉴 Place/Merge/Split+Lift 与容量 partition，对用户分群、商品类目、店铺运营等多层级知识做抽象和冲突消解。
- 自适应视觉注入 gate 值得迁移到多模态推荐/搜索：根据当前 query 和 memory 描述决定是否附带图片区域，减少无关视觉 token，提升上下文效率，尤其适合商品多图、详情页截图等长上下文场景。
源条件中继引导缓解音视频大语言模型幻觉
🧭 多模态LLM幻觉缓解 · 训练免干预
Harbin Institute of Technology, Shenzhen · Peng Cheng Laboratory, Shenzhen · Fudan University
提出训练免方法SECRET，通过源条件中继引导抑制跨模态干扰，缓解AVLLM源混淆接地幻觉
📌 工作参考价值（4 点）
- 训练免的表示引导（steering）思路可迁移到电商多模态场景（商品视频理解、直播切片审核、图文一致性校验）：对LLM内部问题表示做方向性修正，无需微调即可抑制无关模态干扰，快速上线。
- 业务中跨模态冲突常见（如商品主图与描述不一致导致问答错误），可借鉴“源条件对比表示”：利用不同模态路径干预构造对比样本，用其表示差异引导原始状态，提升模型对指定源信息的遵循能力。
- 路径干预分析定位干扰通路的方法，可用于诊断自有多模态Agent或推荐解释模型中的跨模态信息污染，为模型裁剪和推理优化提供依据。
- 与RAG/推荐系统结合时，可对检索到的多模态候选做源条件重定向，避免LLM被无关信源带偏，提升生成结果的grounding可靠性。
Realtime-Venus：支持异步委派的全双工实时交互系统
🧭 全双工语音/多模态 Agent 异步委派
Venus Team, Ant Group · Tsinghua University
双 9B 模型全双工交互系统，前台实时对话与后台异步工具执行协同，音频/视频基准超越 GPT-4o 等在线模型
📌 工作参考价值（4 点）
- 双循环异步委派架构值得借鉴：将前台低延迟语音/视觉交互与后台工具执行（如订单查询、库存检查、推荐 API 调用）解耦，高响应实时对话不因长尾任务阻塞，适合电商导购 Agent。
- 共享因果时间线统一用户输入、模型输出与委派事件，能有效管理多轮对话中的打断/重叠语音，提升全双工体验；可迁移到实时语音推荐场景，避免状态错乱。
- 后训练阶段加入主动全双工轨迹和委派工作流，可提高模型在真实对话中的主动性和工具调用协同；对于需主动推送商品/优惠信息的对话式推荐系统有参考价值。
- 两个 9B 模型分别优化音视频与纯语音，按场景拆分部署，减少模态冗余并降低推理成本；可借鉴为电商视频/语音客服分别训练轻量前端模型。
统一多模态模型中图像分词器作为视觉语言的研究
🧭 多模态模型训练与图像分词器评估
University of Washington · Amazon FAR
通过跟踪分任务验证损失，揭示图像分词器与文本联合建模时的损失-性能关系及设计影响
📌 工作参考价值（4 点）
- 在多模态联合训练中，按 task 分别监控 validation loss（text、image、T2I、I2T），而不是只看整体 loss，可以更早定位数据配比、分词器或训练不稳定的问题；尤其适用于电商图文统一模型（如商品图 + 文案生成）。
- 选图像 tokenizer 时，用 I2T loss（基于共享文本词表）作为跨模型一致的评估信号，比 T2I loss 或重建指标更稳定，且与下游生成和视觉理解性能都相关；适合作为早停、模型选择或在线监控指标。
- 不要单独根据重建质量（如 FID、SSIM）选择图像 tokenizer，因为更好的重建不保证更低的任务损失或更强的下游性能；应该结合任务损失和实际业务指标（如商品图到文案的匹配度、点击率）做融合判断。
- 图像 tokenizer 的选择会影响联合优化下的文本建模，因此当在同一模型中同时处理商品图片和文本时（如视觉问答、图文搜索），更换 tokenizer 后需要重新检查文本侧的 fine-tune 效果和 loss 变化。
模态成熟度指数：评估全能模型多模态能力的基准
🧭 多模态 LLM 评估基准
Meta Superintelligence Labs
提出 MMI 基准和模态存在性得分 MPS，发现前沿多模态模型输出模态存在率仅 15.6-34.9
📌 工作参考价值（4 点）
- 在多模态 Agent 评估中引入「模态存在性得分」：先测量模型是否生成所需输出模态（图片/表格/音频等），再评估内容质量，可在工程链路早期暴露模态缺失问题，避免在不存在的内容上浪费人工评分。
- 对多模态生成任务，采用人工撰写每个输出模态的 rubric，再由 LLM judge 打分；论文显示与 rubric-blind 人类标注一致性约 70.8%，可作为电商导购/客服多模态输出评估的自动化基线，但需留意 Scott's π 仅 0.41，不能完全替代人工。
- 设计评测集时要求 prompt 自包含、明确期望的输出模态组合，可用于构建电商场景下多模态商品推荐、广告创意生成、客服回复的 benchmark；尤其适合评估模型是否按指令返回「商品图+文字说明」等组合。
- 当前前沿模型多模态输出模态存在性低，提示实际部署 RAG/Agent 系统时，不应依赖模型自主决定输出模态，而应在 prompt 或后处理中显式约束输出格式，例如强制返回图片、表格或语音。
RetrievalRouter: 联合模态与架构选择的文档检索路由
🧭 检索召回 · 查询路由 · 效率优化
SAMOV AR, Télécom SudParis, Institut Polytechnique de Paris · Özyeğin University
轻量 query-aware 路由仅凭查询文本选择最优检索管道，在精度和延迟上同时超越静态基线
📌 工作参考价值（4 点）
- 电商搜索多路召回可借鉴其动态路由：简单 query（品牌词、短词）走轻量双塔或倒排，复杂 query 路由到多模态/交互式重排。用一个轻量分类器仅依赖 query 文本做路由，无需动底层模型，单参数即可在线调节成本和收益。
- 若业务中有文本嵌入、多模态嵌入、dense 与 late-interaction 等多种检索管道，不要全局固定一个。构建候选 pipeline 池，用 query-aware router 联合选择模态和架构，比简单级联更灵活、时延更可控。
- 单参数 accuracy-latency 前沿的思路可直接用于 SLA 对齐：置信度阈值决定多少 query 走 expensive path，能直观给出成本—精度曲线，方便与预算、p99 时延等业务约束权衡。
- 论文路由只用 query 文本，开销极低，适合在线推理。电商场景可扩展轻量特征（query 长度、类目、用户历史）提升路由准确度，仍保持低延迟。
主动数据收集、出行行为建模与天气敏感需求预测的智能体方法
🧭 LLM 行为预测 · 多 Agent 工作流
Department of Civil Engineering, McGill University
三 Agent 工作流整合对话式调查、数据处理与 LLM 出行预测，多模态最佳达 71.5% 准确率
📌 工作参考价值（4 点）
- 行为预测/用户偏好建模：将“习惯性历史信息”类比用户历史点击/购买序列，加入 prompt 可稳定提升准确率；在生成式推荐或排序中优先注入用户行为特征，而非仅依赖 persona 或角色描述。
- Prompt 策略：采用“专家”角色描述优于一般“角色扮演”；persona 只在缺少行为历史时收益更大；few-shot 仅需少量示例即可提升，示例过多边际收益递减，适合线上 prompt 成本控制。
- 多模态信号：用用户实际看到的图像（商品图、场景图）作为视觉上下文，可使 LLM 预测提升（最佳 71.5%），建议在多模态商品推荐或内容理解中复用同一视觉输入。
- Agent 工作流可审计性：将数据收集、结构化、预测拆分为三个 agent，便于追踪数据版本和模型决策，适合在电商/广告场景构建数据飞轮与离线评估管线。
ChronoVision：通过潜在状态重建实现时序推理
🧭 多模态时序推理 · 潜在状态重建
University of Illinois Urbana-Champaign · PediaMed AI · University of Pennsylvania
通过重建潜在状态与强化学习对齐过程，增强多模态模型的时序推理能力
📌 工作参考价值（4 点）
- 潜在状态重建可作为一种辅助任务用于用户行为序列建模，预测未来购物意图的隐状态演进，辅助动态兴趣捕捉。
- ROI 注意力定位模块可迁移至搜索或推荐中，对用户行为序列的关键片段（如点击、加购）进行聚焦，增强模型可解释性。
- 强化学习后训练对齐中间过程的做法，可借鉴到多步推荐 Agent 的决策优化，通过奖励中间状态一致性提升策略稳定性。
- 将视频推理转化为严格图像排序任务的评估思路，可启发推荐系统中序列预测能力的评测设计，如评测下一次物品预测的时序逻辑一致性。
MODUS：仅用解码器的任意模态到任意模态统一建模
🧭 解码器仅有 · 任意到任意多模态建模
EPFL · Apple · University of Copenhagen · CUHK · University of Geneva
提出解码器仅有的任意模态到任意模态统一框架，无需特定头或损失，支持链式生成与自我验证
📌 工作参考价值（4 点）
- 多模态搜推统一表示：将商品标题、描述、图片、属性等异构模态统一 token 化，用单一解码器模型完成多模态理解与生成，可简化特征工程与模型部署。
- 跨模态增强与验证：利用模型生成深度、法线等中间模态，增强商品图像理解；或在生成描述后，用另一模态（如图像）对文本输出进行自我验证，提升生成质量与可信度。
- 链式生成与多步推理：通过中间模态链式生成（如文本→草图→商品图），实现复杂创意内容生产，适用于动态广告物料生成、个性化推荐理由可视化等场景。
- 工程实现轻量化：取消模态专用头与多任务管道，所有模态共享同一个 Transformer 解码器，降低多模态业务维护成本，便于快速扩展新模态。
视频模型的视觉提示工程
🧭 视觉提示工程提升视频模型推理
Google DeepMind
自动修改任务图像（视觉提示）可显著提升视频模型推理性能，超过文本提示和测试时扩展
📌 工作参考价值（4 点）
- 商品图像预处理增强理解：借鉴 VIPE，对电商商品主图进行自动风格化（如光影优化、背景真实化），可提升多模态模型在属性抽取、类目识别上的准确率，无需重训模型。
- 测试时输入优化：在不改变模型权重的前提下，仅通过调用图像编辑API在推理前重绘输入，即可低成本提升下游效果，适合广告创意优选、直播封面自适应等场景。
- 视觉 Agent 的输入增强：在多模态 Agent 中，对采集到的画面做轻量预处理（去模糊、风格迁移）可提高后续推理决策的可靠性，作为 Agent 感知流水线的一个即插即用组件。
- 计算高效性：相比文本提示工程或多次采样，VIPE 仅增加一次图像编辑开销，是计算资源友好的提效手段，适合线上实时服务。
Shieldstral：策略自适应的3B多模态安全分类器
🧭 多模态安全分类 · 策略自适应
3B小模型通过二元问答统一异构审核任务，文本安全性能比肩7倍大模型，多模态达新SOTA
📌 工作参考价值（4 点）
- 统一二进制问答范式：将不同审核策略、类别标签统一为自然语言问题是 / 否判断，能融合来源异构的训练数据，降低多业务线接入成本，适合电商、社区同时管理商品描述、买家秀、评论等多模态内容安全。
- 策略自适应部署：同一模型可按需输入不同安全政策查询，动态切换审核标准，无需为不同场景（如广告创意审核 vs. 售后评价过滤）分别维护模型，显著降低工程维护复杂度。
- 小模型高吞吐：3B参数量支持高并发在线推理，可直接嵌入推荐 / 广告的实时投放链路，对输入素材、生成文案进行轻量级安全预筛，兼顾延迟与精度。
- 数据配方可复用：论文公开了54.1M训练样本的构建流程（包含人工标注、合成数据、细粒度评估集），可直接迁移到自建安全审核数据管线，尤其适用于标注成本高的垂类场景。
可控且基于内容的推荐框架：用文本瓶颈实现用户干预
🧭 可控推荐 · 文本瓶颈介入
Concordia University · Université de Montréal · Laval University · HEC Montréal · Mila – Quebec AI Institute
通过在协同过滤中嵌入文本瓶颈，让用户通过文本直接控制推荐方向，且文本概要从物品内容（图像/音频/视频）自动生成。
📌 工作参考价值（4 点）
- 文本瓶颈实现细粒度用户控制：电商场景可直接复现——用户输入短文本（如“更多休闲风、亮色”）即可调整推荐方向，无需重新训练。可将此模块嵌入已有协同过滤模型，作为实时干预层。
- 从商品多模态内容自动生成可控概要：利用商品图片、音频或视频自动抽取文本描述作为控制柄，避免人工标注。对图像电商、短视频带货等场景，可低成本构建可控推荐系统。
- 与现有模型即插即用：CCBR 作为协同过滤的插件，不影响原有模型推理效率，且维持竞争性推荐性能。工程上可先训练基础模型，后接入文本瓶颈，降低落地风险。
- 支持文本与多模态混合干预：允许用户同时用文本和示例图片调整偏好，适配导购、搜索重排序等场景，提供更灵活的用户体验。
展示而非描述：评估生成像素中的空间认知而非LLM文本
🧭 空间推理评测框架 · 生成式像素评估
Zhejiang University
提出ProVisE框架，将图像生成模型的视觉答案解析为结构化预测，实现像素级空间推理的公平评测
📌 工作参考价值（4 点）
- 对电商中需要空间理解的生成任务（如虚拟试穿、商品摆放、AR场景）有评测启发：可借鉴“协议化视觉答案”思想，将模型生成的图像通过规则解析成结构化指标（如物品位置、遮挡关系），从而量化评估生成质量。
- Agentic protocol builder 能自动为新任务生成评测协议，可迁移到广告创意生成、商品主图优化等场景，降低人工设计评测规则的成本。
- 揭示了文本推理与像素表达的互补性，在推荐系统多模态交互（如对话式推荐+视觉展示）中，可结合文本VLMs做高层推理、图像生成模型做像素级细粒度表达。
- 整体方法论对构建统一的多模态推荐评测基准有参考价值，但直接业务应用场景有限，更适合学术评测框架设计。
ENTRAP-VL：视觉语言模型双重上下文夹带分类探测工具
🧭 多模态评估工具 · 上下文忠诚度探测
IIIT Delhi, India · Dr. Ambedkar Institute of Technology, India · Heritage Institute of Technology, India · PwC, India
提出首个用于多模态上下文夹带探测的双模分类基准 ENTAP-VL，以文本和视觉独立诱发夹带现象。
📌 工作参考价值（4 点）
- 电商多模态搜索/推荐中，产品图片和描述常被无关上下文干扰，可借鉴双流探测思想，设计文本和视觉独立的鲁棒性测试集，检验模型是否被不相关但合理的上下文带偏。
- 评估多模态商品理解模型时，可构建类似“真实性-关联度”2×2 分类探针，检测模型是否轻信虚假但可能的上下文（如 PS 背景、误导性配文），提升可信度。
- 在 Agent 调用 VLM 进行多模态决策（如图文问答、商品审核）时，可将该探针作为安全检测环节，避免上下文注入攻击导致错误输出。
- 该工作的分类夹带条件设计（无上下文、随机上下文、矛盾上下文等）可直接复用，用于自制多模态评测集，量化模型对干扰的敏感度。
多模态内容稀疏表示学习增强冷启动物品推荐
🧭 稀疏表示学习 · 内容冷启动
Queen Mary University of London
用稀疏嵌入替代稠密向量，以更低存储成本显著提升内容冷启动推荐准确性
📌 工作参考价值（4 点）
- 冷启动物品直接用多模态内容（图片、文本）生成稀疏嵌入，无需交互历史，可无缝用于电商 / 广告新品推荐。
- 稀疏嵌入显著降低存储成本（大幅压缩向量维度），并支持高效近似近邻检索，适合大规模商品目录。
- 借鉴预稀疏化激活技术（基于线性注意力），可以增强物品间相似度的尖锐性和去噪效果，让稀疏表示更具判别力。
- 稀疏性天然利于可解释推荐：非零维度可对应具体内容语义，方便向广告主解释为何推荐该物品。
从模态到命题：以语言为中心的多模态统一框架
🧭 语言中心的多模态语义表示框架
NVIDIA · University of Ottawa
提出将任意模态数据表示为原子命题集合，通过全局语义码本实现可解释、可组合的跨模态理解与检索
📌 工作参考价值（4 点）
- 商品语义原子化：将商品的多模态信息（图文、视频）拆解为“材质:纯棉”“风格:通勤”“场景:办公室”等原子命题，构建可解释的商品语义空间，替代纯Embedding匹配，提升冷启动和可解释推荐。
- 结构化跨模态检索：在电商搜索中，用户自然语言查询可映射为原子命题集合，与商品的多模态命题袋进行精确匹配，支持“带兜风帽的羽绒服”类组合条件检索，解决传统向量检索难以处理的组合属性问题。
- 组合式推荐与解释：利用命题的布尔组合特性，进行复杂推荐逻辑（如“买过A+B的人还需要C”），并直接生成自然语言解释，适合作为推荐Agent的推理底座。
- 数据增强与冷启动：通过语义码本自动生成大量虚拟样本的命题表示，可用于新品类/缺样本场景的召回，避免对交互数据的强依赖。
Boogu-Image-0.1：开源统一多模态理解与生成模型
🧭 统一多模态理解与生成
通过数据/训练管线优化和Agent式推理扩展，在极低计算预算下实现逼近闭源的多模态生成性能
📌 工作参考价值（4 点）
- Agent式推理扩展用于线上服务：将推理时间计算量化为可控资源，通过增加推理步数提升生成质量，该范式可直接用于Agent推荐系统的多步决策、query生成等，在延时允许下动态扩展推理深度提升效果。
- 数据效率与成本控制：仅用2.08亿图片达到领先性能，训练成本压到40万美元。在推荐系统中，可借鉴其数据筛选、去重、质量过滤的流程，用小规模高质量多模态数据对齐用户偏好，降低数据采集成本。
- 多模态生成能力迁移至商品创意：模型支持高质量文本渲染和中文生成，可直接用于广告创意、商品海报、营销图片的自动生成，将生成式推荐从物品ID扩展到视觉内容创造。
- 开源与可重现性：提供全套训练代码与权重，推荐团队可基于此快速搭建企业级多模态生成服务，并融入检索增强或个性化微调，避免依赖黑盒API。
多模态强化学习中的奖励破解现象研究
🧭 多模态RL对齐奖励设计
Institute of Computing Technology, Chinese Academy of Sciences · University of California, Merced · Southeast University
揭示多模态RL中奖励信号不完美导致的系统性破解，提出NRFR指标并比较算法与奖励设计的影响
📌 工作参考价值（4 点）
- 奖励设计防破解：在电商/广告的生成式推荐或对话Agent的RL训练中，避免纯结局（outcome-only）奖励，应融入答案感知或过程奖励，防止模型钻空子（如生成表面合规但实际偏离用户意图的内容）。
- 引入可靠验证器：对于依赖多模态数据的任务（如商品图文描述生成），若用自动指标（如关键词命中）作为奖励，极易诱发破解；改用VLM-as-judge的语义验证能显著降低破解率，业务中可构建专用多模态评判模型。
- 算法选型与规模结合：GRPO在多数规模下抗破解能力最强，而DAPO从2B到8B提升明显，选择RL算法时需结合模型规模测试其稳健性，避免盲目追求奖励提升而忽视实际效果。
- 监控新失败率（NRFR）：业务上线RL策略时，可借鉴NRFR指标，专门追踪奖励提升但实际效果变差的样本比例，及时暴露对齐失败，防止线上指标虚高。
多模态遗忘：视觉、语言、视频与音频的综述
🧭 多模态遗忘 · 选择性去学习
University of Maryland, Baltimore County · University of Notre Dame · UNC Chapel Hill
系统梳理多模态遗忘的干预点、方法、数据集与基准，建立跨架构的统一分类体系
📌 工作参考价值（4 点）
- 电商/推荐系统中数据删除与模型矫正：若用多模态模型生成商品描述或推荐，当用户要求删除个人数据或平台需移除版权物料时，可借鉴参数高效遗忘方法（如 LoRA 适配器、梯度编辑），在不重训模型的前提下定向遗忘。
- 消除跨模态不良关联：在搜索推荐中，用联合图文表征可能产生性别、种族等偏见关联（如“医生→男”），可采用架构约束遗忘或解码时干预，切断特定跨模态联系，同时保留通用能力。
- 在线服务安全迭代：面对舆情或法规变化，需紧急屏蔽某类商品或内容，可利用训练时的“遗忘正则项”或数据侧屏蔽，快速使模型停止生成相关推荐，避免全量回退。
- 评估体系参考：综述整理了多模态遗忘的度量维度（遗忘强度、保留度、效率、可逆性、鲁棒性），从业者可据此设计离线验证指标，确保遗忘操作不影响推荐核心指标。
研究最后一公里自动化：从论文到海报、视频与博客的智能生成流水线
🧭 多技能 Agent 组合与内容生成流水线
Microsoft Research · National University of Singapore · Nanyang Technological University · Tsinghua University · Peking University
将论文自动转化为可编辑的海报、视频与博客，通过共享提取器和硬性渲染门控保证可用性
📌 工作参考价值（4 点）
- 共享上游解析器 + 可组合技能设计：在电商场景中，可以复用同一套商品/内容分析结果，分别生成商品标题、详情文案、广告短视频脚本和直播口播稿，避免重复调用大模型，降低延迟与成本。
- 硬性渲染门控保证产出可用：生成推荐理由或广告语时，可引入格式校验（如字数、必含关键词）作为硬性检查点，避免产生无法直接上线的空泛描述。
- 可编辑的中间产物：生成推荐文案、商品标题时输出PPTX或DOCX等可编辑格式，便于运营人员二次修改，而非一次性渲染，保留人工干预入口。
- 跨模态内容联动导航：灵感可用于商品详情页，点击不同卖点段落时自动跳转至对应的讲解视频片段、图片位置或用户评价，提升交互体验。
SocialPersona：多模态社交上下文个性化画像与应答基准
🧭 多模态用户理解与个性化评测 ★ 深度解读
Harbin Institute of Technology
从真实社交媒体时间线推断用户偏好并用于对话，暴露MLLM细粒度兴趣与时间推理严重不足
📌 工作参考价值（4 点）
- 从弱信号轨迹构建用户兴趣画像：可以从电商/内容平台的浏览、收藏、评论等多模态行为日志中，借鉴 SocialPersona 的半自动化流水线（单行为提取→跨行为聚合→时间衰减打分→LLM校准→人工抽检），低成本挖掘隐含的稳定与近期偏好，用于推荐与推送文案生成。
- 区分稳定兴趣与近期兴趣：推荐系统中可显式建模长、短期偏好，对“近期激活”的兴趣给更高时效权重，避免始终推荐过时内容，提升新鲜度。SOCIALPERSONA 的时间分箱和近期 90 天窗口设计可直接迁移为特征工程。
- 利用文本与视觉互补信号：实验显示文字提供主要偏好信号，图片描述补充隐式线索（如视觉场景、活动），两类模态叠加能使兴趣域激活 F1 从 0.503 升至 0.737。电商场景下可融合商品标题、评论文本和主图描述，提升用户兴趣识别的覆盖。
- 两阶段提取-摘要策略处理长序列：面对用户长期行为序列，可先提取关键交互（Top-K 代表性行为）再压缩为概要，既保留细粒度证据又缓解长上下文负担，比直接全量输入更利于强模型（如 GPT-5.4）提升 F1 至 0.375。
提问、求解、生成：基于自洽奖励的自我进化统一多模态理解与生成
🧭 自我进化 · 统一多模态理解与生成
Mohamed bin Zayed University of Artificial Intelligence · Aalto University · Australian National University · Linköping University
仅用无标签图像，通过内部提问-求解-生成的自洽信号同时提升多模态理解与生成能力的自进化框架
📌 工作参考价值（4 点）
- 无标注自训练范式：利用自洽奖励信号（问答一致性）微调多模态模型，大幅降低电商商品图文理解/生成任务的标注成本，适合海量未标注商品图片场景。
- 熵引导的难度课程：Solver Token Entropy（STE）可作为连续难度指标，在模型训练中实现自适应课程学习，优先选择信息量大的样本，提升训练效率与稳定性。
- 多尺度生成评估：组合问答保真度评分与循环一致性描述的内部评估方案，可迁移到商品图生成的质量自动评分，无需人工审核。
- 架构无关的设计模式：角色分解与奖励逻辑在不同生成架构（扩散/整流流/自回归）上即插即用，方便接入现有多种多模态模型底座。
面向多语言多图真实场景的虚假信息检测基准与持久记忆Agent
🧭 多模态虚假信息检测与Agent验证
Shanghai Jiaotong University · Shanghai Artificial Intelligence Laboratory · Tsinghua University · Central South University · China Electronics Technology Group Corporation 15th Research Institute
提出包含多语言多图基准和持久记忆Agent的验证框架，五类真实性判别最优且成本降低17.5–79.9%
📌 工作参考价值（4 点）
- 在广告/商品内容审核中，可借鉴 ReMMD-Agent 的“原子主张分解+证据集构建”策略，将多模态内容拆解为独立可验证点，并行收集证据，提升复杂虚假信息的检出效率。
- 持久记忆设计（reusable evidence set）可避免对同一证据重复搜索，适合需持续校验的大规模商品库或 UGC 内容，显著降低大模型 API 调用成本。
- 结构化输出 L1/L2/L3（真实性/失真类型/理由）可直接作为风控或搜索排序的中间特征，为推荐系统过滤低质或不实内容提供可解释信号。
- 多语言与交叉语言支持可直接应用于跨境电商场景，统一处理不同语言下的商品图文真实性验证，无需为每种语言单独开发模型。
Wan-Streamer v0.1：端到端实时交互基础模型
🧭 端到端多模态流式交互
Alibaba Group
首个原生流式、端到端全双工多模态交互模型，单Transformer统一语音/视频/文本，模型侧延迟200ms
📌 工作参考价值（4 点）
- 统一多模态 Transformer 架构可简化电商直播、虚拟客服等场景中的感知-决策-生成流水线，消除级联模块间的错误累积和调度延迟。
- 块因果注意力（block-causal attention）与 160ms 流式单元的设计可直接借鉴到需要低延迟增量推荐的场景（例如直播实时排序、流式反馈更新），保证推理的流式一致性。
- 全双工交互范式可启发对话式推荐 Agent：让 Agent 在用户说话/行动的同时并行准备响应，实现自然的“边听边想边说”，提升互动流畅度。
- 低延迟多模态令牌调度策略（audio/video/text token 交错编排）为构建实时多模态搜索与推荐系统提供了工程参考，减少端到端响应时间。
Popcorn：多模态电影推荐中视觉证据的可配置基准
🧭 多模态推荐 · 视觉证据基准
构建可配置基准，系统比较电影推荐中预告片、全片和海报三种视觉源的效果差异
📌 工作参考价值（4 点）
- 商品视觉源选择与评估：在电商推荐中，商品主图、视频、直播切片等视觉源同样存在语义差异与成本权衡，可借鉴Popcorn的模态装配与融合配置思路，系统对比不同视觉源对排序、覆盖度和多样性的影响，避免盲目替换。
- 利用VLM编码缩略图作为可扩展item特征：实验表明，基于缩略图的VLM特征在保持强推荐效果的同时具备极高可扩展性，适合大规模商品库；可直接将商品主图/广告图经VLM编码为item embedding，作为冷启动或富媒体特征。
- 融合策略与源不可互换的结论：推荐中预告片和全片效果不可简单替代，融合策略（如late fusion vs. side information）会明显改变指标；业务中多视觉源融合时需实验验证最优组合，而非假定等价。
- LLM增强元数据与基准设计：Popcorn将LLM生成的增强文本纳入统一配置，类似地为电商物品用LLM补充描述可提升内容信号；其“配置合约”统一拆分、评估的工程化思路可复用到内部推荐评测框架。
ClinSeekAgent：自动化多模态证据寻找的临床Agent推理框架
🧭 动态多模态证据寻找 · 轨迹蒸馏
UC Santa Cruz
提出动态多模态证据寻找Agent，可蒸馏轨迹至小模型，将被动证据消费转为主动获取
📌 工作参考价值（4 点）
- 主动证据获取回路：在推荐/电商场景中，可借鉴Agent主动调用搜索、商品知识库、用户画像等异构工具，动态收集信息并迭代优化判断，替代静态查询。
- 多模态工具集成：医学图像工具调用模式可迁移至多模态商品理解（图文视频），Agent自主决定何时调用图像分析API，提升决策丰富度。
- 轨迹蒸馏策略：将大模型Agent的高质量推理轨迹蒸馏到本地小模型，在保持部分效果的同时降低在线推理成本，适合电商高并发服务。
- 评测范式借鉴：构建“预选证据”与“自动寻找”对等基准，可复用于评估推荐系统从被动排序到主动信息检索的增益。
仅图像扰动的跨模态提示注入攻击大视觉语言模型
🧭 多模态模型安全与对抗攻击
Xidian University
首次实现仅通过图像扰动同时操控LVLM对视觉和文本输入的跨模态提示注入
📌 工作参考价值（4 点）
- 用于多模态推荐系统安全性测试：可借鉴跨模态攻击思路，验证模型是否容易被图像扰动误导，影响图文推荐的一致性。
- 扰动预算分配策略（距离语义区域越远，扰动越小）可用于视觉模型可解释性分析或对抗训练，提升推荐模型对噪声的鲁棒性。
- 层选择揭示多模态融合发生在模型中部，可指导多模态推荐模型的结构设计，将融合模块放在中间层而非最后一层。
- 隐藏状态空间优化思路可迁移到多模态Agent的对抗样本生成或鲁棒性增强训练中。
Res²CLIP：基于残差到残差对齐的少样本通用异常检测
🧭 多模态异常检测 · 残差对齐
Beihang University · University of Science and Technology Beijing · Beijing Jiaotong University
将多模态对齐完全移入统一残差空间，同时解决跨粒度不匹配与跨类别泛化退化问题
📌 工作参考价值（4 点）
- 对于电商商品的少样本缺陷检测，可直接沿用残差对齐思路：冻结 CLIP 主干，仅在残差空间中学习可训练的文本/视觉提示，避免辅助数据集导致类别偏差，实现对新品类的快速适应。
- 在跨模态推荐（如文本-图像搜索）中，可借鉴残差空间对齐的设计：让模型关注相对差异而非绝对特征，提升未见品类的泛化能力；可设计对称的残差桥接损失，强化图文匹配的判别性。
- 微调 CLIP 做下游任务时，将优化约束在残差域可减少灾难性遗忘，保护开集泛化能力；此 trick 可用于商品描述生成、多模态知识图谱构建等需要保持开放世界能力的场景。
- 方法中的“残差预归一化”和“残差对齐损失”可拆解复用：前端用预归一化抑制正常样本的细粒度差异，后端用均方误对齐让模型聚焦异常偏差，两者结合可提升少样本下的异常区分度。
LVLM词汇劫持：排除惰性token揭示关键注意力头以缓解幻觉
🧭 多模态大模型幻觉缓解
Harbin Institute of Technology (Shenzhen) · Huawei Technologies Co., Ltd. · The Hong Kong Polytechnic University · Nanyang Technological University
发现视觉token的词汇劫持现象，提出无训练注意力增强HAVAE，显著减轻LVLM幻觉
📌 工作参考价值（4 点）
- 电商多模态问答/商品描述生成场景，可借鉴 HAVAE 的无训练注意力干预方法，通过加权少数关键注意力头抑制幻觉，不增加推理延迟。
- 使用 logit lens 诊断模型注意力异常（如某个视觉 token 总是映射到相同的错误词）的思路可迁移到 LLM Agent 的行为审计，排查错误的感知模式。
- NHAR 指标提供了一种快速量化注意力头可靠性的方法，可用于 Agent 感知模块的 head pruning 或动态路由，在有限算力下保留最关键的视觉注意力单元。
- 论文强调的“Inert Token”分析提醒我们在多模态对齐时，图像中某些固定模式（如空白、边框）可能劫持注意力，这些 token 可在预处理阶段过滤或权重衰减。