视频生成背后：Kling 多模态理解的观察与洞察
🧭 多模态理解 · 视频生成可控性
从数据-条件-对齐-评估链剖析多模态理解如何提升可控视频生成质量
📌 工作参考价值（4 点）
- Captioning 作为语义契约：在电商多模态内容（商品图/短视频）理解中，可借鉴「描述密度最大化」思路，把 caption 从简单标签升级为细粒度语义描述，提升后续生成/匹配的上限。
- Prompt enhancement 的 RL 在环设计：将用户 query 翻译到高质量描述分布，用文本级 RL 和生成器在环 RL 迭代优化，可直接迁移到推荐系统的 query 改写、广告文案生成，避免只靠 LLM 静态改写。
- 候选从文本单独筛选：训练多模态生成模型前先用文本特征筛选候选，节省端到端训练成本；在商品短视频生成或创意素材筛选中，可先用文本描述打分快速过滤低质候选。
- 奖励模型解耦通用与决策：通用 reward model 做可解释局部批评，决策 reward model 做快速多维评分，可作为电商内容审核、素材优选的双层打分架构参考。
从碎片到融合：全模态嵌入综述与路线图
🧭 多模态嵌入统一框架与路线图
Ant Group · Shanghai Jiao Tong University · Australian National University · Tongji University · National University of Singapore
提出覆盖、可比、组合三能力框架与三条统一路径，系统梳理多模态嵌入研究
📌 工作参考价值（4 点）
- 在推荐/搜索中构建多模态商品或内容 embedding 时，先诊断系统在 3C 上的短板：是否覆盖了用户 query、商品图、描述、视频等所有输入？不同模态 embedding 是否真的可比（同空间）？若需组合属性（如“红色连衣裙”），仅靠对齐可能不足，应评估联合嵌入。
- 工程实现上可阶段式升级：若资源有限，先用 transformation 将表格、图等序列化为文本，复用现有 text encoder 快速上线；但要注意转换损失，适合冷启动和 MVP。
- 对比学习对齐双塔（如图文）存在 modality gap，导致跨模态检索的相似度分数不可直接比较；可在损失中加 gap 校准项，或后处理投影到同一子空间，提升图文一致性。
- 对 Agent 场景：当 LLM 需要理解混合输入（商品列表、图片、用户行为）时，优先使用联合嵌入模型而非分别编码再拼接，以保留组合语义，便于后续推理。
内在分布匹配
🧭 少步文生图蒸馏 · 矩匹配
Inclusion AI · Westlake University · Tsinghua University · Zhejiang University · Shanghai Innovation Institute
提出 IDM，在 DMD 中显式匹配生成器 EMA 特征的均值与逐坐标标准差，提升少步文生图长文本渲染
📌 工作参考价值（4 点）
- 少步生成中的细节保真：在商品图/广告创意生成中，可显式匹配生成器自身 EMA 特征的均值与标准差作为辅助损失，提升提示文本细节（如品牌文字、卖点、活动文案）的还原度。
- 不依赖外部特征编码器，使用生成器 EMA 特征做分布匹配，减少额外训练依赖和线上资源；适合业务侧快速蒸馏或微调文生图模型。
- LoRA 参数高效微调即可获得收益，适合在已有大模型基础上低成本迭代 AIGC 素材生成。
- 可借鉴其分解与消融思路：将分布差拆成高斯矩和非高斯残差，先约束可解释的低阶统计量，比盲目堆损失更可控，也可迁移到其他生成式任务。
用 JEPA 证明并改进柏拉图表征假说
🧭 多模态表示对齐 · JEPA 理论
Brown University · New York University · AMI Labs
证明基于“好视图”的 JEPA 可跨模态对齐表征，且比 next-token 高效 42 倍
📌 工作参考价值（4 点）
- 多模态商品/内容塔可尝试用 JEPA 式“同一商品/场景的两个视图”构造正对，替代或辅助 CLIP 式图文对比，降低对大规模成对数据的依赖。
- 正对质量优先于数据规模：在电商语料中构造标题 vs 属性描述、原图 vs 增强视图等 good views，可能以远小于 next-token 预训练的样本量获得跨模态对齐，节省训练成本。
- 文本塔单独自监督训练后仅需学习一个旋转矩阵即可实现图像-文本检索/文案生成，适合为商品图生成短描述或跨模态召回。
- 若业务中有不成对的图文/视频/行为数据，可借鉴其 pair-free 零样本评测思路，验证表征对齐是否足够支撑下游任务。
Youtu-Parsing-Omni：单编码器、统一模式的全模态解析
🧭 全模态文档解析 · 统一 schema 与自进化训练
Tencent Youtu
提出一个编码器与统一 schema 的全模态解析器，将文档、图像、音频、视频解析为带时空定位的结构化记录
📌 工作参考价值（4 点）
- 统一 token-role schema 可减少多任务解析头：在电商内容理解中，商品主图、详情页、短视频封面、直播切片往往需要多套解析模型。将不同任务输出统一为带角色标签的 token 序列（如文本、坐标、时间戳），能让 Agent 直接读取并定位证据，降低格式转换和后期拼装成本。
- OSAD 自进化蒸馏适合标注稀缺场景：电商属性抽取、广告素材审核等场景标注成本高、数据漂移快。可先用少量种子数据训练，再用自身 rollout 与参考条件副本做 token 级蒸馏，迭代刷新参考模型，形成“模型生成—自我蒸馏—权重刷新”闭环，减少对新增人工标注的依赖。
- 用预训练 LLM 初始化编码器并共享权重：对于强文本感知需求的任务，如海报 OCR、商品标题识别、价格标签读取，LLM 初始化的编码器能显著提升文本阅读能力。可将现有多模态编码器的文本分支替换为 LLM 初始化，并让各模态共享权重以压缩参数量。
- 视频帧关注并发音频的融合层：在直播切片或口播视频理解中，将音频作为并发信号引入帧特征融合，能改善时序定位和证据引用。对于商品讲解视频，可更准确地定位口播内容对应的画面片段，为后续推荐理由生成或广告素材自动剪辑提供结构化输入。
EmbeddingGemma 2：统一高效多模态表征模型
🧭 多模态统一 embedding · 蒸馏与对比学习 ★ 深度解读
Google DeepMind · Google
744M 多模态 embedding 模型，以多阶段课程训练在文本/视觉/音频基准上达到新 Pareto 前沿，支持量化与截断部署
📌 工作参考价值（4 点）
- 统一商品多模态表示：图/文/视频/音频 natively 编码，适合电商搜索/推荐中的跨模态召回（如图搜商品、视频理解），避免先 ASR/OCR 再文本 embedding 的管线损失。
- 训练 recipe：先纯文本预微调（蒸馏）再多模态预微调（蒸馏），最后用对比 + spread-out + MRL 微调；加入 same-tower negatives 和 Plackett-Luce listwise loss，有利于排序/检索任务。
- 工程部署：用可调 vision token budget（70-1120）和 MRL 截断维度（768/512/256/128）做资源-质量 trade-off；QAT 后 int4 量化在手机上 <600MB，可在端侧实时出 embedding。
- 消融结论：多模态任务上 trainable vision encoder 比 frozen 大幅提升（MMEB-v2 52.27 vs 48.18）；native audio 比 ASR 提升 MSEB 69.54 vs 57.59，建议直接编码原始音频而非转写。
PreView：通过预处理视图和提示增强 GUI 定位
🧭 GUI 视觉定位 · 输入预处理增强冻结模型
Independent Researcher
提出轻量辅助预处理器 PreView，为冻结 GUI 定位模型生成局部放大视图与候选特定视觉/文本提示，无需微调提升定位准确率。
📌 工作参考价值（4 点）
- 在电商/广告领域的 Agent 自动化（如 RPA、后台操作、广告审核）中，面对高分辨率复杂界面，可借鉴 PreView 的轻量辅助模型预测候选中心、裁剪放大局部视图，显著降低 VLM 输入分辨率和 token 成本，同时提升小控件点击准确率。
- 候选特定 cue 设计可直接复用：用红圈标记 + 位置提示（如“在左上角附近”）作为视觉 cue，结合候选身份/功能的简短文本描述（如“这是一个‘立即购买’按钮”），消除多控件密集布局下的歧义，这对商品详情页、广告落地页元素定位与合规检测尤其有用。
- 冻结主干模型、仅训练轻量预处理模块的范式适合业务快速迭代：无需重训或微调现有 VLM/grounding 模型，可快速适配不同界面风格和业务场景；中心细化机制可借鉴为 coarse-to-fine 定位策略。
- 注意视觉输入预算管理：论文分析了视觉输入 budgets，启示在部署时可根据目标控件数量动态调整裁剪视图数量与分辨率，平衡准确率与推理成本。
多模态大模型检索头的拓展与优化
🧭 多模态检索头机制与注意力优化
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Tencent
发现检索头在多模态模型中保持稀疏且跨模态共享，通过排序目标训练注意力可提升文档检索 Recall@1 6.03 点
📌 工作参考价值（4 点）
- 在电商多模态商品理解中，可先定位模型的 retrieval heads（稀疏注意力头），针对性地做剪枝或稀疏推理加速，同时保留跨模态共享的不足 2% 的关键头，避免文档理解、空间感知等能力下降。
- 借鉴 ranking objective 训练特定注意力头的方法：构造正负证据对，只对检索头的注意力分布施加排序损失，配合文档 / 商品召回任务做轻量微调，可提升 MMDocIR 等文档检索的 Recall@1。
- 多模态模型中音频和视觉证据共享检索头，说明跨模态对齐可在注意力头层面实现，电商短视频、直播等音视频带货场景可复用此机制设计统一的召回模型，减少模态间冗余。
- 消融实验显示跨模态共享的极少数头部影响多项能力，部署时可通过冻结这些头部或提高其权重稳定性，保障线上模型在多任务下的鲁棒性。
OACap：字幕引导主动观察的详细视频字幕生成方法
🧭 多模态 Agent 主动信息获取
Ant Group · Zhejiang University · Peking University
提出字幕中心 Agent OACap，将字幕信息缺口转为定向观察请求，迭代验证提升视频字幕质量
📌 工作参考价值（4 点）
- 在生成式推荐、商品文案、详情页摘要中，把生成结果当作可检验假设，自动检测信息缺口（遗漏关键属性、无支持断言），通过结构化工具（商品库、知识图谱、用户行为 API）补证，降低幻觉。
- 借鉴 revision gap 与 observation gap 的分级：先基于已有上下文修订，只有确实缺证据时才触发昂贵工具调用，适合高成本 LLM 场景；在电商直播切片或短视频理解中可裁剪关键帧/区域做 OCR 或密集采样。
- 事实性评估指标可复用：用 claim precision + importance-aware fact coverage 评估商品描述/搜索摘要是否覆盖关键卖点且不编造；通过原子事实往返匹配衡量语义保持，替代单一文本相似度。
- 迭代验证-修订的工作流可嵌入推荐理由生成、query 推荐解释等 Agent 流程，形成证据闭环。
WeVisOne-VL：从物体到像素的统一视觉感知模型
🧭 统一目标级与像素级视觉感知
WeChat Vision, Tencent Inc.
用结构化 next-token 预测统一目标级与像素级视觉感知，支持检测、定位、分割与抠图
📌 工作参考价值（4 点）
- 电商商品图片理解：可把商品主体检测、属性定位、mask 生成、OCR 统一到一个 VLM，减少多模型串联；用结构化文本输出 boxes/masks，便于接入 Agent 工具调用。
- <OBJ> token + 轻量 pixel decoder 的思路可迁移：在业务多模态模型中加一个特殊 token 表示实例，让 LLM 主干输出语义信息、pixel decoder 输出像素级结果，实现“语义理解+定位”同架构。
- 针对缺货/不存在的对象做 robust rejection 值得借鉴：商品图或广告素材中检测用户 query 指向对象缺失时直接拒绝，可降低下游误匹配。
- 训练上采用三阶段 curriculum SFT + mixed-task RL 的策略，适合多任务视觉-语言模型在电商场景做稳定训练。
广义 CycleGRPO：面向细粒度多模态理解与定位的统一强化学习框架
🧭 多模态强化学习 · 区域-文本循环一致性
NUS · UCAS · NTU
以区域-文本循环一致性作为可验证奖励，统一图像/视频细粒度理解与定位的RL框架
📌 工作参考价值（4 点）
- 在电商多模态商品理解中，可将「图像区域 → 文本描述 → 再定位回区域」作为无人工标注、无外部 LLM judge 的循环一致性奖励，用 gIoU/mask overlap 做可验证信号，低成本训练区域级属性识别（如商品局部卖点、材质、Logo）。
- 视频广告/直播切片场景可借鉴 temporal cycle 与 DOVE 的对比评估思路：训练模型对目标片段生成能区分相似重复片段的描述，提升“哪个时刻出现什么卖点”的定位与文案生成一致性。
- 工程实现上，统一 spatial/temporal/spatio-temporal region-space 表示，使同一套 GRPO 奖励逻辑适配框、mask、时间区间和时空证据，适合多模态搜索/推荐团队整合多种区域标注；无需外部 judge、奖励可验证，降低 RLHF 成本。
- 业务可借鉴有限：该方法面向视觉 grounding 任务，不直接改变推荐排序或用户建模；但可作为商品视觉理解底座，为后续生成式推荐、多模态检索提供更细粒度的对齐特征。
Qwen-Audio-3.1-ASR 技术报告
🧭 音频语言模型 · ASR 与说话人分离
Alibaba Token Foundry, Alibaba Group
在 Qwen-Audio-3.0-ASR 基础上扩展说话人分离与通用音频理解，覆盖多语言、多方言及流式/非流式部署
📌 工作参考价值（4 点）
- 统一音频语言模型可替代「ASR + 说话人分离 + 音频事件检测」多系统拼接，适合电商直播、客服会话等需结构化语音理解的场景；其输出 speaker labels + timestamps + text 可直接用于下游 Agent 做意图识别、摘要或推荐线索提取。
- 指令可控的历史上下文、分层热词定制、原生转录润色，对电商/搜索领域专有名词（品牌、商品名、黑话）识别有直接借鉴：把行业词表分层注入 ASR，可显著降低专有词错误率。
- 异步文件、低延迟流式、交互语音输入、非流式等变体展示了「按延迟/成本选择不同模型」的工程思路，适合在语音购物助手、实时直播字幕、离线质检等业务中做差异化部署。
- 说话人分离与重叠语音处理能力可用于多人客服对话、直播连麦分析，为后续推荐/搜索的用户建模提供更干净、带说话人标识的文本特征。
时间序列推理的互补视觉表示
🧭 多模态时序表示 · 互补视图融合
Ben-Gurion University · Google
用线图与归一化延迟嵌入两种互补视觉视图训练视觉-语言时序模型，显著提升推理精度
📌 工作参考价值（4 点）
- 在电商销量预测、广告投放趋势分析等场景，若用 VLM/LLM 做时序问答或归因，避免只给单一线图或数值序列；同时输入原始线图（保留绝对量纲）与归一化延迟嵌入图（突出形态、去量纲偏移），让模型兼顾绝对峰值和形状相似性。
- 借鉴多级特征融合：时序视觉编码时，不只把最终 patch token 接入 LLM，可把中间层特征也作为 visual token 融合，保留更细粒度时间模式，适合流量、GMV 曲线等复杂信号。
- 对跨商品/类目趋势比较，先做幅度/偏移不变表示（如归一化延迟嵌入），可降低不同 scale 带来的过拟合，提升 cross-domain 泛化。
- 工程上可直接复用 Qwen-VL 系列：把原始 line plot 和 normalized delay embedding 渲染成两张图输入，无需重新设计数值 tokenizer，改造成本低但可能带来明显提升。
ZoomCap：证据路由的视觉缩放实现可恢复视觉信息传递
🧭 视觉caption生成与事实评估
Ant Group · Zhejiang University
用草稿路由、自适应缩放和 FactCycle 事实校验生成高密度图像描述，提升 VLM 训练效果
📌 工作参考价值（4 点）
- 借鉴“草稿—缺口恢复—定向补充”策略：在商品图文描述或广告素材理解中，先快速生成初稿，再针对 OCR 密集区域（成分表、注意事项、小标签）和覆盖缺口进行局部放大与二次采集，提升细节覆盖率与可信度。
- 借鉴 FactCycle 事实锚定评估：将生成文案/卖点拆成原子事实，用源商品图和生成图重建做盲评，分离幻觉（虚假宣称）与模型表达能力问题；可用于广告审核、商品描述合规与真实性检查。
- 自适应缩放只对复杂区域分配高分辨率计算，适合处理商品图多尺度信息（瓶身文字、包装细节、模特配饰），控制推理成本；可结合检测器先定位复杂度，再分档裁剪。
- 数据飞轮效果表明，高质量细粒度描述预训练能显著提升下游文档 OCR、感知和医疗 VQA 分数，建议为电商多模态模型构建类似“证据路由”生成的高密度描述数据集，用于持续预训练。
CommerceGen-Studio：电商 SKU 主图端到端生成框架
🧭 多模态电商主图生成 · Agent+RL+蒸馏 ★ 深度解读
Alibaba Group · Taobao App · AI-Native Applications Group
三段式 SKU 主图生成框架：PERL-Agent 提炼卖点、Layout Thinker 优化布局、SKU-DiT 多条件保真生成，已支撑每日百万级生产
📌 工作参考价值（4 点）
- PERL-Agent 的闭环提炼模式可直接迁移到电商文案/标题/搜索词生成：用 VLM+LLM 四角色（生成-评判-归因-改写）处理多源元数据冲突，六维 reference-free rubric 优化最差维度而非均值，支持按失败维度单点修改 prompt 并回滚到历史好版本。业务上可避免按类目写规则，也能定位 bad case 根因。
- Layout Thinker Optimization 的做法值得 Agent 系统借鉴：在结构化 TextList 和最终生成器之间插入显式布局改写层，SFT 后做双域 GRPO——文本奖励直接评 caption，图像奖励冻结下游 SKU-DiT 渲染后评图，每次只激活一个奖励域避免梯度冲突。这样能缩小上游语义和下游生成之间的 gap，而不是让生成器自己隐式规划。
- RDR 训练策略对模型加速很有参考价值：先 RL 对齐偏好，再用 DMD2 变体做少步蒸馏（靠近干净端点随机停止、商标域 3:1 混合、对抗训练），最后对少步学生再做一轮 RL 恢复高频细节。注意 RL 阶段用 LoRA 限制更新范围，防止奖励优化把底座能力带偏。
- 多条件输入设计可复用于电商 AIGC 管线：白底商品图 + 商标 crop + 结构化布局 caption 联合输入，把主体保真、logo 完整性、文字准确度显式拆成条件，并在 reward 中加入 OCR penalty，比单一 prompt 更能满足可发布要求。
CoWorld Reasoner：以可进化视频世界模型工具链驱动智能体多模态推理
🧭 Agent 多模态推理 · VWM 工具进化
The Hong Kong Polytechnic University · Hangzhou Diagens Biotechnology Co., Ltd
Agentic 框架将视频世界模型作为统一视觉推理引擎，通过可进化 tool/skill 动态生成视觉证据，多基准相对提升 11.8%–13.0%
📌 工作参考价值（4 点）
- 在电商多模态商品理解中，可借鉴「视觉想象作为额外证据」范式：对只有单图/短视频的商品，用世界模型生成多角度、场景变化或使用过程片段，作为 VLM 推理补充输入，降低对完整 3D/视频采集的依赖。
- 采用「工具 + 技能」双层 harness 控制生成行为：把生成模型封装为多个视觉操作工具（如视角合成、时序补全），用结构化 skill 描述指导 LLM 决定是否/何时/如何生成，避免固定 pipeline 只做单一想象形式，适配标题生成、详情页卖点抽取等多任务。
- VLM-VWM Harness Co-Evolution 的思路可直接迁移到推荐 Agent 的 tool/prompt 迭代：记录执行失败/低质量输出，用反馈让 LLM 修订工具描述、技能文档和调用代码；模型权重冻结，可以低成本持续优化线上 Agent 的视觉工具链。
- 在搜索/推荐多模态评测中，该方法提示：对需要时空/因果推理的任务，单纯 VLM 直接推理不足，应加入生成型证据接入和 agentic 调用框架；业务中可先在商品视频问答、用户上传视频审核等任务上试点世界模型辅助取证。
困在洗牌中：视觉-语言模型的属性-物体绑定研究
🧭 多模态检索 · 属性-物体绑定
OriginAI · NVIDIA · Tel Aviv University
提出 SABER 基准评估属性-物体绑定，并证明仅用合成文本微调 MLLM embedder 可跨模态迁移提升检索
📌 工作参考价值（4 点）
- 电商多模态商品检索常因属性错配翻车：例如“红色棉质连衣裙”匹配到“红色连衣裙但棉质衬衫”。可借鉴 SABER 的硬负样本构造方式，在训练或评测中显式交换属性-物体，增强 embedding 对“哪个属性属于哪个物体”的判别力。
- 合成文本监督方案对业务很友好：不需要昂贵的人工图像标注，用文本模板批量生成组合绑定正负样本（如“红色鞋子和蓝色帽子” vs “蓝色鞋子和红色帽子”），对现有 MLLM embedder 做 LoRA 微调即可，训练成本低，且论文显示能迁移到图文检索和图像-图像检索。
- 工程上可采用“冻结 backbone + 训练 LoRA adapters”的增量部署方式，在不破坏现有多模态嵌入模型通用能力的前提下，提升对属性组合、否定语义和实例级检索的鲁棒性，适合电商搜索、广告召回等对精准匹配要求高的场景。
- 评估侧建议引入组合绑定专项 benchmark：在 query 改写、多条件召回、商品推荐等环节，测试“属性错拼”和“多物体组合互换”两类 hard cases，避免只看整体 Recall/MRR 掩盖的绑定失败。
生成侧知多少：解锁统一多模态模型中的细粒度理解
🧭 多模态生成与理解协同
Zhejiang University · The University of Hong Kong · The Chinese University of Hong Kong, Shenzhen · Shenzhen Loop Area Institute
揭示统一多模态模型中生成侧表示对细粒度视觉理解的互补价值，提出 GAFU 框架压缩生成侧表示为 G tokens 供理解通路检索，显著提升细粒度任务性能
📌 工作参考价值（4 点）
- 在电商多模态商品理解中，可尝试提取统一多模态模型生成侧（如扩散前向或自回归解码中间层）的视觉表示，与理解侧表示融合或作为额外特征，改善商品颜色、材质、局部属性等细粒度识别；尤其适合对图像细微差异敏感的场景。
- GAFU 将生成侧视觉表示压缩为少量 G tokens 再供理解通路做 task-conditioned retrieval，这一思路可借鉴到多模态特征工程：用可学习压缩 token 保留关键细节，降低计算开销，并支持按任务动态选取相关特征。
- 实验表明生成侧表示对细粒度语义变化更敏感且能捕获理解侧遗漏的变化，说明在搜索/推荐的多模态相关性排序中，可引入生成侧表示作为辅助信号，尤其在 title/图片差异、spatial relation 等需要精细匹配的任务上可能带来增益。
- 该工作采用后训练（post-training）方式而非重新预训练，适合在已有模型基础上低成本注入细粒度理解能力，对业务中多模态模型升级有一定参考。
混合模态检索中的模态偏好与 Trident 去偏训练
🧭 多模态检索 · 模态偏好纠偏
University of the Chinese Academy of Sciences · Northeastern University · Tsinghua University · Nanjing University
发现文本高分偏置导致无关文本压制相关图像，提出多正视角 Trident 联合优化相关性判别与视角平衡，提升混合模态检索鲁棒性
📌 工作参考价值（3 点）
- 电商/广告多模态商品库常混有文本和图片，可用「文本/图像/融合视图」构造等权正样本，采用 Multi-Positive View InfoNCE 抑制文本高分偏置，避免无关文本商品挤掉相关图片商品。
- 上线前应做模态组成消融：当图片文档被语义对应文本逐步替换时若出现 V 型曲线，说明模型对混合模态敏感；需重点增加文本对抗负例或平衡文本相似度尺度。
- 对图片文档补充语义等同的文本视图，并把 fused text-image 作为协同正样本训练，能同时提升混合模态与单模态平均检索，适合复用到多模态 RAG/搜索召回或精排。
SignRAG：面向无标注手语翻译的统一检索增强框架
🧭 手语多模态翻译 · RAG 与强化微调
Macau University of Science and Technology · University of Macau · Institute of Automation, Chinese Academy of Sciences · Yale University · VIVO AI Lab
提出SignRAG，结合分层预训练、目标域检索增强与检索效用强化微调，首次在CSL-Daily全指标超越基于标注的手语翻译方法
📌 工作参考价值（4 点）
- 将“目标域检索库”视为业务内高质量少样本池：为特定商品类目或活动页建立小型 retrieval gallery，推理时注入 top-k 实例，可减少全量参数微调成本。
- RUG-RFT 的“检索效用奖励”值得迁移：用质量+效用双 reward 训练模型分辨哪些检索结果是正/负干扰，可用于推荐解释生成、Agent 工具调用路径选择等场景。
- 分层对齐思路可复用：先学习视觉/文本模态对齐，再与 LLM 联合训练，能缓解跨模态优化不平衡；在多模态商品表示接 LLM 时可参考。
- 无 gloss 超越有监督结果说明：检索增强+弱监督可能替代昂贵结构化标注，在商品属性补全、Query 改写等任务中可尝试。
VisionWeave：为多模态大模型原生编织弹性视觉表征
🧭 多模态 LLM 视觉 token 弹性压缩
University of Science and Technology of China · Alibaba Token Hub, Alibaba Group · The Chinese University of Hong Kong · Zhejiang University
提出 VisionWeave，通过 gated spatial pooler 与 granularity router 实现内容自适应视觉 token 压缩，节省 43% token 保持 98.9% 性能
📌 工作参考价值（4 点）
- 多模态商品/广告素材理解中，图片与视频区域信息密度不均，可借鉴 VisionWeave 的内容自适应 token 分配：对背景/空白用 coarse-grained 池化，关键商品区域保留 fine-grained，降低推理成本同时保持识别精度。
- 采用 gated spatial pooler + granularity router 两阶段设计，让模型学习“哪里需要细看、哪里可以粗看”，共享 MRoPE 坐标无需改动位置编码，方便集成到现有视觉 Backbone 和 Serving 框架。
- 使用 self-distillation 训练弹性表示能力，不依赖人工标注 token 重要性，适合业务数据标签稀疏；虽然训练成本高（30K A100 GPU-hours），但推理端吞吐提升 2.3x、TTFT/TPOT 大降，对在线多模态推荐/Agent 服务有直接价值。
- 工程上可复用开源的 SGLang 集成，注意变长 token 输入对批处理与 KV cache 管理的影响，适配电商多图/视频场景可显著提升 GPU 利用率与响应速度。
GeoLatent：几何引导的隐空间结构化与路由优化用于 3D 推理
🧭 VLM 3D 推理 · 几何隐变量结构化
Tongji University · The Hong Kong Polytechnic University
通过 Common-Residual 几何对齐和路由优化，解决 3D 推理中几何 latent 坍塌与欠使用问题，在 SPAR-Bench 和 SPBench 上达 SOTA
📌 工作参考价值（4 点）
- 连续隐变量可替代文本 token 描述连续空间关系，适合建模价格区间、距离、角度等连续属性；在电商推荐中可尝试用 latent 表示用户-物品的相对偏好（如价格敏感度、类目距离），避免离散化信息损失。
- 路由优化策略值得借鉴：训练时先强制主任务经过某个 bottleneck latent（如商品知识图谱嵌入、用户状态向量），再逐步恢复 direct path，能显著提升 latent 的实际利用率，防止被旁路。
- 用 effective rank 监控 latent 表征多样性，可检测推荐模型中的表征坍塌；当 rank 接近 1 时，说明隐变量没有捕获多维度信息，需加正则或对齐损失。
- 将共享与残差几何对齐分离，可迁移到多信号建模：把公共信息和任务特有信息解耦，避免主导信号（如点击）压制稀疏但重要的信号（如转化）。
从图像到任务：刻画多模态LLM真实交互
🧭 多模态LLM真实任务分布分析
University of Southern California · Microsoft · Microsoft Research
分析4万+图像上传对话，揭示多模态LLM真实任务分布及基准错位
📌 工作参考价值（4 点）
- 用户上传图像的意图通常是复合的，如商品图+文字需求（找相似、鉴别、搭配建议），应在多模态助手中构建复合意图理解，而非单一分类。
- 借鉴其分层能力框架（感知/认知/生成）作为埋点与监控维度，在拍照搜索或多模态客服中统计任务分布，指导模型迭代和资源分配。
- 真实使用中生成类任务（根据图片生成文案、表格、代码）占比较高但公开基准覆盖不足，业务上应自建生成质量评测集，避免依赖通用 benchmark。
- 跨模态 grounding 任务（如截图提取数据、图表转代码）在真实场景常见，可针对性加强 OCR+结构化理解+生成的能力链路。
Omni-Embed-Mini：通过稠密蒸馏绑定模态而不遗忘
🧭 多模态嵌入蒸馏与对齐
Mohamed Bin Zayed University of Artificial Intelligence
0.9B 参数多模态嵌入模型，冻结文本塔、用稠密 caption 自身嵌入作教师，在不退化文本检索下对齐六模态
📌 工作参考价值（5 点）
- 多模态向量召回：把商品图片、视频、ASR 文案、详情页等映射到同一余弦空间，可实现自然语言 query 直接检索图片/视频/富文档，直接用于电商搜索、广告创意匹配、内容推荐。
- 冻结文本塔防退化：现有文本 embedding 服务（如商品描述召回）扩展多模态时，可完全冻结文本编码器，只对非文本模态编码器加轻量 projector 和 phased LoRA，避免线上文本检索指标下滑，工程上更安全。
- 用稠密 caption 做教师信号：用多模态 LLM 离线为图片/视频/音频批量生成 dense caption，再以文本塔 embed caption 作为学生对齐目标，无需单独训练教师模型，成本低且几何空间天然一致。
- 在线混合 hard negative miner：随着 encoder 更新逐步 sharpen 负样本，可结合 ANN 检索召回困难负样本，提升对比学习区分度，适合电商多模态检索中的难例挖掘。
- 0.9B 小模型即可覆盖六模态，2.3B 变体接近闭源 gemini-embedding-2，适合业务落地部署。
OneStreamer：统一流式视频交互中的感知、记忆与主动响应
🧭 流式视频LLM主动记忆与响应
NJU · PJLAB · JD · SJTU · USTC
通过共享主动生成过程联合学习证据记录与任务响应，形成可复用事实记忆且不牺牲实时感知
📌 工作参考价值（4 点）
- 实时用户行为流中的记忆机制：可借鉴 PHCM 思路，让 LLM 在用户会话中持续生成结构化摘要（如兴趣点、关键事件），作为可复用记忆补充最近窗口的原始行为，无需回溯全部历史即可回答后续 query 或做动态推荐。
- 状态监督稀疏化：PSTL 只对状态变化和状态持续的代表性 token 施加监督，减少重复无动作状态的负样本主导，适合序列推荐中的用户状态建模，降低标注成本并提升训练效率。
- 流式数据合成：该论文的数据合成管道强调输出内容与时序必须与当前可用证据对齐，避免信息泄露；在搜索推荐 Agent 的模拟数据生成中同样重要，确保生成样本符合在线实时约束。
- 主动生成作为统一接口：将感知、记忆和响应整合到同一个生成任务中，可指导设计电商 Agent，使模型在浏览/对话过程中持续产生可复用的中间记录（意图、属性），服务于后续推荐和问答。
Where-OPD：合成场景下空间引导的 MLLM 在线自蒸馏
🧭 多模态自蒸馏 · 空间感知提升
Valeo.ai · Sorbonne Université, CNRS, ISIR · Institut universitaire de France (IUF) · ILLS, CNRS, Montreal
提出用文本空间引导作为特权信息，通过在线策略自蒸馏提升 MLLM 空间感知，合成训练可迁移真实基准
📌 工作参考价值（4 点）
- 电商/商品视觉问答：可用程序化生成商品布局图、货架图或广告素材，自动获得物体身份与坐标，构造带空间提示（如『在 (x,y) 附近发现绿色标签』）的 QA 数据做自蒸馏，提升模型对商品计数、空间关系（前后/遮挡/相邻）和属性识别，无需人工标注。
- 文档/图表理解：对详情页、数据报表、广告资质图生成合成文档并注入 layout 坐标信息，蒸馏出能定位关键区域并整合多区域证据的学生模型，可用于 RAG 中的视觉证据定位、广告合规审核和图表指标抽取。
- 推理成本不增加：教师仅在训练时使用空间 hint，学生推理时只依赖图像和问题，适合与 LoRA/Adapter 结合部署；且 on-policy self-distillation 无需外部大模型或人工标注，工程接入成本低。
- 合成到真实迁移结论：该工作验证了合成场景训练可提升真实感知基准（平均 +3.23 点），可作为低成本增强长尾视觉任务（如稀有商品、复杂陈列）的先验，但需注意合成场景的分布覆盖范围。
在推理时强化视频LLM的时序表示
🧭 视频LLM时序推理的推理时激活注入
Korea Advanced Institute of Science and Technology (KAIST)
发现时序信息在中间层达到峰值后逐渐消失，提出无需训练的 Temporal Activation Injection (TAI) 在推理时注入激活以强化时序推理
📌 工作参考价值（3 点）
- 在电商/内容平台使用 VideoLLM 做商品视频、直播切片、短视频广告素材理解时，可直接在推理阶段集成 TAI（无需训练），提升对时间顺序类问题的回答准确率，如“主播先展示哪款商品后再讲解优惠”、“使用步骤的先后”等；对非时序任务几乎无副作用，适合即插即用。
- TAI 的核心是层间时序分歧曲线的测量与衰减补偿，这一诊断思路可迁移到多模态 LLM 的推荐场景：对商品属性、价格、款式等特定信息做层间表示分析，定位表达该信息的关键层，为后续推理时干预、提示设计或模型裁剪提供依据。
- 在 Agent 工作流中若包含视频理解子模块，TAI 仅增加一次前向的激活注入，工程实现简单、延迟开销小；可复用其从分歧向量峰值处提取信号并沿层衰减回注的做法，作为强化特定模态/时序能力的通用推理时增强手段。
多模态流：嵌入空间中语言与视觉的统一流建模
🧭 多模态统一连续生成 · Flow Matching
Huazhong University of Science and Technology · Beijing Jiaotong University · Horizon Robotics
提出全连续多模态生成模型，用流匹配在连续嵌入空间统一语言和视觉，避免离散量化瓶颈
📌 工作参考价值（4 点）
- 连续 embedding 流建模可以替代离散 token，用于商品多模态统一表征，减少视觉量化损失；在生成式推荐中可尝试用连续流匹配生成 item embedding 或 Semantic ID 的替代表示。
- chunk-causal 骨干同时保留文本顺序和图像空间结构，适合电商商品标题、详情图等混合模态的联合建模；训练时并行预测多 target chunks，推理顺序生成 hyperchunks，可加速序列化商品描述生成。
- 共享联合注意力 + 模态特定 FFN 的架构，可作为商品图文融合模块：不同模态保持专门前馈处理，同时通过注意力做跨模态交互，比简单拼接更灵活。
- 在小数据预算下持续预训练仍能提升多模态能力，说明该连续建模范式的数据效率较高，对业务中数据量有限的场景有参考价值。
MG-Thinker：多图像推理定位的双轴自反思框架
🧭 多模态推理定位 · RL 后训练
Huazhong University of Science and Technology · Tsinghua University
提出MG-Thinker后训练RL框架，通过层次化推理与双轴优势分解提升多图像推理定位性能
📌 工作参考价值（4 点）
- BiA-DAPO 优势分解可借鉴到多任务/多场景推荐 RL 训练：将 rollout 优势沿组内信号轴和组间能力轴分解，能缓解不同任务难度、不同用户群体样本分布异质带来的优势估计偏差，适合电商推荐中不同品类、不同活跃度用户的差异化建模。
- 任务自适应 CoT 可迁移到 Agent 规划与复杂查询理解：根据任务难度动态调整思维链粒度——简单 query 直接生成、复杂 query 多步推理，能节省 token 并提升推理效率，可用于搜索广告中的 query 改写或商品推荐理由生成。
- 候选池稳定组级统计的方法值得工程实现借鉴：在 RL 训练中维护候选池以获得稳定的组级统计量，可迁移到推荐模型的在线学习或 A/B 测试分桶中，减少小样本波动对策略更新的影响。
- 层次化推理范式可复用于多模态商品理解：从粗到细定位（先全局场景后局部细节）的思路，适合电商中多角度商品图、视频帧的细粒度视觉定位任务，如自动识别商品瑕疵或关键属性区域。
纠正即预测：多模态属性值抽取的伪值校正
🧭 多模态商品属性抽取 · 伪值校正 ★ 深度解读
Alibaba International Digital Commerce Group
将多模态属性值抽取重构为伪值纠正任务，训练时混合检索伪值与占位符，推理用固定占位符实现免检索单次预测
📌 工作参考价值（4 点）
- 把分类/抽取任务改造成“伪值纠正”范式：训练时给模型一个可纠正的初始假设（检索候选或占位符），让模型依据多模态证据决定保留还是纠正，而不是直接生成。这比直接生成更能逼出细粒度证据校验，适合属性补全、商品理解、意图分类等电商任务。
- 检索增强避坑：不要将检索候选当 RAG 上下文拼接，而是作为待验证的 pseudo-value 放进 prompt 让模型纠正。这样可以减少输入 token（本文 233 vs 585），提升 QPS（4.77 vs 1.45），并对检索错误更鲁棒；在搜索推荐场景中，对 query 分类、类目预测也可以借鉴。
- 用 Self-Consistency Refinement 做扰动样本挖掘：对同一输入换多个伪值看预测是否变化，不一致样本加入第二阶段微调。这种针对“输入扰动不稳定”的信号比通用困难样本更有效，可以迁移到 prompt/上下文敏感任务的稳健性训练。
- 部署设计采用“训练复杂、推理简单”：训练时用检索伪值学到修正行为，推理只需固定占位符触发，免在线检索和迭代 refine，保持接近直接生成的吞吐，适合大流量生产系统。
源条件中继引导缓解音视频大语言模型幻觉
🧭 多模态LLM幻觉缓解 · 训练免干预
Harbin Institute of Technology, Shenzhen · Peng Cheng Laboratory, Shenzhen · Fudan University
提出训练免方法SECRET，通过源条件中继引导抑制跨模态干扰，缓解AVLLM源混淆接地幻觉
📌 工作参考价值（4 点）
- 训练免的表示引导（steering）思路可迁移到电商多模态场景（商品视频理解、直播切片审核、图文一致性校验）：对LLM内部问题表示做方向性修正，无需微调即可抑制无关模态干扰，快速上线。
- 业务中跨模态冲突常见（如商品主图与描述不一致导致问答错误），可借鉴“源条件对比表示”：利用不同模态路径干预构造对比样本，用其表示差异引导原始状态，提升模型对指定源信息的遵循能力。
- 路径干预分析定位干扰通路的方法，可用于诊断自有多模态Agent或推荐解释模型中的跨模态信息污染，为模型裁剪和推理优化提供依据。
- 与RAG/推荐系统结合时，可对检索到的多模态候选做源条件重定向，避免LLM被无关信源带偏，提升生成结果的grounding可靠性。
学习多模态嵌入与证据对齐读出
🧭 多模态嵌入检索 · 证据对齐读出
The Hong Kong University of Science and Technology (Guangzhou) · Tencent Yuanbao · Tsinghua University · ARC Lab Tencent · The University of Hong Kong
EviAlign 将语义证据生成与边界读出耦合，在共享 MLLM 中按语义单元边界读取状态，提升多模态检索嵌入质量
📌 工作参考价值（4 点）
- 可借鉴「生成证据 + 边界读出」的嵌入训练方式：让 MLLM 先按语义单元（如实体、属性、关系、场景）生成结构化证据，在每个单元边界读取 hidden state 后 mean pooling 作为最终向量，相比只取末尾 hidden state 能提升检索 Recall@1，且保持单向量索引，线上 ANN 检索成本不变。
- 在电商/搜索的多模态商品或内容表示中，可以用生成任务强制模型在特定语义边界产生可读状态，联合 contrastive retrieval 目标训练；生成部分不一定要作为最终特征，但能起到对齐读出位置、增强表示的作用。
- 若业务中已经使用 LLM 生成 CoT、标签或文案，不建议只把生成文本作为额外特征输入；利用生成过程的中间状态做读出，可能获得更紧凑、更适配检索的单向量表示。
- 论文发现仅靠证据组织本身增益有限，需与证据边界读出共同设计；因此在工程实现时，要同时调整训练目标的证据 span 和读出位置，不能只改 prompt 或只改 pooling。
KeyRec：面向流式与长视频理解的有界视觉记忆框架
🧭 多模态长视频流式推理视觉记忆压缩
University of Virginia · Google
训练免费的视觉记忆框架，用事件银行与近期缓存分离存储，在固定预算下高效压缩长视频视觉 token
📌 工作参考价值（4 点）
- 借鉴“近期缓存 + 事件银行”的双层记忆结构：在电商用户行为序列或会话流建模中，可保留最近交互的细粒度 token（如点击、浏览），同时将较旧历史压缩为结构化事件表示（如会话摘要、关键行为节点），避免每次推理全量回放，降低长序列注意力成本。
- 采用 query-agnostic writing + query-dependent readout 的两阶段设计：离线阶段持续更新记忆，查询到来时用轻量 text-only router 自适应分配固定 readout 预算到近期与事件记忆，无需重处理历史帧。可在 Agent 记忆系统中应用，控制上下文窗口，降低 LLM API 费用。
- 事件合并与逐出策略（add-merge-evict）可用于用户兴趣画像维护：根据 novelty 决定是否新增事件，合并相似兴趣，淘汰过时兴趣，保持画像有界且信息密度高。
- 对于直播电商、商品视频理解等场景，可复用 KeyRec 的视觉 token 压缩思路，仅保留 10% 的 visual token 预算即可保持接近密集处理的性能，显著降低推理成本。
多模态大语言模型中的对齐幻觉
🧭 多模态 LLM 表征几何诊断
University of Science and Technology of China
揭示 MLLM 标量视觉-文本对齐指标无法区分噪声与真实视觉流，提出主角度间隙 PA gap 作为几何诊断
📌 工作参考价值（4 点）
- 在多模态推荐或广告中，使用 CKA/SVCCA 等标量相似度评估视觉-文本融合质量时，务必结合下游任务指标（如点击率、相关性、A/B 结果）校准；单独看相似度曲线容易产生“对齐幻觉”，误导模型选型或层数截断。
- 可借鉴 PA gap 作为轻量几何诊断，监控多模态模型在微调、量化、蒸馏或视觉编码器替换后视觉 token 结构是否退化，及时发现信息丢失。
- 论文揭示共享 MLP 下投影会制造权重诱导对齐，若业务中将图像/文本投影到统一 LLM 空间做检索或生成，需警惕共享通路导致的虚假相似性；可考虑对投影层增加正则或采用多维几何指标评估。
- 在 Agent 或多模态 RAG 中，若用视觉输入辅助决策，应定期用受控任务测试（如噪声图像或无关图像）校准内部表征诊断，避免仅凭几何指标判断模型理解能力。
关注推理重点：选择性概率质量集中的跨模态注意力对齐
🧭 多模态训练 · 注意力对齐
University of Technology Sydney · East China Normal University · The University of New South Wales · Shanghai Jiaotong University · The Education University of Hong Kong
提出 sPMC 训练框架，仅对少量视觉grounding敏感注意力头做概率质量集中正则，零样本平均提升3%
📌 工作参考价值（4 点）
- 少而精的头选择正则：不全局约束所有注意力头，而是先识别对视觉证据 grounding 敏感的少数头（3%-15%），再做任务相关正则；可迁移到电商多模态商品理解/推荐理由生成，保留语言先验与通用能力，避免过正则导致性能下降。
- 用弱监督区域先验引导注意力：借助 segmentation mask / 商品主体框等空间先验，让文本到图像注意力概率质量向语义相关区域集中；无需大规模推理标注，对图文匹配、多模态搜索相关性建模有直接借鉴价值。
- 训练成本低、推理零开销：sPMC 只在训练阶段施加正则，不改推理架构，适合作为现有 MLLM 流程的插件式训练技巧；在电商 Agent 或多模态搜索中可较快验证。
- 注意力头功能分析可复用：Adaptive Head Selection 的思路可迁移到任何多模态 LLM 或推荐模型中，先探测头功能再定向优化，减少无效训练。
基于SVG原语的多模态推理框架 SVGLM
🧭 多模态推理 · SVG 程序生成
University of Massachusetts Amherst · University of Michigan · University of Illinois Urbana-Champaign · Dolby Laboratories
利用SVG作为文本与图像中间表示，让VLM在推理过程中生成可解释的图像程序
📌 工作参考价值（4 点）
- 将图像编辑/生成任务转为 SVG 程序输出，可精细控制元素坐标、颜色、几何关系，适合电商商品图、广告模板自动化生成与多轮修改。
- 利用 SVG 的双重性（既是图像描述又是文本指令），可设计 “think-with-image” 链：先生成 SVG 示意图辅助推理，再输出最终答案，提升图表解析、几何布局类任务的稳定性。
- 微调范式可复用：收集领域内“文本指令-图像编辑对”，用开源 VLM 训练生成 SVG 代码，并与自然语言推理任务混合训练，避免外部扩散模型不可控。
- 在需要精确理解图像结构（如优惠券布局、信息图审核）的场景，可以要求模型输出 SVG 表示进行可验证解析，而不是依赖像素级预测。
音频语言模型听与读区分特征是否一致？
🧭 跨模态表征一致性分析 · 音频语言模型
Thayer School of Engineering, Dartmouth College
通过最小音素对差分方向，发现仅 Qwen2.5-Omni 的 voicing 跨模态对齐显著，且模型家族决定表征一致性
📌 工作参考价值（4 点）
- 评估多模态 LLM 的跨模态对齐时，不要只看余弦相似度的绝对值：任意音素对的基线一致性已经很高，必须构建随机配对参考做显著性检验，否则会高估对齐程度。
- 模型家族比模型规模更能影响表征对齐，选型多模态底座时应优先评测家族特性而非参数量。
- 最小对差分方向法可迁移到电商场景：如评测模型是否将“红色/蓝色”“棉/麻”等属性在文本与图像/语音中编码为同一方向，用于诊断多模态 embedding 的属性一致性。
- 注意不同模型 reference 差异可达 7 倍，对齐结论不能跨模型直接比较，需要各自标定基线。
在世界模型中训练对象永久性
🧭 视频世界模型 · 对象永久性推理
University of Southern California · Carnegie Mellon University · University of Michigan · Johns Hopkins University · University of California, San Diego
构建 150 类认知任务 Blender 数据生成器，产出 1.5M 视频训练集并微调 16B 模型，在对象永久性盲测中 continuation 类第一
📌 工作参考价值（4 点）
- 借鉴程序化生成数据的思路：把核心认知/业务结构固定（如用户意图、商品属性关系），随机化干扰因子（视角、光照、渲染参数）批量合成训练样本，用于提升多模态模型对核心特征的鲁棒性，类似电商商品图/视频的合成增强。
- 构建小规模但高针对性的任务族 + 专门微调：用 150 类认知任务、每类 10k 样本的紧凑数据即可在特定物理推理能力上超过大模型，可用于快速补齐商品视频生成、3D 试穿等模型的物理合理性短板。
- 盲测 Elo 评估范式：对多个生成模型输出做匿名成对比较再计算 Elo，比单指标分数更接近人类感知排序，适合评估广告文案、商品描述或推荐理由生成质量。
- 发布权重和训练栈的做法可参考：如果要复现或继续微调，公开训练栈和权重能降低多模态模型训练成本，团队内也可沉淀类似工具。
Ovis-Embedding：全模态统一嵌入模型
🧭 多模态统一 Embedding 训练
Alibaba Token Hub, Alibaba Group
基于Qwen-omni的原生多模态统一embedding，在多个检索基准上达到SOTA
📌 工作参考价值（4 点）
- 复用大规模多模态LLM作为embedding backbone：直接对Qwen-omni做对比学习微调，而不是从零搭多塔，能以较低成本获得高质量统一表示。电商场景可类似地用商品图文视频数据微调多模态LLM，得到商品统一embedding用于跨模态召回。
- 同源采样构造任务一致batch：按数据来源/模态分组采样，让in-batch negatives更相关、更有信息量。在推荐/搜索的多行为、多内容源训练中，可以按用户行为类型或item类目分组，提升对比学习效率。
- focal loss强调难样本：对困难负例加大权重，适合处理点击/转化数据中的长尾和难区分样本，尤其适用于召回模型中难负例挖掘。
- 低秩特征分解灵活控制维度：一套模型可输出不同维度embedding，低维用于快速召回、高维用于精排，减少存储和计算成本，类似推荐系统里的多级向量索引设计。
WorldCrafter：具备隐式 3D 感知记忆的一致视频世界模型
🧭 视频世界模型 · 3D 记忆
ARC Lab, Tencent IEG · Peking University
用相机可查询的隐式 3D 记忆压缩多视角证据，实现长时域一致的视频世界探索
📌 工作参考价值（4 点）
- 固定 token budget 的记忆压缩思想可直接借鉴到用户长期行为建模：将多源行为序列压缩成固定数量的 target-conditioned tokens，避免长序列直接进模型带来的 KV cache 和计算压力。
- pose-conditioned readout 可类比为“场景/意图条件下的记忆读取”，在推荐或 Agent 中可按当前上下文动态选择历史信息，提升长期依赖建模。
- few-step distillation 用于加速生成过程，对生成式推荐或文案生成模型的推理加速有参考价值。
- 整体仍是视频世界模型方向，与电商/推荐业务直接关联较弱，主要是工程方法上的通用借鉴。
OmniVChat：原生音视频对话的合成、基准与训练
🧭 多模态LLM原生音视频对话训练与评估
The Chinese University of Hong Kong · Alibaba Token Hub, Alibaba Group · Shanghai Jiao Tong University · Shanghai Innovation Institute · Zhejiang University
提出多智能体数据引擎合成音视频对话，构建基准并用多目标RL奖励训练Qwen3-Omni
📌 工作参考价值（4 点）
- 多智能体合成音视频对话数据：电商直播客服、数字人导购可批量生成带场景、表情、物体的对话样本，降低人工采集成本，覆盖长尾场景。
- 原生音频视频输入省去ASR/字幕：实时交互Agent（直播问答、语音购物助手）直接输入多模态流，降低工程链路延迟和计算开销，保留情感/环境上下文。
- RL奖励联合优化正确性、效率与风格：对话式推荐/客服可借鉴多目标reward设计，避免只优化准确率导致回复冗长或延迟高；效率与风格项可按业务KPI调整。
- 合成数据训练+人类录制集验证迁移：离线用合成基准快速迭代，再抽检真实用户数据验证，可作为推荐/对话系统上线前的评估流程。
直播视频中的产品定位理解
🧭 多模态视频产品理解与时刻定位
Kuaishou Technology · Institute of AI for Industries, Chinese Academy of Sciences
提出GPUB基准和UniPro模型，联合评估产品检索与时刻定位，大幅提升直播视频产品理解性能
📌 工作参考价值（4 点）
- 直播电商中产品信息分散在多个非连续片段，仅做产品检索或片段定位无法满足自动剪辑、摘要等需求。可借鉴GPUB的联合任务定义，在业务中构造“产品-片段”对齐数据，训练模型同时输出产品ID和对应时刻，直接用于产品讲解片段自动生成。
- UniPro采用共享多模态编码器同时处理视频和产品目录，并强制学习产品对齐和时间结构化表示，相比分离式两阶段方案能更好地利用产品与时刻的对应关系。实际部署中可复用该架构，在召回或粗排阶段同时输出产品候选和关键片段，减少级联误差。
- 面对31K规模产品目录，UniPro的候选集构建和负采样策略值得参考：可利用直播中出现的产品时序信息构造hard negative，提升模型区分相似产品的能力，尤其适用于时尚等非标品类。
- 评估指标Pair mAP@.3和Joint R@1@.3同时衡量产品检索和时刻定位的联合精度，比单一指标更能反映真实业务效果，建议在类似多模态理解任务中采用。
Video DeltaNet：面向直播视频生成的视频原生混合注意力
🧭 视频生成 · 混合线性注意力加速
University of California, Berkeley · Impossible, Inc. · University of Texas at Austin
提出 Video DeltaNet，用局部 Softmax 注意力+双向线性记忆加速视频扩散，在 MiniMax H3 上实现 14.5 倍去噪加速
📌 工作参考价值（4 点）
- 混合注意力可用于用户长期行为序列建模：对最近行为用局部 Softmax 精确捕捉，对远期行为用线性 memory 压缩，控制长序列推理成本；推荐/广告的 user sequence transformer 可以尝试。
- 分阶段 teacher-alignment 是向预训练模型注入新模块的低风险方法：先固定原主干，单独训练新分支对齐教师输出，再逐步解冻联合微调；适合在已有排序/召回模型上实验新型注意力。
- 按语义单元（session/帧/事件）更新 memory 而非逐 token：直播、短视频等场景中，用户在一个 session 内的行为可以聚合更新，减少状态更新频率，同时保持序列语义完整。
- few-step distillation + 分布式 serving 可大幅压缩生成式模型推理延迟：业务上如创意文案生成、商品视频摘要等可借鉴 8 步蒸馏和 SGLang 优化栈。
细粒度 MLLM 感知的区域级策略优化
🧭 多模态视觉感知 · 稀疏 token 选择
University of Sydney · City University of Hong Kong
用区域级强化学习训练轻量提案网络，以约 4 倍更少视觉 token 超越全分辨率 MLLM 的细粒度准确率
📌 工作参考价值（3 点）
- 借鉴区域级 RL 训练前处理筛选器：在商品图、广告图或多模态内容理解中，先用轻量网络从全局粗粒度视图定位关键区域（如商品主体、文字标签），再对候选区域做高分辨率编码，可大幅降低 MLLM 的 token 成本；冻结大模型只更新提案网络，适合基座模型昂贵、不想全量微调的业务场景。
- 用 remove/add 双目标做无监督奖励：以“移除某区域导致答案似然下降”作为负面信号抑制噪声，“补回丢失区域提升似然”作为正信号恢复缺失证据。不需要标注框或 reasoning trajectory，可直接迁移到推荐系统多模态召回/排序：用大模型对候选内容打分差异作为奖励，训练轻量重要性评估器筛掉无关图像区域或视频帧。
- 稀疏编码放大证据区域而非均匀下采样：将视觉 token 集中到选中区域并降低背景分辨率，可用同等算力提升信息密度。在电商视频理解、直播切片审核等场景，可先选高信息量帧/区域再输入生成式推荐模型，兼顾成本与细粒度表征。
RegRet：增强大型多模态模型中的区域级检索
🧭 多模态区域级检索 · 对比学习
Zhejiang University · Xiaohongshu Inc.
通过 Region-Aware Encoder 与多阶段对比学习，在不牺牲全局检索性能下大幅提升区域级检索
📌 工作参考价值（4 点）
- 电商以图搜图/相似商品推荐场景中，用户常指定 ROI（如局部图案、纹理），全局检索易被背景干扰误召。可借鉴 Region-Aware Encoder 思路：在现有多模态编码器上增加区域特征分支，与全局特征做加权或注意力融合，输出联合表示，提升区域查询召回精度。
- 训练流程采用“局部字幕生成→区域对比学习”两阶段设计：先利用图文对自动生成区域描述构造正负样本，再对区域表示做对比微调。业务中可直接复用该 pipeline，用少量人工标注或伪标注构建区域级训练数据。
- 论文表明仅零样本推理的区域级检索能力就超过强基线，说明预训练 LMM 已隐含区域理解；若业务受限于标注，可先直接使用 LMM 区域裁剪+文本匹配做召回，再逐步用对比学习微调。
- 引入 REGMB 基准，覆盖区域-区域/区域-文本等四类任务，评估体系可参考扩展；尤其对电商搜索，可建立内部 ROI 检索评测集，量化不同模型对细粒度意图的满足度。
全模态流式思考：跨模态证据校验与反驳更新
🧭 流式全模态推理与证据核查
The University of Hong Kong · The Hong Kong University of Science and Technology (Guangzhou) · LIGHTSPEED · University of Sussex · Independent Researcher
通过待定声明、分模态证据校验与反驳更新，缓解流式全模态模型过早跨模态固化，5个基准平均相对提升超10%
📌 工作参考价值（4 点）
- 在直播电商、视频客服、实时内容审核等流式多模态场景中，可借鉴「pending claim + verification interval」机制：先对用户意图或商品属性打待定标签，绑定未来验证窗口，到期用指定模态证据校验，避免视觉线索过早固化为事实。
- 多模态 RAG / Agent 记忆管理可分离存储不同模态证据，对每个 claim 指定验证模态，防止视觉信息覆盖音频等冲突信号，降低幻觉和错误推理。
- 引入 answer gate：仅当关键 claim 通过验证后才允许输出回答，可迁移到实时推荐/对话助手的置信度控制，减少过早错误推荐。
- 冻结大模型骨干 + 轻量适配即可获得显著流式全模态推理提升，适合业务方低成本复用 Qwen-Omni 等开源骨干。
StepAudio 3 Realtime 技术报告
🧭 实时音频语言模型与语音 Agent
StepFun Audio Team
实时语音基础模型实现边说边想的低延迟深度推理与全双工语音交互
📌 工作参考价值（4 点）
- 边想边说机制低延迟推理：Think-While-Speaking 将私有推理与音频输出并行，可迁移到对话式推荐/客服系统，在生成用户可见回复的同时后台进行复杂排序、召回或收益计算，避免深度模型引入的延迟。
- 全双工流式交互建模：把用户停顿、backchannel、插话作为第一等事件处理，适合电商直播互动、语音导购等场景，避免打断导致上下文丢失，可借鉴其同步音频流状态管理方式。
- 异步 Voice Agent 工具调用：工具执行不阻塞语音流，适合需要实时推荐商品、查询优惠、调用后台服务的语音助手架构，前台持续对话，后台完成工具链路，提升体验流畅度。
- 音频理解与推理统一评估：MMSU、AA Full-Duplex Bench、τ-Voice 等指标覆盖听、说、工具调用，可作为构建语音推荐/客服评测集的参考维度。
StepAudio 3 Music 音乐生成技术报告
🧭 音乐生成 · ABC-CoT 显式规划
StepFun · ACE · The Chinese University of Hong Kong · University of California San Diego
支持 ABC-CoT 显式音乐规划与离散-连续表示的 5 分 30 秒级音乐生成模型
📌 工作参考价值（4 点）
- 显式中间规划再做最终生成：在推荐理由、push 文案、对话式导购等场景中，可以先产出结构化计划（如类目、卖点、风格、约束）作为部分上下文，再生成最终文案，提升可控性和结构一致性。
- 离散 token + 连续 latent 混合生成路径：生成式召回或内容生成中，可用 Semantic ID 作为离散 token，配合 diffusion 生成连续隐变量，兼顾语义可控与高保真重建。
- 低帧率大码本 single codebook：50Hz、65536 码本降低序列长度和解码成本；在 item/query 表示 tokenization 时可借鉴“低频帧 + 大码本 + 语义辅助多任务训练”。
- 用 DPO 直接优化业务偏好指标：AudioBox 的 enjoyment、usefulness、production quality 均在 DPO 后提升，说明推荐文案、搜索 query 生成等任务可以在 SFT 后用真实业务偏好做偏好优化。
SenseNova-U1.5：迈向原生统一视觉智能
🧭 原生统一多模态模型与图像生成
发布8B-MoT原生统一多模态模型，在无Encoder/VAE架构下完成理解、推理与视觉生成，并借多专家on-policy蒸馏增强视觉能力
📌 工作参考价值（4 点）
- 电商商品图生成与编辑：利用其多参考编辑、主体身份/几何保持与未修改区域保护能力，可自动完成商品换背景、多商品组合、局部保留等广告素材生成；双语文本渲染能力适合生成带价格、卖点、促销文案的营销图。
- 多专家 on-policy distillation 可迁移到业务模型：针对不同任务（文案生成、视觉审美、图像编辑）分别优化专家，再用 on-policy 蒸馏整合到统一模型，避免多模型部署的运维成本与延迟。
- Encoder-free/VAE-free 架构减少图像 token 转换中的信息损耗，对生成式推荐中直接建模商品视觉特征（如生成商品图或场景图）有参考价值；支持 4K 原生分辨率适合高细节素材生产。
- 对长、复杂、结构化视觉指令的泛化能力，提示多模态理解可迁移到视觉规划与创作，可尝试用于 Agent 自动排版、生成商品详情页布局或广告创意版式。
生成式晚交互嵌入用于视觉文档检索
🧭 多向量检索压缩与生成式重建
King Abdullah University of Science and Technology (KAUST) · Edge Hill University
GLIE 用 k≪N 个向量存储并生成式重建完整 late-interaction 向量集，在 4 向量/页保留近 80% nDCG@5
📌 工作参考价值（4 点）
- 电商/广告的多向量 late-interaction 索引（如商品图文与 OCR 特征）不要只用随机采样或平均压缩；可以学习极小 decoder，从少量基向量重建完整向量集，用于召回后精确重排。存储预算可从每商品数千向量降到 4-16 个，仍保留大部分排序精度。
- 若向量已 L2 归一化，做 k-means/PQ/IVF 聚类时务必把质心重新归一化到球面；本文显示这项免费操作对 MaxSim 有最高 +0.093 nDCG@5 的收益，电商向量通常也做归一化，可直接迁移。
- 训练预算非常小：1,000 页 / 415K 参数 / 3 GPU-minutes 即可得到可用的生成式 read-out；在做 embedding index 压缩时，可以先尝试轻量 decoder，而不是直接微调 large encoder，尤其适合快速适配新类目/新域。
- 对 Agent/RAG 场景，可借鉴非对称检索流程：粗糙 k 向量索引 -> 生成式重建 top candidates -> 精确 MaxSim，降低长文档/商品详情页检索的 memory 和 latency。
为何视频推理仍昂贵？视频与音视频 LLM 推理效率机制综述
🧭 多模态视频 LLM 推理效率综述
系统综述视频/音视频 LLM 的推理效率优化机制，按流水线阶段梳理 token 削减与算力降低方法
📌 工作参考价值（4 点）
- 若业务涉及商品短视频/视频广告理解，可借鉴其帧采样与 token 削减思路：在离线特征抽取或在线推理中先用轻量采样+连接层压缩，控制送入 LLM 的 token 数，降低 prefill 和 KV cache 成本。
- 对多模态 item 表示生成，可参考连接层 token reduction 架构，把视觉/音频 token 聚合成少量语义 token，用于召回或排序特征的轻量化。
- 建立 accuracy–cost 权衡表：在引入任何视频理解模块时，强制在同 host LLM 与输入协议下对比 FLOPs/延迟/显存，避免被跨论文异构指标误导。
- 整体是学术综述，纯文本推荐/搜索系统直接复用点有限；但若部署视频多模态能力，可作为选型与优化清单。
统一多模态模型中图像分词器作为视觉语言的研究
🧭 多模态模型训练与图像分词器评估
University of Washington · Amazon FAR
通过跟踪分任务验证损失，揭示图像分词器与文本联合建模时的损失-性能关系及设计影响
📌 工作参考价值（4 点）
- 在多模态联合训练中，按 task 分别监控 validation loss（text、image、T2I、I2T），而不是只看整体 loss，可以更早定位数据配比、分词器或训练不稳定的问题；尤其适用于电商图文统一模型（如商品图 + 文案生成）。
- 选图像 tokenizer 时，用 I2T loss（基于共享文本词表）作为跨模型一致的评估信号，比 T2I loss 或重建指标更稳定，且与下游生成和视觉理解性能都相关；适合作为早停、模型选择或在线监控指标。
- 不要单独根据重建质量（如 FID、SSIM）选择图像 tokenizer，因为更好的重建不保证更低的任务损失或更强的下游性能；应该结合任务损失和实际业务指标（如商品图到文案的匹配度、点击率）做融合判断。
- 图像 tokenizer 的选择会影响联合优化下的文本建模，因此当在同一模型中同时处理商品图片和文本时（如视觉问答、图文搜索），更换 tokenizer 后需要重新检查文本侧的 fine-tune 效果和 loss 变化。
SpatialBlock：通过合成积木堆叠问题增强 LVLM 空间智能
🧭 LVLM 空间智能 · 合成数据训练
KAIST · AITRICS
用 15k 合成积木堆叠数据训练 LVLM，显著提升 3D 空间推理并泛化到真实场景
📌 工作参考价值（4 点）
- 借鉴合成数据思路：当真实标注昂贵且有噪声时，用结构化合成任务训练模型专项能力。在电商场景可生成产品摆放/货架布局/包装堆叠等合成图像，低成本提升 LVLM 对商品空间关系的理解。
- 锚点式推理：通过 controlled color modulation 注入视觉线索，引导模型在复杂图像中关注关键区域。可用于商品图属性标注、广告创意布局评估等任务，降低对密集几何标注的依赖。
- 小规模高针对性数据集即可带来泛化：15k 合成数据就能提升真实空间任务，说明针对核心认知子任务的合成数据比大规模弱标注更高效，适合业务中快速验证新能力。
- 多目标训练：直接回答与 reasoning-based prediction 两种方式均可提升，可在业务 LLM 中同时保留直接输出和 CoT 解释输出，提升鲁棒性。
多模态大模型幻觉源于协同头信息分布漂移
🧭 多模态大模型幻觉归因与校准
Shenzhen University of Advanced Technology
提出 HEAL，通过头部级信息解耦与校准识别并缓解多模态大模型幻觉
📌 工作参考价值（4 点）
- 多模态 LLM 在电商商品描述生成、图文推荐、广告创意生成等场景中容易出现幻觉，可借鉴头部级解耦与校准思路：定位并校准跨模态协同注意力头，无需全模型微调，降低落地成本。
- 因果噪声干预筛选冗余头的方法可用于分析现有多模态推荐模型的注意力机制，识别对跨模态对齐贡献不大的头，进行剪枝或优化，提升推理效率。
- 动态注入校准因子到 value vectors 的机制可迁移到多模态特征融合模块，作为轻量级即插即用组件，增强图像和文本特征的一致性。
- 结论“幻觉与模态特定头数量/强度无关，而与协同头信息分布漂移相关”提示在多模态推荐/搜索中应关注跨模态交互的质量而非单模态表示的强度，可指导模型调试和特征工程。
潜在对齐推理用于多模态推荐
🧭 多模态推荐 · VLM 潜在推理与双对齐 ★ 深度解读
Xiaohongshu Inc. · Nanjing University
提出 LARK 两阶段潜在推理框架，用视觉与推理文本双重对齐缓解多模态推荐中的跨模态稀释，在 Amazon 与工业数据集上一致超越 baseline
📌 工作参考价值（4 点）
- 离线 item encoder 部署：用 VLM 对商品图/文离线生成 embedding 并预存向量索引，线上只训练 DeepFM/LightGCN/SASRec 等轻量模型，把多模态推理成本完全移出 serving 路径；该论文在百万级商品上验证了此 decoupled 设计的可扩展性。
- 用 Swing 相似度构造 item-item 对比学习正样本，比随机负样本更符合电商协同信号，能显著提升长尾商品表示；已有 Swing 的电商场景可直接替换为 InfoNCE 的正样本源。
- 若业务需要在 VLM 内做多步推理，可采用 latent tokens + 双对齐：用 frozen vision encoder 做 patch-wise 对齐保留视觉信息，用 stop-gradient CoT hidden states 对齐保留推理语义；掩码图像 50% 可防过拟合像素级细节。
- 超参参考：latent token 总数 16（4 组×4）、损失权重 0.1、对比温度 0.07 在多个数据集稳健；3B 参数 VLM 即可超越 7B NoteLLM-2，说明结构设计比模型规模更关键。
超越检索：面向流式视频理解的渐进潜在记忆演化
🧭 流式视频 MLLM 的渐进潜在记忆
Nanjing University of Science and Technology · Ant Group · National University of Singapore · The Chinese University of Hong Kong
提出 LatentStream，将流式视频记忆从 store-and-retrieve 转为 retrieve-and-internalize，通过层级记忆与渐进置信度优化取得 SOTA
📌 工作参考价值（4 点）
- 借鉴“查询无关层级压缩 + 查询相关检索内化”两段式记忆架构：电商用户行为序列建模可先用无查询的自适应聚类（如 Jenks natural breaks）压缩长短期兴趣，收到请求后再用 query 检索相关证据并内部化为固定长度 latent 表示，平衡内存与推理精度。
- 固定内存预算下的短/中/长期分层组织可迁移到 Agent 或在线推荐系统的会话记忆管理，避免历史状态无限增长，适合延迟敏感的长序列处理。
- Progressive confidence-guided optimization 用分组预测熵构建层级奖励，可应用于多步推理或交互式推荐，对中间状态逐层优化置信度，提升最终输出稳定性。
- retrieve-and-internalize 方式比将检索证据直接拼接到上下文更节省 KV cache，适合长视频/直播理解、多轮对话 Agent 等需持续累积历史的在线场景。
跨模态安全漂移中的安全意识迁移（多模态大语言模型）
🧭 多模态安全对齐 · 表示迁移
Tsinghua University · Beijing University of Posts and Telecommunications · Northwestern Polytechnical University
提出安全感知表示迁移（SRT），冻结 MLLM 骨干下通过方向修正缓解跨模态安全漂移，提升安全性并保持通用能力
📌 工作参考价值（4 点）
- 多模态场景（如商品图+咨询文本、广告图文审核）不能只做纯文本安全过滤，需评估图文联合语义风险；可参考该工作构建图像-文本联合安全评估集，专门测“良性文本+风险图片”的请求。
- 若线上 MLLM 需要快速安全加固，可借鉴 SRT 思路：不微调大模型，仅在隐藏表征上学习一个安全方向偏移，用少量不安全样本训练轻量适配器，便于部署和回滚。
- 论文发现视觉风险线索注意力不足导致拒答弱，提示可在注意力层加监督/正则，或使用视觉 token 重要性加权，增强对风险区域的感知。
- 对于 Agent/推荐系统接入多模态 LLM，建议在 system prompt 中显式加入跨模态安全指令，并在离线评估中加入跨模态攻击样例，防止“文雅提问+危险图片”绕过策略。
LLaDA-Image：全开放训练配方构建强大图像生成器
🧭 图像生成 · 开放训练配方
AGI Research Center, Inclusion AI
从零训练6B DiT图像生成模型，开源权重与代码，在Qwen-Image-Bench双榜达到开源SOTA
📌 工作参考价值（4 点）
- 电商商品图/广告素材生成：可借鉴其 image-only pre-training 策略，先利用海量无标注商品图构建视觉生成先验，再做文本对齐，降低对配对图文数据的依赖。
- 训练效率优化：parameter-free RMSNorm 搭配 Muon optimizer 替换 LayerNorm/Adam，可减少显存占用并提升大模型收敛稳定性，适合在自研 DiT 或生成式推荐模型中试验。
- 推理加速：TwinFlow 蒸馏至 2-4 步采样，可用于实时商品素材生成、Agent 内图像生成模块的低延迟部署。
- 数据配方参考：220M 训练样本中 98% 为真实图像，说明高质量真实数据是生成质量的关键，电商可加强商品图质量治理并充分利用 UGC 素材。
面向相机条件世界模型的奖励建模方法 WorldReward
🧭 多模态奖励建模 · VLM 视频评估
Fudan University · Tencent Hunyuan · Shanghai Innovation Institute · Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory
用 VLM 将长视频按动作分块并投票聚合，统一评测动作一致性与视觉质量
📌 工作参考价值（4 点）
- 长序列生成（如多步商品推荐、对话式导购、视频广告脚本）中，可借鉴“动作对齐分块 + 结构化证据 + 逐块决策投票”的思路，避免长上下文稀释局部关键信号，适合构建 LLM 评估器或奖励模型。
- 偏好数据构建可复用其管线：先由 frontier VLM 生成结构化判断，再用工具化 agent 审计和定向人工复核，降低标注成本并提高一致性，适用于内容生成质量评估、AIGC 审核等场景。
- 在电商多模态生成（如商品视频、虚拟试穿）中，建议拆分“任务完成度”与“画质/自然度”双 reward 分别聚合，避免单一指标失衡，便于 RL 后训练。
- 若业务涉及“按指令生成视频/图片”，可参考其 benchmark 设计：按人类偏好分维度（动作/外观/运动）测量 reward model 一致性，而非只看整体分数，从而更精准定位模型短板。
Puffin-World：用原生 3D 世界状态扩展统一多模态模型
🧭 多模态世界模型 · 3D 生成重建
S-Lab, Nanyang Technological University · University of Michigan · Beijing Jiaotong University · ACE Robotics
统一多模态架构，联合物理/几何/外观三态与 Omni-Camera 实现 3D 世界生成重建
📌 工作参考价值（4 点）
- 可借鉴「原生状态联合建模」：在商品理解/生成中，将视觉、深度/几何、物理属性（如材质、尺寸、重力约束）作为并行状态统一建模，替代只用图文 embedding，可提升家居、鞋服等品类空间一致性。
- 用显式 Omni-Camera 参数控制多视角生成：商品视频、虚拟试穿、3D 展示素材可 ground 绝对相机内外参，生成物理稳定、多角度一致内容，减少后期抖动与畸变。
- 外观-几何耦合生成：同时输出 RGB 和 depth 再用于重建，适合商品 3D 重建/AR 展示/虚拟棚拍，能对齐纹理与几何，降低“贴图漂移”。
- 闭环自校准探索思路可迁移到 Agent 拍摄/漫游：让模型根据当前状态规划下一视角并在线修正相机与场景参数，但需构建匹配业务场景的轨迹数据。
通过重排器蒸馏提升 MLLM 嵌入的组合推理能力
🧭 多模态嵌入蒸馏 · 组合推理检索
CASIA · Alibaba Group · University of Chinese Academy of Sciences · Yale University
将重排器的跨注意力组合判断蒸馏为 Rank-KL listwise 目标，显著提升多模态嵌入的组合检索与细粒度区分
📌 工作参考价值（4 点）
- 双塔召回或 embedding 模型训练时，用 reranker 作为 teacher 做 listwise 蒸馏，Rank-KL 目标比传统 contrastive/pairwise 更能传递细粒度排序结构；电商图文相关性、属性绑定问题可直接复用。
- 五级匹配粒度（完全匹配/部分出现/属性错/对象错/全错）适合挖掘商品主图与 query 的难负样本：例如“红色条纹衬衫”与“蓝色条纹衬衫”应作为属性错误而非随机负样本，提升 embedding 对属性-对象组合的判别。
- 评估上不建议只看 Recall@K，可以按 L1-L5 错误类型分级统计，定位模型在绑定关系上的盲区；搜索/推荐中可迁移到 query-主图/标题-属性一致性评测。
- 工程上 teacher reranker 只在训练阶段蒸馏，推理仍用双塔 embedding，不增加线上 latency；注意需要统一数据构造和调优预算才能公平对比不同训练目标。
选择、压缩、再投资：长视频多模态大模型视觉Token分配的控制研究
🧭 长视频MLLM视觉Token分配优化
Independent Researcher
控制变量实验表明帧选择是长视频理解最大杠杆，经典OMP算法与专用选择器性能相当
📌 工作参考价值（4 点）
- 预算固定的优化思路可直接迁移到多模态推荐/广告素材理解：若系统只能用固定数量的视频帧或图像Token表示商品视频/广告创意，优先投资帧选择（比均匀采样提升显著），再考虑空间压缩，并把压缩节省的Token用于增加采样帧数，两步结合可带来2-3个点准确率提升。
- OMP等经典稀疏近似算法可作为轻量、无训练的特征/帧选择器：在视频理解、商品短视频标签抽取、直播切片推荐等场景，无需训练专用选择器，直接用OMP挑选最具信息量的帧或片段，能匹配甚至超过专用模型，工程实现成本极低。
- 对多模态模型评测/迭代：务必在同一统一框架内做控制变量。论文发现相同规则在不同harness间有0.07-3.74点差距，自己的AKS基线也有实现bug，说明跨论文比较或直接套用他人结果风险高；业务中应构建内部统一的视觉Token分配评测管道，逐步替换单个变量（选择、压缩、分辨率）以定位真实收益。
- 压缩必须配合再投资才有效：单独压缩帧分辨率几乎是免费的（损失≤0.44点），但如果不把节省的Token花到更多帧上，就没有精度收益；该结论可指导资源受限场景下的多模态特征预算分配策略。
ShallowStream：浅层索引、深层回答的流式视频理解框架
🧭 多模态流式视频高效推理
Harbin Institute of Technology (Shenzhen)
用 MLLM 浅层同时做帧编码与索引构建，查询时按浅层注意力打分并多样性选帧，延迟降低最高 52.1 倍且性能对齐强基线
📌 工作参考价值（4 点）
- 直播电商/短视频理解场景可用“浅层预填充建索引、深层仅对选中片段推理”的两段式架构：常驻只保留浅层 KV cache，在线视频帧不断写入轻量索引，查询时只对高相关帧做完整深度计算，大幅降低延迟与显存。
- 用浅层 attention score 做 query-aware 帧打分，不需要额外训练检索器；类似推荐里用注意力分数筛选候选 item 或行为序列，能把用户当前 query / 意图与视觉片段相关性评估集中到轻量模型。
- diversity-aware selection 可直接迁移到推荐/广告视频素材或直播切片选取：在相关帧集合上做多样性采样，避免连续重复/相似画面霸屏，提升信息覆盖与用户体验。
- 工程上可借鉴“按 prefill depth 分层 KV cache”思路：在线流式处理时低频深算、高频浅算，对长视频/直播流式多模态 LLM 服务有直接成本收益。
SimLoss：嵌入空间监督实现单遍细粒度图像描述
🧭 多模态图像描述训练 · Embedding-space 对比学习
University of Massachusetts Amherst · Adobe Research
用冻结图像嵌入的 InfoNCE 对比损失对齐 VLM 隐藏状态，单遍生成细粒度描述，速度提升约20倍
📌 工作参考价值（4 点）
- 在电商商品视觉描述生成中，可用 SimLoss 的嵌入空间对齐：冻结 CLIP 等图像编码器作为教师，用 InfoNCE 让生成模型在解码前对齐视觉特征，无需人工细粒度标注，低成本提升商品属性、材质、计数等描述完整性。
- 对需要实时性的商品文案、图片 alt 文本自动生成，可把多阶段验证流水线替换为单遍生成 + 嵌入空间约束，保持描述质量的同时降低约20倍推理延迟，适合线上部署。
- 黑盒变体 SimLoss GRPO 将嵌入模型作为奖励，可复用现有 GRPO/RLHF 训练框架，对生成式推荐或广告文案模型做奖励优化，避免直接依赖人类标注。
- 注意 InfoNCE 需要较大 batch 或 memory bank 来提供足够负样本；该方法可扩展到商品标题-图像、query-落地页图像等跨模态对齐任务。
NeoMME：单塔多模态多语言基础编码器，用于高效微调与推理
🧭 多模态原生单塔编码器与视觉文档检索
H Company
提出单塔多模态多语言编码器，用掩码离散扩散预训练，视觉文档检索精度高且吞吐翻倍
📌 工作参考价值（4 点）
- 在电商商品图文检索/视觉搜索中，可以尝试用单塔多模态编码器（图像 patchify + 2层MLP 与文本 token 一起输入 bidirectional Transformer）替代双塔或 VLM 编码器，降低推理延迟和参数规模；NeoMME-260M 在同尺寸下吞吐约为 ColModernVBERT 2x，适合对实时性有要求的召回/粗排。
- 联合训练 dense 和 late-interaction heads，并在索引侧使用层级 token pooling + 非对称量化，可将多模态文档 embedding 压缩 255x 且保留 >95% nDCG@10；该思路可直接迁移到海量商品/广告素材库的向量存储成本优化。
- 多语言原生训练 + 16K 上下文，适合跨境业务中多语言商品标题/详情页与查询的匹配，无需为每种语言单独建塔；也支持编码两张 4K 图，能处理长图文详情页。
- 如果业务已用 ColPali/Qwen-VL 做视觉文档 RAG，可评估用该开源编码器作为更轻量的检索底座，减少 VLM 在非生成式检索任务上的额外开销。
Encore：利用自适应信号路由实现无限音视频生成
🧭 长音频视频生成与跨模态合成
Baidu · Beijing Institute of Technology
提出长音频视频联合生成框架Encore，通过自适应信号路由解决跨模态长时一致性
📌 工作参考价值（4 点）
- 长序列多模态生成可借鉴双通路设计：局部连续性用 chunk 迭代加显式跨 chunk 上下文传递，全局一致性用参考信号加 shifted position embedding，电商短视频、直播切片自动配音等场景可复用。
- Adaptive Signal Routing 的 learnable attention biases 与 residual scales 是通用插件，可控制多模态生成中不同 conditioning 信号（文案、画面、背景音乐）的权重，适合商品视频生成中的模态协调。
- 推理阶段持续对 ground-truth modality 做 conditioning，实现无限长度 audio-to-video / video-to-audio，能迁移到为已有商品图生成配音、或为音频补全视频帧等交互式素材生成。
- 注意：该工作属于多模态生成模型，非推荐系统本身，但可作为内容供给侧自动生成工具，提升电商内容生态丰富度。
语义头专业化指导多模态LLM混合ViT注意力设计
🧭 多模态LLM视觉编码器混合注意力设计
Peking University · The University of Hong Kong · Xiaomi Corporation
提出SHS-Index量化ViT注意力头的语义专业化，据此设计Ariadne混合注意力，以6.5倍更少注意力计算匹配全注意力性能。
📌 工作参考价值（4 点）
- 电商多模态商品理解中，若使用 ViT 编码商品图/视频，可用 SHS-Index 诊断注意力头分工是否充分，快速评估替换混合注意力后是否损失语义表达能力。
- 设计高效图像/视频编码器时，优先关注三个结构因素：window interaction（窗口间交互）、token serialization（token 序列化方式）、local softmax allocation（局部 softmax 分配），这比仅调窗口大小或层数更有效。
- Ariadne Attention 在 6.5 倍注意力 FLOPs 降低下接近全注意力，适合线上推理延迟敏感的商品理解链路，可直接作为多模态 LLM 视觉塔的轻量替代，降低推理成本约 13.5% 端到端时间。
- 整体是视觉编码器底层优化，与推荐排序/召回的直接耦合弱，但可作为多模态 embedding 服务降本增效的组件复用。
CODE：面向开放世界目标检测的跨模态校准与动态抑制
🧭 多模态基础模型的开放世界检测
Beijing Institute of Technology
提出推理时跨模态校准与动态抑制框架，在 OWOD 基准上 U-mAP/K-mAP 分别提升 2.6/2.3 点
📌 工作参考价值（4 点）
- 多模态检索/推荐中常见的单向 text-to-vision 匹配可用全局视觉原型校准文本驱动分数，缓解文字描述与商品图像之间的语义歧义，适合商品搜索、广告创意匹配等场景。
- 对冷启动或未入库新品，可借鉴「从局部视觉响应测量分类犹豫度」的思路，检测模型不确定的区域并将其强化为潜在未知商品，辅助发现新类目或 UGC 中的未标商品。
- 在 query/商品类目分类中，用 margin-aware 动态离群点抑制替代刚性阈值，能保留决策边界附近的模糊样例，减少对长尾 query 的误杀，提升召回。
- 整套方法是推理时框架，不重新训练基础模型，可作为插件层覆盖现有 VLM/多模态 API，适合快速验证跨模态校准与 OOD 检测策略。
流式视频情感理解的轨迹感知可靠性框架
🧭 流式多模态情感计算 · 可靠性门控
Zhejiang University · Ant Group · School of Software Technology (Ningbo), Zhejiang University
提出轨迹感知可靠性框架 TRACE，基于流式信念的稳定性与切换模式选择性调用多模态重推理，优化在线情感理解的准确率-成本权衡
📌 工作参考价值（4 点）
- 在线推荐/排序场景中，用户行为流式到达，可借鉴 TRACE 的轨迹稳定性信号：不仅看当前预测置信度，还监控近期预测分布的熵、类切换频率，当轨迹不稳定时触发重排或调用更重模型。
- 将系统拆成低延迟主路径与高成本上下文重推理路径，通过可靠性分数做门控，能有效平衡实时性与准确性，适合广告/搜索中延迟敏感但需质量保障的模块。
- 对 LLM Agent 或 RAG 流程，在对话/推理中间步骤记录 belief 轨迹（如生成候选答案的分布），若检测到频繁切换则触发工具调用、检索或重新推理，避免过早 commit。
- 可靠性估计不必依赖额外标签，可从置信度、熵、稳定性等无监督信号合成，落地成本低，适合快速实验。
面向短视频假新闻检测的自反思多模态推理框架
🧭 多模态自反思推理 · 假新闻检测
China University of Mining and Technology - Beijing · Fudan University · The Institute of Semiconductors of the Chinese Academy of Sciences
SRM-FND 通过对比反思、迭代根因诊断与校正提示优化，提升短视频假新闻检测的可靠性与可解释性
📌 工作参考价值（4 点）
- 多角色辩论式推理可用于电商内容审核：盲分析者、反结论推理者、自洽仲裁者的协作机制能有效保留判别性证据，可迁移到短视频商品描述、直播切片、用户评论的真实性/合规性审核，尤其适合不确定样本的二次裁决。
- 置信度驱动的跨样本检索值得借鉴：对低置信样本检索同事件/同商品的可信与可疑参照，通过对比增强判定，可应用于商品虚假卖点识别、竞品对比内容审核、广告合规检测等场景。
- 双阶段主题自适应 VLM 微调是低成本部署路径：先做多模态 grounding，再做轻量 topic specialization，适合在算力有限的电商风控团队中快速适配新品类或新违规模式。
- 自反思无需 ground-truth CoT 监督：在缺乏高质量推理标注的电商内容安全场景，可通过迭代根因诊断和提示修正自动提升推理质量，降低人工标注成本。
PACE：统一的压缩-提取范式加速视觉语言模型推理
🧭 VLM推理加速 · token压缩
Sun Yat-sen University · Power Dispatch Control Center, Guangdong Power Grid Co., Ltd. · Shenzhen Loop Area Institute
训练无关的VLM推理加速框架，通过像素自适应压缩和动态双注意力提取，仅用10%视觉token保留93.8%性能，TTFT加速3.1倍
📌 工作参考价值（4 点）
- 电商商品图像理解：对大规模商品图进行VLM推理（如属性提取、图文一致性校验）时，可借鉴APC在编码前评估像素信息密度，对背景简单或冗余区域降采样，降低视觉编码器计算量，显著缩短首token延迟，适合实时性要求高的在线服务。
- 多模态Agent在搜索/推荐中的应用：当Agent需要理解用户上传图片或商品图来辅助推荐时，DDAE融合视觉编码器内部信号和LLM语义信号，可在严格token预算下保留关键视觉细节（如商品logo、纹理），避免性能损失，提升交互响应速度。
- 训练无关、即插即用的设计便于快速集成到现有VLM服务，无需微调即可部署，适合频繁迭代的线上系统；10%视觉token保留93.8%性能、3.1倍TTFT加速的结论可作为token预算设定的参考基准。
- 架构上，将压缩前置到编码器之前、提取后置到LLM之前，形成两级优化，这种“先压缩后提取”的范式可以启发多模态推荐中其他模态（如视频帧、音频）的token优化，在保持性能的同时降低整体推理成本。
视觉检索头：揭示视觉语言模型如何定位与提取视觉信息
🧭 VLM 可解释性 · 视觉检索头
KAIST · Independent Researcher
发现 VLMs 中稀疏且因果的视觉检索头，负责将文本描述 grounding 到图像区域
📌 工作参考价值（4 点）
- 业务中用到 VLM（如商品图问答、广告素材理解）时，可通过 mask 少量 VRHs 快速验证定位能力是否关键，或做推理时的受控干预，提升输出可信度。
- 头打分方法（输出 token 对 GT 区域的 attention 求和）可作为诊断工具，评估多模态模型在特定业务数据上的视觉 grounding 质量，识别失败案例是模型定位偏差还是高层推理问题。
- VRHs 跨模型迁移（共享 LLM 主干）意味着可以在一个 VLM 上发现关键头，再迁移到同主干的其他 VLM，降低重复分析成本，用于模型压缩或推理加速。
- 整体上是机制解释的学术贡献，直接迁移到电商推荐/搜索系统还需结合具体业务数据做适配，不建议直接照搬。
通过倒置非对称融合缓解多模态学习中的强模态坍缩
🧭 多模态融合中强模态坍缩抑制
Imperial College London · California Polytechnic State University San Luis Obispo
提出 Inverted Asymmetric Fusion，保留强模态通路并以弱模态蒸馏锚定融合，避免强模态退化
📌 工作参考价值（4 点）
- 多模态推荐/搜索中常出现文本、图像、行为等信号不均衡，直接对称融合可能损害主模态表征。可设计非对称融合结构，让强模态（如商品标题、用户历史）保持自身通路，弱模态仅作为上下文信息辅助，而不是强制相互注意力。
- 对图像、视频等弱模态先做模态感知知识蒸馏，使其在融合前尽可能逼近强模态或教师模型的语义空间，能减少融合时的噪声干扰，提高整体效果。
- 引入路径隔离评估：在融合前后分别测试各单模态内部准确率，快速定位是否发生融合退化，这在推荐模型迭代中可作为调试工具，避免“融合后反而变差”的隐性故障。
- 该思路可用于电商多模态排序、详情页理解等场景：文本描述通常是强模态，图片/视频是弱模态，可让视频/图片特征以文本特征为锚定，而非让文本特征被图像注意机制拉偏。
直接还是中介？大音频语言模型中任务相关的音频信息路由
🧭 多模态音频 LLM 信息路由分析
Graduate School of Informatics, Kyoto University · WXG, Tencent
用逐层注意力 knockout 揭示 LALM 中 ASR 与 AQA 的信息路由差异，指出音频拼接下 AQA 失败源于下游信息利用瓶颈
📌 工作参考价值（4 点）
- 多模态 LLM 在拼接/混合输入下不同任务鲁棒性差异大：直接检索型任务（如 ASR）更稳，需要推理整合的任务（如 AQA）易崩。做语音购物、智能客服等业务时，不能假设模型整体 robust，需分开评估识别子任务与问答/决策子任务。
- 逐层 attention knockout 和 prompt-token probing 可作为诊断工具复用：定位多模态模型在复杂输入中失败是早期编码信息丢失还是下游检索/利用瓶颈。在生成式商品推荐中，可检查 item 信息是直接由生成 token 检索，还是先写入 prompt token 再中介。
- 若发现任务依赖 mediated route 且下游利用不足，可考虑架构干预：对 prompt token 增加辅助监督或跨模态对齐损失，强化中介表示；或在生成阶段引入 pointer/显式检索机制绕过自回归访问瓶颈。
- 工程上，当多个商品描述或音频片段拼接输入时，中间层 prompt 表示可能仍保留信息但利用不起来，可考虑加入外部 key-value memory 或 cache，让生成 token 显式检索，缓解信息利用瓶颈。
Aphanta：诊断任务对齐的图像编辑中间产物在多模态推理中的效用
🧭 多模态推理 · 图像编辑中间产物诊断
Fudan University · StepFun · Shanghai Jiaotong University
提出闭环诊断框架 Aphanta，量化图像编辑中间产物在多模态推理中的任务条件化增益与边界
📌 工作参考价值（4 点）
- 评估生成式中间产物（如 Semantic ID、图像生成、检索文档）时，应加入 idealized reference 条件，分离上游生成器误差与下游模型能力上限，避免把生成器的失败误判为方法无效。
- 不要假设同一中间表示对所有任务都有帮助；应识别任务条件化增益的边界。在电商场景中，可先诊断哪些商品属性或查询类型适合用图像生成/编辑增强，而不是全量铺开。
- 闭环诊断协议可复用到 Agent 工具调用：自动发现候选任务，对比直接推理、工具生成中间产物推理、理想化中间产物推理三种条件，量化工具的真实贡献与失效模式。
- 从结果看，图像编辑作为“专用视觉工作区”更适合视觉线索注入、定位和反事实状态实现；对于需要精确结构外推的任务，应避免依赖当前生成器，或引入校验环节。
Case2Flow：面向患者病例的指南流程图多模态检索
🧭 多模态检索 · 医疗流程图
Karlsruhe Institute of Technology · Helmholtz Information and Data Science School for Health (HIDSS4Health) · University Hospital Essen
提出训练-free 的 CRISP 评分，抑制无用 patch 并加入双向对齐，显著提升病例到流程图检索
📌 工作参考价值（4 点）
- CRISP 的 patch 抑制与歧义 token 折扣可直接迁移到商品主图/广告创意的多模态检索：背景杂乱、促销文案 token 常引入伪匹配，在 late-interaction 阶段做后处理即可提升 Recall，无需重训模型。
- 双向 query-image 对齐思路适用于“用户 query ↔ 创意/商品图”互搜场景，能降低单向相似度误报，可作为排序重打分模块加入现有召回链路。
- FlowAtlas 的合成对齐数据管线（从结构化文档/决策树生成 case-flowchart 对）可借鉴用于生成电商 SOP/政策文档与商品或广告场景的匹配对，低成本构造多模态检索训练/评测数据。
- 失败模式分析（关键词过度依赖、背景 patch 匹配）值得在电商图文检索评估中复现，帮助定位精排模型偏置。
EditaLive：面向直播的统一人物视频实时编辑框架
🧭 实时人物视频编辑 · 扩散蒸馏
University of Macau · vivo BlueImage Lab · GVC Lab, Great Bay University
基于外观-运动解耦蒸馏为两步采样器，实现14.47 FPS低延迟直播角色视频编辑
📌 工作参考价值（4 点）
- 直播电商的实时换装/虚拟试穿/人物特效可借鉴外观-运动解耦思路：用预训练图像动画模型作为基底，通过参考帧编辑+视频重建实现指令驱动编辑，同时保留原始动作与面部表情，减少不一致。
- 低延迟推理工程化：采用 aligned self-rollout distillation 将扩散模型压缩为两步采样器，结合固定 RoPE 与 align forcing 缩小训练-推理差距，可大幅降低生成式视频模型的推理成本，适配实时互动场景。
- 长序列流式生成中引入首帧保留稀疏注意力，过滤冗余历史信息、抑制外观漂移，适合直播等持续流式推理，可迁移到需要长时一致性的视频生成或序列建模。
- 指令编辑数据构建方法：通过参考帧编辑与视频重建自动生成 CharEdit-50K 数据集，可借鉴到电商商品换背景、模特换装等合成数据生成，降低人工标注成本。
通用多模态嵌入的事后稀疏化：PUMA 实现高效检索
🧭 多模态嵌入事后稀疏化与高效检索
Politecnico di Bari, Italy · Sapienza University of Rome, Italy · ISTI–CNR, Pisa, Italy · University of Pisa, Italy
用稀疏自编码器将通用多模态嵌入事后转化为紧凑稀疏码，不重训骨干，存储降 8-16 倍、检索最高加速 25 倍
📌 工作参考价值（4 点）
- 电商多模态检索（如商品图搜、文搜图、组合查询）可直接在现有通用 embedder 之后挂接稀疏自编码器，把 dense FP32 向量压缩为少量非零分量，线上索引存储降低 8-16 倍，大候选池精确打分提速约 25 倍，适合对延迟和内存敏感的召回场景。
- 预训练阶段先让稀疏编码保持 dense 点积几何（重建内积），再针对检索损失微调，这个两阶段 recipe 可以迁移到商品 embedding 压缩：先用自监督对齐 dense 相似度，再用业务正负样本微调稀疏表示，避免直接端到端训练导致语义漂移。
- 注意两个失败模式：pre-TopK 支持不足（稀疏码中没有保留足够多与 query 最相关的维度）和 active support 与检索错位，意味着在业务落地时要监控稀疏化后 TopK 召回与 dense 的覆盖差异，必要时通过增加预 TopK 约束或检索微调时加入 ranking 损失修正。
- 若已有稠密 embedding 模型不想重训，PUMA 提供了一种 post-hoc 压缩路径：冻结 backbone，只训练轻量稀疏编码器，对已有电商图文 embedding 服务可以低成本升级，减少向量数据库存储成本，适合在召回/粗排阶段做候选快速扫描。
任务解耦 LoRA：统一框架下的多功能音视频多模态学习
🧭 多模态多任务学习 · 任务解耦 LoRA
用任务解耦 LoRA 在统一 LLM 框架中整合通用知识、任务特定模式与跨任务协作，缓解多任务干扰。
📌 工作参考价值（4 点）
- 在多目标/多场景推荐与搜索统一模型中，可借鉴“通用 LoRA 底座 + 任务调制矩阵”的架构：共享低秩空间保留通用表征，任务特定矩阵做轻量解耦，比完全共享或独立微调更抗干扰，也便于快速接入新任务。
- 跨任务协作专家通过可学习门控显式建模任务间相关性，适合电商 CTR、CVR、GMV 等多目标联合优化，减少负迁移；可优先对相关性强的任务组开启协作路径。
- 以 LLM/LoRA 参数高效适配多模态输入，适合商品图、文案、短视频素材统一编码；按任务插入不同调制层即可扩展类目识别、属性抽取、卖点生成等，不必为每个任务完整微调大模型。
- 若业务要建设多模态统一理解底座，可参考“模型侧与任务侧双重显式协作”思路，避免 naive joint training 带来的互相干扰。
乳腺超声诊断中通才-专家模型协作的引导与反馈框架
🧭 MLLM 与视觉专家协作优化
Department of Data Science & AI, Monash University, Australia · Department of Computer Science, Renmin University of China, China · School of Computing and Communications, Lancaster University, UK
提出 BooF 框架，通过 BI-RADS 引导 MLLM 生成可靠描述并反馈给视觉专家，提升诊断准确性与可解释性
📌 工作参考价值（4 点）
- 借鉴领域知识约束：用结构化 schema（如商品属性、广告合规词表）引导 LLM 生成内容，减少幻觉。
- 两阶段协作：先由轻量专家模型给出初步信号，再让通用 LLM 基于该信号生成解释或描述，反馈给专家模型融合，可提升多模态推荐/审核模型性能。
- Attention-Gated 跨模态融合模块：轻量、可自适应过滤噪声，适合工程上在现有多模态模型中插入，无需大改架构。
- Bootstrapping 思想：通用模型与专家模型循环增强，可用于 Agent 系统中不同角色协作，比如生成式商品描述与检索模型互反馈。
V-Rubrics：基于Rubric强化学习的视觉忠实性训练
🧭 多模态VLM后训练 · Rubric奖励
S-Lab, Nanyang Technological University · A*STAR · UIUC
将参考答案分解为原子命题，从视觉忠实、推理一致、指令遵循三方面给结构化rubric奖励，提升VLM多模态后训练
📌 工作参考价值（4 点）
- 将粗粒度结果奖励拆成rubric子项（视觉事实、推理步骤、约束满足），对广告文案、推荐解释、商品QA等LLM评估与RL奖励设计可复用：避免只给整体好坏，能定位错误点并给予结构化部分信用。
- 使用prefix-localized partial credit：当有支撑证据span时只奖励相关前缀，不惩罚后续冗余，适合多步推理生成任务中做更精确的credit assignment。
- 训练数据构造：规则过滤+拒绝采样分数划分难度，再用强LLM统一prompt标注rubric，可低成本获得可扩展的奖励标注集；业务上可对商品描述、视频帧QA等构造领域微调数据。
- 先SFT冷启动再做GRPO，并用相同SFT检查点对比answer-only GRPO，可迁移到LLM-based推荐/Agent训练流程，验证奖励抽象对后训练的实际增益。
微信多模态 Embedding 技术报告：WeMM-Embedding 家族
🧭 多模态表征学习 · 通用 Embedding ★ 深度解读
WeChat Vision, Tencent Inc.
2B/4B/9B 通用多模态 embedding 家族，两阶段训练与蒸馏在 MMEB-v2 达 80.6 SOTA，并大规模落地微信推荐搜索
📌 工作参考价值（4 点）
- 通用多模态 item embedding 直接复用：商品/视频/图文内容统一走 <embedding> 末 token 出向量，可在召回、排序特征、用户序列建模、跨域理解中复用；视频场景可一次前向同时拿到“视频帧-only”和“视频+ASR文本”两种表示，适配不同召回通道。
- 多任务 pair 统一格式优于分开训练：把搜索 query、商品详情、内容描述、分类标签、点击/转化分级相关统一成 (instruction, source, target, hard_negatives, relevance)，用 task-consistent batch 和 duplicate-aware masking，能显著提升 in-batch negatives 质量；该技巧可直接迁移到电商搜索/推荐 embedding 训练。
- 用 Semantic ID 做数据平衡和难负例挖掘：对 pair 表示做 RQ-KMeans 得到三层语义 ID，按频次降采样高频语义、保留长尾，配合 MLLM 质量过滤和检索难负例，特别适合缓解电商长尾商品和新品冷启动；MRL 输出 256/512 维可降低向量索引成本，同时保留 97% 以上性能。
- 蒸馏策略可压缩学生模型：2B/4B 用 9B teacher 的 batch 内双向相似度分布做 KL 蒸馏，不像 one-hot 对比损失那么硬，能高效传递细粒度关系；在广告/推荐小模型迭代时可用此方法把大模型能力压到线上可部署尺寸。
多模态学习的自适应层次表征联盟
🧭 多模态分层共享-私有专家框架
Fudan University · University of Southern California · Cornell University · University of New South Wales · Peking University
提出AHRA分层共享-私有专家框架，缓解跨模态语义粒度错配并提升噪音与缺失鲁棒性
📌 工作参考价值（4 点）
- 多模态商品理解中，不要默认各模态在最终层对齐；用 layer-wise CKA 识别语义深度差异：商品文本/标题往往需深层抽象，商品图/短视频帧的视觉证据在浅中层就可判别，可在对应层级做 shared 对齐，减少浅层视觉信息被 flatten。
- 共享/私有专家分解 + private decorrelation 可迁移到多通道用户/物品表示：跨场景共享专家建模共性，场景或模态专属专家保留细粒度信号，避免搜索/推荐/广告多域数据互相干扰。
- sparsity-controlled soft-gating（foreground exam）适合多模态 item tower 的 token/feature 选择：对缺失或噪声模态自动降权，增强 task-relevant private token，提升线上缺图/缺描述时的鲁棒性。
- 层次 co-fusion 的 intra-level coordination + inter-level semantic selection 可用于多尺度融合商品图文与用户行为序列，动态选择最有利的语义层级，而非固定 concat/attention。
Rubrics 作为视觉修复上下文的自演化 UI-to-Code 生成
🧭 VLM 自演化 · 视觉修复上下文
University of Maryland, College Park · Microsoft
提出 RubSE，用结构化 rubric 引导视觉修复，解决 UI-to-code 自演化中局部修复相互耦合导致轨迹不稳定的问题
📌 工作参考价值（4 点）
- 在迭代优化 Agent（如落地页、商品详情页、广告创意自动生成）中，引入结构化“修复指令/评分标准”作为上下文，而不是反复给模型完整截图让其自由修改，能明显约束修改范围，避免模型过度重写导致原本正确区域被破坏。
- “每轮只选一个最高优先级修复目标”并维护已选目标历史，这种机制可以迁移到多轮自优化流程（如搜索推荐文案、UI 布局、推送消息的自动迭代），提升轨迹稳定性，减少回归。
- 强 rubric 生成器 + 弱代码执行器的组合：业务上若代码生成模型能力有限，可以用更强的模型生成视觉修复 rubric，再交给轻量模型执行修改，推理成本更低且效果可迁移，类似推理时蒸馏。
- 将视觉差异表示为 typed rubrics（layout_geometry、style、component 等），把修复问题分解为可执行子目标，对多模态 Agent 设计有直接参考价值，可用于电商多模态内容生成的闭环优化。
长时程音视频生成：持久故事与交互世界
🧭 多模态生成 · 长时记忆与几何控制
Joy Future Academy, JD
JoyAI-Echo-1.5 用跨镜头记忆与 6-DoF 几何控制实现角色持久和交互世界，并以 Self-Gradient Forcing 训练因果生成器
📌 工作参考价值（4 点）
- 长视频变体的 composable cross-shot memory 聚合多镜头视觉证据和 speech-filtered speaker cues，可借鉴到电商短视频广告生成中：显式维护商品/人物外观与音色记忆库，避免多镜头口播或商品展示中的角色漂移，提升跨镜头一致性。
- 世界模型变体将异构导航输入统一为 calibrated metric 6-DoF 相机轨迹，经 geometry-aware conditioning 注入，可迁移到虚拟直播间、3D 商品展示或交互式试衣间，使鼠标/键盘/手柄等不同控制信号映射到统一几何表示，简化多端交互接入。
- 训练技巧 progressive teacher forcing + short/long-horizon Self-Gradient Forcing 在自生成 rollout 上训练，将一个双向模型转为 causal few-step generator，可借鉴到推荐系统里的用户行为序列生成或 query 序列预测，减少 teacher forcing 导致的 exposure bias，提升长序列生成一致性。
- 工程实现上，将 speech-filtered full-shot audio 作为 speaker cues 绑定音色，可复用于电商数字人直播的音画同步与角色一致性，降低对多模态对齐标注的依赖。
DARS：双层信用分配强化学习与结构化推理的图像编辑框架
🧭 多模态图像编辑 · 强化学习信用分配
South China Normal University · KlingAI Research
提出 DARS，在 planner-renderer 图像编辑中通过模块间与模块内双层信用分配，将最终奖励分解为局部监督信号，提升 RL 训练效率
📌 工作参考价值（4 点）
- 在多阶段推荐/Agent 系统中（如 planner-renderer 或召回-排序），用 multi-plan multi-render rollouts 估计模块间和模块内的 reward variability，作为 soft module routing 权重，替代简单的联合 RL 端到端更新，可避免梯度分配不公导致模块优化失衡。
- 让 LLM 输出结构化字段（如意图、对象、动作、约束四字段）而非自由文本，配合 prefix-gated reward 和 token-level advantage reweighting，可将最终业务指标（如成交、点击）奖励分解到关键生成的 token，提升生成式推荐理由/query 的可控性和训练效率。
- 自适应课程：利用 rollout 的平均奖励作为样本难度指标，动态调整训练集中难易样本比例，适合电商场景中长尾/困难样本（如复杂意图 query、小众商品）的针对性优化。
- 跨模块与模块内双层信用分配框架可扩展到“LLM 生成 query -> 检索器执行”的两阶段系统，解决最终指标不好归因于 query 生成还是检索执行的问题。
多模态图像重排的结构化相关证据方法
🧭 多模态搜索重排 · 结构化证据
The Hong Kong University of Science and Technology (Guangzhou) · Tencent Yuanbao · The University of Hong Kong
将多模态图像重排建模为语义约束满足，解析查询为结构化证据包并做证据条件验证，SOTA 且可蒸馏
📌 工作参考价值（4 点）
- 将用户查询解析为 typed semantic slots（required/forbidden/ignorable）的结构化证据，比不透明 embedding 或自由 CoT 更能捕获电商搜索中的复合约束（如“同款但粉色”“保留版型、忽略背景”），减少细粒度条件遗漏或幻觉。
- 采用 deterministic rubric scoring + evidence-grounded listwise comparison 的无训练重排流程，可直接接入已有召回/粗排链路，无需微调、上线快，适合电商场景数据分布频繁变化、快速迭代的需求。
- 显式证据可蒸馏轻量学生模型，保留 90%+ 效果且成本大幅降低，适合线上高 QPS 的排序阶段；可将证据包作为结构化监督信号迁移到商品/广告排序模型。
- 六个语义槽（entities, attributes, relations 等）与 required/forbidden/ignorable 的标注方式，可复用到商品属性约束理解模块，提升对用户意图（保留什么、改什么、忽略什么）的结构化建模能力。
Llama-Mobile：VLM 的高效 2.7-bit 量化
🧭 VLM 量化与移动端高效推理
Graphcore Research · Arm
提出无需原始训练数据的 VLM 量化 pipeline 与 S3D8 2.7-bit 格式，将 Llama 3.2 11B 压缩至 3.7GB 并保持 VQA 性能
📌 工作参考价值（4 点）
- 业务里若需在端侧/边缘部署多模态模型（商品图理解、广告素材审核、图文客服），可借鉴“无原始训练数据 QAT”：用目标模型自生成校准数据，避免数据不可得和分布偏移。
- S3D8 2.7-bit 格式将三个有符号权重打包进一个字节，解码到 INT8 后推理，对 Arm CPU 友好；有移动端导购/Agent 或端上推荐模型时可评估该格式降低内存。
- 量化训练数据选择对性能很敏感：合成与部署分布匹配的数据比通用公开数据更稳，做模型压缩时值得投入数据构造。
- 11B VLM 压缩到 3.7GB 说明移动端内存预算可承载多模态大模型，适合端侧“拍照搜商品/图片问答”等场景。
PEA-DPO：感知增强直接偏好优化用于多模态大模型对齐
🧭 多模态 LLM 对齐与视觉偏好优化
University of Science and Technology of China · National University of Singapore
提出 PEA-DPO 显式利用视觉偏好信号，解决多模态 DPO 中的视觉不敏感问题并显著减少幻觉
📌 工作参考价值（4 点）
- 在电商图文推荐或商品文案生成中，仅靠文本偏好对齐容易让模型忽略图像关键信息；可借鉴 PEA-DPO 思路，构造显式视觉对比样本（例如移除商品属性区域前后）作为偏好对，强制模型感知视觉差异。
- 多模态场景下 DPO 失效往往表现为「视觉不敏感」，建议在偏好数据中显式注入视觉信号，而不是简单复用文本偏好对；这能降低商品描述与图片不一致的幻觉。
- PEA-DPO 在增强视觉敏感性的同时保持语言建模能力，说明多模态对齐可以解耦：对视觉模块加感知约束，对语言模块保持原有优化目标，适合需要兼顾文案流畅性和图片一致性的业务。
- 论文验证了不同规模 MLLM 上均有效，说明该方法可作为轻量级偏好优化插件，接入现有多模态推荐或搜索问答系统，无需改变主架构。
TLive-Omni：面向电商直播的全模态理解模型
🧭 多模态大模型 · 电商直播理解
Taobao & Tmall Group of Alibaba
面向电商直播的全模态理解模型，通过三阶段监督训练和 Faithful-RFT 强化微调，实现长时多模态流的准确实时理解
📌 工作参考价值（4 点）
- 直播场景中商品信息分散在语音、视频帧、商品图、叠加文字和用户 query，可借鉴 Per-vGrid 时间戳 token 组织：将视频 grid 与对应的音频段放在显式边界 token 内，强化时序对齐，适合长视频理解任务。
- Faithful-RFT 强化微调思路值得迁移：直接对最终答案使用任务可验证反馈打分，而不在 rollout 过程中优化推理式探索，能平衡答案忠实度与实时响应，对电商推荐/客服等延迟敏感场景有参考价值。
- 数据生产引擎将直播音视频流自动转为 ASR、说话人分析、视觉 grounding、OCR、时序 grounding、dense caption、全模态 QA 等原子能力训练信号，可复用到电商内容理解、商品属性抽取与标注。
- 工程实现上，同步长度分组采样减少 padding 且保持多 worker 负载均衡，轻量动态采样保持 GRPO 相对优势，对大规模多模态训练有实用参考。
GRACE：通过适配器组合与证据感知校准实现教育视觉问答的接地推理
🧭 多模态VQA · 参数高效适配
Columbia University · Carnegie Mellon University · University of California, Berkeley · Stevens Institute of Technology · Georgetown University
GRACE利用题目教学状态路由轻量语言与视觉适配器并做证据感知选项校准，在ScienceQA上将准确率从90.5%提升至93.1%
📌 工作参考价值（4 点）
- 将结构化业务状态（如类目、场景、用户意图、选项/候选结构）作为路由信号，组合不同因子专属的轻量 adapter 或 prompt，可在不微调大模型的前提下实现多场景/多任务适配，类似推荐系统中的多场景专家路由。
- 证据感知选项校准：在共享上下文中对所有候选联合打分并校准，可借鉴到电商搜索/推荐的精排阶段，尤其适合语义相近的候选（如相似商品标题/广告文案）的去混淆排序。
- 冻结多模态 LLM，仅训练轻量视觉/语言 adapter，降低多模态业务（商品图+文本描述）接入大模型的训练成本，便于快速迭代。
- 消融实验说明结构化状态、跨模态证据和选项校准各自贡献约为1-1.5个点，提示在多模态推荐/搜索中应同等重视元数据路由信号与候选间联合校准。
VA-Judger：面向联合视频音频生成的人类偏好反馈奖励建模
🧭 多模态生成奖励建模 · 视频音频对齐
Fudan University · Shanghai Innovation Institution · Yinwang Intelligent Technology Co., Ltd
构建10K人类偏好数据集与评测基准，提出链式思考全模态奖励模型VA-Judger，通过分维度强化学习对齐人类偏好
📌 工作参考价值（4 点）
- 多模态生成评估中，单一标量奖励容易被 hack，可将评分分解为 prompt match、audio-visual consistency、audio quality、video quality、completeness 等维度，分别评分加总，使奖励更密集、可解释，也便于定位生成缺陷；类似电商广告视频生成可定义画面-文案一致性、卖点覆盖、音画同步等维度。
- 构建小规模人类偏好对比数据时，先让模型在明显差距样本上学习结构化输出，再用拒绝采样对难分样本蒸馏解释，降低人工标注成本；可用于业务中快速训练创意评估模型。
- 奖励模型后训练可采用 dimension-wise RL，把二元偏好分解到各维度，提供更密集训练信号，比只优化全局偏好更稳定；在广告创意 A/B 测试中可对应分维度打分作为辅助 reward shaping。
- CoT 让奖励模型输出各维分数和推理过程，便于线上审计和错误分析，但会增加推理延迟，业务中可在离线评估或数据标注环节使用，在线打分可只取结构化分数。
MoE-ViE：用于高效图像与视频理解的混合专家视觉编码器
🧭 视觉编码器 MoE 高效扩展
Meta
系统研究 CLIP 视觉编码器的 MoE 设计，以细粒度拓扑与无辅助损失均衡实现高效扩展并超越稠密模型
📌 工作参考价值（4 点）
- 电商多模态召回/排序依赖 CLIP 式视觉编码器，可替换为 MoE-ViE 类细粒度 MoE 编码器，在商品图片/视频特征提取中获得更高吞吐、更低延迟；其专用 MoE kernel 可直接借鉴到线上推理优化。
- 细粒度 MoE 拓扑与无辅助损失均衡方法可迁移到多模态特征塔或用户行为序列编码器，减少专家负载不均衡和训练不稳定，提升模型容量扩展效率。
- 视频理解中的帧级蒸馏与冻结机制适合电商直播/短视频场景：在已有图像编码器基础上增量扩展视频能力，避免灾难性遗忘，无需从头预训练视频模型。
- 对于多模态 Agent（如商品问答、视觉搜索），视觉编码器是延迟瓶颈之一，采用 MoE-ViE 可在保持精度下降低端到端延迟，适合交互式场景。
超越正确性：混合思考多模态大模型的响应行为基准与对齐
🧭 MLLM 响应行为对齐与 RL 训练
Institute of Automation, Chinese Academy of Sciences · Large Language Model Department, Tencent · University of Electronic Science and Technology of China · Hong Kong University of Science and Technology · Zhongguancun Academy
提出 PatternEval 诊断基准与 PatternRL 训练框架，缓解混合思考 MLLM 思考/非思考模式响应行为失配
📌 工作参考价值（3 点）
- 混合思考部署模式（如电商客服/推荐 Agent 中快速模式与深度推理模式并存）需监控响应行为一致性，尤其防止 CoT 泄漏暴露内部推理链（可能泄露用户特征或策略细节），论文的 PatternEval 四类失败可作为线上评测指标。
- RL 训练阶段引入 pattern-specific penalties（PatternRL）可在不显著影响任务准确率的前提下对齐非思考与思考模式，这种分模式惩罚思路可迁移到生成式推荐中，用于约束不同解码策略（如 greedy vs. beam）下输出风格一致。
- 构建评估集时主动注入已知失败模式（failure-enriched）比均匀采样更能暴露模式差异，可用于生成式推荐/Agent 的离线和回归测试，提前发现长尾行为问题。
VTInstructor：连续环境下基于视觉轨迹提示的导航指令生成
🧭 视觉语言导航 · 指令生成
Peking University · PrimeBot
将隐式轨迹几何转为显式视觉轨迹提示，首个连续环境 VLN 指令生成框架，刷新 R2R-CE/RxR-CE SOTA
📌 工作参考价值（3 点）
- 行为序列显式化提示：可把用户长点击/浏览/加购序列压缩成关键行为节点，并叠加“转向/目标”类结构化提示注入多模态或序列编码器，提升电商场景下 query 推荐、购物路径描述或决策理由生成。工程上可用点击率、停留时长等阈值抽取关键行为，形成轨迹图 prompt。
- 弱化图谱依赖：无需 navigation graph/map/scene reconstruction，适合业务中缺少完整商品知识图谱或用户路径图的情况。可借鉴其从稠密事件流中恢复轨迹、仅靠关键锚点构造上下文的方法，降低图构建与维护成本。
- 用下游 reward 校准生成：VT-GRPO 不止优化文本 NLL，而是让生成指令能提升下游 follower 成功率。迁移到生成式推荐/搜索词生成时，可用点击率、转化率等下游反馈作为 GRPO reward，使生成文本直接服务业务目标。
ForgeWM：面向少步动作条件视频世界模型的渐进式因果训练
🧭 少步动作条件视频世界模型
CUHK · Tencent PCG · FDU · Shanghai AI Laboratory · HKUST
提出 ForgeWM 框架，将双向视频生成器蒸馏为 1/2/4 步动作条件世界模型，并支持低延迟生成与事后细化
📌 工作参考价值（4 点）
- 若业务中需要实时交互式生成（如对话式推荐、生成式搜索补全），可借鉴按计算预算训练多个专用学生（1/2/4 步），针对不同延迟 SLA 选择对应模型，避免单一大模型的算力浪费。
- 双路径部署思路值得迁移：线上用极低步数模型快速生成草稿并保存，异步回流时再用更高质量路径对草稿进行重噪细化，与推荐系统中的粗排-精排/异步重排相似，能显著降低在线延迟。
- 蒸馏过程中引入因果一致性约束和在线策略匹配，能缓解自回归生成中的曝光偏差，对于需要根据用户交互实时生成下一步内容的 Agent 或生成式推荐系统有借鉴意义。
- 主要贡献集中在视频世界模型领域，与电商/搜索推荐直接关联度有限，更适合作为实时生成式交互系统的工程参考。
MINT：交易数据的通用零样本预测器
🧭 多模态交易推理 · 嵌入注入 LLM ★ 深度解读
Visa Inc.
用冻结交易序列编码器+LoRA适配LLM，通过嵌入注入实现高效零样本预测问答
📌 工作参考价值（4 点）
- 行为序列嵌入注入代替文本拼接：电商/推荐系统用户行为序列长、token 多，可预训练行为序列编码器生成紧凑嵌入，只训练 connector + LoRA，显著降低输入 token、在线延迟与显存，适合实时排序或用户表征注入 LLM 生成解释。
- 两阶段训练：先模态对齐（行为摘要 caption）再指令微调（QA + CoT 混合），提升 OOD 泛化。业务中构建预测/归因类任务时，可合成行为摘要和推理链，增强模型对未见问题的能力。
- 按任务类型选择表示：预测性任务用嵌入更好，提取式/事实查询用文本序列更优。推荐系统做可解释推荐或问答时，可根据是预测未来兴趣还是检索历史事实选择输入模态，或采用混合策略。
- LoRA 适配可插拔：领域特化会损失通用能力，但 PEFT 允许禁用 adapter 恢复 base LLM。部署时保留通用与垂直两套模式，切换成本极低。
MOSS-VL 技术报告：面向实时交互的视觉语言模型
🧭 多模态实时交互模型
Fudan University
开源视觉语言模型 MOSS-VL 通过门控交叉注意力实现边看边说，实时主动交互能力领先
📌 工作参考价值（4 点）
- 架构借鉴：将视觉 token 移出解码序列，仅通过门控交叉注意力注入视觉信息，可显著降低首 token 延迟，适合电商直播助手的实时交互场景
- 训练策略：合成交互语料库显式监督模型何时发言、何时沉默、何时修正，可借鉴用于训练主动提醒型电商客服或直播导购 Agent
- 课程学习：实时特定训练集中在轻量最终阶段，避免破坏离线基础能力，可用于多模态模型增量训练，降低工程成本
- 主动行为：在 OmniMMI Proactive Alerting 上 66.0 vs 37.5 的性能表明模型能主动捕捉关键事件，可应用于商品状态监控、用户行为异常提醒等场景
MLLM路由异构集成用于鲁棒跨数据集图像分类
🧭 多模态LLM路由异构视觉模型
University of Tennessee, Knoxville · The Bredesen Center for Interdisciplinary Research and Graduate Education
用多模态大语言模型agent动态路由每张图像到最合适的视觉骨干，实现跨域集成分类
📌 工作参考价值（4 点）
- LLM/MLLM 作为轻量级路由决策层：无需训练专门的路由模型，直接使用通用多模态大模型根据样本特征（如图像、文本描述）动态选择下游专家模型。可迁移到电商推荐中的多路召回/排序集成，比如按商品类目、用户意图或内容复杂度路由到不同精排模型。
- 异构模型集成 + 统一 label space：不同架构（CNN、SSL、VLM）共享统一标签空间，各自发挥优势。推荐系统中可以将协同过滤、Transformer、多模态模型统一在相同的候选集空间下，由 LLM 路由选择，降低集成维护成本。
- 通过 prompt 快速增加新知识：路由器只需修改 prompt 就能纳入新领域信息，无需重新训练。适合电商业务中频繁扩展新类目、新活动场景，能大幅缩短模型更新周期。
- 自然语言推理 trace 增强可解释性：路由决策附带 reasoning trace，便于线上 badcase 诊断和策略审计。对推荐系统中的模型选路、兜底策略可解释性有直接借鉴价值。
任务向量何时足够？隐式多模态上下文学习的实证理论
🧭 多模态 ICL 任务向量选择机制
Brown University
提出 Selection-Realization 假设，揭示静态任务向量在跨查询共享变化为主时足够，否则需更复杂干预
📌 工作参考价值（4 点）
- 在电商搜索/推荐中用 LLM 做少样本任务（如属性抽取、意图分类）时，先对比正确演示与反事实的激活结构：若演示诱导的变化跨查询高度共享，用静态 task vector 压缩演示可大幅降低多模态 token 重复编码成本，适合高并发在线推理。
- 借鉴 Selection-Realization 假设做成本感知的方法选择：离线分析显式 ICL 的隐藏状态变化，判断任务是否可被局部加性偏移近似，无需上线测试即可决定用静态向量还是升级到 query-conditioned 或 attention routing。
- 对多模态商品理解任务，静态 task vector 可能只覆盖通用映射，遇到细粒度查询（如颜色/材质条件）时性能下降；可考虑按 query 子集聚类维护多个 task vector，或增加轻量 query 调制模块来捕获查询特定结构。
- 工程实现上，若任务相对稳定且演示较长，优先尝试将演示压缩为单次前向的激活偏移作为缓存，避免每次推理重复编码多模态演示，减少延迟和 KV cache 占用。
SCULPT：3D 部件生成的减法组合框架
🧭 3D 生成 · 部件分解与组合
Shanghai Jiao Tong University · Huawei
提出 SCULPT，在结构化 3D 隐空间内通过联合分割预测器迭代提取部件，实现部件级生成与整体重建的协同优化
📌 工作参考价值（4 点）
- 借鉴“联合预测 + 耦合去噪”思路：在商品属性/标题/描述等多粒度生成任务中，避免先整体后拆分或先部件后拼接，而是让部分与整体在生成过程中互相条件化，减少不一致。
- 借鉴“稀疏支持重叠而非强制划分”：在结构化表示（如商品品类树、标签体系）中，允许节点/标签表示存在重叠，避免硬聚类带来的边界噪声；类似 RAG 中的 chunk 也可以重叠。
- 借鉴“迭代减法 + 自适应停止条件”：在生成多模块内容（如 banner 多区块文案、推荐理由多段生成）时，从完整草稿开始逐步剥离生成子模块，并设置安全上限，让模块数量自适应输入。
- 注意：本文是 3D 生成领域，业务直接迁移有限，主要价值在于生成式框架的设计思想。
StreamTTT：在流式视觉语言模型中协调实时感知与长期记忆
🧭 流式视觉语言模型 · 快速权重记忆
National University of Singapore · Karlsruhe Institute of Technology
提出StreamTTT将长程历史写入在线更新的快速权重，缓解流式VLM感知与记忆的权衡
📌 工作参考价值（4 点）
- 长期记忆外部化：把长程历史压缩到在线更新的快速权重（fast weights）中，避免全部塞入Transformer上下文造成注意力稀释，类似推荐系统中将用户长期兴趣建模在外部参数，短期会话保持滑动窗口。
- 滑动KV cache只留近期证据：在实时推荐/流式用户行为建模中，可以只保留最近交互的KV缓存，将长历史沉淀到可更新的小网络，实现低延迟实时推理。
- 在线更新参数替代全量缓存：快速权重在线更新机制类似TTT，对用户兴趣漂移建模可尝试用小参数在线学习历史，避免维护超长序列。
- 混合训练数据构造：联合离线长视频QA与实时QA训练，启发在电商推荐中混合长期历史序列和实时行为数据进行联合优化，提升长期记忆与实时感知的平衡。
TRAPSBench：视觉语言模型编码了认知克制却无法表达
🧭 多模态 VLM 视觉不确定性下的克制与评估
Meta Superintelligence Labs
VLM 内部能识别证据不足但输出不克制；提出 TRAPSBench 和 PECS，定位表达瓶颈
📌 工作参考价值（4 点）
- 在电商/广告的视觉智能体（商品图审核、直播切片理解、图文问答）中，模型对图像遮挡/模糊常过度自信；不要只靠 prompt 或 logit 置信度，可在 hidden states 上训轻量 probe 识别“不可判定”，作为路由/兜底信号。
- 评估不能只看准确率：可借鉴 PECS 构造 matched pairs（同一 case 只改一个关键帧/遮挡物/文字），要求可判定时答对、不可判定时弃权；在线上可把拒答率与人工差评率、客诉率挂钩。
- 文本不确定性比视觉不确定性更易被识别；若 Agent 含多模态输入，视觉分支应单独做 epistemic gate，避免文本线索足够时掩盖视觉证据缺失。
- 工程化干预放在 output stage 更划算（单层 steering / refusal head / adapter），因为模型内部已有可解码的答案性信息，无需从头训练大模型；这对搜索推荐中的多模态生成式模型做安全拒答也可复用。
Alaya-EVOKE：线性监督扩展与无限世界生成
🧭 交互式世界模型 · 长时记忆与蒸馏
MoE Key Lab of BIPC, USTC · Shanghai Innovation Institute · Alaya Lab
外部化世界状态并重新设计长时域教师，蒸馏出3步无CFG学生模型，实现持久记忆与持续生成
📌 工作参考价值（4 点）
- 外部可索引记忆库：将长会话状态存入 camera-indexed world state bank，按当前视图检索相关片段，避免上下文无限增长；在电商用户行为序列建模中可维护外部用户状态库，按当前 query/item 检索相关历史，而非全量塞入 prompt。
- 长时域教师训练：使用 chunk-wise 分组稀疏注意力 + 检索远处帧 + 线性注意力全局状态实现线性成本长序列监督；在序列推荐或会话模型训练长行为序列时可借鉴此架构降低计算与内存。
- 蒸馏方案：用 30 秒长时域 distribution-matching 目标 + self-forced rollouts 将长时一致性迁移到 3 步学生模型，并去除 CFG；在生成式推荐/文案生成中可用类似 rollouts + 分布匹配蒸馏提升 few-step 生成质量。
- chunk 级条件控制：支持在序列中途改变 prompt 和事件，适合交互式推荐/Agent 长任务中分段注入新指令，保持响应性。
UniSpace：统一视觉表示与可扩展多模态建模
🧭 统一视觉表示 · 多模态生成编辑
Meituan
提出 Patch Reparameterization，使冻结语义 ViT 同时支持理解、生成与编辑，并扩展为 8B MoE 统一模型
📌 工作参考价值（4 点）
- 可借鉴 Patch Reparameterization：在预训练语义 ViT 上增加 reconstruction-aware patch embedding，冻结主体 Transformer，低成本复用语义表征的同时保留像素细节；适合电商商品图重建、编辑和增强场景。
- 单一视觉空间同时支持理解、生成、编辑，省去独立 VAE 通路，能降低多模态模型复杂度和部署成本；在商品图像生成、广告素材编辑、多模态商品理解等任务中可探索统一 encoder。
- 8B Mixture-of-Transformer-Experts 的扩展思路可复用到多任务电商多模态模型：按任务或模态路由专家，在统一表征上做商品理解、文案配图、图片编辑。
- 评测基准 ImgEdit/DPG/OneIG-Bench 提供指令式图像编辑的系统级评估模板，可改造为电商场景的商品图编辑/文案生图评测；但对推荐、召回、排序的直接帮助有限。
DocMemo：面向多模态长文档理解的概率记忆引导动态证据检索
🧭 多模态文档理解 · 动态证据检索与记忆
Harbin Institute of Technology, Shenzhen · Tsinghua Shenzhen International Graduate School, Tsinghua University
提出三层记忆状态与贝叶斯页信念更新机制，将长文档推理建模为动态证据探索过程
📌 工作参考价值（4 点）
- Agent 记忆机制设计：三层记忆（结构模式记忆、页信念记忆、问题情景记忆）可借鉴用于多轮对话推荐系统中，管理用户状态、商品上下文与推理轨迹，解决长对话场景下兴趣漂移与证据跟踪问题。
- 不确定性驱动的探索：汤普森采样与贝叶斯页信念更新提供了一种平衡探索与利用的范式，可迁移至推荐系统的冷启动或动态兴趣建模，例如在新商品或新用户场景下自适应调整曝光策略。
- 结构感知的自适应粒度检索：根据文档结构（目录、节标题）动态选择检索粒度（整页、段落、视觉区域），对应电商场景中商品详情页的结构化信息（标题、图文、参数表）的分层次检索，提升证据定位效率。
- 空间邻近传播：利用相邻页面的相关性平滑信念，可启发推荐系统中基于会话内邻近商品或协同过滤的置信传播，增强对强相关 item 的召回。
NeuPAT：面向语言保持多模态大模型的神经元可塑性分配调优
🧭 多模态大模型 · 神经元可塑性约束
Fudan University · Zhongguancun Academy · Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Tianjin University
用神经元级更新约束保护语言敏感神经元，在多模态微调中恢复94.5%语言能力下降且保持多模态性能
📌 工作参考价值（4 点）
- 在微调多模态推荐/搜索模型时，可用小规模 probe 任务识别对文本理解敏感的神经元/参数，对其实施低学习率或正则，防止原 LLM 的文本召回/相关性下降。
- NeuPAT 的 neuron-wise 约束是轻量、架构无关的，可叠加在 LoRA/Adapter 等参数高效微调方案上，适合线上迭代：只增加少量探测成本，避免多模态训练后语义排序能力退化。
- 类似思想可用于多任务训练（如商品文本描述生成 + 图像理解）：区分不同任务敏感神经元群体，动态分配更新幅度，缓解跨任务遗忘。
- 若业务以纯文本 LLM 为底座接入多模态商品数据，建议在指令微调阶段加入语言能力回归目标或约束，保持语言泛化能力，防止线上 query 理解/改写质量下降。
同样的注意力，不同的真相：用Logit-Lens检测和缓解LVLM物体幻觉
🧭 多模态幻觉检测与缓解
University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Science · Hong Kong University of Science and Technology
发现物体幻觉并非视觉注意力不足，而是注意力区域无法解码为目标token，提出训练免的检测-缓解框架，取得SOTA。
📌 工作参考价值（4 点）
- 在电商图片描述生成或视觉问答中，可借鉴 Logit Lens 检验高注意力区域是否真正解码为目标商品token，快速定位幻觉来源，无需额外训练。
- 根据幻觉成因分类处理：对于视觉不确定性（相似物体混淆），通过屏蔽高注意力区域（HARM）强制模型重新聚焦；对于上下文先验（强共现偏见），采用视觉证据增强解码（VEED），提高生成可靠性。
- 训练免的 Detect-Mitigate 框架可以直接嵌入现有 LVLM 推理流程，低成本提升生成质量，对 Agent 中视觉模块的可信输出有实用价值。
- 注意力图可视化结合 token 解码一致性检查，可以作为一种离线诊断工具，用于发现商品描述生成中的常见幻觉模式，进而优化数据或 prompt。
EmoWorld：面向可控情感视频生成的解耦情感场
🧭 可控情感视频生成 · 解耦情感场
The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong University of Science and Technology
将情感因素解耦为氛围、语义线索与时间进程，在冻结视频扩散变换器中实现精细化情感控制
📌 工作参考价值（4 点）
- 冻结大模型 + 轻量控制向量：抽取 layer-wise affect directions 并注入隐藏状态，不改动生成器参数。类似思路可复用到电商文案/广告图生成，快速调节情感基调（温馨、紧迫、高端）而不重训模型。
- 因素解耦独立调节：VAS（氛围）、SAS（语义线索）、TAS（时间过渡）分模块控制，可借鉴到生成式商品推荐中，分别控制产品卖点、场景氛围、促销节奏的生成。
- 可重用线索库：准备阶段构建 reusable cue library，推理时按需组合。适用于批量生成多风格素材的场景，如节日大促自动换肤、多套广告创意快速迭代。
- 时序情感弧线控制：TAS 通过插值残差场实现情感平滑过渡，可启发电商直播话术或短视频脚本的情感递进设计，增强内容感染力。
omni-macos：Apple Silicon上的端侧全模态搜索引擎
🧭 设备端全模态隐私搜索
Jina AI by Elastic
在Mac本地运行全模态语义搜索引擎，数据不出设备，通过内存预算与增量索引保证实时交互。
📌 工作参考价值（4 点）
- 隐私保护设备端索引：可将用户行为数据转为本地向量，构建个性化推荐索引而无需上传，适合电商用户端商品偏好建模。
- 增量更新与内存预算：在推荐系统中对商品库动态变化采用只重编码差异块的策略，降低实时索引成本；设定内存上限防止服务抖动，可借鉴到大规模向量召回模块。
- 量化+精确重排序：先用低精度向量快速检索，再用原始向量对 top-K 重排，平衡效率与精度，可直接用于推荐召回的二阶段优化。
- 统一多模态嵌入空间：将商品标题、图片、描述嵌入同一语义空间，支持跨模态搜索与推荐，尤其适合多媒体商品信息处理。
视觉 Token 剪枝的 AI4AI 框架
🧭 LLM 驱动的视觉 Token 剪枝策略自动设计
Xi'an Jiaotong University · Ningbo University of Technology · North China University of Technology · MiLM Plus, Xiaomi Inc. · Hong Kong University of Science and Technology
提出 AutoPrune，用 LLM 驱动 TPDSL 自动设计视觉 token 剪枝策略，免训练，删 94.4% token 仍保持 99% 以上性能
📌 工作参考价值（4 点）
- 多模态推理降本：电商商品图/视频理解、广告创意理解等多模态服务中，可借鉴 AutoPrune 的训练-free 剪枝思路，用领域特定语言描述预算控制、token 打分、选择约束，快速替代手工规则，降低 prefill 延迟。
- 残差式策略搜索：不从头搜索，而是在强基础策略上做残差修改，缩小搜索空间并让 LLM 聚焦关键组件；该思想可迁移到推荐系统策略搜索、特征选择、排序规则自动调优。
- 可复用原子库：将剪枝/召回/过滤等策略拆成可组合原子操作，跨模型和场景迁移；业务中可构建相似 DSL 与原子库，降低策略迭代成本。
- 推理加速指标参考：删 94.4% 视觉 token 仍保持 99% 性能，FLOPs 降 9.9×，prefill 延迟降 6.4×；对低延迟电商搜索/推荐中的多模态 LLM 服务有直接工程参考价值。
学习艺术作品与照片构图分析的视觉表征
🧭 视觉构图表征 · 人类感知 vs 基础模型
KU Leuven
对比人类启发的构图分析（对象分解+图注意力）与微调基础模型，前者可解释且数据高效，后者性能更强但泛化差
📌 工作参考价值（4 点）
- 商品图像美感评估：借鉴对象中心分解+空间关系图注意力，构建可解释的构图评分模块，辅助自动优化商品主图布局。
- 广告创意排序：冻结编码器+人类先验的方法在数据稀缺时泛化更好，适合冷启动的创意构图质量过滤。
- 可解释推荐视觉特征：将区域级对象关系显式编码为图表示，替代黑盒特征，提升推荐理由中视觉部分的可解释性。
- 多模态检索增强：构图检索任务可迁移至电商场景，支持“构图相似”的商品搜索，例如按对角线构图、三等分构图查询相似商品图。
多模态预训练物理学：知识流、模态协同、早期统一与配方
🧭 多模态预训练机制与训练效率优化
FAIR, Meta · Reality Labs, Meta · University of Oxford
系统揭示多模态预训练中知识非对称流动、模态协同依赖任务复杂度、早期统一优于晚对齐，并给出高效配方
📌 工作参考价值（4 点）
- 模态协同架构设计：在多模态推荐模型（如结合商品图文）中，采用共享注意力与层归一化，但解耦模态特定的 FFN，可促进协同并缓解竞争。
- 早期联合训练：从训练之初就统一多模态特征，而非分阶段预训练后对齐，能避免视觉惰性，使模型同时学习跨模态理解，对需要同时理解文本查询和商品图像的场景有益。
- 知识流动不对称性：语言先验可强驱动视觉生成，可利用文本生成增强商品图像描述或虚拟试穿模型的训练策略。
- 高效训练配方：通过 MoE 架构与训练策略压缩计算至原 5% 仍能保持强生成能力，直接适用于资源受限的电商多模态模型预训练。
KVAE：多模态生成模型的令牌化器家族
🧭 多模态连续潜在tokenizer设计
Kandinsky Lab
提出音频、图像、视频的连续潜在tokenizer，重建和生成质量匹敌前沿开源模型
📌 工作参考价值（4 点）
- 主要是多模态生成的基础研究，对电商搜索推荐业务直接可借鉴点有限
- 若涉及商品短视频/音频摘要或内容理解，可尝试用其压缩特征作为轻量表示，降低存储计算成本
- 潜在空间设计理念（如低帧率、全频带）可启发多模态特征提取模块的压缩率选择
- 推荐系统中的多模态内容生成（如广告创意）可将其作为潜在表示生成器的基础组件
PaDoc：布局引导的并行解码文档解析
🧭 多模态文档解析 · 并行解码加速
Tsinghua University · Wechat Vision, Tencent
将文档布局建模为分支结构，通过前缀条件分解实现并行解码，将自回归深度缩减至最长分支，突破速度瓶颈
📌 工作参考价值（4 点）
- 生成式推荐需同时产多条文案/建议时，可借鉴分支并行解码：在共享用户/上下文表示上并发生成多序列，降低端到端延迟。
- 训练阶段使用打包变长祖先注意力（Packed Variable-Length Ancestor Attention）保持多分支可见性，该技巧可迁移到部分自回归多序列生成模型的训练。
- 推理部署上，借助 vLLM 共享前缀缓存和并发请求能力优化批量生成：重用长期兴趣等公共前缀，减少重复计算，提升吞吐并降低 P95 延迟。
- 电商详情页解析等离线图文理解任务，PaDoc 的并行解码可大幅提升单卡吞吐，适合大批量商品图片结构化处理，可集成至内容审核、智能排版等流程。
SmartMage：面向3D场景理解的动态模态编排
🧭 动态模态路由与专家混合 · 多模态推理
Zhejiang University · Stanford University
提出动态模态路由与模态感知专家混合，让MLLM按查询语义自适应选择模态，在3D场景理解中大幅超越固定模态组合
📌 工作参考价值（4 点）
- 电商推荐中不同query依赖不同模态（颜色→图像，尺寸→文本），可借鉴SMART模块动态选择模态特征，降低冗余计算与噪声，提升推理效率。
- 多模态推荐模型常固定拼接所有模态，改用基于查询语义的自适应模态选择，可避免无关模态干扰，类似特征门控机制。
- 为购物助手等Agent设计多模态感知时，可引入语义‑模态对齐路由，根据用户意图选择性启用传感器数据，节省资源。
- MAGE的模态先验引导专家专业化，可迁移到多模态推荐MoE架构中，为不同模态组合分配专家，实现分布式高效推理。
隐形捷径：视觉编码器为何能识别相机元数据
🧭 视觉编码器元数据捷径分析与缓解
VRG, FEE, Czech Technical University in Prague · The University of Osaka
揭示视觉模型利用像素级不可见元数据痕迹作为分类捷径，并提出缓解策略改善OOD泛化
📌 工作参考价值（4 点）
- 在商品图片特征提取中，预训练视觉编码器可能学到相机型号、拍摄光圈等元数据捷径，导致对特定来源图片过拟合，影响跨域泛化。可通过添加元数据增强或抑制中间层敏感性来缓解。
- 电商场景下的生成式商品图片检测（如图片真伪识别）可借助这种元数据敏感性，现有编码器已具备较强检测能力。
- 对于Agent系统调用视觉模型，需注意模型可能基于不可见水印做决策，存在安全隐患，可通过元数据随机化训练提高鲁棒性。
- 训练多模态推荐模型时，视觉编码器应经过专门微调以消除元数据捷径，否则在不同相机来源的商品图片评估时可能性能下降。
自适应模态可靠性诊断与恢复的鲁棒多模态意图识别
🧭 多模态融合可靠性诊断与修复
提出闭环诊断-修复-重评估框架PRIME，用异方差不确定性估计模态弱项并修复，提升多模态融合鲁棒性
📌 工作参考价值（4 点）
- 多模态特征可靠性诊断机制可复用：利用预测置信度、认知分歧、跨模态一致性、特征退化等作为诊断证据，估计各模态的对数方差，可用于电商推荐中文本、图像、行为序列等模态的质量评估，动态决定融合权重。
- 受控损坏训练思路：在无真实可靠性标注时，通过人为注入已知严重程度的模态损坏（如Mask、噪声）并配合异方差损失，直接学习可靠性估计器。这种训练范式可迁移到推荐模型的鲁棒性训练中，低成本获得模态不确定性感知能力。
- 原型条件变分修复模块：对于低质量模态，不是简单丢弃或降权，而是用其他高可靠模态的信息驱动变分自编码器进行重建，并根据修复后的可靠性重新评估是否参与融合。这一思路可应用于特征缺失或噪声场景下的特征补全与二次判断。
- 逆方差融合实现自适应集成：以后修复的可靠性精度为权重进行多模态融合，自动削弱不可靠模态的贡献。在广告、搜索的多信号融合（如CTR预估中内容与行为特征融合）中可直接套用，提升对噪声输入和模态缺失的鲁棒性。
抖音多模态嵌入：兼顾效率与细粒度的语义充分性学习
🧭 多模态检索 · 语义充分性 ★ 深度解读
ByteDance Douyin Search Multimodal Team · Renmin University of China GSAI
通过隐证据推理与跨条件重构，使 bi-encoder 嵌入兼具细粒度语义充分性，在 MMEB-v2 和抖音搜索中取得显著增益
📌 工作参考价值（4 点）
- 两阶段训练范式：第一阶段大规模异构对比学习建立统一多模态空间，第二阶段用高质量数据 + 教师监督做语义充分性微调，可直接迁移到电商多模态搜索（商品图文视频检索）的模型升级路径。
- 隐式证据推理：通过少量 anchor tokens 定位证据区域、类型化隐状态（localize/align/ reject）组织推理，完全在隐藏空间完成，不产生显式 CoT 文本，保持在线召回低延迟，可用于电商 query 理解中的隐式意图定位与证据提取。
- 跨条件重构监督：利用 NTP/MTP 让 query 嵌入解码商品文本，反之亦然，提供 token 级细粒度监督，可强化搜索相关性建模，尤其适合电商场景中 query 与商品详情之间语义细节的精确匹配。
- 语义充分性度量：通过 teacher forcing 的 Top‑K 准确率量化嵌入的信息完整性，可替代或补充传统召回指标，作为模型优化和迭代的可靠中间信号。
注意力头角色断裂：理解与检测VLM幻觉
🧭 视觉语言模型幻觉检测
Peking University · Joy Future Academy
发现幻觉使注意力头偏离忠实上下文行为（角色断裂），基于此构建轻量线性检测器，AUROC 达 93.23%
📌 工作参考价值（4 点）
- 在电商多模态推荐（如商品图生成描述/问答）中，可借鉴 Role-Break 信号构建轻量线性检测器（特征维度<5000），无需微调 VLM 即可识别幻觉输出，提升生成内容可信度。
- 检测器基于注意力头行为的局部偏离，具备线性可读性和可解释性，适合作为实时监控或过滤模块，拦截不可靠的生成文本。
- 若 Agent 工作流中调用 VLM 进行图像理解，可将此检测器后置，对高幻觉 token 直接干预（屏蔽/重生成），降低下游决策风险。
- 该方法不依赖单一幻觉模式，跨模型/任务稳定性强，可用于多模态推荐系统的质量保障。
超越帧选择：长视频理解的生成式隐式证据聚合
🧭 视频理解 · 隐式证据聚合
The Hong Kong University of Science and Technology · Baidu Inc. · Alibaba Group · Xidian University
通过查询条件分布引导隐式证据聚合，在帧选择后生成紧凑跨帧证据，以极低成本大幅提升长视频理解准确率
📌 工作参考价值（3 点）
- 视频推荐或直播理解任务中，可借鉴隐式证据聚合模块，以微小开销增强多帧/多片段信息的跨时刻融合。
- 自适应证据调用机制可迁移至推理阶段动态计算分配：根据查询难度决定是否插入额外计算模块，控制延迟。
- 用于长序列用户行为建模时，可参照查询条件分布对历史行为片段加权聚合，提升关键信息提取效率。
DualG-MRAG：解耦宏观推理与微观匹配的多模态检索增强生成
🧭 多模态RAG · 宏观-微观图解耦
SKLCCSE, School of Computer Science and Engineering, Beihang University
双层次图框架解耦宏观拓扑推理与微观证据匹配，抑制多模态RAG中的检索噪声
📌 工作参考价值（4 点）
- 宏观-微观图解耦架构：可迁移到电商多模态知识图谱构建，宏观层建模商品、品类间拓扑关系，微观层存储细粒度属性（如颜色、材质），分开处理避免全局推理时被局部噪声干扰，同时保留精确匹配能力。
- 查询驱动的GNN消息传递检索：作为意图感知的多模态召回模块，以用户查询为起点在图上游走传播相关性，替代单纯向量相似度匹配，更适合需要多跳证据链的复杂推荐场景（如“适合户外旅行的轻便双肩包且防水”）。
- 动态规划解码显式推理路径：不再给LLM灌输零散文档块，而是提取“图片A→属性B→场景C”的结构化路径，可提升生成式推荐或问答的可解释性，便于业务调试与用户信任。
- 细粒度视觉特征的层级使用：微观图保留局部视觉证据，宏观图仅用粗粒度表示，避免图规模爆炸；在商品搜索中可对详情图做类似分层，平衡效率与精度。
FiRE：细粒度上下文学习增强多模态大模型复杂图像检索
🧭 细粒度上下文学习 · 图像检索
Shandong University · City University of Hong Kong · Harbin Institute of Technology (Shenzhen) · Shandong Jianzhu University
提出自动化细粒度五元组数据集构建与两阶段解耦微调，显著提升MLLM零样本复杂图像检索性能
📌 工作参考价值（4 点）
- 自动化细粒度比对数据构建：通过流水线生成包含图像、细粒度描述、修改文本的五元组，可复用于电商搜索中构建“参考图 + 修改指令 → 目标商品”的训练数据，改善组合查询效果。
- 两阶段解耦微调思路：先让模型学习细粒度上下文推理（理解修改意图），再对齐查询与目标表示，这一策略可迁移到多模态搜索、对话式推荐等任务，先理解用户意图再优化匹配。
- 轻量级MLLM也能实现强检索：文中用小型骨干即超越大模型，说明在业务中可通过精细的数据与微调设计，避免依赖超大模型，降低推理成本。
- 零样本能力直接用于检索重排：训练后的模型可直接计算查询与候选图像相似度，适用于搜索结果重排序，尤其在长尾查询或组合查询场景下提升相关性。
面向多模态大模型的趋势感知训练自由视觉Token剪枝
🧭 多模态LLM高效推理 · Token动态剪枝
Xiamen University · Xiamen Ocean Vocational College · Sino-Russian Research Center for Digital Economy
通过捕捉注意力流动量实现动态可逆的视觉Token剪枝，避免“晚期绽放”关键token被过早丢弃
📌 工作参考价值（4 点）
- 在多模态Agent或电商内容理解中，处理商品图片、视频时可采用注意力动量追踪，识别并保留初始被低估但深层关键的视觉token，避免误剪，提升下游任务精度。
- 训练自由特性可直接集成到现有多模态LLM推荐或对话系统，无需重新训练，降低部署成本；超过77.8%的token缩减可显著加速推理，支撑实时交互。
- 可逆剪枝设计为复杂场景（如用户拍摄的模糊、遮挡商品图）提供容错，动态修正机制可适配其他模态的token筛选，如文本序列中后期关键token的保留。
- 方法不依赖额外模型结构，适合在电商搜索、广告生成等流量密集型场景中快速实验并上线，作为通用的效率优化插件。
视觉生成中文本条件的缩放特性
🧭 文本条件缩放 · 结构化提示优化
ByteDance Seed
扩散损失随结构化提示的信息量线性下降，而非标记数，引导出更强的提示器和模型
📌 工作参考价值（4 点）
- 结构化输入比长文本更有效：在生成式推荐（如商品描述、广告文案生成）中，使用结构化数据（属性键值对）替代冗长自然语言描述，可避免性能饱和，并持续提升生成质量。
- 量化输入信息量来指导优化：借鉴 GPG（生成概率增益）和 ED（实体密度）等度量，为推荐场景的 prompt 设计提供可监控指标，寻找信息量-生成质量的最优点，而非盲目增加上下文。
- 三阶段训练提示器：将 SFT + 冷启动 + 验证器门控策略蒸馏的管线迁移至推荐系统，训练专用提示器，自动优化用户意图解析、查询重写或对话式推荐的输入生成。
- 避免“长 prompt 幻觉”：在 Agent 与 LLM 结合的场景，输入 token 数增加不保证效果提升，应通过结构化注入领域知识（如商品图谱、用户行为标签）来提升信息密度，减少冗余推理。
VAD：多模态在策略蒸馏的视觉归因目标重构
🧭 多模态在策略蒸馏 · 反事实视觉归因
Shanghai Jiao Tong University · Xiaohongshu Inc. · The Chinese University of Hong Kong · Zhejiang University · Southeast University
通过反事实目标重构分离教师修正中的视觉可归因部分，提升多模态细粒度蒸馏效果
📌 工作参考价值（4 点）
- 电商多模态场景（商品图片理解、视觉问答）中，若存在特权教师（如高分辨率图），可用反事实方法计算视觉证据方向，重构更纯的监督信号，避免语言先验污染，提升学生模型细粒度识别能力。
- 在蒸馏训练时，将监督信号分解为视觉可解释部分和残差，仅用视觉部分作为主要目标，可借鉴到多模态搜索/推荐模型的特征对齐，抑制无关文本偏差。
- 反事实目标重构可作为一种通用原则，用于多模态Agent的决策归因，识别哪些视觉线索驱动了正确行为，从而指导针对性蒸馏。
- 分布式训练中，教师模型冻结评估两次（证据存在/移除）来计算代理方向，该方法可工程化实现，用于在线知识蒸馏以提升多模态模型鲁棒性。
VisualRouter：查询驱动的长视频视觉采样
🧭 查询感知的视觉采样策略
区分全局/局部查询的自适应视觉采样框架，即插即用，无需训练，显著提升多模态大模型的长视频理解能力。
📌 工作参考价值（4 点）
- 查询类型分类（全局 vs 局部）的思路可直接复用到多模态搜索与推荐：对用户 query 进行意图分类，分别采用不同召回或排序策略。
- 训练无关、即插即用的设计适合快速集成到现有视频理解 pipeline，如商品视频标签提取、直播切片精选等，无需额外训练成本。
- 事件感知的帧选择策略（事件划分→段级分配→段内选择）可借鉴到长视频推荐场景：对视频内容做事件切割，按事件分配曝光帧数，保证多样性。
- 相关性、覆盖度、多样性三平衡的采样准则可应用于推荐系统的物品选择或内容摘要，避免信息冗余，提升用户体验。
PhiZero：基于物理语言的物理世界模型
🧭 物理世界建模 · 离散视觉表示
NLPR, Institute of Automation, Chinese Academy of Sciences (CASIA)
从野生视频自监督学习紧凑离散物理语言，先推理后渲染实现物理一致生成与零样本动作迁移
📌 工作参考价值（4 点）
- 将连续动态抽象为离散 token 序列的思路可迁移至用户行为建模：用 vector quantized 方式学习行为语义 ID，在紧凑空间内捕捉状态转移规律，降低下游序列预测的复杂度。
- 自监督学习“物理语言”的方法对无标注交互数据的表征学习有启发：从原始点击/购买序列中挖掘隐含因果结构，无需昂贵标注即可获得可推理的隐状态表示。
- “推理-渲染”分离的架构可拆解推荐系统：先由 Planner 生成抽象行为序列，再交由 Renderer 生成具体推荐内容，提升可解释性并支持可控生成。
- 主要贡献在物理世界建模，直接迁移至电商推荐场景的工程化价值有限，更多是概念层面的借鉴。
RefCaptioner：多参考图像指导的视频描述后训练框架
🧭 多参考图像约束的视频描述后训练
Peking University · Kling Team · National University of Singapore · Shanghai AI Lab · CASIA
提出多参考图像指导的视频描述任务，用分层覆盖折扣GRPO实现短语级绑定与干扰拒绝
📌 工作参考价值（4 点）
- 多参考图像指导的描述生成可直接迁移到电商商品视频描述：输入多张商品图，生成确保细节对齐（颜色、款式）的文案；可通过类似的分层覆盖奖励避免遗漏关键属性。
- 混合数据SFT保持通用能力的策略适用于垂直领域的LLM微调，防止灾难性遗忘；在训练电商领域的生成式推荐模型（如商品描述生成）时，可混合通用数据与领域数据。
- 分层覆盖折扣GRPO的强化学习思路可用于优化生成式推荐中的多实体绑定与一致性，例如在生成广告文案时强制提及多个卖点图像，并通过奖励塑造提升描述的事实准确性。
- MRVBench构建的评估方法（多参考绑定、干扰项拒绝）可借鉴到多模态推荐系统的离线评估中，用于检测生成的推荐理由是否忠实于输入的多张商品图。
ReToken：用一个Token提升视觉语言模型的长视觉检索
🧭 多模态视觉检索 · 稀疏Token选择
University of Illinois at Urbana-Champaign · Microsoft Research · Google DeepMind
用单个可学习Token从视觉KV缓存中检索稀疏相关token，大幅提升长视觉上下文中的问答准确率
📌 工作参考价值（4 点）
- 电商场景中处理商品多图或视频描述时，可利用可学习检索Token从大量视觉特征中快速定位与用户查询相关的帧/区域，提升问答或推荐理由生成的质量。
- 利用预填充的KV缓存和稀疏选择机制，避免每次查询都重新处理所有视觉token，大幅降低多模态推荐的推理延迟和显存占用，适合线上服务。
- 轻量级设计（单个token，单卡训练）表明，小型Query-Image数据集即可训练出有效的检索能力，可迁移到商品视觉问答或视觉搜索中。
- 该方法本质是条件特征选择，可扩展到用户行为序列（如视频浏览记录）中，用学习到的Token从长序列中检索相关历史行为，增强推荐模型而无需输入完整序列。
ShadowDancer：从视频与影子学习统一动力学表征实现任意动作控制
🧭 视频世界模型 · 动作表征学习
Alaya Lab · Shanghai Innovation Institute
通过影子对与跨影子预测解耦外观与动作，使视频世界模型零样本复用任意演示动作。
📌 工作参考价值（4 点）
- 解耦外观与行为的数据增强思路：在电商/推荐中，用户行为序列（动作）常与内容表象（外观）纠缠。可借鉴“影子对”构造：对同一意图（如搜索同一品类）在不同 UI 皮肤或不同设备下的交互对，训练模型剥离表面特征，得到更纯的意图表征，提升跨场景迁移能力。
- 通过预测任务学习不变表征：cross-shadow prediction 直接以预测配对样本为目标，隐式舍弃无关变化。推荐系统可构造类似预训练任务：给定同一用户在不同上下文下的行为序列片段，预测彼此，使模型聚焦于提取不变的用户潜在兴趣，减少 noises 影响。
- 无需标注的动作复用：该方法将已有视频片段直接转化为可复用的控制信号，无需额外动作标签。对应到 Agent 或营销内容生成，可利用历史用户交互轨迹作为模板，直接在新内容上“重放”类似动线，快速生成个性化交互流程。
- 长序列一致性控制：block-causal 架构与统一动力学表征保证长期回放稳定。在生成式推荐（如生成购物路径）中，可借鉴该结构维持多步生成的逻辑连贯性，避免中间步骤崩塌。
探索式建模：解锁预训练第三维度与端到端生成
🧭 多模态生成 · 探索式预训练新范式
UIUC · Harvard
提出探索式建模，在训练中探索多个候选生成并选择最佳匹配，将探索作为预训练新轴，提升多模态生成模型效率与性能
📌 工作参考价值（4 点）
- 生成式推荐训练：训练生成用户下一个物品（如 Semantic ID）时，对每个用户序列生成 K 个候选物品，选取与真实物品最匹配的进行训练，有效缓解多意图模糊问题，提升推荐多样性与准确性。
- 长尾与冷启动覆盖：探索式训练迫使模型关注多种模式，可帮助模型更好捕捉长尾物品，提升推荐新颖性和召回率。
- Agent 决策生成：生成 Agent 行动方案时，生成多个候选动作，通过环境反馈选取最佳动作训练，提升策略鲁棒性和探索效率，适用于多臂老虎机、对话策略等场景。
- 工程实现：探索候选数量 K 可作为新的调优维度，在资源允许下加大 K 能稳定提升效果，且随着模型与数据规模扩大，收益愈加显著，是有效的 scaling 策略。
MODUS：仅用解码器的任意模态到任意模态统一建模
🧭 解码器仅有 · 任意到任意多模态建模
EPFL · Apple · University of Copenhagen · CUHK · University of Geneva
提出解码器仅有的任意模态到任意模态统一框架，无需特定头或损失，支持链式生成与自我验证
📌 工作参考价值（4 点）
- 多模态搜推统一表示：将商品标题、描述、图片、属性等异构模态统一 token 化，用单一解码器模型完成多模态理解与生成，可简化特征工程与模型部署。
- 跨模态增强与验证：利用模型生成深度、法线等中间模态，增强商品图像理解；或在生成描述后，用另一模态（如图像）对文本输出进行自我验证，提升生成质量与可信度。
- 链式生成与多步推理：通过中间模态链式生成（如文本→草图→商品图），实现复杂创意内容生产，适用于动态广告物料生成、个性化推荐理由可视化等场景。
- 工程实现轻量化：取消模态专用头与多任务管道，所有模态共享同一个 Transformer 解码器，降低多模态业务维护成本，便于快速扩展新模态。
OmniDelta：面向全模态LLM的技能驱动令牌压缩预算分配
🧭 全模态LLM推理优化 · 令牌压缩预算分配
Zhejiang University · Qwen Application, Alibaba · Carnegie Mellon University · University of Chinese Academy of Sciences · University of Science and Technology of China
提出无训练的意图感知+内容感知双层动态预算分配，在不改变总压缩比下提升全模态LLM效率
📌 工作参考价值（4 点）
- 意图感知模态间分配：在推荐场景中处理视频+音频的商品讲解时，可根据用户查询意图（如“查看材质”或“试听音质”）动态调整视觉与音频令牌保留比，避免平均分配浪费资源。
- 内容感知模态内分配：利用局部复杂度和时间冗余性重分配帧/音频段预算，可在短视频推荐中仅保留关键帧，降低推理成本而不丢失信息。
- 训练免费、即插即用：框架无需修改模型或重新训练，可直接集成到现有多模态推荐模型中，快速获得压缩效益。
- 显存与延迟优化显著：25%保留比下降低22%显存、1.64倍加速，适合大规模在线推荐服务中多模态内容的高吞吐处理。
OmniScope：面向全模态大语言模型的模态解耦Token压缩
🧭 全模态LLM推理加速 · 模态解耦压缩
Xiamen University · Alibaba Group
训练无关的模态解耦压缩框架，解决音视频跨模态显著度错配，实现高效全模态推理
📌 工作参考价值（4 点）
- 模态解耦思想可迁移到多模态推荐：在视频+音频+文本场景下，不同模态对点击/转化的贡献峰值可能不同时，应独立计算各模态token显著性再融合，避免跨模态指导遗漏关键信息。
- 训练无关压缩框架可直接嵌入已部署的多模态大模型，不增加微调成本；根据内容复杂度动态分配各模态token预算，适合工程化轻量实现。
- anchor-delta视觉剪枝策略保留全局上下文与时序变化，可用于商品展示视频或直播帧采样，保留关键变化帧的同时降低token数。
- 音频按秒合并的冗余去除方法可应用于直播语音或客服会话的压缩，减少后续模型输入长度，提升吞吐。
视频模型的视觉提示工程
🧭 视觉提示工程提升视频模型推理
Google DeepMind
自动修改任务图像（视觉提示）可显著提升视频模型推理性能，超过文本提示和测试时扩展
📌 工作参考价值（4 点）
- 商品图像预处理增强理解：借鉴 VIPE，对电商商品主图进行自动风格化（如光影优化、背景真实化），可提升多模态模型在属性抽取、类目识别上的准确率，无需重训模型。
- 测试时输入优化：在不改变模型权重的前提下，仅通过调用图像编辑API在推理前重绘输入，即可低成本提升下游效果，适合广告创意优选、直播封面自适应等场景。
- 视觉 Agent 的输入增强：在多模态 Agent 中，对采集到的画面做轻量预处理（去模糊、风格迁移）可提高后续推理决策的可靠性，作为 Agent 感知流水线的一个即插即用组件。
- 计算高效性：相比文本提示工程或多次采样，VIPE 仅增加一次图像编辑开销，是计算资源友好的提效手段，适合线上实时服务。
Shieldstral：策略自适应的3B多模态安全分类器
🧭 多模态安全分类 · 策略自适应
3B小模型通过二元问答统一异构审核任务，文本安全性能比肩7倍大模型，多模态达新SOTA
📌 工作参考价值（4 点）
- 统一二进制问答范式：将不同审核策略、类别标签统一为自然语言问题是 / 否判断，能融合来源异构的训练数据，降低多业务线接入成本，适合电商、社区同时管理商品描述、买家秀、评论等多模态内容安全。
- 策略自适应部署：同一模型可按需输入不同安全政策查询，动态切换审核标准，无需为不同场景（如广告创意审核 vs. 售后评价过滤）分别维护模型，显著降低工程维护复杂度。
- 小模型高吞吐：3B参数量支持高并发在线推理，可直接嵌入推荐 / 广告的实时投放链路，对输入素材、生成文案进行轻量级安全预筛，兼顾延迟与精度。
- 数据配方可复用：论文公开了54.1M训练样本的构建流程（包含人工标注、合成数据、细粒度评估集），可直接迁移到自建安全审核数据管线，尤其适用于标注成本高的垂类场景。
Mage-VL: 高效编解码器原生的流式多模态基础模型
🧭 流式视频理解 · 高效视觉编码
Microsoft
利用类视频编码的 I/P 帧运动向量选择性编码动态区域，减少 75% visual token 并实现 3.5 倍推理加速的流式 VLM
📌 工作参考价值（4 点）
- 借鉴 Mage-ViT 的稀疏编码思路：在电商视频理解或用户行为序列建模中，可设计基于运动/变化量驱动的自适应 token 剪枝，只保留高熵片段，大幅降低 Transformer 输入长度与成本。
- 双系统架构（轻量 System1 事件门 + 因果 System2 解码器）适合实时推荐场景：用极低成本的事件门控持续监听流式交互，仅当检测到关键意图或状态变化时才唤醒重型推理模型，实现低延迟主动推荐。
- AI4AI 数据管线中的 prompt-code 联合优化与性能诊断方法，可迁移到商品文案生成、搜索词推荐的自动评估与迭代优化，用 AI 诊断模型产出调优建议，替代人工 badcase 分析。
- 论文发现 VideoQA 中的 SFT 数据存在大量冗余，实际只需少量高质量样本即可饱和；在推荐系统里的对话式推荐或解释生成任务中，可尝试小样本精调，避免全量标注成本。
基于MLLM概念生成与语义传播的无监督多模态意图发现
🧭 多模态意图发现 · MLLM语义引导
The Chinese University of Hong Kong, Shenzhen · Tsinghua University
用MLLM生成高层语义概念并通过图传播产生伪标签，实现可解释的无监督多模态意图聚类。
📌 工作参考价值（4 点）
- 电商对话/客服场景下，可利用 MLLM 对比邻近簇生成可解释的意图标签（如“退货咨询”、“物流查询”），替代人工标注，适用于无监督意图发现冷启动。
- 语义加权图传播策略可迁移到用户意图或 item 聚类的伪标签细化，结合局部结构一致性提升聚类质量。
- 代表样本选择 + 对比推理的思路可用于构建主动学习或弱监督样本筛选，优先标注信息量大的对话。
- 若有用户点击/浏览等多模态行为数据，可借鉴多模态融合与概念语义传播，实现可解释的用户意图聚类。
扩散模型推理时缩放：渐进式种子剪枝
🧭 扩散模型推理时缩放 · 渐进剪枝
California Institute of Technology
在固定计算量下，通过早期评分并逐步剪枝扩散去噪轨迹，显著提升生成质量
📌 工作参考价值（4 点）
- 生成式推荐中，若采用扩散模型生成物品语义ID，可借鉴PSP思路：在去噪早期使用轻量评分器筛选候选序列，剪枝低分路径，不增加总去噪步数却提升最终ID质量。
- 当业务需要从多个随机种子生成的候选集（如LLM生成多条搜索词）中择优选时，可实施渐进式剪枝：用部分解码结果与指令的相关性进行早期评估，提前丢弃不佳生成，节省完整推理开销。
- 多步推理Agent的动作序列搜索可类比种子筛选，采用粒子滤波式剪枝，在动作分支早期保留高价值路径，控制整体推理成本的同时提高最终任务完成率。
- 工程实现上，PSP的核心是设计一个与最终奖励对齐的中间评分机制；可借鉴其“前端重探索、后端重利用”的调度策略，在固定Token预算下优化生成结果。
原生多模态预训练的可预测扩展法则
🧭 多模态缩放法则与训练效率前沿
The Chinese University of Hong Kong · Tencent
发现原生多模态预训练的损失、模型大小与数据量遵循幂律，数据配比影响计算最优分配，且存在跨模态正向迁移
📌 工作参考价值（4 点）
- 多模态训练预算分配：固定计算资源下，模型参数量与训练token数存在幂律最优关系，可参考其拟合公式，在训练电商多模态模型（如图文商品理解）时合理分配扩大模型或增加数据的投入。
- 数据混合策略：文本占比高的多模态混合数据在模型规模较小时不划算，只有大模型才能高效利用，提示在设计电商多模态预训练数据（如商品标题+图片）时，若算力有限可适当提高图片/视觉token比例以获得更快收敛。
- 跨模态能力迁移：多模态预训练能提升纯文本空间推理，可用于电商场景中需要空间理解的推荐（如家具摆放、服装搭配），无需额外标注即可增强模型的几何关系推理。
- 少样本多模态上下文学习：原生多模态预训练使模型具备稳健的多模态上下文学习能力，可借鉴到少样本商品属性提取、图文匹配验证等任务中，减少对大量标注的依赖。
GraphVid：交互图控制的多对象视频生成
🧭 结构化场景图控制视频生成
University of Illinois Urbana-Champaign · Sony Research India
提出用可编辑场景图作为条件，实现精确多对象交互的图像到视频生成
📌 工作参考价值（4 点）
- 商品互动视频生成：在电商场景中，利用图关系描述商品之间的使用关联（如「手机–支付终端–用户」），自动化生成展示商品动态交互的营销视频。
- 轻量可控生成框架：冻结视频扩散骨干，仅训练图条件注入模块，大幅减少参数量和训练数据需求，能快速适配到特定领域（如试穿、3C 产品演示）。
- 非专业用户交互设计：通过拖拽编辑场景图节点和边，使无动画背景的用户也能生成多物体动态视频，降低内容制作门槛。
- 可解释的条件控制：图结构天然对应知识图谱，在推荐系统中可与商品图谱结合，实现可解释的「条件」推荐内容生成（例如按用户兴趣图谱生成个性化短视频）。
联合视觉Token与LLM计算的自适应推理框架
🧭 多模态高效推理 · 联合自适应调度
Purdue University · University of Wisconsin–Madison · NVIDIA
提出SmartVL，联合动态控制视觉token数量和LLM计算量，实现多模态LLM的精度-效率帕累托最优
📌 工作参考价值（4 点）
- 在电商多模态问答或商品理解Agent中，可借鉴视觉token的动态剪枝，按输入复杂度自适应保留关键视觉信息，减少冗余计算，降低首词延迟。
- LLM推理时基于预算灵活跳层或关头的思路，可迁移至推荐系统重排或大模型推理阶段，在流量高峰期实现算力的细粒度分配。
- 共享预算编码+可微分延迟估计器的联合训练范式，可指导将多个自适应模块（如特征选择、模型深度）进行端到端协同优化，避免独立调优的次优解。
- 对于需要同时处理图片和文本的搜索推荐Agent，可联合调度视觉编码器和LLM的资源消耗，在保证回复质量的前提下最大化吞吐。
Super Star：面向数字人的流式实时交互智能体
🧭 多模态生成 · 实时交互数字人
ShanghaiTech University · LIGHTSPEED
提出因果多模态自回归模型与自进化数据闭环，实现数字人低延迟在线语音同步手势生成
📌 工作参考价值（4 点）
- 实时流式生成范式：在需要低延迟在线生成的场景（如对话式推荐、实时文案/回复生成、虚拟主播）可借鉴“仅用当前与历史信息”的因果模型设计，避免依赖未来信息，降低首字/首帧延迟。
- 自进化训练闭环：将在线交互中收集的用户反馈纳入数据生成与模型迭代，使系统持续适应用户偏好，这对电商导购 Agent、交互式推荐等长期在线服务有直接可迁移价值，但需设计反馈去噪与延迟更新机制。
- 数据合成管线：利用主题/情感感知的语料构建多样化对话，再条件生成训练数据，可用于解决交互式推荐或导购场景中高质量多轮对话数据不足的问题。
- 工程实现参考：流式多模态推理与缓存/增量计算的设计思路，可迁移到需要实时聚合文本、语音、用户行为等多路信号的 Agent 架构中。
多模态大语言模型的计算幽默：方法、数据集、评估与挑战
🧭 多模态LLM与幽默计算
Case Western Reserve University · The Hong Kong Polytechnic University
全面综述多模态LLM在视觉幽默理解与生成上的能力层级、基准与建模范式，揭示评估捷径等核心挑战
📌 工作参考价值（4 点）
- 电商广告创意中可借鉴多模态幽默识别能力，用于预筛选或评估营销素材是否包含不当或低效的幽默元素，降低品牌风险
- 用户生成内容（UGC）审核时可结合证据推理模块，提升对梗图、讽刺内容的理解准确率，减少误判
- 推送消息文案优化中可尝试可控幽默生成，但需注意安全性与文化适配，可先构建内部 benchmark 测试
- 构建幽默相关的评测集时需避免捷径特征（如文字重叠），确保模型学到真正的图文推理而非表面模式
Mage-Flow：高效原生分辨率图像生成与编辑基础模型
🧭 高效多模态生成 · 原生分辨率扩散 Transformer
Microsoft
通过 tokenizer-骨干-系统协同设计，以 4B 规模实现高效高分辨率图像生成与编辑
📌 工作参考价值（4 点）
- 高效 tokenizer 设计：Mage-VAE 一步扩散式编解码与 anchor-latent 正则化，在保持重建质量的同时将 tokenization 成本降低一个数量级。该思路可迁移至电商生成式推荐中的 item image/text 压缩，减少序列长度与训练开销。
- 原生分辨率训练加速：采用 native-resolution packing 与 CUDA kernel fusion，支持任意分辨率训练，端到端吞吐提升约 2.5 倍。推荐系统中的多模态召回/排序模型可借鉴此系统优化方法，在 GPU 集群上高效训练多尺度内容。
- 低延迟推理蒸馏：通过对抗感知蒸馏与 rectified flow 匹配，实现 4 步 Turbo 模型，大幅降低推理延迟（1024 生成 0.59s，编辑 1.02s）。可用于推荐系统中的图像生成模块（如广告创意生成、商品图编辑）实现实时交互。
- 系统协同设计思想：tokenizer、backbone、训练策略联合优化，而非独立改进各模块。构建推荐模型时，可借鉴统一考虑特征编码、模型架构与训练效率，达到性能与成本的更优平衡。
Moving Alphabet：可控文本到视频生成训练数据研究
🧭 文本到视频生成 · 训练数据重要性
Meta Superintelligence Labs · Purdue University
用程序化字母视频揭示数据分布与标注质量对文生视频模型泛化与训练效率的关键影响。
📌 工作参考价值（4 点）
- 在电商产品视频生成中，刻意保持训练数据内容（如商品品类、场景）与视频时长的均衡分布，避免偏斜，可提升模型泛化。
- 标注质量直接决定模型上限和收敛速度；低质量caption无法被CFG或微调完全挽救，预训练阶段就应投入资源保证标注准确性。
- 可借鉴“程序化测试床”思路，在可控环境下快速评测数据策略（如不同的文本改写、缺失信息）对生成质量的影响，降低大规模实验成本。
- 当训练数据存在噪声时，使用高质量子集微调可部分修复，但仍需关注源头数据清洗。
EII-SCL：利用情感惯性增强多模态对话情绪识别
🧭 多模态对话情绪识别 · 情感惯性
The Hong Kong Polytechnic University
提出情感惯性引导的监督对比学习模块，无需额外数据即可提升多模态对话情绪识别
📌 工作参考价值（5 点）
- 主要是学术贡献，但以下点可借鉴到对话式推荐、智能客服等对话系统中：
- 在对话状态追踪中引入情感惯性先验：假设用户情绪短期连续，可在特征序列上构建正负样本窗口，设计对比损失增强情绪特征一致性。
- 插件式模块设计：EII-SCL 作为即插即用的模块，可嵌入现有多模态对话模型（如多模态 RecBot），无需修改主网络结构。
- 无需额外标注：通过利用对话历史标签构造时序邻域样本，不增加标注成本，适合实际业务中标签稀疏的场景。
- 时序窗口对比方法可迁移到会话推荐：在序列推荐中，利用用户短期行为惯性构造对比样本，提升兴趣漂移建模。
HOMIE：多模态智能增强的人-物中心视频个性化
🧭 人-物交互视频个性化生成
Hong Kong University of Science and Technology
统一处理 inter/intra-subject 的视频个性化框架，通过 MLLM 全局引导注意力提升人-物交互保真度
📌 工作参考价值（4 点）
- 视频个性化在电商中可用于虚拟试穿或商品展示，该工作对人-物交互的可控生成有直接价值，尤其保持主体身份的同时实现合理交互。
- MLLM 融入自注意力的全局多模态引导方式可借鉴：在推荐系统中融合多模态特征时，可尝试在注意力层注入预训练多模态大模型的高层语义特征，增强物品与用户行为的对齐。
- 模态引用嵌入区分不同来源特征（如图像、文本、MLLM 特征），可迁移至多模态用户建模，显式编码不同类型行为序列的模态差异，提升特征融合质量。
- 对抽象概念（如品牌 logo）的自动关联方法，可用于商品属性与视觉风格的隐式绑定，增强生成式推荐中 semantic ID 的视觉化表达。
SciForma：科学图表结构忠实生成框架
🧭 结构保真图表生成
Wangxuan Institute of Computer Technology, Peking University · State Key Lab of CAD & CG, Zhejiang University · Microsoft Research Asia
通过结构轴分解与多维度合取偏好优化，实现科学图表的结构忠实生成，超越开源模型与GPT-Image-1.5
📌 工作参考价值（3 点）
- 主要是学术贡献，对电商/广告/搜索推荐系统的直接迁移价值有限。
- 多维度合取偏好优化（M-DPO）可借鉴到推荐系统中平衡准确率、多样性、新颖性等多目标，强制同时达标，避免单一标量奖励忽视薄弱维度。
- 结构清单与迭代纠错的机制可迁移到 Agent 自动生成营销图文、技术架构图时的实时校验与修正流程。
从模态到命题：以语言为中心的多模态统一框架
🧭 语言中心的多模态语义表示框架
NVIDIA · University of Ottawa
提出将任意模态数据表示为原子命题集合，通过全局语义码本实现可解释、可组合的跨模态理解与检索
📌 工作参考价值（4 点）
- 商品语义原子化：将商品的多模态信息（图文、视频）拆解为“材质:纯棉”“风格:通勤”“场景:办公室”等原子命题，构建可解释的商品语义空间，替代纯Embedding匹配，提升冷启动和可解释推荐。
- 结构化跨模态检索：在电商搜索中，用户自然语言查询可映射为原子命题集合，与商品的多模态命题袋进行精确匹配，支持“带兜风帽的羽绒服”类组合条件检索，解决传统向量检索难以处理的组合属性问题。
- 组合式推荐与解释：利用命题的布尔组合特性，进行复杂推荐逻辑（如“买过A+B的人还需要C”），并直接生成自然语言解释，适合作为推荐Agent的推理底座。
- 数据增强与冷启动：通过语义码本自动生成大量虚拟样本的命题表示，可用于新品类/缺样本场景的召回，避免对交互数据的强依赖。
AlphaWiSE：面向持续多模态表征学习的自适应权重插值
🧭 多模态持续学习·权重插值
University of Illinois Urbana-Champaign · Google DeepMind
提出后处理权重插值方法 AlphaWiSE，为每个参数张量学习一个标量系数组合新旧检查点，实现多模态持续学习的灵活稳定性-可塑性权衡
📌 工作参考价值（4 点）
- 多模态推荐系统持续新增领域数据时，可直接使用 AlphaWiSE 在旧任务稳定检查点和新任务适应检查点间插值，无需重新训练，避免全方向遗忘
- 利用小样本记忆（exemplar memory）自适应学习每个参数张量的插值系数（单个标量），参数量极小，可快速部署，适合线上频繁更新的场景
- 插值后的模型与原检查点架构完全一致，推理零额外开销，适合对延迟敏感的电商搜索/推荐服务
- 该方法解耦了不同检索方向（如文搜图、图搜文、音搜图）的稳定性需求，可针对不同方向定制插值系数，提升整体多模态搜索质量
SceneBind：跨视觉、音频与语言的语义-空间绑定表征
🧭 多模态语义-空间场景表征
University of Washington · University of Texas at Dallas · Hankuk University of Foreign Studies
提出一种全模态场景表征，联合语义与3D空间理解，实现跨模态检索与目标定位
📌 工作参考价值（4 点）
- 电商多模态商品理解可参考：将商品图片构建为对象级语义-空间槽位（如衣服的款式+空间位置），提升跨模态检索的细粒度匹配。
- 轻量级空间建模（仅增加少量 token）的设计，适合对已有预训练语义编码器（如 CLIP）做低成本空间扩展，可直接迁移到商品 3D 展示或 AR 试穿中对象位置的理解。
- 语义-空间匹配（全局相似度+对象对齐）的思路可用于推荐系统的多模态融合，例如在视频推荐中同时对齐标题语义与画面中物体的空间关系。
- Agent 在真实环境中的空间感知：将环境抽象为对象槽位，可提升 Agent 对“什么地方有什么”的理解，适合电商客服 Agent 在对话中引用商品图片位置信息。
AspectCLIP：通过方面引导一致性正则化优化CLIP表示空间
🧭 多模态预训练 · 方面感知对齐
South China University of Technology
提出方面引导的一致性正则化，解决图像-文本对信息不对称导致的全局对齐扭曲
📌 工作参考价值（4 点）
- 电商商品图文理解中，图片多属性而标题片面，可借鉴按文本属性聚类，簇内严格对齐、簇间原型对齐，提升多模态检索与推荐的语义一致性
- 循环一致性策略可用于商品图像-文本-图像的自监督增强，自动挖掘细粒度正负样本，提高表示鲁棒性
- 广告创意或Agent多模态调用时，采用方面感知表示，避免文本描述片面导致的语义误解，支持基于图像不同方面生成多样化文案
- 工程实现容易集成：属性聚类可用轻量文本编码器在线完成，循环一致性损失可直接插入现有对比学习框架，计算开销小
Groc-PO：面向多模态LLM的显式接地偏好优化
🧭 多模态LLM对齐 · 分阶段接地偏好优化
University of Science and Technology of China · Xiaomi Corporation · State Key Laboratory of Communication Content Cognition, People's Daily Online
通过在多模态推理的物体、上下文和推理阶段引入显式偏好监督，抑制错误传播并减少幻觉
📌 工作参考价值（4 点）
- 在商品图文描述生成、多模态问答等场景中，可借鉴分阶段偏好优化思想：分别对物体识别、上下文理解和推理结论设计偏好对，在训练时注入更细粒度的真实监督，从而减少事实错误。
- 构建偏好数据集时，可采用类似GCPD的三阶段结构（Object Grounding, Contextual Grounding, Grounded Reasoning），强制模型在生成中间步骤时保持与视觉证据的紧密一致性，这对需要多步推理的电商导购Agent尤其关键。
- 工程实现上，可直接在流行的DPO训练框架（如trl）中添加按阶段分组的损失项，只需将偏好对按阶段标记，然后联合优化，无需大幅改动训练管线。
- 该显式接地监督思路可迁移至搜索推荐中的多模态理解模块（如商品图、视频理解），提升对长尾商品或复杂组合的识别精度，最终改善推荐理由或搜索摘要的真实性。
视频 = 世界 + 事件流：Wan-Streamer 实时交互的预训练视角
🧭 多模态实时交互 · 世界-事件流分解
Alibaba Group
将视频重新解释为持久世界与事件流之和，提出通用预训练任务，并实现低延迟实时全双工音视频交互
📌 工作参考价值（4 点）
- 世界-事件流分解思想可用于用户行为序列建模：将长期稳定的用户兴趣（世界）与短期刺激（事件流）分离，提升序列推荐模型对上下文变化的鲁棒性。
- 流式预训练范式可被借鉴到实时推荐 agent：将推荐动作视为事件流，在用户-物品交互的流式数据上预训练，使模型学会在毫秒级延迟下预测用户即时意图。
- 全双工交互中的端到端联合训练（感知、时机、动作）可启发对话式推荐 agent 设计，避免模块级联导致的延迟累积与损失隔离。
- 160ms 流单元、200ms 模型延迟的工程实践为实时交互 agent 的部署提供了量化参考，尤其适用于需快速响应的电商直播带货等场景。
VideoChat3：全开源高效通用视频多模态大模型
🧭 高效通用视频多模态大模型
Nanjing University · Shanghai AI Laboratory · Nanyang Technological University · Peking University
提出膨胀3D ViT与自适应帧分辨率，结合三阶段合成数据，4B参数即超越更大模型，实现高效通用视频理解。
📌 工作参考价值（4 点）
- 视频特征提取效率：I3D-ViT 将 2D ViT 权重直接膨胀到 3D，无需重新训练时空融合模块，可直接迁移到商品视频表征、直播切片理解等场景，大幅降低训练成本。
- 流式处理设计：自适应帧分辨率（Adaptive Frame Resolution）根据视频动态调整抽帧策略，适合电商直播实时分析、监控流式视频中的行为事件，提升吞吐且保持精度。
- 多领域数据合成流水线：通过结构化提示合成多样视频问答对（通用、长视频、流式），可借鉴为推荐系统生成多模态训练数据，例如为商品视频生成属性描述、使用教程等指令微调数据，缓解标注稀缺。
- 全开放生态：模型权重、代码、数据全开源的策略，方便团队快速复现并适配垂直业务，降低自研视频理解模型的门槛，尤其适合需要定制化视觉问答或视频审核的电商场景。
面向视觉无关的组合图像检索：属性增强评分与LLM重排序
🧭 视觉无关组合图像检索·属性增强与LLM重排
The University of Tokyo · Kioxia Corporation
通过属性增强混合评分和LLM重排序，实现视觉无关的零样本组合图像检索，CIRR R@1 44.04%（+8.79%）
📌 工作参考价值（4 点）
- 视觉无关检索范式：将数据库图像离线预生成文本描述（如商品标题/属性），用文本检索替代视觉编码器，大幅降低计算和存储成本，适合电商海量商品库的粗召回。
- 属性增强评分：显式提取并匹配查询与候选图像的属性（颜色、类别、材质等），弥补纯文本描述的视觉细节丢失，可嵌入商品搜索排序的relevance score计算中。
- LLM重排序：对粗排Top-K结果，利用LLM验证“修改文本”是否被满足（如“改成黑色”），提升语义一致性；可迁移至电商对话式搜索、多模态交互中的精排阶段。
- 零样本能力：整个流程不依赖CIR标注数据，开箱即用，适合冷启动或快速迭代场景；可快速验证“参考图+修改文本”这种查询形式在导购、搭配推荐中的效果。
并发图像理解与生成：自校正耦合马尔可夫跳过程
🧭 多模态耦合生成 · 自校正采样
Google · Google DeepMind · Stony Brook University
提出自校正耦合马尔可夫跳过程(SC-CMJP)与训练自由采样器CO₂Jump，实现多模态生成中跨模态实时纠错
📌 工作参考价值（4 点）
- 多模态对话系统（如虚拟试穿、商品咨询）可借鉴 SC-CMJP 的跨模态置信度加权机制，确保生成的图文实时对齐，减少矛盾输出，提升用户体验。
- CO₂Jump 无需额外训练，可在现有掩码扩散模型上即插即用，适合电商场景中快速迭代多模态生成能力（如产品图与描述同步生成）。
- 自校正 remasking 可用于内容审核或智能设计：当生成图像与文本描述不一致时自动触发修正，保证多模态素材的合规性和一致性。
- 去噪步数与性能单调正相关的结论，提示在 Agent 链式推理中加强跨模态交互的累积效应，为多步决策任务（如搜索→推荐→解释）提供架构参照。
Boogu-Image-0.1：开源统一多模态理解与生成模型
🧭 统一多模态理解与生成
通过数据/训练管线优化和Agent式推理扩展，在极低计算预算下实现逼近闭源的多模态生成性能
📌 工作参考价值（4 点）
- Agent式推理扩展用于线上服务：将推理时间计算量化为可控资源，通过增加推理步数提升生成质量，该范式可直接用于Agent推荐系统的多步决策、query生成等，在延时允许下动态扩展推理深度提升效果。
- 数据效率与成本控制：仅用2.08亿图片达到领先性能，训练成本压到40万美元。在推荐系统中，可借鉴其数据筛选、去重、质量过滤的流程，用小规模高质量多模态数据对齐用户偏好，降低数据采集成本。
- 多模态生成能力迁移至商品创意：模型支持高质量文本渲染和中文生成，可直接用于广告创意、商品海报、营销图片的自动生成，将生成式推荐从物品ID扩展到视觉内容创造。
- 开源与可重现性：提供全套训练代码与权重，推荐团队可基于此快速搭建企业级多模态生成服务，并融入检索增强或个性化微调，避免依赖黑盒API。
利用大语言模型作为内在编码器进行视觉令牌压缩
🧭 视觉令牌压缩 · VLM推理效率
Anhui Province Key Laboratory of Digital Security, University of Science and Technology of China
提出 VisCo，把预训练 VLM 重用为内在视觉令牌压缩器，用参数共享自编码器和记忆令牌实现高压缩比下的领先性能。
📌 工作参考价值（4 点）
- 在电商多模态商品理解中，可复用已部署的 VLM 作为视觉特征压缩器，避免引入外部模块和重训练成本，直接降低推理延迟。
- 记忆令牌（memory tokens）的压缩方式类似推荐系统中的语义 ID 压缩，可将高维视觉特征蒸馏为少量可学习令牌，适合大量商品图片的在线编码。
- 层级信息传递机制可用于多尺度商品视觉特征提取，在不增加额外参数的前提下保留细粒度信息，提升下游检索或推荐质量。
- 极端压缩（如单令牌）下性能稳定，适合对实时性要求高的推荐场景，如首页商品卡片渲染、搜索结果的首图压缩。
MonkeyOCRv2：面向文档AI的视觉-文本基础模型
🧭 文档视觉预训练 · 多模态基础模型
Huazhong University of Science and Technology · Kingsoft Office
面向文档图像的视觉-文本预训练模型，通过联合生成与重建策略提升多任务性能，冻结后可作为高效的多模态LLM视觉编码器
📌 工作参考价值（4 点）
- 商品图像文本增强：联合生成与像素重建的预训练策略对字符笔画和布局高度敏感，可直接用于提升电商商品图、广告素材的OCR准确率，特别是小字、艺术字、复杂背景下的关键信息提取。
- 高效商品文档解析：冻结MonkeyOCRv2+轻量LM（0.7B）即可获得SOTA文档解析效果，推理开销远低于通用大模型，适合大规模商品描述、质检报告、报关单据的结构化信息抽取。
- 多语言支持：预训练涵盖17种语言，对国际化电商平台处理多语言商品标题、评论图片、广告文案有直接帮助，无需额外语言适配。
- 篡改检测与内容审核：模型在文档篡改检测上的强大能力可迁移至商品图片真伪鉴定、用户评论截图真实性审核等风控场景。
证据驱动的视频问答：从文本答案到时空分割掩码的联合输出
🧭 视频理解与可解释性 · 时空证据接地
Salesforce · Brown University
提出 E-VQA 任务，要求模型同时输出语义答案与精确时空证据（时间段+稠密分割掩码），并构建基准与数据集以弥合推理与细粒度接地的鸿沟
📌 工作参考价值（4 点）
- 可解释推荐中的证据输出范式：将推荐结果与细粒度证据（如关键帧、区域掩码）绑定，可迁移到商品视频理解、直播切片解释等场景，增强推荐理由的可信度。
- 自动标注流水线放大稀缺数据：借鉴论文的 scalable 生成 pipeline（概念识别→掩码获取→跟踪→QA 对生成），可在电商领域自动构造大量带有空间 grounding 的商品描述与对比问答，降低人工标注成本。
- 统一视觉接地与文本生成的模型架构：微调 Video LLM 使其输出时空掩码 token，为电商多模态 Agent 提供“定位并解释”的能力，例如在用户问“这款口红在哪一秒涂抹了”时，精准返回片段与分割区域。
- 解耦 QA 准确性与真视觉感知的发现：警惕仅靠缩放模型不能解决可解释性问题，需显式训练接地能力；在构建电商问答/搜索系统时，应设计专门的接地评估集，避免模型依赖语言偏见生成答案。
通过测试时提示自适应增强视觉-语言模型鲁棒性
🧭 测试时自适应 · 多模态对齐 · 对抗鲁棒性
National University of Singapore · University of Science and Technology of China · The Hong Kong University of Science and Technology
提出分布级最优传输对齐与动态缓存的测试时提示适应方法，大幅提升VLM对抗鲁棒性且无损清洁性能
📌 工作参考价值（4 点）
- 测试时适应思想可迁移至搜索推荐系统的在线学习：当数据分布因季节、事件或对抗攻击发生偏移，借鉴RITA的分布级对齐而非样本级校正，提升模型鲁棒性。
- 多模态推荐中视觉与文本特征对齐是关键瓶颈：最优传输（Optimal Transport）的分布匹配方法可直接用于对齐商品图像与标题（或用户评论）的特征空间，缓解语义错位。
- 动态缓存（dynamic cache）累积可靠测试样本的思路适合电商推荐的高频流式更新：设计信任度阈值，仅将高质量预测样本加入缓存，逐步优化提示或轻量适配器，实现低延迟在线进化。
- 增强视图（augmented views）保留语义完整性的观察可启发搜索推荐中的“多视图”特征利用：例如同一商品的不同角度、背景，通过分布视角聚合来抵抗图像噪声或恶意对抗样本。
DeltaV：统一多模态大模型中的视觉状态更新推理
🧭 视觉更新驱动高效多模态推理
Huazhong University of Science and Technology · MiLM Plus, Xiaomi Inc.
提出视觉更新范式，增量预测变化令牌替代全图生成，减少55.6%视觉令牌并提升多模态推理3.3%
📌 工作参考价值（4 点）
- 当推荐/Agent系统需序列输出视觉状态（如商品搭配演化、试穿效果步骤），采用增量更新可大幅减少生成token的冗余，直接降低推理延迟与成本。
- 借鉴TSIM Router思想，在推荐场景的自适应计算中，根据边际增益动态分配视觉生成token预算：复杂变化场景多分配，简单场景早停，提升整体效率。
- StructCoT数据集构建思路可迁移至电商多模态推理数据准备，通过链式思维引导模型进行多步视觉决策（如商品对比、需求分析），增强推荐可解释性。
- 55.6%的token减少且性能不降，表明视觉差分编码是移动端或资源受限场景下一种高性价比压缩方案，适合部署轻量级多模态推荐助手。
多模态掩码扩散模型的自适应生成顺序强化
🧭 多模态扩散模型 · 生成顺序优化
University of California, Los Angeles · AGI Foundations for AWS
用GRPO学习生成顺序控制模块，提升文本到图像对齐与多模态理解
📌 工作参考价值（4 点）
- 生成式推荐（如Semantic ID解码）可借鉴 GRPO 优化生成顺序，提高序列质量
- 多模态商品描述或广告图生成中，可学习顺序模块改善图文对齐与空间关系
- 掩码扩散模型在推荐补全场景下，自适应顺序可能提升冷启动或缺失特征填充效果
- 强化学习（GRPO）用于解码策略优化，相比单纯依赖 logits 可迁移至任何自回归/扩散生成任务
结构化稀疏自编码器实现跨模态概念一致学习
🧭 多模态可解释性 · 结构化稀疏自编码
Zhejiang University · Nanyang Technological University
在视觉语言模型中，通过图像块分组与结构化稀疏正则化，解决稀疏自编码器概念碎片化问题，提升跨模态概念一致性与单义性
📌 工作参考价值（4 点）
- 对电商/推荐多模态模型（如商品图文理解）的依赖时，S2AE 可作为特征解释工具，分析不同模态下概念表示的一致性，辅助定位模型偏差或碎片化表达。
- 结构化稀疏正则化思路可迁移至其他需要分组特征选择的场景，例如用户行为序列按场景分组后，强制组内一致性与组间解耦，提升表示紧凑性。
- 跨模态概念一致性评估方法（mIoU、monosemanticity）可直接用于评估推荐系统中文本描述与图像特征共嵌入空间的对齐质量。
- 工程上，基于注意力相似度和空间邻近的图像块分组策略可启发商品图像多尺度特征的组织方式，提升视觉概念的可解释性与可控性。
fog：通过AI生成代码的函数组合表达运动与情感
🧭 生成式运动与情感动画代码合成
Columbia University
利用LLM生成可组合的运动函数类，实现Heider-Simmel风格动画中的语义动作与情感表达
📌 工作参考价值（4 点）
- 将领域知识分解为动词、副词、情感等可组合的原子函数，并利用LLM生成其代码实现，这一范式可迁移至电商商品动画或推荐解释的生成：先定义基本原子动作（如展示、强调、对比），再让LLM组合生成个性化动画。
- 交互界面结合直接操纵与动态生成的UI，可借鉴到推荐可视化配置工具中：允许用户拖拽调整动画参数，同时后台由LLM实时重新生成代码，实现快速迭代。
- 利用LLM生成开放式运动词汇库，避免了手工编码每种动作，对于需要动态生成大量商品展示动画的场景（如千人千面的广告素材）有降本潜力。
- 注意：该工作聚焦于Heider-Simmel抽象动画，直接用于电商/推荐需适配具体领域动作，但代码生成与函数组合的思想具有通用性。
基于视频扩散模型的长时程事件视频重建、预测与插帧
🧭 事件相机视频生成 · 扩散模型
National Yang Ming Chiao Tung University
利用预训练视频扩散先验统一处理事件相机的视频重建、预测与插帧，引入自回归展开与自适应上下文切换抑制长期漂移
📌 工作参考价值（4 点）
- 复用预训练生成式先验解决稀疏输入逆问题的范式，可迁移至推荐系统的多任务统一生成（如用户行为补全、缺失特征预测）。
- 自回归展开与自适应上下文切换的控制策略，对长序列生成中的漂移问题有借鉴价值，可用于用户长期兴趣演化建模。
- 事件体素密度增强应对异构传感器分辨率，类似数据增强思路可应用于多来源、多粒度行为数据的对齐与鲁棒训练。
- 零样本泛化到帧插值任务的方法论，可启发推荐模型在未见业务场景下的快速冷启动适配。
分层声学-语义建模：全双工口语语言模型的模态分离与语义一致性
🧭 多模态学习 · 梯度冲突解耦
Harbin Institute of Technology, Shenzhen · Center for Language, Intelligence and Machines, Shenzhen · The Chinese University of Hong Kong, Shenzhen
揭示全双工语音模型中声学与语义的梯度冲突，并提出分层参数分离策略以消除模态干扰
📌 工作参考价值（4 点）
- 多模态搜索/推荐中的梯度冲突诊断：当商品文本、图像、用户行为等多模态信息共享底层参数时，可借鉴论文的梯度冲突分析方法，定量评估不同模态梯度方向的余弦相似度，定位干扰源，避免盲目调整结构。
- 分层参数分离策略用于多模态融合：在深层网络中将不同模态的参数解耦，仅浅层共享，同时引入轻量语义对齐通道（如对比损失或跨注意力），既能保持模态特异性，又能防止语义割裂，适用于多模态排序或召回模型。
- 语音购物助手的全双工流畅性提升：构建对话式推荐Agent时，采用类似分层声学-语义解耦的架构，可减少语音识别与语义理解之间的干扰，提升交互的自然度和响应速度，类似方法也适用于实时多轮对话场景。
- 高效推理兼顾模态专化：通过仅在深层分离参数而非独立训练整个双塔，能维持推理效率，适合对延迟敏感的业务场景，如在线推荐、语音搜索等。
上下文多模态文档检索：联合编码+对比学习
🧭 多模态检索 · 上下文文档嵌入
NTT Human Informatics Laboratories, NTT, Inc., Tokyo, Japan
提出首个要求跨页上下文建模的多模态文档检索基准与嵌入框架CMDR-Embed，结合CMCL对比学习显著提升跨页查询性能
📌 工作参考价值（4 点）
- 商品详情页跨图检索：可借鉴联合编码多页/多图的上下文嵌入思路，处理商品描述分布在多张细节图或PDF说明书中的场景，提升需要综合多图信息的查询召回率。
- 多模态对比学习训练 trick：CMCL平衡上下文建模与页面区分性的损失设计，可直接用于训练电商多模态检索模型，尤其适合“店铺主页多图组合匹配用户风格查询”等任务。
- RAG 中的多模态文档检索增强：在电商客服或搜索总结系统里，用CMDR-Embed替换现有文档嵌入，能让检索到的页面片段保留更完整的上下文，提高生成答案的事实一致性。
- 构建检索基准的方法论：可参照CMDR-Bench设计面向业务的跨页/跨图上下文检索评测集，衡量排序模型对“浏览型查询”（如“适合搭配这个包的上衣”）的上下文理解能力。
对象感知的视觉token合并：多向量VL检索的高效压缩
🧭 多向量视觉-语言检索中的对象感知token压缩
The Catholic University of Korea · Korea University · AIGEN Sciences Inc.
提出对象感知token合并框架SaMer，在MaxSim下将视觉token压缩至K个质心，减少16.09×存储并提升R@1
📌 工作参考价值（4 点）
- 可迁移到电商多模态搜索索引压缩：商品图片的 ColPali 表示通常 token 量极大，SaMer 的对象感知合并能保留关键物体证据，缩减索引存储 16 倍, 适合大规模商品库的轻量化多向量检索。
- 训练时仅需对象标注，推理时零开销：借鉴其合并先验设计，可在商品多模态模型训练阶段利用目标检测或分割标注指导 token 合并，推理阶段无需检测器，直接端到端压缩，实现低成本部署。
- MaxSim 友好压缩策略：SaMer 通过聚类形成语义质心而非直接丢弃 token，确保每个质心覆盖不同对象区域，使查询仍能匹配到细粒度证据，这比传统剪枝/池化更适合电商搜索中属性或区域敏感的匹配（如 logo、文本区域）。
- 可与现有双塔架构兼容：只需微调共享投影层，冻结视觉与文本主干，改动量极小，适合在已有的 ColPali/ColQwen 商品检索服务中插入，快速获得压缩与精度收益。
视觉即统一多模态生成
🧭 视觉任务统一为多模态指令生成
SenseTime Research · Nanyang Technological University · The Chinese University of Hong Kong · Peking University · Shanghai Jiao Tong University
将异构视觉任务统一为多模态生成，单一模型通过指令输出文本或图像，匹配专家系统
📌 工作参考价值（4 点）
- 统一生成范式可迁移至电商推荐：将召回、排序、解释等任务统一为自然语言指令驱动的多模态生成，降低多任务工程开销。
- 指令与视觉提示机制可直接用于多模态搜索Agent：允许用户通过自然语言和区域/属性提示灵活指定需求，模型输出文本或结构化推荐结果。
- 异构标注转指令数据集的方法可复制到推荐场景：将点击、购买、评论等行为数据转化为指令-回答对，支持推荐模型的指令微调。
- 从预训练多模态模型出发，混合任务数据保持能力的训练策略，适合构建兼具通用知识与业务专长的推荐Agent。
CanvasAgent：通过视觉工具编排实现复杂图像创建与编辑
🧭 多模态代理 · 视觉工具编排
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)
提出数据集 CanvasCraft 与多模态代理 CanvasAgent，通过 SFT+GRPO 训练，实现多工具协同的复杂图像编辑工作流
📌 工作参考价值（4 点）
- 电商商品图复杂编辑（多步骤生成、分割、文字叠加、增强）可借鉴多工具代理编排思路，将现有图像模型封装为工具，由 LLM 代理按需调用，实现自动化工作流。
- CanvasCraft 数据构建方式：自动合成多步编辑轨迹（生成→定位→分割→替换→融合），可迁移至构建商品图像处理指令数据集，用于训练客服或运营代理。
- SFT+GRPO 两阶段训练范式与混合奖励（结果质量+过程合理性）可用于推荐或搜索代理的多步决策优化，提升轨迹合理性与最终效果。
- 代理在 rollout 中实时检查中间图像状态并动态修正工具选择，该闭环反馈机制可启发构建商品推荐可视化解释代理，按中间反馈调整推荐策略。
将交错多模态推理统一为决策过程：BRAID框架
🧭 多模态推理 · 统一 MDP · 强化学习优化
Nanjing University · Tencent Youtu Lab · Shanghai AI Laboratory · Tsinghua University · University of Washington
提出 BRAID，把多轮文本-图像推理建模为统一 MDP，用 RL 联合优化文本与图像生成，并引入 VLM judge 提供稠密回合反馈
📌 工作参考价值（4 点）
- 电商多模态 Agent 联合优化：在商品文案配图、展示广告创意生成等多轮交互场景中，可将文本和图像生成纳入统一 MDP，用 RL 同时优化文本 token 和图像扩散去噪路径，避免只微调文本而忽略图像质量的半优化问题。
- 中间图像价值评估：引入 VLM judge 对多轮推理中每一张中间图像打分，提供稠密回合级奖励。在搜索推荐 Agent 的多步调用中，可类似地用 judge 评估每一步生成内容的“推理效用”，改善长程信用分配，加快训练。
- 模态原生策略梯度：BRAID 对文本和图像分别使用各自模态的策略梯度机制，但共享一个轨迹级优势函数。实际实现时，可参照其设计，将优势值统一后注入不同生成模块的损失函数，避免为每个模态单独设计奖励。
- 工程落地参考：扩散模型策略梯度需计算 score function 与 denoising path 的关联，BRAID 提供的实现思路可直接复用到广告图片生成的在线优化中，提升点击率。
全模态密集视频描述并行自回归解码
🧭 多模态事件描述 · 并行解码
National University of Singapore
利用事件间弱局部依赖重构解码依赖图，实现无损并行生成，大幅提升密集视频描述效率与性能
📌 工作参考价值（4 点）
- 推荐系统生成序列化推荐理由或事件描述时，可将文本分解为相对独立的语义块（如商品卖点、活动节点），利用块间弱依赖并行解码，降低端到端生成延迟。
- 借鉴潜在全局规划模块的设计，在Agent多步推理中预先规划步骤间的因果依赖，对无依赖的推理步骤并行执行，提升复杂任务的处理效率。
- 事件因子化解码机制平衡局部连贯与全局感知的思路，可用于电商直播合辑、广告创意序列等需同时保持单条内容紧凑性和整体叙事流的场景。
- 依赖图动态重构方案可迁移到搜索建议生成、会话式推荐中，根据输入意图的独立性自动分组，实现部分并行以加速响应。
逐令牌追踪多模态生成中的注意力动态
🧭 多模态LLM注意力机制的可解释性分析
CVIT, IIIT Hyderabad
系统揭示多模态LLM生成过程中注意力随语义角色切换的逐令牌动态，并提出测试时干预提升多模态任务性能
📌 工作参考价值（4 点）
- 在多模态推荐（如图文推荐理由生成）中，可借鉴注意力动态模式，在需要图像信息的生成阶段显式增强视觉注意力，提升描述准确性。
- 测试时注意力干预方法简单有效，无需重新训练，可集成到现有多模态LLM推理流程中，用于电商详情页的多模态内容生成或广告文案优化。
- 分析发现的跨模态泄漏和语言先验问题，提示在多模态Agent设计时需平衡视觉与文本信息，避免忽略图像或过度依赖语言模板。
- 对于查询生成（如基于图片的搜索词生成），可参考指令令牌重访模式，在任务切换时重新引入指令线索，确保生成相关性。
对抗文本噪声与冗余的熵感知密集视觉令牌剪枝
🧭 多模态模型视觉令牌剪枝
Shanghai Jiao Tong University
EADP 用熵过滤文本噪声并将令牌选择建模为带空间先验的次模最大化，在严格预算下保持细粒度视觉线索
📌 工作参考价值（3 点）
- 在多模态推荐场景（如商品图像+用户查询）中，可借鉴熵过滤来抑制查询文本中的噪声词，提升跨模态打分鲁棒性，避免关键图像块被错误丢弃。
- 采用次模最大化+空间先验替代 top-K 选取视觉令牌，能更全面地保留细粒度细节（如商品微小瑕疵、特定图案），适合高要求的商品理解任务。
- 方法无训练、即插即用，可直接集成到现有多模态 VLM 推理管线中，在延迟敏感场景（如实时搜索推荐）降低视觉上下文成本而不过度损失精度。
基于强化学习的视觉接地自我反思训练框架
🧭 视觉接地自我反思 · 强化学习
The University of Texas at Austin · New York University
通过轨迹前缀掩码与经验回放缓冲区训练视觉语言模型在分布外场景下进行视觉接地的自我反思与修正
📌 工作参考价值（4 点）
- 在多模态对话推荐 Agent 中，可借鉴前缀掩码训练策略：随机遮盖 CoT 前半段，迫使模型仅从中间错误状态恢复，提升对推荐理由或商品比较链路的自我纠正鲁棒性。
- 搜索广告系统中的多模态创意理解模块，可引入经验回放缓冲区存放历史失败案例，通过 RL 让模型反复修正不准确的视觉描述或关键词，增强对长尾商品图片的把握。
- 利用 RL 直接优化自我反思能力，而非仅依赖 SFT 模仿正确链，可让对话推荐 Agent 在陌生领域（如新品、冷启商品）更有效地利用视觉信息进行纠正，避免单一依赖文本模式。
- 轨迹前缀掩码思路也可用于文本 Agent 的自我修正训练：在搜索 Query 改写或回复生成中，随机删除前序推理步骤，让模型学会从半途错误中恢复，降低对初始思路的依赖。
解锁语音-文本组合能力：无需指令微调的遵循指令语音语言模型
🧭 语音语言模型 · 权重组合跨模态迁移
University of California, Santa Barbara · MIT-IBM Computing Research Lab, IBM Research
仅通过一次语音预训练后与文本指令微调向量权重相加，零语音指令数据实现指令遵循语音模型
📌 工作参考价值（4 点）
- 多模态助手低成本构建：可将已有强大指令遵循能力的文本LLM快速扩展为语音助手，仅需一轮语音适配预训练，无需昂贵的大规模语音指令数据，适合电商语音搜索、客服等场景快速原型。
- 权重算术即插即用：方法本质是模型融合（基座+任务向量），工程实现极其简单，可直接复用现有文本LLM的训练成果，减少重复训练成本，为Agent系统增加语音交互通道提供新范式。
- 模态能力解耦升级：当文本LLM基座或指令微调版本迭代时，只需重新计算任务向量并与原有语音适配权重组合，实现语音能力的快速升级，适合迭代快速的业务场景。
- 可推广到其他模态：该组合策略不限于语音，可借鉴用于图像、视频等模态的指令遵循迁移，为统一多模态推荐交互（如语音搜索、图像评论理解）提供统一框架。
MentalThink：在心理SVG世界中塑造思维
🧭 多模态视觉推理 · SVG中间表示
Beijing University of Posts and Telecommunications · University of Chinese Academy of Sciences · StepFun
让多模态大模型生成并执行SVG代码作为中间视觉表示，实现可验证的空间推理。
📌 工作参考价值（4 点）
- 商品空间关系理解：用 SVG 生成商品轮廓与布局，辅助多模态模型理解复杂场景（如家具搭配、服装层次），提升搜索与推荐的准确性。
- Agent 多步规划：借鉴“心理图像”机制，在 Agent 执行动作前生成场景 SVG 草图，用于自我反思和步骤优化，提高任务成功率。
- 广告创意迭代：利用 SVG 的可编辑性，快速生成和调整广告图片的空间构图，结合 RL 迭代精炼，降低人工设计成本。
- 训练范式复用：SFT 对齐结构化语法 + 多轮 RL 迭代修正是可迁移的通用训练策略，适合需要精确控制输出格式（如图形代码）的生成式推荐场景。
重新审视零样本组合图像检索的代理任务设计
🧭 零样本组合图像检索 · 代理任务学习
University of Science and Technology of China
提出可学习的二阶段组合模型FoCo，通过文本锚定视觉聚合与上下文补全代理任务，无需三元组监督即达SOTA
📌 工作参考价值（4 点）
- 电商以图搜稿/找同款场景可直接复用：用图片+文字修改（如“袖子更长”）搜索商品，无需昂贵三元组标注，仅靠图像-文本对即可训练组合编码器。
- 两个代理任务可迁移到多模态搜索模型训练：文本锚定的视觉聚合（让模型学会关注修改相关区域）和上下文补全（保留场景上下文避免语义丢失），能提升模型对细粒度修改的敏感度。
- 跨实例对比目标（cross-instance contrastive）有意引入类别内变异作为负例，可借鉴到商品搜索中防止模型走捷径（如只靠图片相似度忽略文本修改），让模型更关注文字指令。
- 整体框架与现有预训练视觉-语言模型（如CLIP）兼容，适合作为轻量插件嵌入现有检索系统，无需重建索引或修改推理流程。
ADAPT：通过注意力动态对齐与偏好调优实现可信多模态大模型
🧭 MLLM幻觉缓解 · 跨注意力动态干预
University of Science and Technology of China · Huawei Technologies Ltd. · State Key Laboratory of Communication Content Cognition, People's Daily Online
从文本-图像跨注意力退化中检测并纠正幻觉，结合视觉锚点与偏好对齐，将主流模型幻觉率降低40%–60%
📌 工作参考价值（4 点）
- 生成式推荐中的视觉锚定：在商品文案、图文搭配生成时，可借鉴ADAPT的早期解码提取视觉锚点，约束后续生成对图像关键区域保持高注意力，减少描述与图像不符的幻觉。
- 在线注意力漂移检测与修正：在Agent多模态交互（如视觉问答、商品搜索）中，可监控跨注意力分布的熵或偏移量，实时触发重聚焦或重新解码，提升回复的视觉忠诚度。
- 偏好数据构造新思路：利用注意力质量作为对比信号，自动筛选视觉grounding好的响应作为正例，无需人工标注即可构造DPO偏好对，低成本提升模型对齐效果。
- 模型架构无关的轻量插件：该方法无需修改原模型结构，只改变推理时的注意力使用与少量微调，可快速集成到现有MLLM pipeline中，适合业务快速验证与迭代。
ERA：熵引导的视觉令牌剪枝与注意力矫正框架
🧭 多模态大模型推理加速
提出训练免视觉令牌剪枝框架ERA，通过熵引导和注意力矫正解决logit崩塌，实现高效MLLMs
📌 工作参考价值（4 点）
- 训练免剪枝方法：可直接应用于商品图文理解等现有多模态模型，快速降低视觉令牌数量，减少推理延迟，无需重新训练。
- 熵引导锚点选择：利用视觉多样性和注意力头显著性保留商品图像关键区域（如主体细节），防止重要视觉信息丢失。
- 偏置回收与注意力矫正：在广告图片或视频帧压缩后，通过回收剪枝令牌信息并注入logit偏置，维持注意力分布一致，避免输出漂移。
- 即插即用组件：DEP、BTR、LAR可模块化嵌入推理流程，适合实时推荐、多模态Agent等对延迟敏感的场景。
无监督数据高效跨模态检索：全局邻域对齐哈希
🧭 跨模态哈希 · 数据高效对齐
Nanyang Technological University · South China University of Technology · Henan Normal University · Peking University Shenzhen Graduate School · VinUniversity
仅用少量图文对，通过原型全局对齐与随机邻域对比学习，将视觉–语言大模型语义结构压缩为二进制哈希码
📌 工作参考价值（4 点）
- 在电商商品多模态检索中，可利用少量商品图文对训练哈希映射，大幅降低向量存储和检索成本，适合移动端或边缘设备部署。
- 原型锚定全局对齐思想可迁移到推荐系统的多模态特征融合，通过维护类别原型保持哈希空间全局语义结构，缓解小样本特征坍塌。
- 对比随机邻域对齐建模随机邻域关系，可缓解正负样本稀疏问题，在推荐中用于增强用户–物品交互图的表征学习，提升冷启动物品的语义索引质量。
- 从视觉–语言基础模型（如 CLIP）蒸馏哈希码的方法，可借鉴用于冷启动物品的快速二进制语义 ID 生成，加速召回并降低在线存储开销。
打破失败级联：步感知强化学习用于医学多模态推理
🧭 医学多模态推理 · 步级强化学习
Korea University · Upstage AI · Kyung Hee University · KAIST · Hanyang University College of Medicine
提出MRPO算法，对错误路径早期推理步施加指数惩罚以抑制级联失败，显著提升医学多模态推理精度。
📌 工作参考价值（4 点）
- 在推荐系统的多步推理场景（如解释生成、对话式推荐）中，可利用步骤级过程奖励解决稀疏奖励问题，定位并修复早期决策错误。
- 工程实现上，可借鉴指数衰减惩罚机制：当整体任务失败时，对越早的推理步赋予越大负奖励，低成本增强RL训练信号。
- 对于Agent框架中的多步规划，MRPO的步级反馈策略可直接迁移，提升长链任务的成功率与推理质量。
- 该方法可与现有RL算法（如GRPO）轻松集成，仅需在奖励函数中增加步骤级惩罚项，侵入性小，适合快速实验验证。
AVTok: 用于整体音视频生成的一维统一分词器
🧭 统一多模态分词器 · 音视频生成
The Hong Kong University of Science and Technology
提出统一音视频分词器 AVTok，用双流 Transformer 将音视频对编码为共享码本的紧凑一维 token 序列
📌 工作参考价值（4 点）
- 统一码本设计可借鉴：在电商推荐中，将商品图像、描述、甚至短视频音轨等异构模态信息通过统一分词器映射到共享离散空间，便于后续的生成式推荐模型（如基于 AR 的 item 生成）处理。
- 双流架构与模态特定可学习查询：可用于处理搜索推荐中用户行为序列（时序流）和内容特征（语义流）的融合，共享主干而保留模态差异，降低计算开销。
- 分层训练策略：缓解多模态数据的信息不平衡问题，在推荐场景中可逐步引入不同模态特征（先文本后图像），让模型渐进学习对齐表示，避免单一模态主导。
- 主要是学术贡献，业务可借鉴点有限，但统一多模态 tokenization 的思路对构建商品或内容的全域统一表示有启发性。
Orca：世界在你心中——基于状态预测的通用世界基础模型
🧭 世界模型 · 多模态预训练
Beijing Academy of Artificial Intelligence
以Next-State-Prediction为核心，通过无意识与有意识学习统一世界潜在空间，在下游多模态任务中展现强迁移能力
📌 工作参考价值（4 点）
- 状态转移建模借鉴：用户行为序列可类比世界状态转移，用无意识学习处理大量未标注浏览序列，有意识学习聚焦稀疏但关键的转化事件（如点击、购买），提升对用户长期兴趣的建模。
- 多模态统一表示：将商品图文、用户行为等多模态信号对齐到同一潜在空间，冻结预训练主干，仅在下游训练轻量解码器，降低推荐/搜索系统的多任务开发成本。
- 数据飞轮构建：参考“密集状态转移（视频帧）+ 稀疏事件标注”的混合预训练数据设计，构建高密度交互日志与人工标注反馈相结合的训练流水线。
- 工程轻量化：冻结世界模型主干、只微调解码器的范式，可直接迁移到已有大模型部署场景，快速适配新业务目标如内容生成、问答、动作推荐。
ScAle：注意力头缩放作为最小适配器增强VLM空间推理
🧭 轻量级激活缩放适配视觉语言模型
Northeastern University · EmbodyX Inc. · Zhejiang University
仅用1K可训练标量系数缩放冻结VLM层激活，空间推理准确率相对提升最高134.1%
📌 工作参考价值（4 点）
- 极低资源任务适配：冻结整个VLM，只训练少量标量系数（~1K参数量）即可注入空间推理能力，适合快速部署到电商多模态场景（如商品图片方位判断、广告布局合理性校验）。
- 激活重标定策略：针对最后token的注意力输出和MLP激活做缩放，无需改动模型结构，可直接套用于现有推荐系统中的视觉理解模块（如对商品详情图进行空间关系抽取）。
- 原始能力无损：缩放系数被有界约束，避免灾难性遗忘，在非空间VQA上保持原有性能，这对线上多任务系统（如同时做商品质量评估和空间描述）很关键。
- 架构无关的即插即用：该方法不依赖特定注意力实现，可作为轻量级适配层嵌入任一Transformer，适合探索在图文匹配、虚拟试穿对齐等推荐链路环节快速实验。
DataComp-VLM：改进视觉语言模型的开放数据集基准
🧭 多模态数据筛选与混合策略基准
数据混合而非过滤是提升VLM训练质量的关键，指令丰富混合可扩展性更优
📌 工作参考价值（4 点）
- 数据混合优于过滤：在构建电商多模态模型（如商品图文理解）时，应优先投入人力设计数据配比（例如指令数据 vs. 简单图文对），而非单纯用质量过滤丢弃数据。
- 增加指令微调数据占比：对于需要遵循指令的产品（如商品描述生成、多模态对话搜索），在预算内大幅提升指令格式样本的比例，能带来更好的下游任务扩展性，且收益随模型规模扩大而放大。
- 复用 DCVLM 基准框架：可将内部多源数据（用户评价图、商品主图、商品标题、问答对）组织成类似四类数据类型（图像-文本对、交错文档、纯文本、指令数据），利用其可插拔过滤/混合/采样接口做快速消融实验，找到最优数据配方。
- 小预算探索大模型效果：DCVLM 的低 token 预算轨道（如 6.25B）可用来预估不同数据策略在更大规模下的表现，适合资源有限的业务团队在迭代中提前淘汰劣化配方。
HarmVideoBench：面向大模型的有害视频多层理解基准
🧭 多模态安全审核 · 动态检索增强
Central South University · Tsinghua University · ByteDance Inc · Tencent · Nankai University
构建首个多层次有害视频诊断基准并配套边界感知检索方法，将LVLM理解能力提升至84.4%
📌 工作参考价值（4 点）
- 在商品视频审核中，可借鉴“可观察证据→片段内含义→超出片段推理”三层框架设计评测集，避免只做二分类漏判隐性违规。
- BCR 的推理边界预测机制可嵌入多模态 RAG 审核链路：模型先判断是否需要检索外部知识，降低高并发审核场景的推理延迟与成本。
- 该基准暴露了现有模型依赖表面捷径的缺陷，建议在推荐系统的内容理解评测中加入对比测试，防止因浅层匹配误判而放过违规内容。
- 动态按需检索的思路可迁移至 Agent 的视觉推理任务，例如商品短视频的自动解说生成，仅在需要外部产品知识时触发检索，提升生成效率。
基于第一性原理的视觉 Token 最优保留集剪枝，实现高效多模态大模型推理
🧭 多模态大模型高效推理 · 视觉 token 剪枝
Peking University · University of Electronic Science and Technology of China · Nanyang Technological University · Beijing Academy of Artificial Intelligence
提出任务相关性、信息覆盖与语义多样性三原则的免训练剪枝模块 TOPS，可大幅削减视觉 token 且保性能
📌 工作参考价值（4 点）
- 若业务中多模态推荐系统处理商品图片，可直接嵌入 TOPS 模块，在几乎不损失准确率的前提下大幅减少视觉 token 计算量，降低推理延迟与成本。
- 三原则（任务相关性、信息覆盖、语义多样性）可迁移至长文本或混合模态输入，例如在 Agent 检索增强场景中，对用户行为序列、文档内容进行关键 token 筛选，节省 LLM 的 KV cache 并提高效率。
- 免训练、模型无关的剪枝方案适合快速实验与部署，无需修改模型结构或重新训练，可针对不同 MLLM 骨干即插即用，降低工程接入门槛。
- 剪枝后性能不降反升的观察（缓解幻觉）可为轻量化多模态模型设计提供思路，未来在端侧推荐或实时交互 Agent 中有潜在价值。
提问、求解、生成：基于自洽奖励的自我进化统一多模态理解与生成
🧭 自我进化 · 统一多模态理解与生成
Mohamed bin Zayed University of Artificial Intelligence · Aalto University · Australian National University · Linköping University
仅用无标签图像，通过内部提问-求解-生成的自洽信号同时提升多模态理解与生成能力的自进化框架
📌 工作参考价值（4 点）
- 无标注自训练范式：利用自洽奖励信号（问答一致性）微调多模态模型，大幅降低电商商品图文理解/生成任务的标注成本，适合海量未标注商品图片场景。
- 熵引导的难度课程：Solver Token Entropy（STE）可作为连续难度指标，在模型训练中实现自适应课程学习，优先选择信息量大的样本，提升训练效率与稳定性。
- 多尺度生成评估：组合问答保真度评分与循环一致性描述的内部评估方案，可迁移到商品图生成的质量自动评分，无需人工审核。
- 架构无关的设计模式：角色分解与奖励逻辑在不同生成架构（扩散/整流流/自回归）上即插即用，方便接入现有多种多模态模型底座。
从结构到协同：多模态大模型中视觉语言感知范式演进综述
🧭 多模态感知范式 · 统一视角演进
Sichuan University · Peking University · China Telecom · Northwestern Polytechnical University
首次以统一视觉语言视角系统梳理 MLLM 感知范式的五阶段演进，为多模态智能提供路线图
📌 工作参考价值（4 点）
- 业务中构建商品图文理解模型时，可参照该综述的五阶段（独立结构→浅层融合→深层交互→统一预训练→自主协同），判断当前模型所处阶段并规划升级路径；例如从双塔独立编码升级为交叉注意力融合，提升图文匹配精度。
- 在 Agent 多模态感知模块设计中，借鉴「协同感知」思想，让文本指令与视觉输入的交互不再仅发生在高层语义空间，而是允许低层视觉特征直接受语言引导，提高空间推理与指令遵循能力。
- 综述中梳理了各阶段代表方法（如 CLIP、BLIP-2、LLaVA、GPT-4V 等）的架构与训练 trick，可快速了解不同范式的工程实现取舍（如是否冻结视觉编码器、是否采用 Q-Former 桥接），为技术选型提供参考。
- 未来方向指出：统一感知需要解决幻觉、细粒度理解与效率瓶颈，这些同样制约电商场景下的多模态搜索/推荐，可提前关注稀疏 MoE、结构化知识注入等应对策略。
Qwen-Image-2.0-RL：基于 GRPO 强化学习与在线蒸馏的图像生成后训练
🧭 图像生成后训练 · RLHF 对齐
Qwen (https://qwen.ai)
利用 GRPO 强化学习、复合奖励模型和在线蒸馏，统一提升文本到图像与图像编辑任务的视觉质量与指令遵循能力
📌 工作参考价值（4 点）
- 构建任务特定的复合奖励模型（对齐、美学、一致性等维度）的思想，可迁移到多模态推荐系统的质量评估中，用于设计更全面的用户偏好奖励函数。
- GRPO 在线强化学习结合混合 CFG 策略，在保持预训练知识的同时进行策略优化，可借鉴用于微调基于扩散模型的生成式推荐系统，避免灾难性遗忘。
- 奖励模型的 pointwise scoring + chain-of-thought 推理，能够提升奖励信号可靠性，可应用于 Agent 的任务执行评估或用户模拟器。
- On-policy 蒸馏通过轨迹级速度匹配合并多个专家模型，提供了一种无需额外标注即可整合多任务策略的有效方案，适合推荐场景中合并不同业务线微调模型。
ViQ：任意分辨率下文本对齐的视觉量化表示
🧭 多模态离散表示与高效训练
Tencent HY Vision Team · Tsinghua University · Nanyang Technological University · Chinese Academy of Sciences
通过文本对齐预训练与头量化，将图像编码为保留细节和语义的离散 token，多模态训练加速 20-70%
📌 工作参考价值（4 点）
- 商品图像通过 ViQ 量化为离散 token，可与文本 token 统一送入 LLM，实现多模态生成式推荐，大幅降低计算和存储开销。
- 两阶段训练策略（先 CLIP 式文本对齐，再近端离散化）保证语义和细节，适合电商场景中既需属性识别又需图像质量的需求。
- 原生分辨率处理能力，可直接输入各种尺寸的商品图，避免统一 resize 造成的细节丢失或变形。
- 量化特征在 LLM 微调时训练加速 20-70%，可将该方案用于大规模多模态推荐模型的训练与推理加速。
ShutterMuse：基于多模态大模型的实时摄影指导
🧭 多模态大模型 · 拍摄指导
Fudan University · StepFun
构建拍摄时机摄影指导基准与统一多模态模型，联合优化构图决策与姿态推荐
📌 工作参考价值（4 点）
- 多模态决策+细化联合建模：将构图决策（是否调整）与细化（精确裁剪区域）统一到一个模型，可借鉴到电商场景中，例如商品展示图的自动评估与局部优化，或广告创意的整体布局判断与元素微调。
- 场景条件生成式推荐：通过场景图片生成主体姿态建议，本质上是一种条件生成式推荐。在虚拟试穿、搭配推荐中，可以根据用户输入的场景（如背景、环境）直接推荐合适的姿态、穿搭或商品，提升交互体验。
- 统一多任务减少推理成本：用一个 MLLM 同时处理摄影师侧和主体侧任务，避免多模型流水线。推荐系统中可将召回、排序、解释生成等合并，降低工程复杂度与延迟。
- 结构化视觉标注增强可解释性：训练中加入关键点等结构化数据，使模型输出可执行的视觉指导。可将类似思路用于商品关键属性（如领型、袖长）的结构化标注，提升模型对细粒度属性的控制力。
IV-CoT：隐式视觉思维链实现结构感知的文本到图像生成
🧭 多模态生成 · 隐式视觉链式推理
NLPR, Institute of Automation, Chinese Academy of Sciences · Ant Group · The University of Hong Kong
提出隐式视觉思维链推理，将条件查询分解为潜层结构规划与语义渲染级联，在单次前向中提升生成图像的结构遵循能力。
📌 工作参考价值（4 点）
- 主要学术贡献，但提供的结构-语义分解式生成框架可启发电商场景下的可控商品图生成：先用隐式查询规划物品属性、数量、空间关系，再渲染纹理细节，提升复杂广告素材的指令遵循度。
- 训练时仅用草图作为结构监督、推理时完全隐式的设计，可用于业务中需要轻量级中间控制的多模态生成任务，避免增加在线时延。
- 对于搜索推荐系统中 Agent 驱动的图文混合输出，借鉴这种级联潜空间规划思路，可能改善多约束条件下的生成一致性。
- 整体而言，方法面向通用 T2I 结构控制，直接迁移到推荐检索场景的路径较窄，更多是提供一种多模态生成质量优化的技术储备。
Kamera：统一位置不变的多模态KV缓存实现训练免费复用
🧭 多模态Agent的KV缓存位置不变复用
Erlangen National High Performance Computing Center (NHR@FAU)
通过低秩条件补丁恢复跨块绑定，使多模态KV缓存可任意位置复用，消除重复编码
📌 工作参考价值（4 点）
- 在多轮Agent对话或滑动窗口推理中，可缓存商品图片、UI截图等视觉块的KV，随位置变化通过旋转和补丁恢复，避免重编码，显著降低电商直播、视频推荐场景的推理成本。
- 低秩条件补丁训练免费、即插即用，能以极小存储代价恢复被丢弃的跨块上下文，保持多跳推理准确率，适合需要长程记忆的推荐Agent。
- 支持重排、滑动窗口生存和回忆三种操作，工程实现简单，可直接集成到现有推理框架，利用RoPE重旋转和单一补丁即实现任意位置复用。
- 在视觉冗余严重的视频流中效果最突出，正对多模态商品介绍、广告片反复分析等高计算场景，可大幅减少重计算预算。
留心注意力头：多模态LLM的拓扑表示对齐
🧭 多模态LLM · 头对齐与拓扑表示
University of Modena and Reggio Emilia · University of Pisa · AMD Silo AI
提出头级表示对齐 HeRA，通过拓扑邻居保持提升多模态LLM视觉任务并抑制幻觉
📌 工作参考价值（4 点）
- 多模态特征对齐可借鉴头级别选择：不在整个层做对齐，而是针对特定注意力头，用拓扑保持目标（如 MKNN 对比代理）约束局部邻域结构，适用于电商图文匹配、商品视频理解等场景。
- 反直觉发现：对齐最差的头收益最大，暗示在初始跨模态鸿沟大的位置施加约束更有效，可在自有多模态模型中选择对齐差的位置优先优化。
- HeRA 可作为正则化器，抑制模型过度依赖语言先验而忽视视觉输入，对需要精准视觉识别的任务（如商品属性提取、广告素材合规审核）有帮助。
- 训练中可引入 MKNN 度量的可微分代理，以对比损失形式端到端优化，工程实现成本低，可直接插入现有 MLLM 训练流程。
面向多模态推理的反事实策略优化
🧭 多模态推理 · 反事实策略优化
Beijing University of Posts and Telecommunications
通过跨模态反事实增强正则化，强制视觉与文本因果一致性，显著减少多模态推理中的视觉忽略与幻觉漂移
📌 工作参考价值（3 点）
- CFPO 的反事实正则化可直接用于多模态商品理解：训练时随机遮盖商品图片关键区域，最大化模型输出与遮盖后预测的差异，强制依赖视觉特征，减少对标题文本的偏倚，适合电商搜索/推荐中的视觉质量评估。
- 在生成式推荐（GenRec）中使用多模态 LLM 生成 item 表示时，CFPO 的因果一致性训练可抑制视觉幻觉，提升 item 语义 ID 或描述的准确性，降低错误推荐风险。
- 方法无需外部奖励模型，可与 GRPO、DAPO 等现有 RL 流程无缝集成，工程实现成本低，可直接插入现有强化学习微调管线，快速验证对多模态推理任务的效果。
Wan-Streamer v0.1：端到端实时交互基础模型
🧭 端到端多模态流式交互
Alibaba Group
首个原生流式、端到端全双工多模态交互模型，单Transformer统一语音/视频/文本，模型侧延迟200ms
📌 工作参考价值（4 点）
- 统一多模态 Transformer 架构可简化电商直播、虚拟客服等场景中的感知-决策-生成流水线，消除级联模块间的错误累积和调度延迟。
- 块因果注意力（block-causal attention）与 160ms 流式单元的设计可直接借鉴到需要低延迟增量推荐的场景（例如直播实时排序、流式反馈更新），保证推理的流式一致性。
- 全双工交互范式可启发对话式推荐 Agent：让 Agent 在用户说话/行动的同时并行准备响应，实现自然的“边听边想边说”，提升互动流畅度。
- 低延迟多模态令牌调度策略（audio/video/text token 交错编排）为构建实时多模态搜索与推荐系统提供了工程参考，减少端到端响应时间。
ABACUS：统一基础模型适配以实现图像计数理解与生成
🧭 视觉语言模型统一理解与生成
University of Surrey · Simon Fraser University
提出统一视觉语言模型 ABACUS，无需基准特定训练即可在多种计数任务和计数忠实图像生成上取得 SOTA
📌 工作参考价值（4 点）
- 对于需要生成特定数量商品的电商场景（如促销图“5 件装”），可直接迁移 ABACUS 的计数忠实生成能力，确保图像内容与文案严格对齐。
- 统一模型多任务设计思路可借鉴到推荐系统：用一个模型同时处理点击率预估、转化率预估、商品文案生成等任务，减少独立训练成本。
- 循环一致性 GRPO 策略（理解分支自我批评生成结果）无需外部标注，可应用于推荐系统的生成式对话 agent 中，通过自我纠错提升回复事实性。
- 自适应缩放与物体性图的局部感知机制，可类比到多模态召回，对 query 区域重点建模，提高细粒度检索准确率。
看轻，想重：多模态思维链推理的能与不能
🧭 多模态思维链评估与视觉推理分析
Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
系统评估多模态思维链推理，揭示其在感知任务中的反效果与视觉推理瓶颈
📌 工作参考价值（4 点）
- 在电商多模态推荐或购物Agent中，涉及商品图片的视觉接地、目标计数等感知任务时，应谨慎使用思维链推理（CoT），以免性能下降；可按任务类型选择性开启，只在需要复杂分析（如多张图片对比、穿搭推理）时启用慢思考。
- 对于多图像推理（如商品相似度对比、场景理解），CoT可能有效，但模型会出现‘看轻’现象——视觉反思随推理步骤减弱。可设计显式回看机制，例如在每个推理步骤后重新编码图像特征，或插入视觉锚点提示，强制模型持续关注视觉信息。
- 选用开源多模态推理模型时，不要仅凭数学或科学推理榜单决定，需额外评估其在基础感知任务（如对象定位、属性识别）上的表现，因现有模型常过度拟合数学任务而牺牲通用视觉能力。
- 构建多模态Agent时，可将推理流程解耦为轻量级视觉感知与重型语言推理，但需引入外部视觉校验模块，防止因‘想得过重’而忽略图像细节，提升最终决策可靠性。
ELVA：探索排序驱动的通用多模态检索
🧭 通用多模态检索 · 排序驱动强化学习 ★ 深度解读
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi'an Jiaotong University · MiLM Plus, Xiaomi Inc · Zhongguancun Academy, Beijing, China
用排序驱动强化学习缓解多模态检索模型对比训练中的“粒度盲目”，在复杂查询上提升13.1%
📌 工作参考价值（4 点）
- 排序感知的奖励设计可迁移至推荐 / 搜索重排：将 NDCG 类连续排名奖励与 margin 约束结合，无需人工标注即可在强化学习训练中细化物品间层级关系；在电商多模态搜索、视频推荐重排中可复用该思路优化候选列表的全局次序。
- 生成式 embedding 提取范式增加 RL 探索方差：让 MLLM 先自回归生成输入的文字摘要，再从专用 [RET] token 的隐状态取嵌入，可产生足够的表示方差，支持 GRPO 等策略优化。这一 trick 可直接用于基于 LLM 的语义 ID 生成或 query 改写 RL 训练。
- 平衡负采样策略保障 RL 训练稳定：通过过滤过高相似度的负样 + 混合随机负样，扩大奖励方差并防止过拟合。在召回模型训练或 LLM Ranker 的对齐阶段，该采样思想可提高训练的收敛速度和最终效果。
- 多粒度查询基准 MRBench 的构建方法具有借鉴意义：利用 VL model 自动筛选多粒度属性查询再人工检验，可用于评估自家多模态搜索系统对复杂意图（如“红色连衣裙配银色高跟鞋”）的召回完整性。
SSD：空间推测解码加速自回归图像生成
🧭 自回归视觉生成中的并行推测解码
Rutgers University
利用2D空间局部性并行预测相邻token，将自回归图像生成加速13.3倍且质量无损
📌 工作参考价值（5 点）
- 对于电商/推荐/Agent从业者，该方法可直接迁移到任何自回归生成任务（如生成式推荐中的Semantic ID序列、商品描述、多模态内容生成）：
- 利用 item 间共现或相似性图谱构建空间/结构化的并行预测分支，将逐 token 生成改为多 token 并发预测，减少解码步数，提升推荐结果生成速度。
- 工程上可实现类似树形推测解码的验证机制，用大模型一次产出多个候选 token，再由小模型并行验证，保持输出分布一致。
- 适合对延迟敏感的在线推荐场景，尤其在高分辨率、多模态内容生成（如商品图生成、广告素材合成）中应用，可大幅降低 RTF。
- 需要预先定义 token 之间的依赖关系（如商品 ID 序列的常见转移模式），可结合 Graph Embedding 或 co-occurrence 矩阵来设计并行预测目标。
LooseControlVideo：基于空间阻塞的导演式视频生成控制
🧭 文本到视频生成 · 3D布局控制
Adobe Research
用有向3D稀疏框实现文本到视频的精确空间编排，显著提升轨迹、遮挡与运动一致性
📌 工作参考价值（4 点）
- 在电商广告视频创作中，可直接用稀疏3D框定义商品运动路径与遮挡关系，替代密集深度图人工制作，降低动态多对象场景的成本。
- 系统采用的 DNOCS 编码 将 3D 尺寸、方向和深度顺序解耦，可借鉴到多模态商品展示生成中，为推荐场景的虚拟主播或交互式货品演示提供显式遮挡先验。
- 局部精调能力允许在不破坏全局上下文的情况下，单独调整某个商品的轨迹或添加交互，适合实时协同创意编辑。
- 稀疏控制范式对 Agent 动作推演可视化有启发：用少量关键 3D 框约束复杂物理交互，可能迁移到虚拟环境下的多智体行为规划。
先观察后推理：解耦感知与推理的抗捷径多模态在线自蒸馏
🧭 解耦感知与推理防止文本捷径
State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
提出 ViGOS，通过先视觉描述后推理并解耦感知与推理教师，防止多模态自蒸馏中基于文本的捷径，提升视觉 grounding。
📌 工作参考价值（4 点）
- 多模态模型训练防捷径：在电商商品理解任务中（如从图文预测属性），可借鉴先描述后推理的生成格式，并用纯图像教师监督描述部分，迫使模型依赖视觉而非文本偏差，提升跨模态对齐。
- 在线自蒸馏的应用：在推荐或多模态 agent 的循环训练里，可引入冻结副本提供稠密 token 级监督，替代稀疏奖励，以缓解学生模型生成与训练分布偏差。
- 错误恢复机制：对无效 rollout 使用参考教师恢复格式，可迁移到 agent 的自我校正或序列生成任务中，保证输出结构规整。
- 视觉推理任务增强：若业务涉及空间 grounding 或图文推理（如图片 QA、导航 agent），可将视觉描述前置，并结合专用感知教师，提升对图像的忠实度。
闭环三元协同长视频生成
🧭 闭环视觉-文本-记忆协同的长视频生成
University of Science and Technology of China · Microsoft Research Asia
提出闭环视觉-文本-记忆协同框架，迭代纠正多镜头视频中的身份漂移和不一致问题。
📌 工作参考价值（4 点）
- 闭环验证-修正机制可迁移至生成式推荐：在生成商品描述、个性化文案时，引入VLM或评判模型检测生成结果与用户意图/商品属性的一致性，自动触发重生成或prompt refine。
- 实体中心记忆可用于用户/物品的长期建模：维护一个可更新的记忆状态，追踪实物属性变化和跨会话演进，提升多轮对话推荐或个性化agent的连贯性。
- 代理框架分解复杂生成任务：将长流程切分为规划-执行-批评的agent回路，可用于搜索推荐流程自动化（如自动选品、策略组合、创意生成）。
- 多镜头一致性优化思想可用于视频广告素材生成：确保多个片段中品牌/产品视觉元素保持一致，提升广告质量。
超越自然语言到代码：多模态代码智能的结构化综述
🧭 多模态代码智能综述 · 视觉到代码
Meituan · The University of Hong Kong · The Chinese University of Hong Kong · Institute of Automation, Chinese Academy of Sciences · Nanjing University
系统归纳多模态代码智能任务，按代码角色与领域分类，提出以验证为中心的未来方向。
📌 工作参考价值（4 点）
- 电商落地页、活动页自动生成：借鉴 GUI 代码生成方法，将设计稿或截图直接转化为前端代码，降低人工开发成本。
- 多信号验证提升界面质量：在生成后结合视觉渲染对比、交互状态检查等互补信号，减少人工审核，提高生成代码的正确性与一致性。
- 数据报表自动化：借鉴科学可视化代码生成（如 MatPlotAgent），从数据描述或示例图生成图表代码，用于自动化 BI 报表或运营分析。
- Agent 工具使用与验证闭环：将代码作为可执行策略，利用多状态验证与视觉反馈确保 Agent 动作的可靠性，例如在交互式推荐场景中自动生成并验证 UI 操作脚本。
MaineCoon：实时视听社交世界模型
🧭 实时视听世界模型 · Agent流式推理
Catnip AI Team
首个实时视听自回归世界模型，22B参数单GPU可达47.5 FPS，支持千秒级流式生成与亚秒交互
📌 工作参考价值（4 点）
- 实时视听生成可赋能电商直播：单GPU低延迟流式生成技术可直接用于虚拟主播或商品讲解视频的实时制作，大幅降低内容生产成本。
- 长上下文的Agent缓存与规划：代理流式推理框架中的缓存管理与提示规划能解决长序列生成中的漂移问题，可迁移到对话式推荐Agent，保持长时间交互的主题一致性。
- 跨模态对齐提升推荐质量：论文中的跨模态表示对齐方法可借鉴到视频推荐的多模态特征融合，优化视觉与文本、音频的联合表示，提升排序效果。
- 在线策略蒸馏加速模型迭代：ROPD等强化蒸馏技术可应用于推荐模型的在线学习，将大模型的偏好快速蒸馏到轻量部署模型，兼顾效果与推理效率。
强化空间视觉语言模型的双路径推理
🧭 多模态空间推理 · 强化学习
The University of Hong Kong · NVIDIA · University of California, San Diego
提出SR-REAL框架，通过强化学习统一优化纯语言推理与检测-推理双路径，显著提升空间VLM推理能力
📌 工作参考价值（4 点）
- 双路径策略可借鉴至多意图Agent设计：根据查询类型动态选择推理路径（如召回 vs 精排），避免单一链路的局限性
- 冷启动SFT阶段构造结构化CoT推理链与区域-3D接口，类似推荐中融合视觉/文本特征的grounding设计
- GRPO强化学习结合格式奖励与任务奖励，确保推理格式可控，避免自由文本退化，对Agent输出格式化有直接参考
- 混合2D/3D和数据增强策略可用于构建更鲁棒的模型初始化，提升面向多样业务场景的泛化能力
统一多模态自回归建模：共享上下文视觉分词器是关键
🧭 统一多模态自回归架构
Institute of Trustworthy Embodied AI, Fudan University · Shanghai Innovation Institute · Qwen Team, Alibaba Inc.
用单一离散视觉分词器统一多模态理解与生成，实现自回归模型直接解读自身生成视觉token
📌 工作参考价值（4 点）
- 统一视觉分词器设计可借鉴至电商商品多模态表征：单一离散token同时支持识别和生成任务，减少多套编码器的维护成本，对商品图搜索、审核、生成等场景具有统一表征潜力。
- Lookup-free比特量化（bitwise quantization）扩展视觉词汇量的同时保持低开销，类似Semantic ID的思想可用于商品视觉ID构建，将图像转为紧凑离散码，便于在大规模召回或生成式推荐中作为条件。
- 并行比特预测（parallel bitwise prediction）大幅缩短视觉序列长度，加速图像生成推理，对实时性要求高的商品图生成或虚拟试穿等场景有实用价值。
- 若业务中需构建统一的多模态对话/导购助手，共享context的架构能避免重复编码生成结果，降低延迟，值得在Agent设计时参考。
DreamX-World 1.0：通用交互式世界模型
🧭 交互式世界模型 · 长时生成与相机控制
DreamX Team
一个支持相机导航、场景重访和可提示事件的通⽤交互式长时视频生成世界模型，通过蒸馏与自回归训练达到16 FPS
📌 工作参考价值（4 点）
- 自生成历史缓解偏移：用模型自身生成长序列进行训练，可借鉴到生成式推荐（如语义ID自回归生成）的长序列训练，减少曝光偏差与风格漂移。
- 记忆条件与几何检索：基于相机几何检索历史视图，实现场景持久化；可类比在会话推荐中按行为序列检索历史状态，保持长对话一致性。
- 蒸馏结合RL对齐：DMD风格蒸馏后使用RL恢复控制精度与视觉质量，对蒸馏后的生成式推荐模型可考虑类似强化微调来保持可控性。
- 工程优化技巧：混合精度、75%剪枝VAE解码、异步流水线并行等，可直接迁移至大规模生成式模型在线推理的加速。
MMDiff：将冻结扩散变换器扩展为多模态生成系统
🧭 生成式模型多模态解码·扩散特征复用
University of Oxford, Visual Geometry Group
冻结扩散变换器，通过多时间步特征融合与轻量解码头，同时生成图像及密集感知模态
📌 工作参考价值（4 点）
- 冻结大模型 + 轻量任务头：可借鉴到推荐系统的多目标学习或内容理解，冻结预训练 LLM/生成式模型，仅训练极少量参数的任务头，大幅降低训练成本，快速产出多模态信号（如物品描述、属性标签、质量分）。
- 多时间步特征融合：在推荐或 Agent 场景中，若干任务需要序列或推理步骤的中间状态，可类似地融合不同阶段的隐状态，例如在会话推断中融合多步推理的中间表示，提升预测准确性。
- 注意力引导的可解释性：概念驱动的注意力提取可用于生成可解释的推荐理由或搜索解释，通过在生成式推荐模型中提取与特定概念对应的注意力图，提高对用户的理解。
- 大规模合成数据生成：在电商商品配图、广告创意图生成中，可利用此类方法同时产出商品分割图、景深图等多模态标注，低成本构造训练数据，提升下游模型性能。
PermaVid：通过解耦上下文记忆实现跨编辑一致视频生成
🧭 视频生成 · 解耦多模态记忆
Shanghai Jiao Tong University · Stanford University · S-Lab, Nanyang Technological University · The Chinese University of Hong Kong · Shanghai Innovation Institute
提出解耦语义外观与几何结构的多模态记忆，结合编辑感知更新，实现视频编辑后的长期一致性生成。
📌 工作参考价值（4 点）
- 解耦记忆设计可启发多模态商品表征：在电商中，将商品视觉特征解耦为外观（颜色、纹理）与几何（形状、结构）分别记忆，可提升虚拟试穿、商品编辑等场景的一致性。
- 编辑感知的记忆更新策略可借鉴到用户兴趣模型：当用户行为发生突变（如切换品类）时，类似更新机制能避免过时记忆干扰，维持长期兴趣建模的连贯性。
- 多模态记忆引导的生成框架可应用于个性化商品展示：利用混合模态参考条件（图像+深度）生成一致性的商品视频或图片，增强生成式推荐的视觉质量。
- 整体上，主要贡献在视频生成，但解耦记忆与一致性维护思路对推荐系统的多模态序列建模有一定跨界启发。
视觉锚定思维：VLMs推理步骤与图像区域显式关联
🧭 多模态推理 · 视觉定位强化学习
University of California, Los Angeles
通过在文本思维中插入点/框级视觉定位，显著提升VLM计数和空间推理性能
📌 工作参考价值（4 点）
- 电商多模态Agent可借鉴该方法，对商品图片进行属性验证时，在推理链中显式锚定图像区域（如领口、logo位置），提升判别可解释性与准确率。
- 合成数据管线利用SAM3自动提取掩码并生成点/框监督，可低成本构建商品图像问答或合规审核的接地推理数据，减少人工标注。
- 接地感知RL（答案正确+密集接地奖励）的多奖励框架，可迁移到微调多模态推荐模型，使其输出推荐理由时精准指向图片关键证据。
- 点定位适合计数、框定位从空间奖励中获益更多的结论，可指导电商图文推荐中不同任务（如数量统计 vs. 布局合规）的接地策略选择。
文本-视觉协同指令的图像编辑
🧭 文本视觉协同的图像编辑
The Hong Kong Polytechnic University · OPPO Research Institute
融合文本语义与拖拽/点击等视觉指令，实现空间可控且语义保真的图像编辑
📌 工作参考价值（4 点）
- 文本与视觉提示协同的思路可借鉴到多模态商品检索，如允许用户上传图片并辅以文字说明区域编辑意图，提升交互精准度
- 利用视频帧间差异自动构建编辑指令对的数据构造方法，可迁移到商品视频生成任务中，用于获得带空间标注的训练数据
- TV-Edit-Bench 的多维度评估（语义忠实度、空间对齐、视觉一致性）可启发电商图像编辑场景的离线评估指标设计
- 将稀疏视觉指令提升为语义感知控制表示的模块化设计，可启发多模态推荐中融合细粒度空间意图的架构
凝视头：视觉语言模型如何注视其所描述内容
🧭 视觉语言模型 · 注意力机制 · 模型操控 ★ 深度解读
Northeastern University
VLM 中仅 9% 的注意力头（凝视头）能跟踪当前生成的图像区域，重定向这些头即可控制模型描述目标区域。
📌 工作参考价值（4 点）
- 推理时低成本控制 VLM 描述焦点：通过仅修改不到 9% 的注意力头（凝视头）的注意力掩码，无需重新训练即可将模型输出重定向到图像的任意区域，可用于多模态商品描述、QA 等场景，强制模型聚焦于指定商品或特征。
- 低资源发现关键 head 的方法：使用简单的“凝视分数”（不同查询下注意力转移的对角相关性）在少量前向传播中定位可操控的 head 集，工程上容易复现，可用于其他多模态模型的分析与微调指导。
- 动态注意力干预：可在生成过程中实时切换凝视目标，让模型逐段描述不同区域，类似对话式交互中逐步引导模型关注不同商品或属性，为可控多模态对话提供新接口。
- 注意：仅对联合训练视觉编码器的 VLM 有效（如 Qwen3-VL、InternVL），对冻结编码器的模型（LLaVA、Bunny）效果差，选型时需留意架构差异。
编辑比特，差分代码：视觉自回归模型的位级残差编辑
🧭 视觉自回归模型的训练无关编辑
LMU Munich · Munich Center for Machine Learning (MCML)
在视觉自回归模型中引入位级伯努利引导与多尺度残差码重注入，实现背景保持的精准图像编辑。
📌 工作参考价值（4 点）
- 训练无关的编辑思路可直接用于电商商品图的快速迭代，无需微调生成模型。
- 位级伯努利引导的闭式信任区域优化可作为其他生成任务（如图文匹配）的安全采样策略。
- 多尺度残差码的门控注入方法能保证编辑区域外像素完全一致，适合生成式推荐的视觉保真需求。
- 源-目标对比的负向引导技巧可复用到文本到图像生成的控制中，提升语义对齐。
AudioX-Turbo：统一高效的多模态任意转音频生成框架
🧭 多模态音频生成 · 扩散模型蒸馏
The Hong Kong University of Science and Technology · Tsinghua University · Noiz AI · Independent Researcher
通过蒸馏实现统一多模态任意转音频生成，仅4步采样即超越多步基线，速度提升约25倍
📌 工作参考价值（4 点）
- 少步蒸馏方案可迁移：所采用的分布匹配蒸馏（DMD）适配流匹配框架，通过判别器提升少步生成质量，这一思路可直接应用于推荐系统中扩散模型的加速（如物品嵌入生成、语义ID去噪），在保持质量的同时大幅降低推理成本。
- 多模态自适应融合模块值得参考：针对文本、视频、音频等多种条件信号设计的融合机制，可启发电商多模态推荐或Agent中多源输入的对齐与融合设计，提升条件控制的灵活性。
- 数据构建流程可复用：两阶段收集与标注的大规模数据集IF-caps-Pro（约920万样本）构建方法，为构建多模态训练数据提供了工程范式，尤其适用于需要对齐文本与其它模态的场景（如商品文案与图片/视频的配对数据）。
- 判别器在蒸馏中的应用：扩散模型蒸馏中引入扩散基判别器对抗训练，这一技巧可尝试用于生成式推荐中少步采样质量的保真，例如在序列推荐或对话式推荐中加速候选项生成。
FAST-MEL：快速、精准、低存储的多模态实体链接方案
🧭 多模态实体链接 · 高效向量索引
Univ. Rennes · INSA Rennes · CNRS · Inria · IRISA
提出紧凑固定向量表示，在维持SOTA准确率的同时实现千倍加速与储空间缩减。
📌 工作参考价值（4 点）
- 紧凑的统一表示：为每个实体生成固定尺寸的多模态向量（文本+视觉），可直接用于电商知识图谱构建，将商品标题、图片与实体快速对齐，无需维护异构特征。
- 极速检索：通过向量化索引实现近似最近邻搜索，实体链接速度提升三个数量级，适合大规模商品库的实时实体消歧、搜索词到商品的映射。
- 存储优化：存储需求降至最快系统的1/10，适合部署在资源受限的终端或边缘节点，例如移动端商品识别或本地缓存Agent知识。
- 多模态融合思路：轻量编码器架构可借鉴至生成式推荐中的Semantic ID生成，将图文特征压缩为固定向量，平衡语义保真度与推理效率。
HYDRA-X：以整体视觉分词器实现原生统一多模态模型
🧭 统一视觉分词与多模态理解/生成
Nanjing University · CASIA · Tencent Hunyuan · Zhongguancun Academy · Shanghai AI Lab
首个以单一ViT统一图像与视频分词的原生视觉分词器，通过分层时间压缩与潜在级语义注入提升重建与编辑一致性
📌 工作参考价值（4 点）
- 对电商商品多模态处理：统一分词器可直接编码商品图片和视频至同一潜在空间，简化多模态商品表征流水线，减少编解码器数量。
- 视频内容压缩借鉴：分层时间压缩策略（优于单步压缩）与轻量解压器设计，可迁移至短视频商品描述或虚拟试穿场景，在保持语义的同时降低序列长度。
- 编辑任务中的交互层级选择：论文发现将源-目标交互放在分词器潜在层（而非LLM语义层）能显著提升编辑一致性和收敛速度，该 insight 可应用于多模态对话式商品编辑或海报生成。
- 训练策略启示：联合图像-视频教师监督可增强潜在空间语义结构，类似原理可用于多任务商品理解模型，联合商品图片和视频标签进行预训练。
迷你重排序器：通过视觉缓存复用与交互稀疏性实现高效多模态重排序
🧭 多模态重排序 · 视觉缓存复用与稀疏交互
Eastern Institute of Technology, Ningbo · Netmind.ai · Munich Center for Machine Learning, LMU
通过视觉优先格式、提前退出、交互带及token剪枝，将单查询多模态重排序时间降至原来的不到1%，同时保持96%以上性能。
📌 工作参考价值（4 点）
- 视觉优先的 prefix 缓存复用：在电商图片搜索重排中，将图片（视觉 token）放在输入序列前面，可利用 prefix caching 复用绝大多数计算，仅替换文本 query，大幅降低 KV cache 重复生成开销。
- 提前退出与交互限制：对于候选量大的商品重排序，可在模型浅层插入相关性头，仅对 top-K 候选执行深层交互，或只在少数层启用跨图文注意力，有效平衡精度与延迟。
- 视觉 token 剪枝：利用 embedder 引导的 token 剪枝，在图文对比前预先剔除冗余视觉信息，减少输入长度，适合移动端或高吞吐的轻量级多模态重排场景。
- 工程融合思路：三项优化（early exit + interaction band + token pruning）可叠加使用，根据业务延迟预算灵活配置，例如先剪枝再浅层打分，最后仅对少量候选进行完整多模态交互。
Conan-embedding-v3: 解耦融合模态专家实现全模态嵌入
🧭 全模态嵌入 · 解耦融合训练框架
Tencent · Tsinghua University
提出解耦-融合-恢复框架，解决多模态模型融合中的Projector Drift问题，实现单骨干统一检索
📌 工作参考价值（4 点）
- 若已独立训练好文本、图像、音频等模态专家，可直接用任务向量融合合成统一模型，无需昂贵联合预训练，适合快速落地多模态搜索。
- 对带有独立编码器和投影器的模态（如音频、视频），融合后必须留意 Projector Drift：即使参数不变，骨干偏移也会导致投影器失效；可采用 冻结骨干、全参数微调投影器 的策略低成本恢复性能。
- 平衡多模态重放 能有效缓解融合后的灾难性遗忘，实践中可按等比例或等采样策略混入各模态数据做轻量微调。
- 在电商场景下，商品描述、图片、视频、直播音频等模态差异大，该方法为构建统一检索模型提供了清晰路径，可实现一键搜索所有“货”模态。
IDEAL：深度对齐构建离散表示自编码器
🧭 视觉生成 · 离散表示对齐
Fudan University · Shanghai Innovation Institute · University of Maryland, College Park
联合对齐浅层与深层视觉特征，使离散视觉标记兼顾保真度与语义，重建与生成双SOTA
📌 工作参考价值（4 点）
- 离散 token 学习借鉴：若在电商多模态推荐中学习物品的离散 Semantic ID，可引入浅层视觉特征（局部纹理、布局）与高层语义联合对齐，提升视觉 token 的重建保真度，有助于生成式推荐中 ID 的语义保持。
- 多层级特征融合范式：训练视觉 tokenizer 时，利用冻结的预训练视觉模型（如 DINO）提取多层特征，通过深度对齐损失强化 token 的表征能力，该思路可迁移至任何需要离散化视觉输入的推荐或搜索任务。
- 生成式推荐中视觉生成优化：若需在 Agent 或推荐流程中根据语义生成商品图像，IDEAL 的 tokenizer 可直接作为图像离散生成的前置工具，提升生成图像细节与语义一致性。
- 主要贡献在视觉生成领域，存在一定学术借鉴价值，但业务落地需二次适配。
Kwai Keye-VL-2.0 技术报告：面向长视频与智能体的多模态基础模型
🧭 多模态大模型 · 长视频理解与智能体 ★ 深度解读
Kuaishou Group
首个在GQA架构上实现DeepSeek稀疏注意力以无损处理256K上下文，并通过跨模态多教师在线蒸馏解决多任务遗忘的多模态模型
📌 工作参考价值（4 点）
- 稀疏注意力用于长序列推荐：DSA 通过 MQA 式索引 + GQA 分组聚合将注意力复杂度从 O(L²) 降至 O(Lk)，这个思路可以直接迁移到用户行为序列建模（如百万级行为 token 的推荐模型），在减少 KV cache 的同时保持关键信息捕获。
- 多教师在线蒸馏解决多任务冲突：MOPD 动态路由 13 个领域专家、按 token 类别缩放优势值的方法，可借鉴到多目标推荐模型训练，避免不同业务目标（点击率、转化率、时长）之间的梯度干扰。
- 视频时序定位能力复用：论文中构建的 TVG、帧级感知、场景密集描述等数据与训练流水线，可迁移到电商直播场景——精确截取商品讲解片段、自动生成直播看点，提升内容分发效率。
- 合成数据 RL 的设计范式：基于可控编辑图像对+规则可验证 reward 的 RL 方法，可用于商品图片差异检测、属性变更验证等场景，低成本获得精准监督信号。
动态跨模态协调强化学习提升视觉推理
🧭 多模态大模型视觉推理训练优化
University of Trento · BAAI · Singapore Management University · IQuest Research
通过对齐token功能角色与实际注意力分配，改进RLVR中的跨模态协调
📌 工作参考价值（4 点）
- 多模态电商/推荐系统（如商品图文联合推理）可借鉴 token 功能角色划分思想，显式建模视觉感知与文本推理步骤的交替，减少幻觉或不一致。
- 在强化学习训练中，可引入基于注意力对齐的中间过程信号作为辅助奖励或重要性权重，而不仅依赖最终结果奖励，有助于提升生成序列的合理性。
- Fisher-Rao geodesic 距离可用于分析序列生成时模态内的注意力转移模式，作为一种新的可解释性工具，诊断多模态 Agent 的信息流问题。
- 对多模态 Agent 的 CoT 推理设计，可显式区分“提取视觉证据”步与“文本上下文推理”步，并加入对齐约束，提高决策准确性。
MemDreamer: 分层图记忆与代理检索解耦感知推理的长视频理解框架
🧭 长视频理解 · 分层图记忆 · 代理检索
Ant Group · Zhejiang University · Central South University · HKUST(GZ)
通过分层图记忆和代理工具检索将长视频理解转化为探索过程，仅用2%上下文窗口即实现SOTA
📌 工作参考价值（4 点）
- 层次化图记忆可借鉴到用户行为序列或商品图谱建模：将用户交互构造成多粒度语义图（session→item→attribute），捕捉时序与因果关系，用于召回或推理。
- 代理式检索（Observation-Reason-Action循环）可应用于对话式推荐：工具增强的代理动态查询知识库，缩小上下文窗口，提升长对话或复杂推荐场景下的推理准确性和效率。
- 解耦感知与推理：将特征编码（感知）与排序策略（推理）分离，允许流式增量更新用户记忆，缓解长序列带来的注意力稀释，适合实时推荐场景。
- 稀疏图记忆检索大幅降低计算开销：推理时仅检索关键子图而非全量输入，可在推荐模型推理阶段采用类似检索增强方法，用极低 token 成本维持高性能。
Robust-U1：MLLMs能否自恢复损坏视觉内容以实现鲁棒理解？
🧭 多模态大模型 · 视觉自恢复 · 鲁棒性增强
The Hong Kong University of Science and Technology, Hong Kong · Northwestern Polytechnical University, Xi’an, China · Northeastern University, Shenyang, China · Nanjing University of Science and Technology, Nanjing, China · The Hong Kong University of Science and Technology (Guangzhou), Guangzhou, China
赋予多模态大模型显式视觉自恢复能力，通过SFT+RL双奖励训练显著提升损坏图像下的鲁棒性。
📌 工作参考价值（4 点）
- 商品图像鲁棒理解：电商场景中用户上传图片常有模糊、遮挡、水印等损坏，可借鉴Robust-U1的自恢复模块进行预处理，提升后续商品识别或属性抽取的鲁棒性。
- 多模态Agent的视觉容错：Agent接收实时视频流或截屏时可能出现压缩伪影或抖动，采用修复-推理双路径（同时输入原图和恢复图）比单纯去噪更可靠，避免信息丢失。
- 训练范式可直接复用：用SFT打底 + RL双奖励（像素SSIM保证保真度，语义CLIP相似度保证高层一致性）的方法比直接微调生成模型更稳定，适合在业务数据上微调小规模修复模型。
- 质量感知的推理增强：论文证明修复质量（SSIM）与下游VQA分数高度相关，业务中可通过监控图像质量指标来主动触发修复流程或调整推理置信度。
多模态还是单模态？查询自适应音视频人物检索的主动模态检测
🧭 多模态自适应融合 · 主动模态检测
University of Cambridge · Queen's University Belfast · University of Surrey · Cisco · Southwest Jiaotong University
通过跨模态得分一致性检测活跃模态，避免缺失模态噪声，检索精度显著提升
📌 工作参考价值（4 点）
- 多模态推荐中的缺失噪声抑制：当商品图片模糊或文本描述缺失时，可借鉴跨模态一致性检测，通过联合检索得分对齐度判断模态可用性，动态选择单模态或加权融合，避免固定融合引入噪声。
- 轻量级模态活跃度门控：训练一个分类器，输入两模态的检索得分分布、顺序统计量等特征，输出模态活跃概率，作为后续融合的软开关，可集成到现有推荐架构中，实现查询级自适应。
- 生成式推荐中的应用：在利用文本与图像生成商品描述时，可藉此判断输入模态的质量，引导生成过程忽略不可靠的模态信息，提高生成准确性。
- 架构迁移：该方法不依赖特定模态编码器，只需单模态检索分数即可构建跨模态特征，适合在已有检索流上快速部署，无需改动底层模型。
统一视觉语言模型的视频审核系统
🧭 多模态视频理解与工业级内容审核
Bytedance
用统一VLM生成策略感知字幕实现可解释视频审核，将违规泄露和过度封杀相对降低42.7%与37.0%
📌 工作参考价值（4 点）
- 可解释中间表示：在电商直播/短视频审核中，可训练VLM生成与平台规范对齐的自然语言描述，直接作为审核依据，方便人工抽检和规则迭代。
- 统一骨干替代多模型：借鉴UNIVID用单一VLM取代上千个专用分类器，大幅降低工程维护成本和计算资源，适合策略频繁变更的电商场景。
- 多级漏斗架构：结合缓存嵌入和风险信号融合，先粗筛后精审的思路可迁移到商品内容安全、侵权过滤等链路，平衡效率与精度。
- RAG增强召回：在审核决策时检索历史违规案例作为参考，有效减少遗漏，类似方法可用于商家资质审核或评论风控中的相似违规召回。
知识应在何处介入？多模态迭代生成模型的知识注入分层框架
🧭 多模态生成模型的知识注入与安全对齐 ★ 深度解读
University of South Carolina · Indian AI Research Organization
将知识注入视为干预层问题，提出表面、轨迹、潜在、参数四层框架，多层组合可互补降低70.97%的知识违规。
📌 工作参考价值（4 点）
- 按失败类型分层干预：输入侧知识改写解决 prompt 级问题，生成中轨迹/潜在干预修正结构违规，输出侧过滤残留 artifact，可借鉴到生成式推荐的结果后校验与中间状态调控。
- 共享知识源统一控制：所有层查询同一个知识图谱，避免冲突，在推荐系统里可作为统一的事实约束源，用于物品属性合规、敏感概念过滤。
- 训练自由的推理时堆叠：所有干预均不修改扩散 backbone，适合冻结大模型快速上线，推荐场景下可对已有生成模型叠加业务规则而无需重训。
- 组合互补优于单层：实验表明单层输入端只能降部分违规，叠加中间层和输出层能持续提升，推荐安全对齐可采纳类似堆叠策略。
从视频中学习几何表示赋予多模态大模型空间智能
🧭 多模态大模型空间推理 · 视频几何表示
University of California, Davis
GeoVR框架通过2D视频蒸馏3D几何知识，重塑MLLM内部表示以增强空间感知
📌 工作参考价值（4 点）
- 利用预训练3D模型蒸馏，无需3D数据：对于电商中的3D商品展示、虚拟试穿等场景，可借鉴GeoVR的蒸馏范式，通过现有3D模型（如DUSt3R）从商品视频中提取几何知识，注入2D视觉模型，避免昂贵3D标注。
- 多目标几何约束增强空间一致性：四个互补目标（相机位姿、深度图、公制尺度、多尺度特征对齐）可迁移到物品视频理解任务，例如从商品旋转视频中联合优化，提升尺寸估算、空间关系推理的可靠性。
- 解耦微调策略，低成本提升现有模型：GeoVR仅微调视觉编码器，冻结LLM，这种做法可复用到推荐系统的视频理解组件中，在不大幅增加训练成本的前提下增强物品的空间表示。
- 为虚实融合场景提供基础：在AR购物、虚拟空间布局推荐等Agent任务中，空间智能是核心瓶颈，GeoVR的表示重组思路启发我们如何从大量2D交互视频中学习稳定的几何先验。
结构化缺陷定位：文本到图像模型的诊断与对齐
🧭 结构化缺陷诊断与生成式模型对齐
Tsinghua University · Kuaishou Technology · University of British Columbia · Vector Institute · South China Normal University
将缺陷定义为(位置,类型,原因,重要性)元组，提出结构化集合预测与空间奖励对齐框架
📌 工作参考价值（4 点）
- 结构化诊断范式：将模型输出缺陷建模为实例级元组（位置、类型、原因、重要性），可借鉴用于推荐系统的错误分析，例如生成式推荐的item质量问题，用VLM对推荐结果进行定位与归因，构建结构化反馈数据提升模型可解释性。
- 空间化奖励设计：BoxFlow-GRPO将检测到的缺陷区域转化为带重要性权重的空间奖励，用于扩散模型微调。电商场景中可对商品图片生成缺陷进行类似的像素级反馈，指导文生图模型优化商品展示效果。
- VLM作通用诊断器：使用视觉语言模型直接输出结构化预测，绕过传统热力图回归的局限性。在多模态Agent或内容审核中，可将VLM的缺陷检测能力迁移到视频帧、广告素材的异常定位与原因解释，为自动化优化提供信号。
- 诊断到对齐的闭环：将诊断与模型优化无缝衔接，可参考其思想在推荐系统中构建“问题诊断→奖励修正→策略更新”的迭代框架，例如用LLM分析用户负反馈并转化为强化学习奖励来调整排序模型。
LoomVideo：5B 参数统一多模态视频生成与编辑的高效架构
🧭 多模态视频生成与编辑统一架构 ★ 深度解读
Peking University · Alibaba Group
用 MLLM + Deepstack 注入 + 零开销 Scale-and-Add 条件机制，在 5B 规模实现统一视频生成编辑并加速 5.41 倍
📌 工作参考价值（4 点）
- 用 MLLM 替代 T5 编码多模态输入：在电商商品视频生成或虚拟试穿中，可直接使用多模态大模型（如 Qwen3-VL）处理交错图文指令，而无需单独设计文本编码器，提升对商品属性、换装等复杂要求遵循能力。
- Scale-and-Add 零开销条件注入：避免在视频编辑时拼接源视频 token 导致序列翻倍、注意力计算平方增长。在需要融合历史帧或源视频的任务中（例如动态商品展示、视频重渲染），可直接将源视频潜变量按时间步缩放后加到目标潜变量，实现极速推理。
- Deepstack 多层特征注入：将 MLLM 每一层隐藏状态经 MLP 投影后作为 DiT 对应层的 cross-attention key/value，实现深层次语义对齐。这种设计可迁移到跨模态推荐或内容生成中，提升多模态条件遵循能力。
- 三阶段渐进训练 + RL 后训练：先低分辨率对齐 MLLM，再提分辨率引入重建/编辑，最后加入多参考图等多任务微调，并辅以 RL 优化人类偏好。该管线可借鉴用于训练电商场景的统一生成式模型，从单任务逐步扩展，稳定提升质量。
RePercENT：将解耦表示学习扩展到超越双模态的可扩展框架
🧭 可扩展多模态解耦表示学习
EPFL
提出自监督框架 RePercENT，从预提取的多模态嵌入中联合解耦共享与独特成分，突破两模态限制，大幅降低计算成本
📌 工作参考价值（4 点）
- 多模态商品理解：直接使用商品图像、标题、描述等预提取特征（如 CLIP/bert 嵌入），解耦出共享语义与模态特有属性（如视觉风格、文本细节），改善多模态检索与推荐中的跨模态匹配。
- 低成本即插即用：无需昂贵的多模态联合预训练，可利用现有各模态基础模型的嵌入进行快速实验与部署，适合电商场景中多模态数据快速接入。
- 可扩展至多模态：业务中常涉及图像、文本、用户行为、音频等多源数据，该框架天然支持超过两种模态的解耦，为多模态融合提供更细粒度的可控性。
- 理论保证下的稳定解耦：联合优化目标与理论分析确保了共享/独特成分的可辨识性，避免解耦崩溃，可借鉴其损失设计思路，提升推荐系统中多模态特征的解耦质量。
先想象再预测：交错潜空间视觉推理用于视频事件预测
🧭 多模态推理 · 潜空间视觉预测
Shanghai AI Laboratory · University of Science and Technology of China · City University of Hong Kong · Nanjing University · Fudan University
通过交错生成语言与连续视觉潜空间片段，保留细粒度动态线索，大幅提升视频MLLM的未来事件预测精度
📌 工作参考价值（4 点）
- 多模态推荐场景（如直播带货、短视频电商）中，对用户行为或交互序列的预测可借鉴潜空间视觉推理，避免过早文本化损失动态姿态、几何关系等细粒度信息。
- 生成式推荐或Agent规划可引入交替生成语言token与连续视觉潜状态的方式，提升对未来场景的连续预测能力；特别是商品搭配、虚拟试穿等任务，保留视觉中间态可能减少幻觉。
- 使用RL优化采样得到的潜空间轨迹（LA-DAPO），结合结果对比奖励和时间多样性奖励，可迁移到对话式Agent或多步推荐策略中，用来微调生成路径的质量。
- 训练数据筛选策略——“选择未来视觉线索对预测有帮助的样本”——可类比推荐中挖掘对用户意图跳转有强信号的交互片段，用于训练预测模型。
Video2LoRA：通过参数化视频内化降低 VLM 推理成本
🧭 视觉语言模型 · 视频压缩内化
University of Maryland, College Park
用超网络从视频直接预测 LoRA 权重，查询时零视觉 token，保持性能的同时大幅降低延迟和吞吐成本
📌 工作参考价值（4 点）
- 对于电商商品视频、直播切片等需要反复问答的场景，将视频内化为 LoRA 权重后，后续查询完全省去视频帧编码，可实现 6~80 倍的首 token 延迟降低和 1500 倍的视觉 token 负载缩减，适用于对同一内容多次交互的 Agent 或推荐解释链路。
- 超网络预测 LoRA 权重的思路可迁移到其他多模态输入的快速适配：如图集、商品描述集合等，用一次前向生成一个适配器，替代传统微调，快速构建个性化模型。
- 发现不重叠视频段独立生成的 LoRA 可在秩空间直接相加组合，这为长视频（如长时直播回放）的分块处理提供了可能，可在电商视频理解中用于处理超长商品讲解或直播内容。
- 单次前向生成适配器的架构设计（感知器超网络读取冻结 VLM 中间层特征）可作为“模型即存储”的参考，当业务需要反复访问同一批多媒体内容时，可将内容压缩为轻量权重，减少对上下文窗口的依赖。
VideoKR：面向知识密集与推理密集型视频理解
🧭 多模态视频理解 · 知识密集推理
Zhejiang University · Tongji University · University of Chinese Academy of Sciences · Yale University
提出首个大规模知识密集视频推理训练语料 VideoKR，并证明数据设计是提升视频推理性能的关键
📌 工作参考价值（4 点）
- 数据设计驱动能力突破：VideoKR 证明，针对特定能力（如知识密集推理）构建高质量、多难度的训练数据，比简单扩大通用数据更有效。在电商推荐中，可针对性构建商品知识推理、用户意图深层理解等微调数据，提升模型复杂决策能力。
- 人类参与、技能导向的生成流水线：通过人工设计技能树、难易分级、思维链验证，确保数据可靠且覆盖渐进式推理能力。可借鉴其流程，为 Agent 规划、多轮对话等场景合成高质量 SFT 数据，减少幻觉并增强逻辑性。
- SFT→GRPO 训练范式：先监督微调再强化学习的二阶段训练，有效增强模型长期推理和自省能力。对于多智体协作、生成式推荐等任务，可用 RL 进一步对齐人类偏好或业务目标，提升策略质量。
- 避免评估捷径：VideoKR-Eval 的设计刻意防止模型利用文本线索或表面统计假依赖，这提示我们在评估推荐解释、对话系统时应设计对抗性评估，确保模型真正理解了语义和上下文，而非文本匹配。
融合前，先问保留什么：多模态信号的上下文校准
🧭 多模态融合 · 预融合校准模块
Adelaide University · Shandong University
在融合前通过跨模态比较生成实例级与维度级校准信号，抑制干扰、保留弱但有用证据，提升多模态融合鲁棒性。
📌 工作参考价值（4 点）
- 在电商多模态推荐（商品图、文、视频）中，可借鉴此预融合校准模块，动态评估各模态当前样本的可靠性，抑制噪声模态（如低质图片或误导性描述），提升推荐特征鲁棒性。
- 模块为即插即用设计，能与现有融合结构（如注意力、门控）无缝集成，无需改变下游预测头，便于在已有推荐模型上快速试验和迭代。
- 跨模态交互方式（summary-level 比较 + 实例/维度调制）为处理用户评论中图文不一致、恶意文本等场景提供了简洁有效的校准思路。
- 该方法在多种模态缺失和噪声注入下表现稳定，可推广到用户行为序列、社交关系等多源信息的融合预校准，增强推荐系统对缺失或低质量数据的容错性。
AdaCodec：面向视频 MLLM 的预测性视觉编码
🧭 多模态大模型 · 视频压缩编码
Shanghai Jiao Tong University · Shanghai Innovation Institute · JD.com
将视频帧编码为自适应 I/P 帧：高预测代价的参考帧保留全量 tokens，中间帧压缩为紧凑 P-tokens，在 1/7 视觉 token 预算下保持甚至超越基线准确率，并大幅降低延迟。
📌 工作参考价值（4 点）
- 对于多模态购物推荐或直播商品理解场景，可借鉴自适应 I/P 帧选择机制，对关键帧保留全量视觉 token，非关键帧仅传输变化信息，大幅降低视频 token 开销，减少推理时延和成本。
- P-tokenizer 将运动向量和残差编码为紧凑 token 的思路，可复用于商品视频的理解前端，在不损失太多有效信息的前提下压缩 token 序列长度，提升多模态模型的吞吐。
- 基于预测代价的自适应 GOP 构造策略，可推广至其他序列建模任务（如用户行为序列），用动态关键点替代均匀采样，平衡信息密度与计算预算。
- 整体方案提供了一种视频 MLLM 的视觉接口设计范式，类似视频压缩中的 I/P 帧思想，可直接用于 Agent 或 RAG 场景中对长视频的实时理解与检索。
对比引导的离散策略 Token 信用分配方法
🧭 离散策略优化 · 对比引导 · Token 信用分配 ★ 深度解读
UCLA · Panasonic AI Research · NVIDIA
通过对比正负提示的 token 预测差异，为 GRPO 分配 token 级优势，提升图像与多模态推理性能。
📌 工作参考价值（4 点）
- 对于使用 LLM 生成推荐理由、对话等序列的 RL 微调，当仅可获得序列级奖励时，可借鉴 GCPO 的对比引导思路：构造正负提示（如“正确回答” vs “生成错误回答”），利用 KL 散度定位关键 token，分配差异化优势，提升优化信号的信噪比。
- 归一化技巧：直方图均衡化（rank-based normalization）能稳定不同序列间的 token 权重分布，避免 softmax/min-max 对异常值敏感，减少超参数调整，适合工程部署。
- 在商品广告图生成的 RL 微调中，可直接借用 GCPO，以空文本作为负提示，使模型自动关注与商品描述对齐的图像区域，从而提升生成质量与文本一致性。
- 方法无需额外价值模型，与 GRPO/DAPO 等流程兼容，可轻量集成进现有 RL 训练管线。
LoMo：局部模态替换促进视觉-语言深度融合
🧭 多模态表征对齐与数据增广
Fudan University · Shanghai Innovation Institute · Shanghai Jiao Tong University · University of Science and Technology of China · JD.COM
通过将文本片段渲染为图像来构造交错多模态数据，迫使VLM学习跨模态表征不变性，显著缓解“载体敏感”问题。
📌 工作参考价值（4 点）
- 弱图文对齐场景的增效思路：电商商品信息中图文往往分离，LoMo 的“文本→图像再重写”范式可直接用于商品描述增强，例如将规格参数渲染为图片，迫使多模态模型更关注视觉细节，提升详情页图文一致性校验。
- 低成本跨模态对齐数据合成：无需额外标注，仅需将现有纯文本 Splits 中的关键词（如属性、尺寸）动态渲染成图像，就能构造出强对齐的多模态序列，适合推荐系统里的多模态冷启动或属性抽取任务。
- 模型架构无关的轻量增强：LoMo 仅作用于数据端，不修改 VLM 架构，可以快速插入到现有 Agent 的视觉推理链路（如商品图片问答、图文简历解析）作为 fine-tuning 阶段的简单增强，提升对同一语义在不同载体下的鲁棒性。
- 对 Deep 融合的启发：LoMo 通过“视觉载体与文本载体交替”施加表征不变性约束，这一思想可迁移到多模态推荐中，例如在序列建模中将物品图像与文本标题交替编码，迫使模型学习模态无关的物品表征，有望缓解模态缺失时的性能下降。
为何远处向上看：探究视觉-语言模型的空间表征
🧭 视觉-语言模型 · 空间表征分析
Seoul National University · The Ohio State University · NVIDIA
发现VLMs将垂直图片位置与距离混淆，提出SpatialTunnel基准暴露空间捷径偏见，并表明解耦空间轴可提升鲁棒性
📌 工作参考价值（4 点）
- 多模态推荐（如基于产品图像的空间关系推荐）需警惕模型依赖垂直位置作为距离的捷径，建议用对比对探测内部表征是否解缠。
- 构建具身Agent的视觉模块时，应使用合成基准（如SpatialTunnel）评估空间推理鲁棒性，确保在反直觉视角下仍准确。
- 电商视觉搜索中涉及空间关系查询（如“沙发左侧的台灯”）时，可借鉴表征分析方法验证模型是否真正理解3D空间。
- 模型选型时，相似基准得分可能掩盖内部偏见差异；可补充表征探针，优先选择空间轴分离度高的VLM。
早期Token压缩完成快速视频理解
🧭 多模态视频理解效率优化 · Token压缩
Zhejiang University · Westlake University · Alibaba Cloud Computing
提出训练无关的视觉编码器内部早期token压缩框架EarlyTom，显著降低TTFT和计算量
📌 工作参考价值（4 点）
- 视觉编码器内压缩可大幅降低首Token延迟：在实时视频理解或推荐场景（如短视频内容分析、直播审核），可以直接借鉴EarlyTom的帧合并策略，在编码器中间层提前丢弃冗余帧，无需重新训练模型，即刻提升推理速度。
- 解耦空间Token选择减少压缩偏差：在生成式推荐（如基于视觉的个性化feed）中，对图像/视频帧的空间信息进行压缩时，采用独立于通道的选择方式（如空间注意力引导的token保留）可以避免重要细节丢失，保持推荐准确性。
- 训练无关方法易于集成：该方案不依赖额外训练，可直接插入现有Vision-LLM流水线，适合快速迭代的工业级系统，尤其在对延迟敏感的Agent或多智体交互中，能快速实现多模态模块的加速。
- 对视频多模态系统的工程启示：揭示了视觉编码器在端到端推理中的时间占比过高问题，从业者应优先优化编码器而非仅关注LLM部分，类似思路可用于电商场景中的商品视频理解、虚拟主播驱动等任务。
Gemini Embedding 2：原生多模态统一嵌入模型
🧭 多模态统一嵌入 · 跨模态检索 ★ 深度解读
Google
基于 Gemini 构建的多模态统一嵌入模型，在文本/图像/视频/音频及交叉任务上达到 SOTA，并展现强零样本域泛化。
📌 工作参考价值（4 点）
- 原生多模态避免级联损失：音频直接编码方案比 ASR → 文本嵌入领先 +3.6 mrr@10，跨语言场景更达 +5.0。电商语音搜索（如智能客服、语音评论检索）可直接复用，省去 ASR 链路。
- 交织输入支持复杂搜索意图：模型可接受“图片+文本”或“视频片段+关键词”的组合 query，实现更精准的跨模态检索。在产品推荐中，用户可上传商品图加“类似款但更休闲”的文字，提升搜索命中。
- 多阶段多任务训练 + Model Soup 平衡通用与领域：PFT → FT → Model Soup 的配方可迁移至业务自有数据，少量领域数据 fine-tune 后通过 soup 恢复通用性，避免 Catastrophic Forgetting。适合电商垂直品类或 Agent 特定工具检索微调。
- MRL 多维度输出：单模型支持 768、1536、3072 维，实际部署可按成本/延迟选维度，无需重新训练。推荐系统可用低维向量做召回，高维做精准排序。
CollectionLoRA：将50种效果及加速能力蒸馏进单一LoRA
🧭 多LoRA合并与蒸馏
Zhejiang University · Qwen Applications Business Group of Alibaba · Xi'an Jiaotong University
多教师在线蒸馏框架，将多个效果LoRA与少步生成合并为一个LoRA，消除参数干扰并降低部署成本
📌 工作参考价值（4 点）
- 多任务LoRA合并部署：若业务中存在多个LoRA用于不同下游任务（如客服、商品描述生成、搜索改写等），可借鉴多教师蒸馏将多个LoRA的知识压缩到单一LoRA中，减少动态加载开销，并避免级联多个LoRA时的特征干扰。
- 随机数据流切换增强泛化：Probabilistic Dual-Stream Routing 在训练时随机切换数据源，类似技巧可用于多任务推荐模型的训练，通过在不同任务数据流间随机切换，提升模型对未见任务组合的泛化能力。
- 提示空间概念隔离：Asymmetric Orthogonal Prompting 通过正交提示隔离不同概念，此思想可迁移到生成式推荐中的多属性控制，例如用正交提示向量区分“风格”与“品类”，避免生成时属性混淆。
- 粗到细蒸馏缓解分布差距：Coarse-to-Fine Distillation 从输出分布粗对齐逐步过渡到特征细对齐，可应用于推荐模型蒸馏，尤其当教师模型远大于学生模型时，分阶段对齐有助于提升蒸馏效果。
长视频关键帧检索：查询分解为工具调用与布尔合并
🧭 长视频理解 · 查询分解与工具调用 ★ 深度解读
University of Illinois at Urbana-Champaign
ToolMerge 用 LLM 规划器将查询分解为多个轻量视觉工具调用，并通过布尔运算符合并排名，在长视频关键帧检索上取得领先
📌 工作参考价值（4 点）
- 查询分解与工具融合范式：在电商搜索或商品推荐中，可将一个复杂查询（如“红色连衣裙，有蕾丝，适合晚宴”）分解为多个独立检索流（颜色、材质、场景），每个流用专用 scoring 工具，再用布尔 rank 合并（AND/OR）代替简单加权，可提升多属性检索精度。
- 轻量级检索 + LLM 规划器分离：工业级系统可沿用 SigLIP/CLIP 等轻量模型做粗筛，OCR 等规则做精准补充，再由 LLM 规划器决定如何组合，无需对每一帧或每一件商品调用大模型，大幅度降低延迟和成本。
- 无标注 RL 优化检索策略：GRPO 训练规划器时，仅使用基于时间戳的召回分数作为奖励，无需人工标注最优工具调用序列。这一思路可直接迁移到商品推荐或 RAG 场景，用用户点击或检索命中率作为奖励，通过 RL 优化查询分解策略。
- NMS 去重维持多样性：在最终帧选择中使用的贪婪 NMS（保证最小时间间隔），可借鉴到推荐系统的多样性约束，选择相似度高的候选项进行步进式过滤，平衡相关性和多样性。
CVSearch：基于认知视觉搜索的多模态大模型高分辨率图像感知
🧭 多模态LLM高分辨率认知视觉搜索 ★ 深度解读
哈尔滨工业大学（深圳） · 鹏城实验室 · 中国科学院深圳先进技术研究院
训练自由的认知评估-搜索框架，通过语义引导自适应分块与动态自底向上搜索，实现覆盖与效率平衡的高分辨率视觉搜索。
📌 工作参考价值（4 点）
- 搜索框架可作为电商图像理解的即插即用组件：在商品详情图、用户评价图等场景中，需要对高分辨率图像中的小目标（如标签、瑕疵）进行细粒度感知，可借鉴CVSearch的训练自由范式，无需重新训练即可集成到现有MLLM工作流中。
- 语义引导的自适应分块避免固定网格碎片化：电商图像中商品常跨多个裁剪区域，SGAP方法利用视觉专家特征进行超像素聚类，生成语义一致的块，可用于优化多模态检索或生成式推荐中的图像预处理，减少语义断裂。
- 动态自底向上搜索提升小目标召回：在商品搜索或Agent视觉导航中，小物体（如细颗粒度属性）容易被忽略，采用从局部到全局的底向上搜索策略，并结合视觉复杂度优先探索有价值区域，可提高感知鲁棒性，减少错误传播。
- 评估-搜索工作流平衡效率与鲁棒性：对于需要处理大量图片的推荐系统，可以设计类似的信息充分性评估机制，仅对困难样本启动昂贵的搜索过程，从而在保证精度的同时大幅降低整体延迟。
FashionLens：面向多功能时尚图像检索的任务自适应学习
🧭 多模态时尚检索 · 任务自适应表示与采样 ★ 深度解读
Harbin Institute of Technology (Shenzhen) · City University of Hong Kong · Southern University of Science and Technology · Nanjing University · National University of Singapore
提出任务自适应学习框架，通过球面查询校准与梯度引导采样解决多任务检索中的特征干扰与优化失衡，性能全面领先。
📌 工作参考价值（4 点）
- 梯度引导自适应采样 (GGAS)：利用 [RET] token 的梯度范数目衡量任务实时难度，并用 EMA 平滑后结合数据集大小先验重新加权采样概率，可迁移至电商多任务模型（如同时优化点击率、转化率、互补推荐）以自动平衡高资源与高难度任务，避免小样本任务欠拟合。
- 球面查询校准器 (PGSQC)：通过信息瓶颈结构生成意图感知的适应提议，再使用自适应球面线性插值动态旋转查询表示，使同一模型能灵活适配相似、搭配、属性筛选等不同检索意图。可在生成式推荐的多场景召回中借鉴，用可学习的插值系数替代硬路由，减小特征冲突。
- 统一多模态指令框架：基于 MLLM 将图片、文本、视频、多图组合及修改文本等多样化查询输入纳入统一编码，并使用自然语言指令显式指定检索意图，为构建电商通用搜索或 Agent 工具调用提供了清晰模板，便于扩展到视频摘要、对话式搜索等复杂交互。
- 异构数据整合 Benchmark 构建：U-FIRE 通过人工设计指令模板将 15 个碎片化数据集标准化，并加入两个未见过的组合任务评估 OOD 泛化，可直接用于电商领域多任务模型的全方位测试与上线前的鲁棒性验证。
SeqLoRA：持续多概念生成的双层正交适配方法
🧭 持续多概念扩散模型正交 LoRA 微调
Uppsala University · ETH Zurich
通过双层优化联合学习 LoRA 因子，在持续学习新概念时强制正交约束，最小化灾难性遗忘和组合干扰
📌 工作参考价值（4 点）
- 持续多任务 LoRA 微调范式：当需要在电商场景中不断引入新商品概念或新用户画像时，可借鉴 SeqLoRA 顺序微调而不遗忘旧知识，避免每次重新训练或复杂融合。
- 双层优化稳定子空间：底层更新 LoRA 基（A）保持跨任务共享，上层学习任务特定系数（B），并加入正交约束，适合推荐系统中多类目 Embedding 的增量学习，减少特征干扰。
- 正交正则化抗遗忘：在 Agent 多技能训练中，强制新技能 LoRA 与旧技能正交，可防止技能间干扰，提升持续学习效果。
- 残差能量最小化：理论表明最小化残差干扰能量比冻结基方法更优，可迁移到序列推荐或多轮对话的状态更新中，通过正则化残差保持历史信息。
视觉-语言模型嵌入的稀疏解耦与概念解释
🧭 多模态嵌入的可解释性
Jagiellonian University, Kraków, Poland · Warsaw University of Technology, Warsaw, Poland
提出CEDAR，通过可逆旋转+top-k稀疏瓶颈，不扩大维度实现多模态嵌入的稀疏解耦与概念对齐
📌 工作参考价值（3 点）
- 主要学术贡献，针对视觉-语言模型可解释性，业务可直接迁移的工程方法较少。
- 可借鉴旋转+top-k稀疏瓶颈的思路，对电商多模态商品向量（如CLIP嵌入）做后处理，将语义属性轴对齐，便于运营理解与人工调控，例如将某维度对应“颜色”或“风格”概念。
- 方法保持维度不变、可逆，避免SAE的冗余与几何失真，适合线上对延迟敏感的场景，可给已部署模型附加可解释性。
StepAudio 2.5：任务定制RLHF驱动的统一音频语言基础模型
🧭 音频语言统一建模 · 任务定制RLHF
StepFun
用任务定制RLHF和专用解码，使单一音频模型在ASR、TTS和实时交互上达到专用系统水平
📌 工作参考价值（4 点）
- 任务定制RLHF范式可迁移：不同业务（搜索/推荐/对话）可共享一个多模态基座，通过定义场景专属的reward函数实现差异化对齐，避免维护多套模型。
- 可验证多token解码提效：ASR采用的verifiable multi-token decoding，在生成式推荐（如Semantic ID逐token生成）中可设计验证器并行检验并及时剪枝，加速推理。
- 实时交互的生成式奖励建模：电商客服Agent可借鉴其生成式RM，在RLHF中同时优化延迟、人物一致性与回答质量，低成本实现端到端对话调优。
- 任务差异归结为数据与优化目标：该方法强调多模态对齐后，任务只需差异化的数据和优化目标，启发电商场景下文本-商品embedding对齐后，用指令微调/RL解决搜索、描述生成等多任务。
Video-LLMs 方向运动盲的诊断与克服
🧭 视频理解 · 运动方向感知增强
Kyung Hee University · Princeton University
揭示 Video-LLMs 存在方向运动盲，提出投影器级辅助损失 DeltaDirect 显著提升运动方向理解
📌 工作参考价值（4 点）
- 能力缺陷诊断范式：通过线性探测各层隐状态可定位信息是否保留但未能绑定到输出，这套诊断流程可迁移到电商视频理解模型的动作、属性等基本感知能力的排查。
- 低成本辅助任务注入先验：DeltaDirect 仅在投影器上预测相邻帧特征差的运动向量，参数量极小，可作为一种轻量级插件提升视频模型的基础运动敏感性，适合在商品摆拍、物流监控等简单运动场景中快速部署。
- 合成数据与真实泛化平衡：文中发现视觉复杂性会削弱运动方向信号，提示在生成训练数据时需控制背景复杂度，否则域外泛化受限；在制作合成训练样本时可采用渐进式复杂度策略。
- 概念向量分析指导特征工程：运动方向概念向量的分析方法，可用于检测模型内部其他关键概念（如物体朝向、交互姿态）的信号强度，指导数据增强或特征正则化。
Bernini：通过潜在语义规划统一视频生成与编辑
🧭 视频生成 · 语义规划
Bytedance
将 MLLM 语义规划与 DiT 像素渲染解耦，模块化组合实现高效视频生成与编辑
📌 工作参考价值（4 点）
- 模块化生成框架：将视频生成拆分为语义规划（MLLM）与像素渲染（DiT）两个独立模块，可在电商商品视频生成中复用预训练 MLLM 的视觉理解能力，降低渲染器迭代成本。
- 语义级接口设计：使用 ViT embedding 作为中间表示，让规划与渲染仅需轻量联合训练，适合业务中快速适配新的编辑需求，如虚拟试穿、商品展示变换。
- SA-3D RoPE 位置编码：处理多帧、多视角输入时，段感知的 3D 旋转位置编码可迁移至多模态推荐中的视频理解编码器，提升长序列时空表征。
- 推理链引入生成：在规划器中加入 chain-of-thought ，能将复杂编辑指令分解为中间步骤再生成语义计划，可借鉴到 Agent 的视觉生成任务，提高指令遵循性。
感知还是偏见：多模态大模型能否超越人格第一印象？
🧭 多模态大模型人格推理评估
The University of Tokyo · Shanda AI Research Tokyo · Dalian University of Technology
发现MLLM人格评分准确率与证据接地率严重脱节，51%正确评分非基于证据，提出接地人格推理基准揭示偏见差距。
📌 工作参考价值（4 点）
- 借鉴接地评估范式：在推荐或Agent用户建模中，不仅要评估预测准确率，还应强制模型提供行为证据，检查预测是否基于真实线索而非表面统计相关，避免模型学到虚假关联。
- 多智能体+人工验证数据构建：本文使用多智能体管道生成带时间戳行为观察和证据分析的数据集，可复用于电商评论分析或Agent行为理解的训练数据构建，确保证据对齐。
- 失败模式诊断指标：偏见率、虚构率、整合失败率等指标可直接迁移到推荐解释或Agent决策可解释性评估中，监控模型是否在“猜对答案却用错理由”，提升系统可信度。
- 接地型推理链设计：评分→推理→接地的链条可嵌入推荐理由生成或Agent的决策解释模块，要求模型关联具体行为证据，缓解幻觉和刻板印象。
LatentOmni：统一音视频潜在推理的全模态理解框架
🧭 统一潜在空间的音视频联合推理
Shanghai Jiao Tong University · Kuaishou Technology · Peking University · HKUST · CASIA
提出在潜在空间进行音视频联合推理，保留连续感知信息，通过特征级对齐与时序同步，超越显式文本思维链。
📌 工作参考价值（4 点）
- 潜在空间推理可用于多模态内容理解：电商直播、视频评论等场景中，可直接在连续潜在空间融合音视频信息进行推理，避免先转文本带来的信息压缩和时序错位，可用于商品属性校对、演示合规检测等。
- 特征级监督对齐任务相关信号：在训练多模态推荐或Agent模型时，可借鉴其feature-level supervision让潜在表示直接与目标任务（如动作定位、事件检测）所需的细粒度特征对齐，提升下游任务精度。
- Omni-Sync Position Embedding（OSPE）保持时序一致性：该位置编码方法可应用于处理同步的音视频流，如直播切帧与语音的精确对齐、跨模态时序 grounding，适用于视频理解、虚拟主播驱动等。
- 构建交织推理轨迹数据：LatentOmni-Instruct-35K的构造思路可用于生成电商场景的多模态思维链数据，监督模型学习在潜在空间中混合文本和感知状态进行逐步推理。
RiT：普通扩散Transformer在表示空间即可胜任
🧭 生成模型 · 表示空间训练
Mila – Québec AI Institute · Université de Montréal · Utrecht University · Canada CIFAR AI Chair
利用DINOv2特征的优良统计特性，仅用普通DiT加x-prediction实现高效极速图像生成
📌 工作参考价值（4 点）
- 用语义表示替代像素空间做生成式推荐：预训练语义嵌入（如 DINOv2）的内在维度与像素相似，但有效秩更高、协方差条件更好，使扩散模型训练更稳定、采样更快。在推荐场景中，可将用户行为序列或物品的语义 embedding 作为扩散目标，替代原始 ID 或 VAE latents，降低建模难度。
- 维度感知噪声调度：不同特征维度可能包含不同层次的信息，RiT 对不同维度施加不同的噪声水平，避免各向同性噪声破坏低维结构。在生成序列或行为嵌入时，可对主要变化维度与噪声维度区别对待，提升生成质量。
- 联合 [CLS]-patch 建模：在序列生成中，类似地引入一个全局 token（如 user state）参与扩散过程，并与局部 patch（行为 sub-sequence）联合建模，可能比独立生成各步行为更连贯。
- 快速采样的工程优势：无需蒸馏或一致性训练，RiT 仅用 5~10 个 Heun 步骤即可达到高画质。这为在线推荐中实时生成候选集（如 top-N 物品）提供了可能，大幅降低推理延迟。
Swift Sampling：利用泰勒级数采样时序惊喜帧
🧭 视频帧重要采样 · 时序惊喜检测
Boston University · Microsoft Research India
用泰勒展开预测视频特征轨迹，选出偏离预测的时序惊喜帧，零训练、极低开销
📌 工作参考价值（4 点）
- 轻量级无训练帧选择器：仅需计算一阶/二阶特征差分的泰勒残差，无需辅助网络或调参，可直接插入现有多模态大模型的视频帧采样阶段，大幅降低 token 开销。
- 适用于电商视频理解：在商品直播、产品解说等长视频中，可自动定位产品亮点或内容转折，提升视频问答、摘要生成的效率与准确性。
- 通用时序惊喜检测：泰勒残差思想可泛化至用户行为序列、对话流等，用于抽取信息量大的关键时刻，辅助构建更高效的 Agent 记忆或推荐特征提取。
- 经济部署：增加的计算量仅为基线的 0.02 倍，比同类方法便宜 30 倍，适合大规模视频处理或实时场景。
AutoRubric-T2I：基于自动规则学习的可解释 T2I 奖励模型
🧭 自动规则学习构建可解释 VLM 奖励模型
University of California, Los Angeles · Arena
自动从少量偏好对合成判别规则构建 VLM 法官，仅用 0.01% 标注数据超越强基线
📌 工作参考价值（4 点）
- 用极少偏好对（<0.01% 标注数据）自动合成评估规则，结合 L1 正则化逻辑回归筛选 Top 判别规则，大幅降低奖励模型训练成本，可用于电商多模态评估（如商品图与描述的对齐检测）。
- VLM 法官通过显式 rubrics 打分，提供细粒度、可解释的奖励信号，适合需审计和调试的生成式推荐场景（例如解释为什么某张生成商品图更符合描述）。
- 框架可泛化：用 LLM 从用户反馈中自动提取评估维度，再通过特征选择保留关键维度，在推荐系统中构建可解释的用户偏好奖励模型。
- ℓ1-Regularized Logistic Regression Refiner 作为通用的特征选择 trick，可迁移到任何需要从大量候选指标中筛选最有区分力维度的任务（例如从评论关键词中提取影响点击/转化的核心因子）。
FlowLong：基于流形约束Tweedie匹配的推理时长视频生成
🧭 长视频生成 · 推断时优化
KAIST · Amazon
在推理时通过滑动窗口重叠的Tweedie匹配与随机早期采样实现无训练、架构无关的长视频生成
📌 工作参考价值（4 点）
- 长序列生成的一致性控制：对于电商场景中需要生成长商品描述、营销故事或多模态内容时，可借鉴滑动窗口重叠与Tweedie匹配机制，在序列拼接处保持语义和风格连贯，避免内容漂移。
- 无需重新训练的低成本扩展：该推理时方法无需额外微调模型，可直接应用于已部署的视频/文本生成模型，快速赋予其生成长内容的能力，适合业务快速迭代。
- 随机早期采样抑制重复模式：在生成过程的早期阶段注入噪声，能有效避免自回归生成中的重复和单调问题，这一思路可迁移至对话式推荐或交互式叙事生成，提升内容多样性。
- 架构无关的插件化设计：方法不依赖特定模型结构，对Transformer或扩散模型均适用，为已有生成系统提供统一的长序列生成插件，降低集成成本。
PhysX-Omni：统一生成可仿真的刚体/变形体/关节体3D资产
🧭 3D生成 · 物理仿真 · 多模态学习
S-Lab, Nanyang Technological University · ACE Robotics
提出统一框架与数据集，实现跨类别仿真就绪3D生成，并构建含六维度评估的基准
📌 工作参考价值（4 点）
- 几何表示trick：论文提出的高分辨率几何直接编码方法，避免压缩损失，可借鉴到电商3D商品重建中，提升细节保真度（如服饰纹理、家具结构）。
- 数据集构建思路：PhysXVerse覆盖多种物理属性，电商可类似构建带材质、可变形参数的商品3D数据集，支撑VR试穿、物理交互模拟。
- 评估维度扩展：PhysX-Bench引入尺度、材质、可供性等六维度评估，生成式商品3D模型也可引入类似benchmark，避免只看几何相似度。
- 多类别统一框架：统一处理刚体、变形体、关节体的生成流水线，可启发我们将不同商品类型（硬质电子、软体衣物、可动家具）纳入同一生成系统，降低维护成本。
见我所指：对齐视觉与语言表征实现视频细粒度对象理解
🧭 多模态对齐 · 细粒度视频对象理解
VCIP, CS, Nankai University · Tongyi Lab, Alibaba Group · NKIARI, Shenzhen Futian
提出SWIM，训练时用掩码监督对齐跨注意力图，推理仅用文本提示即可定位视频中用户指定的对象，超越视觉提示方法
📌 工作参考价值（4 点）
- 电商视频对象定位：在商品讲解或直播视频中，只需文本查询（如“左边红色的包”）即可精确框定对象，避免手工标注视觉提示，可直接集成到内容理解流水线。
- 跨模态注意力对齐训练 trick：发现属性词产生尖锐激活而名词分散，可借鉴对特定词类（如商品名词、属性）施加空间掩码监督，提升模型遵循细粒度指令的能力。
- NL-Refer 数据集构建范式：为每个对象掩膜配精确自然语言指代表达式，可复用至商品图像或视频标注，增强多模态模型的指代消歧能力。
- Agent 视觉定位模块：在多智体框架中，若 Agent 需根据用户模糊描述（如“右下角的红色鞋子”）操作界面或理解视频，可借鉴该对齐方法，仅凭文本提示即可定位，省去额外视觉提示开销。
面向全模态主动流式视频理解的综合基准 OmniPro
🧭 全模态主动流式视频理解基准与评估
Renmin University of China · WeChat Vision, Tencent Inc.
首个统一评估全模态感知、主动响应与多任务能力的流式视频基准，揭示音频利用差异、长程退化与非语音音频薄弱
📌 工作参考价值（4 点）
- 双模式评估协议（Probe/Online）可直接迁移至直播带货场景的智能客服主动干预评估：Probe 模式验证时机准确性，Online 模式测量线上自主决策能力
- 84% 样本依赖音频信号的发现提醒电商视频理解必须融合语音与非语音音频，避免纯视觉方案漏判用户意图
- 长程性能退化（随时间显著下降）指向实际系统需引入记忆或状态刷新机制，以支持长达数小时的直播流
- 非语音音频（环境音、背景声）是当前模型最弱项，电商场景中如店铺背景噪声、产品操作声可能被忽略，需针对性增强
语义生成调优：统一多模态模型的协同训练范式
🧭 统一多模态模型 · 生成代理任务训练
Shanghai Jiao Tong University · Tencent ARCLab
以图像分割为生成代理任务，对齐统一多模态模型的理解与生成表征空间
📌 工作参考价值（4 点）
- 电商场景中可借鉴“生成代理任务”思想，例如用商品分割图作为监督信号，同时提升视觉理解（属性识别）与生成（背景替换/风格迁移）质量
- 对于生成式推荐，可设计语义生成代理（如品类层级结构预测）来统一商品序列理解与生成式版面布局，避免表征割裂
- 高层语义任务（分割）比低层纹理任务更有效，启示我们在多模态对齐时优先使用结构性强标注（如实体分割），而非像素级重建
- 机制分析显示SGT能改善特征线性可分性和注意力分配，可在跨模态推荐模型的训练中引入类似辅助任务，强制模型学习更解耦、可解释的特征
仅图像扰动的跨模态提示注入攻击大视觉语言模型
🧭 多模态模型安全与对抗攻击
Xidian University
首次实现仅通过图像扰动同时操控LVLM对视觉和文本输入的跨模态提示注入
📌 工作参考价值（4 点）
- 用于多模态推荐系统安全性测试：可借鉴跨模态攻击思路，验证模型是否容易被图像扰动误导，影响图文推荐的一致性。
- 扰动预算分配策略（距离语义区域越远，扰动越小）可用于视觉模型可解释性分析或对抗训练，提升推荐模型对噪声的鲁棒性。
- 层选择揭示多模态融合发生在模型中部，可指导多模态推荐模型的结构设计，将融合模块放在中间层而非最后一层。
- 隐藏状态空间优化思路可迁移到多模态Agent的对抗样本生成或鲁棒性增强训练中。
ReAlign：通过推理对齐表征实现可泛化图像伪造检测
🧭 图像伪造检测 · 推理蒸馏
Peking University · South China University of Technology · Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology, Shenzhen Graduate School, Peking University
利用GRPO优化LLM生成推理文本，通过对比蒸馏训练轻量检测器，兼顾泛化性与效率
📌 工作参考价值（4 点）
- 若业务涉及商品图像真伪鉴别，可借鉴该推理蒸馏范式：用GRPO优化LLM生成细粒度、语义敏感的伪造推理文字，再通过对比学习将其蒸馏到轻量视觉模型，在保持推理能力的同时降低部署成本。
- 联合优化对比损失与分类损失的策略，可迁移到其他需要图文对齐的轻量判别任务（如商品描述一致性校验）。
- 自建高保真合成数据集UltraSynth-10k的思路，可参考用于构建电商AIGC干扰样本，提升业务模型对新型生成图像的鲁棒性。
- 对Agent及生成式推荐直接借鉴有限，但其中利用推理文本作为“免费”增强信号提升泛化性的思想，或可启发在推荐解释生成或用户意图推理中的多模态对齐设计。
Res²CLIP：基于残差到残差对齐的少样本通用异常检测
🧭 多模态异常检测 · 残差对齐
Beihang University · University of Science and Technology Beijing · Beijing Jiaotong University
将多模态对齐完全移入统一残差空间，同时解决跨粒度不匹配与跨类别泛化退化问题
📌 工作参考价值（4 点）
- 对于电商商品的少样本缺陷检测，可直接沿用残差对齐思路：冻结 CLIP 主干，仅在残差空间中学习可训练的文本/视觉提示，避免辅助数据集导致类别偏差，实现对新品类的快速适应。
- 在跨模态推荐（如文本-图像搜索）中，可借鉴残差空间对齐的设计：让模型关注相对差异而非绝对特征，提升未见品类的泛化能力；可设计对称的残差桥接损失，强化图文匹配的判别性。
- 微调 CLIP 做下游任务时，将优化约束在残差域可减少灾难性遗忘，保护开集泛化能力；此 trick 可用于商品描述生成、多模态知识图谱构建等需要保持开放世界能力的场景。
- 方法中的“残差预归一化”和“残差对齐损失”可拆解复用：前端用预归一化抑制正常样本的细粒度差异，后端用均方误对齐让模型聚焦异常偏差，两者结合可提升少样本下的异常区分度。
Articraft：可扩展的铰接式 3D 智能体生成系统
🧭 Multimodal ★ 深度解读
University of Cambridge · University of Oxford · Nanyang Technological University
将铰接式 3D 资产生成转化为代码编写任务，搭配专用 SDK 与迭代 harness，无需视觉反馈即可规模化产出高质量资产
从场景到元素：面向可验证多模态 RAG 的多粒度证据检索
🧭 Multimodal ★ 深度解读
University of Macau
提出元素级多模态 RAG 框架 GranuRAG 与基准 GranuVistaVQA，通过检测-匹配-生成实现透明归因与大幅性能提升
从计划到像素：学习规划与编排以实现开放式图像编辑
🧭 多模态图像编辑 · 奖励驱动的规划编排
通过基于奖励的规划-执行耦合，让模型自主学会分解并执行抽象多步编辑指令
📌 工作参考价值（4 点）
- 电商商品图自动化：可将“让图片更吸引素食者”这类抽象指令自动分解为替换肉类、添加植物元素、调整色调等子任务，并选择适当的修图工具（如背景移除、目标替换）逐步执行。
- RL + VL 判官范式：借鉴用视觉语言模型（如 CLIP）作为奖励函数的做法，在创意生成、广告设计等场景中，将人类偏好量化为 VL 相似度或文本对齐分数，训练执行策略。
- 规划器与执行器解耦：规划器（生成步骤序列）与执行器（选择区域和工具）分离，可利用历史成功轨迹微调规划器，实现迭代改进；在电商多步素材生成中可类似分离“构思步骤”与“执行修图”。
- 从演示学习转向体验学习：避免手工规则或模仿教师，直接根据最终图像质量反馈来优化编排策略，这一思路可迁移到其他 Agent 系统，如对话式商品推荐中的多轮交互规划。
EntityBench：面向实体一致性的长距离多镜头视频生成基准
🧭 多镜头视频生成 · 实体一致性评估
ByteDance · Rice University
提出多镜头视频实体一致性基准 EntityBench 及记忆增强方法 EntityMem，显著提升跨镜头实体保真度
📌 工作参考价值（4 点）
- 实体级一致性评估框架可迁移至商品图像/视频生成：拆解为属性、类别、外观等细粒度维度，配合 fidelity gate 过滤不合格生成再评分，避免低质量样本干扰评估。
- 显式实体记忆库（pre-computed visual references）类似用户长期偏好向量存储，在生成式推荐中可维护商品或用户画像记忆，用于跨会话一致性生成（如个性化商品描述图的连贯性）。
- 按实体间隔距离划分难度等级的思路适用于推荐系统长期行为一致性测试，例如构建用户跨 session 行为与兴趣保持的评测集。
- 三支柱评估（片内质量、指令对齐、跨片一致性）可用于拆解推荐多阶段输出质量，分别优化即时点击、上下文连贯、跨 session 兴趣稳定。
FashionChameleon：实时交互式人衣视频定制
🧭 交互式服装视频生成
Xiamen University · Alibaba Group
利用上下文学习和KV缓存调度实现单GPU 23.8FPS的实时流式服装切换视频生成
📌 工作参考价值（4 点）
- 实时换装交互：KV cache重调度（服装KV刷新、历史KV撤回、参考KV解缠）支持生成中途切换服装，可应用于电商直播换装、虚拟试衣间，无需重新生成整个视频。
- 单服装数据训练：通过故意制造参考图与服装图不匹配的Context Learning，仅需单服装视频即可学习运动一致性，降低多服装数据采集成本，适用于商品视频生成的快速冷启动。
- 长视频外推一致性：流式蒸馏中使用梯度重加权分布匹配，可借鉴于生成式推荐长序列行为建模，提升自回归生成稳定性。
- 实时性工程参考：单GPU 23.8FPS，比现有方法快30-180倍，为在线部署交互式生成提供了可行性设计思路，如商品流中动态换装展示。
基于LLM访谈与语义特征提取的个性化图像美学评估超越人类
🧭 个性化美学评估 · LLM交互式偏好获取
The University of Tokyo
LLM半结构化访谈提取个人语义偏好，结合图像低层特征，预测个人美学评分误差小于人类及自身重评
📌 工作参考价值（4 点）
- 用LLM做用户偏好访谈：在电商/推荐场景，可仿照半结构化LLM访谈主动捕获用户对商品风格、语义属性的偏好，代替纯被动行为数据，生成更细粒度的个性化标签。
- 混合高低层特征建模：将商品图像的低层视觉特征（CNN）与LLM提取的高层语义特征（如“简约”“复古”）融合，提升个性化推荐和排序的准确率，尤其对高偏好物品的命中率。
- AI预测稳定性优于人类自评：可利用该系统作为用户当前审美偏好的“稳定代理”，避免人工标注的波动性，用于个性化搜索、穿搭推荐等场景的长期偏好建模。
- 交互式偏好挖掘框架：借鉴其半结构化访谈流程，在Agent或多轮对话中逐步深化对用户意图的理解，解决冷启动或稀疏反馈问题。
基于潜在流恢复的分秒级人类动画生成
🧭 视频生成·长时一致性维护
通过持久潜在上下文记忆与恢复流匹配解决长时动画生成中的累积漂移
📌 工作参考价值（4 点）
- 持久上下文记忆机制可借鉴到多轮对话 Agent 中，维护长期用户状态或商品上下文连贯性，防止遗忘。
- 恢复流匹配的隐式恢复目标类似于生成式推荐解码中加入一致性约束，可尝试在序列生成中保持全局一致性。
- 轻量 LoRA 微调策略成本低，对于需要持续优化长序列输出的业务（如商品描述生成、对话流）有借鉴意义。
- 分块处理+跨块记忆传播的思路可应用于长文本/序列生成，例如分块生成推荐理由时跨块传递上下文向量，避免语义漂移。
LATERN：测试时上下文感知可解释视频异常检测
🧭 视频异常检测 · 上下文感知VLM
University of Iowa
通过上下文感知评分与递归证据聚合，使冻结VLM在测试时能生成连贯的事件级异常解释。
📌 工作参考价值（4 点）
- 图像扎根的记忆机制：根据帧多样性和视觉-文本对齐选择性保留历史帧作为上下文，可借鉴到多模态推荐中的时序行为建模，动态保留关键交互帧以增强长期兴趣理解。
- 递归证据聚合：分层聚合片段分数形成事件级决策，类似于 Agent 的多轮推理或层次化决策，可用于电商直播中的违规行为检测，从连续帧中逐步确认违规事件。
- 冻结 VLM 的测试时增强：不微调模型，仅通过外部记忆和聚合提升性能，适用于难以快速微调的大模型，可在商品描述异常检测或虚假评论识别中叠加类似轻量上下文模块。
- 解释一致性优化：显式要求事件级解释需跨段时间一致，对电商客服 Agent 的多轮对话摘要或推荐理由生成有参考价值，避免片段式、前后矛盾的输出。
利用推理时引导实现组合式视频生成
🧭 组合视频生成 · 推理时引导
Tel-Aviv University · Independent Researcher · Bar Ilan University · NVIDIA Research
基于交叉注意力图训练轻量组合分类器，在推理时引导冻结T2V模型提升组合正确性，无需微调
📌 工作参考价值（4 点）
- 推理时引导范式可迁移：在电商图文生成或Agent多模态响应中，若需精确控制实体间关系/属性组合，可利用预训练模型内部的交叉注意力图训练轻量组合分类器，在解码早期步骤注入梯度引导，避免重训基座模型。
- 冻结大模型+外部引导头：不微调生成模型本身，仅外挂一个基于冻结VLM backbone的分类器，保持基座模型的泛化能力，适合快速适配新的组合约束（如商品多属性描述、活动文案组合语）。
- 无布局/框的弱监督组合控制：无需用户提供空间布局或检测框，仅靠文本提示即可隐式约束组合关系，对电商场景中大批量自动化内容生成（如商品详情视频）有工程简洁性优势。
- 注意力特征重用：利用扩散模型已有的交叉注意力图作为组合性特征，训练开销小，可直接嵌入现有生成pipeline，适合资源受限的业务环境进行组合性提升。
面向视觉过程问答的分层推理框架与基准
🧭 视觉过程问答 · 多模态分层推理
提出ProcedureVQA基准和CoP层次推理框架，通过先检索后细化的方式增强VLM的过程推理能力
📌 工作参考价值（4 点）
- Agent 多步决策借鉴：CoP 的“先粗粒度检索 → 细粒度步骤分解”架构可直接用于电商场景的过程式 Agent，如根据订单状态图片自动检索售后退款流程并定位下一步操作。
- 多模态 RAG 实现：利用视觉线索检索结构化过程知识库的方法，能迁移到商品手册、安装教程的智能问答系统，通过图像匹配相关文档段落再生成答案。
- 数据构建思路：ProcedureVQA 的构建方式可用于内部评测 Agent 的多模态过程推理能力，暴露模型在细粒度跨模态对齐上的短板。
- 流程优化 trick：CoP 的语义分解模块对于长文本步骤的细化，可用于将用户粗糙的意图（如“退货”）分解为可执行的子步骤，提升推荐或客服 Agent 的指令可操作性。
SpeakerLLM：专精于说话人理解与验证推理的音频大语言模型
🧭 音频LLM的说话人理解与验证推理
Korea Advanced Institute of Science and Technology (KAIST) · University of Seoul
通过层级说话人 tokenizer 和结构化推理轨迹，统一了说话人画像、录音条件理解和证据组织的验证推理。
📌 工作参考价值（4 点）
- 在语音交互的电商客服Agent中，可借鉴层级说话人 tokenizer 设计：粗粒度嵌入快速匹配用户身份，细粒度帧级特征捕获情绪、口音等属性，用于个性化服务与内容推荐。
- 结构化推理轨迹（录音条件、证据、决策）的分离模式，可迁移到推荐系统的可解释理由生成，提供可审计的决策链。
- 决策复合策略分离证据收集与最终判断，可用于多Agent协作场景，让不同Agent负责信息收集，由决策Agent综合证据，提升系统可靠性。
- 利用LLM自动构建带结构化元数据的监督数据集的方法，可复用至生成式推荐的对齐训练，低成本生成推荐理由与用户画像的标注数据。
文本知何事，表格知何时：检索增强多模态对齐实现临床时间线重建
🧭 检索增强多模态对齐 · 时间线重建
Carnegie Mellon University
用检索到的结构化EHR表格校准临床文本时间线，多模态对齐提升绝对时间精度并发现34.8%事件仅存于文本。
📌 工作参考价值（4 点）
- 检索增强校准的思路可迁移至电商用户行为时间线构建：将非结构化评论/日志中的事件与结构化交易时间戳对齐，提升用户旅程建模精度。
- 图结构多步流程（锚事件骨架→非中心事件相对放置→外部证据校准）可泛化为通用多模态融合范式，适用于推荐系统中异构数据的时间对齐。
- AULTC（绝对时间标签准确度）指标可直接用于评估推荐场景下用户行为序列的时间预测质量。
- 发现大量文本事件缺失于结构化记录，提示在生成式推荐中需重视非结构化信号的独立价值，避免仅依赖结构化数据遗漏关键行为。
需要时思考：自适应推理驱动的多模态嵌入与双LoRA架构
🧭 Multimodal
提出自适应推理框架，通过双LoRA和路由门动态决定是否生成思维链，实现高效且更优的多模态检索嵌入
闭环验证推理解锁复杂视觉生成
🧭 多模态生成 · 闭环验证推理
University of Science and Technology of China (USTC) · Independent Researcher
提出闭环验证推理框架，结合自动化数据引擎、PPRL强化学习与DSWM权重融合，解决多步规划幻觉、优化不稳定及延迟问题，性能逼近商业模型。
📌 工作参考价值（4 点）
- 自动化闭环数据引擎：用步级视觉验证自动筛选可靠推理轨迹，可迁移到电商 Agent 的多步规划数据合成，提升轨迹质量。
- PPRL 解决长上下文 RL 不稳定：将交错多模态历史蒸馏为显式奖励信号，在电商对话代理中可类似处理长对话上下文，稳定策略优化。
- DSWM 权重融合加速推理：将对齐权重与蒸馏先验融合，将每步 denoising 成本从 50 步降至 4 NFE，适合实时推荐/生成场景的低延迟需求。
- 测试时扩展：多步验证推理解锁复杂任务能力，电商搜索中的复杂查询理解与多级意图生成可借鉴该测试时扩展范式。
Causal Forcing++：可扩展的少步自回归扩散蒸馏用于实时交互视频生成
🧭 视频生成 · 扩散蒸馏加速
Tsinghua University · ShengShu · Renmin University of China
通过因果一致性蒸馏高效初始化少步自回归学生模型，在帧级2步采样下性能超越4步块级SOTA，延迟减半
📌 工作参考价值（4 点）
- 自回归生成初始化策略：在生成式推荐（如序列化行为/内容生成）中，可将因果一致性蒸馏思想用于AR组件的初始化，用在线教师单步指导替代昂贵轨迹预计算，降低训练成本。
- 少步采样训练技巧：针对1-2步极端蒸馏场景，所提因果关系对齐损失可直接迁移到推荐流水线的扩散模型加速，如商品序列生成、用户行为预测。
- 分阶段扩展范式：先因果初始化再上下文扩展的流程，可复用于多轮对话Agent或多模态交互系统，平衡训练效率与长程一致性。
- 延迟与质量权衡：帧级细粒度控制首次响应延迟的实践，对电商直播、实时推荐等需要流式交互的场景有参考价值。
FFAvatar：少样本前馈可泛化头像重建
🧭 少样本前馈三维头像重建与实时动画
Snap Inc. · University of California, Santa Cruz · MBZUAI
从几张未标姿态的肖像秒级重建可动画3D高斯头像，无需逐主体优化，达到实时动画
📌 工作参考价值（4 点）
- 多视图融合机制（Multi-View Query-Former）可借鉴到电商商品多角度图像生成3D展示，统一规范空间表示。
- 三阶段训练课程：大规模预训练→高质量多视图微调→可选个性化，适用于需要兼顾泛化与高保真的生成模型。
- 端到端从像素直接回归FLAME参数驱动动画，避免离线预处理，可用于实时Agent数字人面部控制。
- 前馈网络+轻量个性化在单GPU上实现秒级重建与高帧率动画，为虚拟直播、客服Avatar等低延迟场景提供工程参考。
合成图层设计数据是否有利于图层设计分解？
🧭 图形设计图层分解 · 合成数据增强
Hong Kong University of Science and Technology · WeBank
纯合成数据训练在图形图层分解任务上超越真实数据集，且可扩展至数万样本。
📌 工作参考价值（4 点）
- 电商商品图分层编辑：可直接用纯合成数据训练图层分解模型，摆脱对难以获取的专有分层 PSD 文件的依赖，降低数据成本。
- 自动化标注流程：结合 VLM 自动预测图层边界框并生成文本描述，实现训练样本的自动化构造，提升迭代效率。
- 数据分布控制：合成数据可灵活调整图层数量分布，避免真实数据长尾问题，提升模型对不同复杂度设计的泛化能力。
- 训练规模参考：实验表明约 5 万张合成图像即可达到性能饱和，为实际部署时的数据预算提供直接参考。
基于物理的3D人体运动奖励用于视频生成
🧭 物理引导的人体运动视频生成
UNC Chapel Hill · FieldAI · NTU Singapore · AI2 · Johns Hopkins University
提出结构化3D运动奖励PhyMotion，通过物理仿真多维度评估运动真实感，显著提升视频生成中的人体运动质量
📌 工作参考价值（4 点）
- 奖励信号设计：将难以直接评估的运动真实感分解为运动学、接触/平衡、动力学三个可量化维度，每个维度提供连续可解释信号，该分解思路可借鉴用于电商场景（如商品图文一致性、合规性）的多维奖励设计。
- RL后训练方法：在视频生成模型上用RL优化精心设计的奖励，仅带来适中的训练开销，且不影响整体视频质量，这种低侵入性微调可参考用于可控文本生成或推荐模型的特定属性优化。
- 多维度互补监督：消融实验证实三个轴信号互补，单独使用效果次优，提示在设计评估或奖励体系时需覆盖多个独立方面以避免盲点。
- 外部仿真器验证：引入MuJoCo物理仿真器作为奖励的一部分，可缓解模型“奖励黑客”问题，类似思想可迁移到生成式推荐或对话Agent中，用规则引擎或知识图谱做校验，提升生成结果的逻辑一致性。
面向多模态检索增强生成的效用导向视觉证据选择
🧭 Multimodal ★ 深度解读
Arizona State University · Texas A&M University · Morgan Stanley
通过信息增益与潜在有用性变量重新定义证据选择，并用轻量替身模型高效估计效用，无需训练即可超越基线
少数通道描绘全貌：揭示扩散Transformer中的大规模激活
🧭 扩散Transformer · 大规模激活语义分析
University of Modena and Reggio Emilia, Italy · University of Pisa, Italy
扩散Transformer中极稀疏的大规模激活通道是语义信息的载体，控制生成质量、空间布局并支持无训练的语义迁移
📌 工作参考价值（4 点）
- 在电商商品图生成中，可定位大规模激活通道，通过替换这些通道的值实现细粒度属性控制（如颜色、材质、风格），无需重训模型。
- 生成式推荐场景下，将用户/物品描述作为文本条件，利用大规模激活通道的迁移性，生成跨语义的个性化插值图像或推荐解释。
- 推理加速：发现仅极少数通道起决定性作用，可设计稀疏计算策略，在推理时跳过低贡献通道，显著降低计算量。
- 对于Agent系统中的视觉生成模块，借鉴该机制可实现zero-shot的语义技能迁移，即保留画面结构但改变语义内容，增强多模态交互灵活性。
同一图像，不同含义：面向上下文依赖语义的检索研究
🧭 图像检索 · 上下文感知 · 语义抽象层次
Tokyo Metropolitan University · CyberAgent
提出L1-L4框架量化图像语义的上下文依赖程度，发现上下文注入图像嵌入更有效，但最抽象语义层次仍难解决。
📌 工作参考价值（4 点）
- 按抽象层次解耦商品图像语义：借鉴L1-L4框架，将商品搜索意图分解为具体属性（形状、颜色）和抽象含义（氛围、适用场景），分层设计召回与排序策略，提升复杂查询的匹配度。
- 上下文注入策略：在电商多模态检索中，可将商品评论、用户场景描述等叙事上下文编码后融入图像侧嵌入（而非仅融合文本侧），增强对抽象查询（如“浪漫晚餐裙”）的检索能力。
- 构建场景化评测集：参考合成故事和查询的方法，为商品图像设计不同叙事故事（如“职场通勤” vs “闺蜜聚会”），检验检索系统是否理解同一商品在不同上下文中的差异化匹配，诊断模型抽象语义能力。
- 对于L4级抽象（意图/氛围）的挑战，可结合外部知识图谱或因果推理先验，辅助模型推断图像在特定叙事中的隐含含义，弥补纯嵌入方法的不足。
VGGT-Edit：基于残差场预测的前馈式原生3D场景编辑
🧭 文本引导的前馈式3D场景编辑
Peking University · Tencent · The Chinese University of Hong Kong · Shanghai AI Lab · NTU
提出深度同步文本注入与残差变换头，实现快速、多视角一致的文本驱动3D场景编辑。
📌 工作参考价值（4 点）
- 3D编辑架构选择：直接预测几何残差场而非2D-lifting，避免了纹理模糊和几何不一致，可借鉴到电商3D商品模型的快速修改中，保持多视角一致性。
- 深度同步特征注入：将文本语义特征按深度对齐到3D空间，确保指令跟随的稳定性，类似思路可用于多模态推荐中的跨模态对齐。
- 数据集构造方法：利用自动化管线结合3D一致性过滤生成高质量编辑对，为业务中构建3D编辑训练数据提供了一种高效范式。
- 损失函数设计：多目标损失联合约束几何精度和视角一致性，可迁移至其他3D生成或编辑任务的训练监督。
ViDR：将多模态深度研究报告锚定于源视觉证据
🧭 多模态深度研究报告的视觉证据定位与验证
Peking University · National Key Laboratory of Data Space Technology and System · Beijing Jiaotong University · Hunan University
提出将源图像作为可检索、可解释、可验证的证据对象，结合证据索引提纲和视觉验证，提升多模态深度研究报告的可靠性和可验证性
📌 工作参考价值（4 点）
- 多模态证据的可信报告生成：在电商商品评测或行业分析报告的自动生成中，可将商品图片、图表视为可验证的源证据，通过类似“证据索引提纲”的方式将每个结论关联到具体视觉证据，提升生成内容的说服力。
- 噪声图像的精炼流水线：论文提出的“上下文感知过滤 + 提纲感知重排序 + VLM 视觉分析”流程，可直接用于从混乱的网页抓取商品图片中提取高质量、相关的证据原子，避免无关或低质量图片干扰报告。
- 视觉引用的显式验证：在生成报告中验证引用图像的准确性和位置合理性，减少“幻觉”或错配，这一思路可移植到多模态 RAG 系统，增强答案的可信度。
- 多模态报告质量的量化评估：MMR Bench+ 将源图检索、放置、解释、可验证性等纳入评测维度，可为电商多模态内容生成系统提供更全面的离线评估方案，指导优化方向。
面向长文档的高效列表式多模态重排序
🧭 Multimodal ★ 深度解读
Magellan Technology Research Institute (MTRI)
提出 ZipRerank，通过两阶段训练和查询感知视觉 token 剪枝与单步 logit 评分，将重排序延迟降低一个数量级
PanoWorld：迈向360°全景世界的空间超感知
🧭 全景空间推理 · 多模态大模型
提出全景原生多模态大模型PanoWorld，以球形空间交叉注意力注入几何先验，在全景空间推理上大幅超越现有方法
📌 工作参考价值（4 点）
- 对于需要处理全景图像的多模态系统（如电商虚拟展厅或室内导航Agent），可借鉴PanoWorld的球形空间交叉注意力设计，避免简单投影分解带来的球形结构丢失，直接建模物体之间的连续空间关系。
- 论文提出的几何感知元数据构造流水线（语义锚定、球形定位、参考系变换、深度感知推理）能生成高质量空间指令数据，可用于微调面向电商场景的视觉语言模型，提升商品3D空间问答准确性。
- 在构建空间推理基准时，采用能力对齐的评估维度（如PanoSpace-Bench），能更细粒度诊断模型的空间理解短板，从业者可借鉴此类分项评测设计，针对Agent的空间感知模块进行定向优化。
- 对于需要全局感知的任务（如仓库机器人货架扫描、店铺全景巡检），全景原生理解模式相比多视图拼接在推理效率和空间一致性上更具优势，可直接应用于实时智能体决策。
全模态语言模型提升：视觉去偏评估下的分阶段后训练
🧭 全模态模型训练优化与视觉去偏评估
通过视觉去偏基准OmniClean与三阶段后训练，3B全模态模型无需强教师即可匹敌30B模型
📌 工作参考价值（4 点）
- 消除评估中的模态泄漏：在电商多模态搜索或推荐评估中，检查图像是否单独能给出答案（如商品图直接暴露属性），构建去偏测试集，避免模型走视觉捷径，暴露真实跨模态理解能力。
- 三阶段后训练策略复用：先做模态平衡的SFT打底，再用RLVR统一提升跨模态对齐，最后利用自蒸馏（self-distillation）精调，这套流程可复用到多模态Agent或生成式推荐模型的微调中，逐步压榨小模型性能。
- 小模型无强教师自蒸馏：用模型自身生成高质量的"全模态查询 + 响应"对进行监督学习，无需更大教师模型，适合资源受限的电商场景（如端侧多模态助手），可降低推理成本。
- 审计现有基准以指导训练：电商中常有多模态评测集（如商品图文问答），可以先做只输入图像的探测，识别并剔除可纯视觉求解的样本，使训练反馈更干净，优化方向更明确。
UniPath：统一多模态推理的自适应协调路径框架
🧭 统一多模态推理下的自适应路径协调
提出自适应利用协调路径多样性，动态选择理解与生成路径，提升统一多模态推理效果
📌 工作参考价值（4 点）
- 自适应路径选择思路可迁移到推荐系统多策略路由：电商推荐中，不同用户和场景适合不同推荐策略（如协同过滤、内容推荐、热门兜底），可借鉴 UniPath 的轻量 planner 机制，根据输入特征动态选择执行路径，避免单一固定策略的局限。
- 多智能体协调可参考路径多样性建模：在 Agent 协同场景，任务可由不同子 Agent 按顺序或并行完成，路径多样性有助于提高解决复杂问题的成功率。可通过构造路径条件化的执行角色和输入感知的调度器，类似 UniPath 的 planner，实现自适应 Agent 编排。
- 生成式推荐中的多模态内容生成可利用协调路径：商品文案生成可能结合视觉理解（图片特征）和文本推理，UniPath 的路径选择与执行分离架构可帮助平衡视觉与语言模态的贡献，避免固定融合方式导致信息丢失。
- 可解释性与中间行为监控：UniPath 产生的可解释中间行为（如视觉思考、假设探索）对业务有参考价值，可在推荐理由生成或智能客服回复中暴露推理步骤，提升用户信任度。
HiDream-O1-Image: 像素级统一Transformer的原生多模态图像生成基础模型
🧭 像素级统一Transformer的图像生成范式
HiDream.ai
通过像素空间扩散Transformer，消除VAE与独立文本编码器，实现多模态原生统一生成，8B参数媲美27B模型并可扩展至200B+
📌 工作参考价值（4 点）
- 统一token空间设计消除了独立VAE和文本编码器，大幅简化多模态生成pipeline，在电商商品图生成中可降低工程复杂度与延迟。
- In-context编辑与个性化能力可直接用于商品图片的指令式修改（如背景替换、文案添加），实现快速营销素材生成。
- 200B+规模的扩展性验证了架构的工业可行性，适合作为商品视觉内容生成与编辑的统一基座模型。
- 将文本、像素、条件统一视为token进行推理的思路，可迁移至多模态推荐或Agent系统，用单一Transformer统一处理异构输入。
LVLM词汇劫持：排除惰性token揭示关键注意力头以缓解幻觉
🧭 多模态大模型幻觉缓解
Harbin Institute of Technology (Shenzhen) · Huawei Technologies Co., Ltd. · The Hong Kong Polytechnic University · Nanyang Technological University
发现视觉token的词汇劫持现象，提出无训练注意力增强HAVAE，显著减轻LVLM幻觉
📌 工作参考价值（4 点）
- 电商多模态问答/商品描述生成场景，可借鉴 HAVAE 的无训练注意力干预方法，通过加权少数关键注意力头抑制幻觉，不增加推理延迟。
- 使用 logit lens 诊断模型注意力异常（如某个视觉 token 总是映射到相同的错误词）的思路可迁移到 LLM Agent 的行为审计，排查错误的感知模式。
- NHAR 指标提供了一种快速量化注意力头可靠性的方法，可用于 Agent 感知模块的 head pruning 或动态路由，在有限算力下保留最关键的视觉注意力单元。
- 论文强调的“Inert Token”分析提醒我们在多模态对齐时，图像中某些固定模式（如空白、边框）可能劫持注意力，这些 token 可在预处理阶段过滤或权重衰减。
RW-Post：面向真实场景的可审计多模态事实核查基准
🧭 多模态事实核查 · 可审计证据基准
提出后对齐的多模态事实核查基准RW-Post，提供可审计推理与证据链接，暴露现有模型在证据忠实度上的不足
📌 工作参考价值（4 点）
- 电商内容审核可借鉴：构建商品图文不符的核查数据集，要求模型输出可审计的证据链接，提高审核结果的可靠性和可解释性。
- 多模态Agent设计：引入证据检索与验证步骤，如AgentFact基线，将推理链与外部证据结合，适用于需高可信度的推荐解释场景。
- 评估范式启示：区分闭卷、证据限定和开放网络三种设置，可在推荐系统的知识增强评估中应用，诊断模型对背景知识的依赖程度。
- 标注流程复用：利用LLM辅助提取和审计人类事实核查文章生成标注，可复用于电商领域生成大规模监督信号，降低人工成本。
认知双通道推理缓解多模态不一致性用于意图识别
🧭 多模态意图识别 · 冲突消解与双通道推理
Hebei University of Science and Technology · Hebei University of Economics and Business
用直觉与推理双通道动态融合，量化并消解多模态冲突，实现鲁棒意图识别
📌 工作参考价值（4 点）
- 多模态冲突鲁棒处理：当文本、图像、语音等模态信号不一致时，CDPR 的双通道设计（直觉路径聚合共识，推理路径显式量化冲突并动态加权）可直接迁移到电商多模态对话或商品理解中，避免错误模态主导决策。
- 语义原型匹配校准：利用原型向量与统计概率校准来量化冲突严重度，可借鉴到推荐系统中有噪声的多模态内容（如用户评论图文不符），提升意图/偏好识别的可靠性。
- 多视角损失防模态懒惰：防止训练中某模态被忽略，适用于电商多模态特征融合（如商品标题、图片、视频），保障各模态信息充分挖掘。
- 表示解耦提供模块化接口：将模态不变与特定特征分离，便于在 Agent 系统中对不同模态组件进行独立优化或故障排查，增强可解释性。
Forcing-KV: 面向高效自回归视频扩散模型的混合 KV 缓存压缩
🧭 Multimodal ★ 深度解读
ZJU · Video Rebirth · HKUST · BJTU
发现自回归视频扩散模型注意力头分为静态和动态两类，提出混合 KV 缓存压缩，结合静态结构剪枝与动态相似性剪枝，实现最高 2.82× 加速和 30% 显存减少
通过自适应条件卸载与剪枝加速多条件文生图生成
🧭 多模态生成 · 端边协同推理优化
Huazhong University of Science and Technology · Central South University
端边协同系统通过启发式卸载和特征驱动条件剪枝大幅降低多条件T2I延迟，同时提升生成质量
📌 工作参考价值（4 点）
- 条件重要性剪枝可迁移至推荐特征选择：Conditioning Scale Estimator 通过特征激活强度和重叠度评估条件贡献，该思路可直接用于电商推荐系统中的多模态特征筛选，动态剪枝低贡献特征以降低推理成本。
- 端边协同推理适用于大模型部署：Subtask Manager 联合优化卸载策略与带宽分配，平衡本地与边缘延迟，可参考用于 Agent 推理场景中模型分片或模块的动态放置，降低整体响应时间。
- 启发式延迟优化可复用：针对异构任务的计算/通信成本差异，采用启发式算法快速求解近似最优卸载方案，适合需要实时决策的推荐推理流水线，例如决定特征是在 CPU 还是 GPU 侧预处理。
- 特征激活强度分析辅助模型加速：通过量化中间特征的激活强度与重叠，可以指导模型压缩或动态网络宽度调整，在电商图片生成或虚拟试穿等多条件生成场景中直接降低推理开销。
Unison：人体视频的动作、语音与音效和谐生成框架
🧭 多模态生成 · 动作-音频对齐
通过语义引导的语音-音效解耦和双向跨模态强制策略，实现人体视频中动作、语音和音效的协同生成。
📌 工作参考价值（4 点）
- 语音-音效解耦思想可借鉴用于直播电商中分离主播语音与背景音效，改善音频质量。
- 双向跨模态强制策略可用于对齐商品视频中的动作与声音，提升视频内容的一致性。
- 语义引导的自适应门控机制可应用于多模态推荐中，动态调节不同模态特征的贡献。
- 主要贡献在视频生成学术领域，直接业务应用场景有限。