AskStream：流式视频理解不确定性下何时与如何主动提问
🧭 多模态流式视频主动交互智能体
Institute of Automation, Chinese Academy of Sciences · Beijing Academy of Artificial Intelligence · Hunan Normal University · Minzu University of China
引入主动 ask 动作的流式视频理解基准，评估模型在视频与用户不确定性下的提问与回答策略
📌 工作参考价值（4 点）
- 在电商直播、视频客服等流式交互场景中，可把 Agent 的动作空间从 wait/answer 扩展为 wait/ask/answer：当模型对用户意图或视频内容置信度低时，主动发起澄清问题，避免停止等待或生成幻觉答案。
- 参考 AskStream 的帧级时间窗标注，把“何时提问”建模为序列决策问题；在真实流式视频数据上标注每一帧或每一时间窗应执行 wait/ask/answer，用于训练主动交互策略。
- 设计类似 Ask-F1 的评估指标，同时考虑回答质量、提问代价与等待收益，而不只看最终答案准确率；在推荐/广告交互中可迁移为“澄清问题的性价比”，平衡打扰率与信息增益。
- 落地成本提示：该基准集中于视频理解，工业界需先构建领域内不确定性标注，但可复用其问题定义与评测框架来低成本启动。
AdShot：面向视频广告剪辑的多模态大模型评测基准
🧭 多模态大模型评测 · 广告剪辑
Northeastern University · Southern Methodist University
推出 AdShot 基准：823 对广告镜头选择评测，发现架构优先于规模且模型有内容偏好
📌 工作参考价值（4 点）
- 在电商商品视频多时长自动剪辑中，把镜头选择建模为受时长预算约束的子集选择，而非让 MLLM 直接输出完整 15s 连续片；AdShot 显示模型原始输出平均时长误差 5.39s，工程上必须加显式约束（DP/贪心 + 镜头时长表）。
- 选型时不要迷信 72B 大模型；该基准中架构比规模更关键，小模型常追平或超过大模型。业务落地可优先评测 7B–13B 视频 MLLM，成本更低且可私有化部署。
- 评估/微调需要显式覆盖 action、emotion、information、imagery 四类内容；模型系统性偏好 information/emotion 镜头，会漏掉 action 和 imagery，电商广告中动作展示、产品外观镜头可能需要通过 prompt、奖励或后处理加权校正。
- 若构建类似自动剪辑系统，建议加入音频声道：音频消融提示纯视频模型缺乏口播/音乐信息，商品口播、卖点音频对剪辑相关性高，评测时应纳入音频模态。
基于测试时回归的序列压缩方法
🧭 高效序列压缩 · test-time regression
The Chinese University of Hong Kong · Token Foundry, Alibaba Group
提出 TTR-Compressor，将序列压缩视为测试时回归并用闭式解聚合 token，在稀疏注意力和视觉 token 合并上优于 pooling/投影
📌 工作参考价值（3 点）
- 长用户行为序列压缩：电商推荐中用户历史行为 token 通常很长，进入 LLM 前可用 TTR 替代 mean/attention pooling；它联合拟合所有 token，保留交互，闭式解推理开销可控。
- 多模态商品信息合并：商品图、标题、属性等多模态 token 合并进 LLM 时，可借鉴 TTR visual merger 减少视觉 token 数并保持理解性能，适合多模态搜索或商品描述生成。
- Agent 长程记忆与上下文管理：面向 LLM agent 的对话推荐/搜索助手，用可学习回归压缩替代固定窗口截断或摘要，可能提升长上下文检索与推理（如 RULER）；工程上可将回归维度设小、分块计算闭式解。
广义 CycleGRPO：面向细粒度多模态理解与定位的统一强化学习框架
🧭 多模态强化学习 · 区域-文本循环一致性
NUS · UCAS · NTU
以区域-文本循环一致性作为可验证奖励，统一图像/视频细粒度理解与定位的RL框架
📌 工作参考价值（4 点）
- 在电商多模态商品理解中，可将「图像区域 → 文本描述 → 再定位回区域」作为无人工标注、无外部 LLM judge 的循环一致性奖励，用 gIoU/mask overlap 做可验证信号，低成本训练区域级属性识别（如商品局部卖点、材质、Logo）。
- 视频广告/直播切片场景可借鉴 temporal cycle 与 DOVE 的对比评估思路：训练模型对目标片段生成能区分相似重复片段的描述，提升“哪个时刻出现什么卖点”的定位与文案生成一致性。
- 工程实现上，统一 spatial/temporal/spatio-temporal region-space 表示，使同一套 GRPO 奖励逻辑适配框、mask、时间区间和时空证据，适合多模态搜索/推荐团队整合多种区域标注；无需外部 judge、奖励可验证，降低 RLHF 成本。
- 业务可借鉴有限：该方法面向视觉 grounding 任务，不直接改变推荐排序或用户建模；但可作为商品视觉理解底座，为后续生成式推荐、多模态检索提供更细粒度的对齐特征。
自回归检索器：利用物品反馈提升通用多模态检索
🧭 自回归检索 · 强化学习反馈选择 ★ 深度解读
Beijing Institute of Technology · Zhongguancun Academy · Zhongguancun Laboratory · Xiaohongshu · Southeast Academy of Information Technology, Beijing Institute of Technology
自回归检索器 ARR 交替检索物品与更新 query embedding，用 SFT+RL 学习反馈选择，显著提升多模态检索性能
📌 工作参考价值（4 点）
- 在电商搜索/召回中，可以用粗排或初始检索的 top 结果作为反馈，重新编码 query 得到更精确的 embedding，尤其对跨模态或模糊 query 有帮助。线上可先跑一步初始检索，再用反馈强化，2 步之后收益递减，成本可控。
- 训练时采用「多步对比学习 + degradation penalty」，能确保 query 加入反馈后不会变差，同时提升首轮 embedding 质量。即使线上不做多步检索，也能从这种训练中受益。
- RL 优化反馈选择时，冻结主干和 item 索引，仅训练 query 侧 LoRA，将策略优化与线上索引解耦，避免重训全库 embedding，是工程友好的设计。GRPO 以最终 reciprocal rank 为奖励，适合优化点击/成交等业务指标。
- 如果资源有限，可只实现 SFT 阶段，已经能带来较大提升；RL 需要轨迹采样和奖励计算，适合追求更高检索质量且能接受训练成本的场景。
SuperNav：面向任意任务与场景的智能体导航系统
🧭 Agent 具身导航系统
Zhejiang University · Shenzhen University · Causa Robotics
提出无需导航微调、以工具解耦决策与执行的 MLLM 智能体导航系统，实现任务与场景泛化
📌 工作参考价值（4 点）
- 架构上解耦决策大脑与执行工具：不针对导航任务微调 MLLM，而是通过 agent harness 调用工具，保留通用推理与场景理解能力。对应推荐系统可将 LLM 作为 planner，将召回/排序作为工具，避免微调导致通用知识遗忘。
- 用 visual-point interface 让模型直接在图像上指定目标坐标，而非生成文本描述位置。在多模态推荐或广告素材分析中，可让模型在商品图/场景图中 point 出兴趣区域，作为 grounding 信号辅助推荐解释或素材优选。
- 引入 Navigation Skills 和任务进度管理：显式维护任务状态与目标进度，并在执行反馈后允许模型 revise 决策。在电商 Agent 长链路任务（如导购、多轮商品比较）中，可设计 checkpoint 状态和重规划机制，提升任务成功率。
- 工具与技能抽象：将底层运动封装为可调用的技能，模型只需高层决策。在电商 Agent 中可将搜索、筛选、加购等操作封装为工具，降低模型输出复杂度，提高动作可靠性。
Where-OPD：合成场景下空间引导的 MLLM 在线自蒸馏
🧭 多模态自蒸馏 · 空间感知提升
Valeo.ai · Sorbonne Université, CNRS, ISIR · Institut universitaire de France (IUF) · ILLS, CNRS, Montreal
提出用文本空间引导作为特权信息，通过在线策略自蒸馏提升 MLLM 空间感知，合成训练可迁移真实基准
📌 工作参考价值（4 点）
- 电商/商品视觉问答：可用程序化生成商品布局图、货架图或广告素材，自动获得物体身份与坐标，构造带空间提示（如『在 (x,y) 附近发现绿色标签』）的 QA 数据做自蒸馏，提升模型对商品计数、空间关系（前后/遮挡/相邻）和属性识别，无需人工标注。
- 文档/图表理解：对详情页、数据报表、广告资质图生成合成文档并注入 layout 坐标信息，蒸馏出能定位关键区域并整合多区域证据的学生模型，可用于 RAG 中的视觉证据定位、广告合规审核和图表指标抽取。
- 推理成本不增加：教师仅在训练时使用空间 hint，学生推理时只依赖图像和问题，适合与 LoRA/Adapter 结合部署；且 on-policy self-distillation 无需外部大模型或人工标注，工程接入成本低。
- 合成到真实迁移结论：该工作验证了合成场景训练可提升真实感知基准（平均 +3.23 点），可作为低成本增强长尾视觉任务（如稀有商品、复杂陈列）的先验，但需注意合成场景的分布覆盖范围。
纠正即预测：多模态属性值抽取的伪值校正
🧭 多模态商品属性抽取 · 伪值校正 ★ 深度解读
Alibaba International Digital Commerce Group
将多模态属性值抽取重构为伪值纠正任务，训练时混合检索伪值与占位符，推理用固定占位符实现免检索单次预测
📌 工作参考价值（4 点）
- 把分类/抽取任务改造成“伪值纠正”范式：训练时给模型一个可纠正的初始假设（检索候选或占位符），让模型依据多模态证据决定保留还是纠正，而不是直接生成。这比直接生成更能逼出细粒度证据校验，适合属性补全、商品理解、意图分类等电商任务。
- 检索增强避坑：不要将检索候选当 RAG 上下文拼接，而是作为待验证的 pseudo-value 放进 prompt 让模型纠正。这样可以减少输入 token（本文 233 vs 585），提升 QPS（4.77 vs 1.45），并对检索错误更鲁棒；在搜索推荐场景中，对 query 分类、类目预测也可以借鉴。
- 用 Self-Consistency Refinement 做扰动样本挖掘：对同一输入换多个伪值看预测是否变化，不一致样本加入第二阶段微调。这种针对“输入扰动不稳定”的信号比通用困难样本更有效，可以迁移到 prompt/上下文敏感任务的稳健性训练。
- 部署设计采用“训练复杂、推理简单”：训练时用检索伪值学到修正行为，推理只需固定占位符触发，免在线检索和迭代 refine，保持接近直接生成的吞吐，适合大流量生产系统。
学习多模态嵌入与证据对齐读出
🧭 多模态嵌入检索 · 证据对齐读出
The Hong Kong University of Science and Technology (Guangzhou) · Tencent Yuanbao · Tsinghua University · ARC Lab Tencent · The University of Hong Kong
EviAlign 将语义证据生成与边界读出耦合，在共享 MLLM 中按语义单元边界读取状态，提升多模态检索嵌入质量
📌 工作参考价值（4 点）
- 可借鉴「生成证据 + 边界读出」的嵌入训练方式：让 MLLM 先按语义单元（如实体、属性、关系、场景）生成结构化证据，在每个单元边界读取 hidden state 后 mean pooling 作为最终向量，相比只取末尾 hidden state 能提升检索 Recall@1，且保持单向量索引，线上 ANN 检索成本不变。
- 在电商/搜索的多模态商品或内容表示中，可以用生成任务强制模型在特定语义边界产生可读状态，联合 contrastive retrieval 目标训练；生成部分不一定要作为最终特征，但能起到对齐读出位置、增强表示的作用。
- 若业务中已经使用 LLM 生成 CoT、标签或文案，不建议只把生成文本作为额外特征输入；利用生成过程的中间状态做读出，可能获得更紧凑、更适配检索的单向量表示。
- 论文发现仅靠证据组织本身增益有限，需与证据边界读出共同设计；因此在工程实现时，要同时调整训练目标的证据 span 和读出位置，不能只改 prompt 或只改 pooling。
多模态大语言模型中的对齐幻觉
🧭 多模态 LLM 表征几何诊断
University of Science and Technology of China
揭示 MLLM 标量视觉-文本对齐指标无法区分噪声与真实视觉流，提出主角度间隙 PA gap 作为几何诊断
📌 工作参考价值（4 点）
- 在多模态推荐或广告中，使用 CKA/SVCCA 等标量相似度评估视觉-文本融合质量时，务必结合下游任务指标（如点击率、相关性、A/B 结果）校准；单独看相似度曲线容易产生“对齐幻觉”，误导模型选型或层数截断。
- 可借鉴 PA gap 作为轻量几何诊断，监控多模态模型在微调、量化、蒸馏或视觉编码器替换后视觉 token 结构是否退化，及时发现信息丢失。
- 论文揭示共享 MLP 下投影会制造权重诱导对齐，若业务中将图像/文本投影到统一 LLM 空间做检索或生成，需警惕共享通路导致的虚假相似性；可考虑对投影层增加正则或采用多维几何指标评估。
- 在 Agent 或多模态 RAG 中，若用视觉输入辅助决策，应定期用受控任务测试（如噪声图像或无关图像）校准内部表征诊断，避免仅凭几何指标判断模型理解能力。
关注推理重点：选择性概率质量集中的跨模态注意力对齐
🧭 多模态训练 · 注意力对齐
University of Technology Sydney · East China Normal University · The University of New South Wales · Shanghai Jiaotong University · The Education University of Hong Kong
提出 sPMC 训练框架，仅对少量视觉grounding敏感注意力头做概率质量集中正则，零样本平均提升3%
📌 工作参考价值（4 点）
- 少而精的头选择正则：不全局约束所有注意力头，而是先识别对视觉证据 grounding 敏感的少数头（3%-15%），再做任务相关正则；可迁移到电商多模态商品理解/推荐理由生成，保留语言先验与通用能力，避免过正则导致性能下降。
- 用弱监督区域先验引导注意力：借助 segmentation mask / 商品主体框等空间先验，让文本到图像注意力概率质量向语义相关区域集中；无需大规模推理标注，对图文匹配、多模态搜索相关性建模有直接借鉴价值。
- 训练成本低、推理零开销：sPMC 只在训练阶段施加正则，不改推理架构，适合作为现有 MLLM 流程的插件式训练技巧；在电商 Agent 或多模态搜索中可较快验证。
- 注意力头功能分析可复用：Adaptive Head Selection 的思路可迁移到任何多模态 LLM 或推荐模型中，先探测头功能再定向优化，减少无效训练。
细粒度 MLLM 感知的区域级策略优化
🧭 多模态视觉感知 · 稀疏 token 选择
University of Sydney · City University of Hong Kong
用区域级强化学习训练轻量提案网络，以约 4 倍更少视觉 token 超越全分辨率 MLLM 的细粒度准确率
📌 工作参考价值（3 点）
- 借鉴区域级 RL 训练前处理筛选器：在商品图、广告图或多模态内容理解中，先用轻量网络从全局粗粒度视图定位关键区域（如商品主体、文字标签），再对候选区域做高分辨率编码，可大幅降低 MLLM 的 token 成本；冻结大模型只更新提案网络，适合基座模型昂贵、不想全量微调的业务场景。
- 用 remove/add 双目标做无监督奖励：以“移除某区域导致答案似然下降”作为负面信号抑制噪声，“补回丢失区域提升似然”作为正信号恢复缺失证据。不需要标注框或 reasoning trajectory，可直接迁移到推荐系统多模态召回/排序：用大模型对候选内容打分差异作为奖励，训练轻量重要性评估器筛掉无关图像区域或视频帧。
- 稀疏编码放大证据区域而非均匀下采样：将视觉 token 集中到选中区域并降低背景分辨率，可用同等算力提升信息密度。在电商视频理解、直播切片审核等场景，可先选高信息量帧/区域再输入生成式推荐模型，兼顾成本与细粒度表征。
并非所有提示都同等重要：面向多模态强化后训练的探索引导式提示脚手架
🧭 多模态 RL 后训练 · 提示脚手架
Alibaba Cloud Computing · Shanghai Jiao Tong University · Fudan University · Xi’an Jiaotong University
提出基于探索潜力评分的动态提示脚手架框架，自适应调整多模态LLM RL后训练的提示分布，提升域内外性能
📌 工作参考价值（4 点）
- 动态训练采样策略：在 LLM 推荐/Agent 的 RL 后训练中，不要均匀采样 prompt 或 trajectory。可借鉴 EPS 思想，用在线 rollouts 的 reward 方差、优势差异等轻量统计量估计样本信息量，对低方差高成功率（饱和）或极低成功率（过难）的样本降低采样权重或触发重写，节省算力。
- 难样本重写而非丢弃：业务中收集到的用户指令/交互轨迹质量参差，直接过滤会损失信息。可以用 teacher LLM 对过难或过易的 prompt 做 scaffolded rewriting，保留意图（如商品查询、任务目标）同时调整难度，提升训练数据利用率。
- KL 约束可转化为数据选择启发式：EPS 从 KL-regularized policy improvement 导出，无需额外模型，只用 rollout 统计量即可实现，适合集成到现有 PPO/GRPO 训练循环，对多模态 Agent 和生成式推荐模型的 RL 后训练有直接参考价值。
- 监控 prompt 级效用并动态调整 batch 构成：类似课程学习，在训练过程中周期性评估每个 prompt 的 utility，动态改变训练分布，能在不增加总预算的情况下提升域内和 OOD 泛化。
HarnessVLN：统一免训练具身导航的 Agent Harness 框架
🧭 具身导航 · 训练免 Agent 框架
Nanjing University · AGIBOT · Tsinghua University
提出训练免的 Agent Harness 框架，通过统一工具接口、三重验证与时空图记忆，统一指令跟随与物体目标导航并刷新 SOTA
📌 工作参考价值（4 点）
- 统一工具接口与 Harness 分层：将感知、检索、接地、执行等封装为工具，由 Harness 统一校验、派发、更新，可复用到电商 Agent 中，把商品召回、意图识别、策略执行等模块解耦为工具，降低切换模型/场景的成本。
- 规划结果的多重验证：在派发动作前用空间证据、几何可行性、子目标一致性做校验，可借鉴到搜索广告投放 Agent：对出价、选品、文案等 proposal 做规则/模型校验，减少无效执行与资源浪费。
- 分层事件记忆与持久时空图：将任务进度、执行历史、失败标注沉淀为结构化图，类似用户 session 内的行为轨迹 + 商品关系图，可用于推荐/对话 Agent 的状态追踪、失败恢复与增量证据累积。
- 可替换 Navigation Executor：把高层计划与底层执行解耦，同一 Harness 协议可跨模拟器与真机迁移，可借鉴到推荐实验平台：策略层统一，执行层适配不同流量/线上环境。
多模态大模型幻觉源于协同头信息分布漂移
🧭 多模态大模型幻觉归因与校准
Shenzhen University of Advanced Technology
提出 HEAL，通过头部级信息解耦与校准识别并缓解多模态大模型幻觉
📌 工作参考价值（4 点）
- 多模态 LLM 在电商商品描述生成、图文推荐、广告创意生成等场景中容易出现幻觉，可借鉴头部级解耦与校准思路：定位并校准跨模态协同注意力头，无需全模型微调，降低落地成本。
- 因果噪声干预筛选冗余头的方法可用于分析现有多模态推荐模型的注意力机制，识别对跨模态对齐贡献不大的头，进行剪枝或优化，提升推理效率。
- 动态注入校准因子到 value vectors 的机制可迁移到多模态特征融合模块，作为轻量级即插即用组件，增强图像和文本特征的一致性。
- 结论“幻觉与模态特定头数量/强度无关，而与协同头信息分布漂移相关”提示在多模态推荐/搜索中应关注跨模态交互的质量而非单模态表示的强度，可指导模型调试和特征工程。
超越检索：面向流式视频理解的渐进潜在记忆演化
🧭 流式视频 MLLM 的渐进潜在记忆
Nanjing University of Science and Technology · Ant Group · National University of Singapore · The Chinese University of Hong Kong
提出 LatentStream，将流式视频记忆从 store-and-retrieve 转为 retrieve-and-internalize，通过层级记忆与渐进置信度优化取得 SOTA
📌 工作参考价值（4 点）
- 借鉴“查询无关层级压缩 + 查询相关检索内化”两段式记忆架构：电商用户行为序列建模可先用无查询的自适应聚类（如 Jenks natural breaks）压缩长短期兴趣，收到请求后再用 query 检索相关证据并内部化为固定长度 latent 表示，平衡内存与推理精度。
- 固定内存预算下的短/中/长期分层组织可迁移到 Agent 或在线推荐系统的会话记忆管理，避免历史状态无限增长，适合延迟敏感的长序列处理。
- Progressive confidence-guided optimization 用分组预测熵构建层级奖励，可应用于多步推理或交互式推荐，对中间状态逐层优化置信度，提升最终输出稳定性。
- retrieve-and-internalize 方式比将检索证据直接拼接到上下文更节省 KV cache，适合长视频/直播理解、多轮对话 Agent 等需持续累积历史的在线场景。
ShallowStream：浅层索引、深层回答的流式视频理解框架
🧭 多模态流式视频高效推理
Harbin Institute of Technology (Shenzhen)
用 MLLM 浅层同时做帧编码与索引构建，查询时按浅层注意力打分并多样性选帧，延迟降低最高 52.1 倍且性能对齐强基线
📌 工作参考价值（4 点）
- 直播电商/短视频理解场景可用“浅层预填充建索引、深层仅对选中片段推理”的两段式架构：常驻只保留浅层 KV cache，在线视频帧不断写入轻量索引，查询时只对高相关帧做完整深度计算，大幅降低延迟与显存。
- 用浅层 attention score 做 query-aware 帧打分，不需要额外训练检索器；类似推荐里用注意力分数筛选候选 item 或行为序列，能把用户当前 query / 意图与视觉片段相关性评估集中到轻量模型。
- diversity-aware selection 可直接迁移到推荐/广告视频素材或直播切片选取：在相关帧集合上做多样性采样，避免连续重复/相似画面霸屏，提升信息覆盖与用户体验。
- 工程上可借鉴“按 prefill depth 分层 KV cache”思路：在线流式处理时低频深算、高频浅算，对长视频/直播流式多模态 LLM 服务有直接成本收益。
Aphanta：诊断任务对齐的图像编辑中间产物在多模态推理中的效用
🧭 多模态推理 · 图像编辑中间产物诊断
Fudan University · StepFun · Shanghai Jiaotong University
提出闭环诊断框架 Aphanta，量化图像编辑中间产物在多模态推理中的任务条件化增益与边界
📌 工作参考价值（4 点）
- 评估生成式中间产物（如 Semantic ID、图像生成、检索文档）时，应加入 idealized reference 条件，分离上游生成器误差与下游模型能力上限，避免把生成器的失败误判为方法无效。
- 不要假设同一中间表示对所有任务都有帮助；应识别任务条件化增益的边界。在电商场景中，可先诊断哪些商品属性或查询类型适合用图像生成/编辑增强，而不是全量铺开。
- 闭环诊断协议可复用到 Agent 工具调用：自动发现候选任务，对比直接推理、工具生成中间产物推理、理想化中间产物推理三种条件，量化工具的真实贡献与失效模式。
- 从结果看，图像编辑作为“专用视觉工作区”更适合视觉线索注入、定位和反事实状态实现；对于需要精确结构外推的任务，应避免依赖当前生成器，或引入校验环节。
UrbanGround：从局部感知到真实城市空间行动能力
🧭 MLLM智能体城市空间导航评估
Shanghai Jiao Tong University · National University of Singapore · Meituan · The Chinese University of Hong Kong · Shanghai University
提出香港真实3D城市沙盒UrbanGround，系统性评估MLLM智能体从局部视觉感知到持续导航行动的可靠性
📌 工作参考价值（4 点）
- 渐进式评估设计可迁移：论文通过三个递进问题（局部场景grounding → 远距离导航 → 路线与行人扰动）暴露智能体能力断裂点，电商Agent评估同样应区分单步能力与多步组合能力，避免局部指标掩盖全局失败。
- 长程任务错误累积的警示：MLLM在短距离空间推理尚可，但持续探索中错误无法纠正，这提醒在构建推荐或搜索Agent时，需加入全局状态追踪与纠错机制，而非单纯堆叠单步模型能力。
- 高保真仿真环境的价值：基于真实地理数据构建可闭环交互的沙盒，能为Agent提供物理约束下的测试场。电商场景可借鉴构建虚拟购物环境，测试Agent在商品导航、路径规划中的鲁棒性。
- 论文核心是具身智能与空间导航，与电商推荐业务直接关联较弱，可借鉴点主要集中在Agent评估方法论与仿真环境设计。
微信多模态 Embedding 技术报告：WeMM-Embedding 家族
🧭 多模态表征学习 · 通用 Embedding ★ 深度解读
WeChat Vision, Tencent Inc.
2B/4B/9B 通用多模态 embedding 家族，两阶段训练与蒸馏在 MMEB-v2 达 80.6 SOTA，并大规模落地微信推荐搜索
📌 工作参考价值（4 点）
- 通用多模态 item embedding 直接复用：商品/视频/图文内容统一走 <embedding> 末 token 出向量，可在召回、排序特征、用户序列建模、跨域理解中复用；视频场景可一次前向同时拿到“视频帧-only”和“视频+ASR文本”两种表示，适配不同召回通道。
- 多任务 pair 统一格式优于分开训练：把搜索 query、商品详情、内容描述、分类标签、点击/转化分级相关统一成 (instruction, source, target, hard_negatives, relevance)，用 task-consistent batch 和 duplicate-aware masking，能显著提升 in-batch negatives 质量；该技巧可直接迁移到电商搜索/推荐 embedding 训练。
- 用 Semantic ID 做数据平衡和难负例挖掘：对 pair 表示做 RQ-KMeans 得到三层语义 ID，按频次降采样高频语义、保留长尾，配合 MLLM 质量过滤和检索难负例，特别适合缓解电商长尾商品和新品冷启动；MRL 输出 256/512 维可降低向量索引成本，同时保留 97% 以上性能。
- 蒸馏策略可压缩学生模型：2B/4B 用 9B teacher 的 batch 内双向相似度分布做 KL 蒸馏，不像 one-hot 对比损失那么硬，能高效传递细粒度关系；在广告/推荐小模型迭代时可用此方法把大模型能力压到线上可部署尺寸。
小心沙发！弱到强任务向量注入激发多模态大模型室内设计推理
🧭 多模态大模型推理增强 · 任务向量注入
Nanjing Forestry University · Institute of Software Chinese Academy of Sciences · University of the Chinese Academy of Sciences · Beijing University of Technology
提出 DART-I，用弱专家提取空间/颜色先验生成任务向量，残差注入冻结 MLLM 以改善室内设计推理
📌 工作参考价值（4 点）
- 可将业务中的确定性规则（价格带、商品属性兼容性、布局安全距离等）封装为轻量 weak expert，输出连续数值特征，再投影为 task vector 注入冻结 LLM/MLLM 的 latent space，实现零微调的领域约束注入，避免灾难性遗忘和高昂训练成本。
- 在电商多模态场景（商品图 + 描述）中，可借鉴 DART-I 的残差注入方式：先用弱模型提取商品间空间关系、颜色搭配等先验，引导 MLLM 生成更合理的搭配或布局建议，减少幻觉，优于仅靠 prompt 中的文字约束。
- 弱到强范式适合标注稀缺的业务：用弱模型/人工规则先产生结构化信号，再驱动强模型，可复用到推荐系统，例如将用户行为序列的统计先验（点击间隔、序列长度分布）注入生成式推荐模型，提升生成质量。
- 任务向量注入作为一种参数高效适配手段，比 LoRA 等微调方法更轻量，适合快速在多业务线之间切换和迭代。
面向多模态大语言模型的规则遵循视觉空间规划
🧭 多模态大模型规则遵循空间规划
Peking University · Yinwang Intelligent Technology Co., Ltd
提出RuleMaze基准和DMP方法，解耦感知、执行与规则验证，提升MLLM在规则约束下的空间规划与泛化
📌 工作参考价值（4 点）
- 可借鉴DMP的解耦设计：将感知、执行、规则验证拆分为独立模块，便于在业务Agent中注入可解释的合规性检查，避免端到端黑盒违反约束。
- 使用Language-Logic-Function Hybridization自动生成规则并转化为逻辑验证器，可复用于构建带约束的策略评测集或训练数据，降低人工构造规则成本。
- 在需要严格遵循业务规则的Agent任务（如营销活动路径规划、多步骤推荐流程、广告投放策略）中，分离式规划能提供中间轨迹，便于调试和规则动态更新。
- 论文场景为迷宫导航，与推荐系统核心链路距离较远，但规则验证与执行解耦的思想可作为构建可信Agent系统的参考。
PEA-DPO：感知增强直接偏好优化用于多模态大模型对齐
🧭 多模态 LLM 对齐与视觉偏好优化
University of Science and Technology of China · National University of Singapore
提出 PEA-DPO 显式利用视觉偏好信号，解决多模态 DPO 中的视觉不敏感问题并显著减少幻觉
📌 工作参考价值（4 点）
- 在电商图文推荐或商品文案生成中，仅靠文本偏好对齐容易让模型忽略图像关键信息；可借鉴 PEA-DPO 思路，构造显式视觉对比样本（例如移除商品属性区域前后）作为偏好对，强制模型感知视觉差异。
- 多模态场景下 DPO 失效往往表现为「视觉不敏感」，建议在偏好数据中显式注入视觉信号，而不是简单复用文本偏好对；这能降低商品描述与图片不一致的幻觉。
- PEA-DPO 在增强视觉敏感性的同时保持语言建模能力，说明多模态对齐可以解耦：对视觉模块加感知约束，对语言模块保持原有优化目标，适合需要兼顾文案流畅性和图片一致性的业务。
- 论文验证了不同规模 MLLM 上均有效，说明该方法可作为轻量级偏好优化插件，接入现有多模态推荐或搜索问答系统，无需改变主架构。
超越视觉相似性：面向知识型视觉问答的实体对齐检索
🧭 多模态 RAG · 实体对齐嵌入检索
Shenzhen International Graduate School, Tsinghua University · University of Arizona
提出 KBMR，首个基于 MLLM 的 KB-VQA 嵌入检索器，用实体一致性连续蒸馏实现实体级语义对齐，Recall@1 最高提升 14.7%
📌 工作参考价值（4 点）
- 商品视觉检索可用 MLLM 自回归嵌入替代 CLIP 双编码器，显著区分“视觉相似但实体不同”的商品（如不同品牌同款鞋），降低误召回，适合电商以图搜图/相似商品推荐。
- 连续实体一致性权重 + 软蒸馏可直接迁移到商品类目/SPU 级对比学习：用判别器生成软标签替代 hard negative 二元标签，缓解用户行为（点击、购买）中的弱监督噪声，改善 hard negative 采样质量。
- 在导购 Agent 或商品知识问答中，外部知识检索（商品详情、属性、类目树）可采用实体对齐的 MLLM retriever，对长尾、视觉多变商品的知识命中更稳定，提升最终回答/推荐准确率。
- 工程实现上，大规模弱监督检索语料（如商家上传图文）可通过类似 semantic discriminator 产出连续一致性权重，再蒸馏到轻量检索模型，兼顾效果与推理成本。
超越正确性：混合思考多模态大模型的响应行为基准与对齐
🧭 MLLM 响应行为对齐与 RL 训练
Institute of Automation, Chinese Academy of Sciences · Large Language Model Department, Tencent · University of Electronic Science and Technology of China · Hong Kong University of Science and Technology · Zhongguancun Academy
提出 PatternEval 诊断基准与 PatternRL 训练框架，缓解混合思考 MLLM 思考/非思考模式响应行为失配
📌 工作参考价值（3 点）
- 混合思考部署模式（如电商客服/推荐 Agent 中快速模式与深度推理模式并存）需监控响应行为一致性，尤其防止 CoT 泄漏暴露内部推理链（可能泄露用户特征或策略细节），论文的 PatternEval 四类失败可作为线上评测指标。
- RL 训练阶段引入 pattern-specific penalties（PatternRL）可在不显著影响任务准确率的前提下对齐非思考与思考模式，这种分模式惩罚思路可迁移到生成式推荐中，用于约束不同解码策略（如 greedy vs. beam）下输出风格一致。
- 构建评估集时主动注入已知失败模式（failure-enriched）比均匀采样更能暴露模式差异，可用于生成式推荐/Agent 的离线和回归测试，提前发现长尾行为问题。
VibeWorlding：多模态智能体能端到端构建3D开放世界吗？
🧭 多模态 Agent 3D 世界构建
AI Thrust, HKUST(GZ) · TEG AIPD, Tencent
提出 VibeWorlding 基准与训练框架，用多模态 RL 让开源 MLLM 在 3D 开放世界构建任务上超越闭源前沿模型。
📌 工作参考价值（4 点）
- rubric-based verifier 可迁移到 agent 闭环评估：把奖励分解为“可行性”和“意图满足”两类维度，用规则检测器（如碰撞检测）和 LLM 评分结合，能低成本扩展为 RL reward service，适合需要自动化评估长轨迹 agent 的场景。
- MCP 工具化沙箱：将检索、编辑、渲染等异构工具统一为 MCP 接口，方便 agent 调用并与 RL 训练环境解耦；可直接复用到商品图片生成、页面布局、活动落地页等 agent 工作流。
- 反向合成数据降低标注成本：人工构建少量种子世界，再反向生成大量多样化用户查询，可迁移到电商场景生成“意图→页面/推荐”训练对，减少人工标注。
- RL post-training 可针对性突破能力瓶颈：当闭环评估显示模型在特定环节（如编辑）弱，针对性 RL 训练能让开源模型超越闭源前沿，提示针对业务闭环的 agent RL 值得投入。
日本超长视频叙事演进与文化细微理解基准 NARU
🧭 多模态 LLM 长视频叙事与文化评估
The University of Tokyo · Kyushu University · Macau University of Science and Technology
含 1,481 个问题，覆盖 155 个视频 146.8 小时，评估长视频叙事与文化理解，揭示 MLLM 明显不足
📌 工作参考价值（4 点）
- 借鉴层级记忆式标注管线：将原始日志（如用户多轮会话、观看序列）按“事件-叙事-文化”多粒度结构化，再生成评测或训练样本，有助于明确模型需要在哪一层推理。
- 借鉴迭代式 shortcut removal：构建内部评测集时，反复剔除仅靠表面统计或常见捷径就能回答的问题，确保考察真实深层理解，可用于生成式推荐的解释质量、对话式推荐题目的校验。
- 对非英语/高语境内容单独设立评估维度：跨境电商或出海推荐中，模型需理解本地文化细微差别，可按文化维度构建测试集，避免英语中心偏差影响线上效果。
- 长程依赖建模短板提示：在长 session 或长期用户兴趣建模中，考虑引入层级记忆/摘要机制，而不是单纯堆叠长上下文。
NeuPAT：面向语言保持多模态大模型的神经元可塑性分配调优
🧭 多模态大模型 · 神经元可塑性约束
Fudan University · Zhongguancun Academy · Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Tianjin University
用神经元级更新约束保护语言敏感神经元，在多模态微调中恢复94.5%语言能力下降且保持多模态性能
📌 工作参考价值（4 点）
- 在微调多模态推荐/搜索模型时，可用小规模 probe 任务识别对文本理解敏感的神经元/参数，对其实施低学习率或正则，防止原 LLM 的文本召回/相关性下降。
- NeuPAT 的 neuron-wise 约束是轻量、架构无关的，可叠加在 LoRA/Adapter 等参数高效微调方案上，适合线上迭代：只增加少量探测成本，避免多模态训练后语义排序能力退化。
- 类似思想可用于多任务训练（如商品文本描述生成 + 图像理解）：区分不同任务敏感神经元群体，动态分配更新幅度，缓解跨任务遗忘。
- 若业务以纯文本 LLM 为底座接入多模态商品数据，建议在指令微调阶段加入语言能力回归目标或约束，保持语言泛化能力，防止线上 query 理解/改写质量下降。
基于多智能体法医推理的可泛化深度伪造视频检测
🧭 多智体协同法医推理
Beijing Jiaotong University · Tsinghua University · Ant Group
提出多专家Agent分别分析纹理、光照、运动、物理伪造线索，以小型开源MLLM超越GPT和Gemini
📌 工作参考价值（4 点）
- 多专家Agent分工架构：可借鉴到推荐系统的多信号融合——设计多个Agent分别专注商品视觉、文本描述、用户行为等不同特征，再由协调Agent融合决策，提升系统鲁棒性。
- Judge Agent的冲突解决机制：类似推荐的多路召回融合排序，可设计一个元Agent来处理各专家意见分歧，结合置信度加权或投票策略，提高最终决策质量。
- 小型开源MLLM的多Agent组合超越单一大模型：在资源受限的业务场景（如移动端推荐助手），可通过多个小模型协同达到不逊色于闭源大模型的性能，降低推理成本。
- 自动化标注流水线：多模型聚合与冲突解决自动生成细粒度图文注释，可用于电商评论分析、商品描述增强等任务，提升数据标注效率。
视觉 Token 剪枝的 AI4AI 框架
🧭 LLM 驱动的视觉 Token 剪枝策略自动设计
Xi'an Jiaotong University · Ningbo University of Technology · North China University of Technology · MiLM Plus, Xiaomi Inc. · Hong Kong University of Science and Technology
提出 AutoPrune，用 LLM 驱动 TPDSL 自动设计视觉 token 剪枝策略，免训练，删 94.4% token 仍保持 99% 以上性能
📌 工作参考价值（4 点）
- 多模态推理降本：电商商品图/视频理解、广告创意理解等多模态服务中，可借鉴 AutoPrune 的训练-free 剪枝思路，用领域特定语言描述预算控制、token 打分、选择约束，快速替代手工规则，降低 prefill 延迟。
- 残差式策略搜索：不从头搜索，而是在强基础策略上做残差修改，缩小搜索空间并让 LLM 聚焦关键组件；该思想可迁移到推荐系统策略搜索、特征选择、排序规则自动调优。
- 可复用原子库：将剪枝/召回/过滤等策略拆成可组合原子操作，跨模型和场景迁移；业务中可构建相似 DSL 与原子库，降低策略迭代成本。
- 推理加速指标参考：删 94.4% 视觉 token 仍保持 99% 性能，FLOPs 降 9.9×，prefill 延迟降 6.4×；对低延迟电商搜索/推荐中的多模态 LLM 服务有直接工程参考价值。
PaDoc：布局引导的并行解码文档解析
🧭 多模态文档解析 · 并行解码加速
Tsinghua University · Wechat Vision, Tencent
将文档布局建模为分支结构，通过前缀条件分解实现并行解码，将自回归深度缩减至最长分支，突破速度瓶颈
📌 工作参考价值（4 点）
- 生成式推荐需同时产多条文案/建议时，可借鉴分支并行解码：在共享用户/上下文表示上并发生成多序列，降低端到端延迟。
- 训练阶段使用打包变长祖先注意力（Packed Variable-Length Ancestor Attention）保持多分支可见性，该技巧可迁移到部分自回归多序列生成模型的训练。
- 推理部署上，借助 vLLM 共享前缀缓存和并发请求能力优化批量生成：重用长期兴趣等公共前缀，减少重复计算，提升吞吐并降低 P95 延迟。
- 电商详情页解析等离线图文理解任务，PaDoc 的并行解码可大幅提升单卡吞吐，适合大批量商品图片结构化处理，可集成至内容审核、智能排版等流程。
UEmbed：统一稀疏与密集的多模态解码器嵌入模型
🧭 多模态嵌入 · 统一稀疏密集检索 ★ 深度解读
CASIA · Alibaba Group · University of Chinese Academy of Sciences · Yale University
首次在纯因果解码器架构中同时产出稀疏词汇表示与密集语义向量，统一多模态检索。
📌 工作参考价值（4 点）
- 稀疏-密集统一表示：单一 MLLM 前向可同时获得稀疏词袋与密集向量，无需额外模型，可直接用于召回-排序联合优化，降低延迟。
- 因果模型兼容 vLLM 等高效推理框架：由于保持纯因果注意力，稀疏向量的生成可直接融入现有自回归服务栈，降低工程迁移成本。
- k-means 词汇划分与 FLOPS 正则：该方法中的词表分割策略可迁移至电商商品标题或描述的关键词扩展，提升查询与商品的词汇匹配粒度；FLOPS 正则保证稀疏激活可控，避免膨胀。
- Agent 搜索成本节约：在 deep research 类场景中，稀疏表示让 Agent 用更少的搜索轮次达成相近召回，直接降低工具调用开销，可参考用于导购 Agent 的关键词检索。
FiRE：细粒度上下文学习增强多模态大模型复杂图像检索
🧭 细粒度上下文学习 · 图像检索
Shandong University · City University of Hong Kong · Harbin Institute of Technology (Shenzhen) · Shandong Jianzhu University
提出自动化细粒度五元组数据集构建与两阶段解耦微调，显著提升MLLM零样本复杂图像检索性能
📌 工作参考价值（4 点）
- 自动化细粒度比对数据构建：通过流水线生成包含图像、细粒度描述、修改文本的五元组，可复用于电商搜索中构建“参考图 + 修改指令 → 目标商品”的训练数据，改善组合查询效果。
- 两阶段解耦微调思路：先让模型学习细粒度上下文推理（理解修改意图），再对齐查询与目标表示，这一策略可迁移到多模态搜索、对话式推荐等任务，先理解用户意图再优化匹配。
- 轻量级MLLM也能实现强检索：文中用小型骨干即超越大模型，说明在业务中可通过精细的数据与微调设计，避免依赖超大模型，降低推理成本。
- 零样本能力直接用于检索重排：训练后的模型可直接计算查询与候选图像相似度，适用于搜索结果重排序，尤其在长尾查询或组合查询场景下提升相关性。
RecoReward：推荐引导的多模态描述生成
🧭 生成式推荐 · 训练-推理解耦 ★ 深度解读
南开大学 · 快手科技 · 中国科学院信息工程研究所 · 中国科学院大学
利用行为反馈训练内容生成，实现推荐感知的共享描述，推理时无用户成本
📌 工作参考价值（4 点）
- 可复用思路：在电商或内容推荐中，用已部署的双塔模型输出作为奖励信号，微调MLLM来生成对下游召回更友好的 item 描述，训练时接入用户行为信号，推理时完全剥离，保持线上低延迟。
- RAS 的减法设计值得借鉴：用非目标用户的平均亲和度作为背景项，从目标用户打分中减去，能提升描述的区分度，让生成的语义向量更有选择性，而非放大普适偏好。
- 工程实现细节：RL 阶段使用 GRPO+DAPO 组合，格式奖励保证输出可解析，语义奖励驱动排序，这种混合奖励可以避险 reward hacking；在线上的直播推荐 A/B 测试中，有效用户渗透率与分发宽度均有正向提升，说明方案具备线上可行性。
- 对于冷启动或内容重复使用的场景，该方法提供了一种训练一次、反复使用的范式，避免了为每个用户重复生成描述的推理开销，可直接桥接至双塔召回架构。
基于MLLM概念生成与语义传播的无监督多模态意图发现
🧭 多模态意图发现 · MLLM语义引导
The Chinese University of Hong Kong, Shenzhen · Tsinghua University
用MLLM生成高层语义概念并通过图传播产生伪标签，实现可解释的无监督多模态意图聚类。
📌 工作参考价值（4 点）
- 电商对话/客服场景下，可利用 MLLM 对比邻近簇生成可解释的意图标签（如“退货咨询”、“物流查询”），替代人工标注，适用于无监督意图发现冷启动。
- 语义加权图传播策略可迁移到用户意图或 item 聚类的伪标签细化，结合局部结构一致性提升聚类质量。
- 代表样本选择 + 对比推理的思路可用于构建主动学习或弱监督样本筛选，优先标注信息量大的对话。
- 若有用户点击/浏览等多模态行为数据，可借鉴多模态融合与概念语义传播，实现可解释的用户意图聚类。
多样化意图多轮时尚图像检索基准与 MLLM-VLP 对齐框架
🧭 多轮多意图图像检索基准与 MLLM-VLP 对齐框架 ★ 深度解读
Southern University of Science and Technology · Harbin Institute of Technology (Shenzhen) · Shandong University · Shenzhen Loop Area Institute
提出支持多意图切换与回溯的多轮时尚检索基准 DIM-Fashion，并设计三阶段 MLLM-VLP 框架 FashionAM 避免文本化瓶颈
📌 工作参考价值（4 点）
- 多意图多轮交互建模：电商搜索中用户常混合文字、图片、草图等查询，且可能突然“回到之前某轮结果再修改”，可借鉴 DIM-Fashion 的会话构造方式，合成带 rollback 的多样化多轮训练数据，提升对话式检索鲁棒性。
- 避免文本化瓶颈：现有 LLM 检索多将多模态查询转为文本再检索，丢失视觉细节。FashionAM 直接用可学习 query tokens 将多模态上下文对齐到冻结的商品图像嵌入空间，可迁移到以图搜图、多模态商品搜索等任务。
- 三阶段训练管线：Stage1 背景去除对齐使图库编码器关注物品本体；Stage2 用 MLLM 生成的背景去除图描述进行图像-文本对齐，仅微调最后两层，保持物品中心表示。该策略可低成本适配 CLIP 类模型到电商商品检索，降低背景干扰。
- 多源数据桥接：通过余弦相似度桥接不同数据集中的视觉相似物品，构造跨任务多轮 pair，可用于推荐系统中冷启动 item 的跨场景数据扩充或多任务统一建模。
多模态大语言模型的计算幽默：方法、数据集、评估与挑战
🧭 多模态LLM与幽默计算
Case Western Reserve University · The Hong Kong Polytechnic University
全面综述多模态LLM在视觉幽默理解与生成上的能力层级、基准与建模范式，揭示评估捷径等核心挑战
📌 工作参考价值（4 点）
- 电商广告创意中可借鉴多模态幽默识别能力，用于预筛选或评估营销素材是否包含不当或低效的幽默元素，降低品牌风险
- 用户生成内容（UGC）审核时可结合证据推理模块，提升对梗图、讽刺内容的理解准确率，减少误判
- 推送消息文案优化中可尝试可控幽默生成，但需注意安全性与文化适配，可先构建内部 benchmark 测试
- 构建幽默相关的评测集时需避免捷径特征（如文字重叠），确保模型学到真正的图文推理而非表面模式
HOMIE：多模态智能增强的人-物中心视频个性化
🧭 人-物交互视频个性化生成
Hong Kong University of Science and Technology
统一处理 inter/intra-subject 的视频个性化框架，通过 MLLM 全局引导注意力提升人-物交互保真度
📌 工作参考价值（4 点）
- 视频个性化在电商中可用于虚拟试穿或商品展示，该工作对人-物交互的可控生成有直接价值，尤其保持主体身份的同时实现合理交互。
- MLLM 融入自注意力的全局多模态引导方式可借鉴：在推荐系统中融合多模态特征时，可尝试在注意力层注入预训练多模态大模型的高层语义特征，增强物品与用户行为的对齐。
- 模态引用嵌入区分不同来源特征（如图像、文本、MLLM 特征），可迁移至多模态用户建模，显式编码不同类型行为序列的模态差异，提升特征融合质量。
- 对抽象概念（如品牌 logo）的自动关联方法，可用于商品属性与视觉风格的隐式绑定，增强生成式推荐中 semantic ID 的视觉化表达。
Symbal：检测模型生成图像描述中的系统性错位
🧭 多模态生成内容审计·系统性错位检测
Stanford University · HOPPR
利用现成基础模型双阶段审计 MLLM 生成标题的系统性错误，实现 63.8% 准确率，比基线提升近 4 倍
📌 工作参考价值（3 点）
- 可借鉴双阶段自动审计范式：先利用 CLIP 等现成模型聚类潜在错位模式，再用 LLM 总结为自然语言描述，用于电商商品图文一致性审计或广告文案质量检查，无需重新训练。
- SymbalBench 的构造思路可复现到电商场景：通过组合视觉特征和人为标注的错误模式，构建特定领域的系统性错误检测基准，加速业务多模态模型验收。
- 发现特定视觉特征（如黑色皮肤、医疗设备）与固定错误 caption 关联的统计方法，可迁移到推荐场景中检测特定用户群或商品类目的系统性偏差。
Groc-PO：面向多模态LLM的显式接地偏好优化
🧭 多模态LLM对齐 · 分阶段接地偏好优化
University of Science and Technology of China · Xiaomi Corporation · State Key Laboratory of Communication Content Cognition, People's Daily Online
通过在多模态推理的物体、上下文和推理阶段引入显式偏好监督，抑制错误传播并减少幻觉
📌 工作参考价值（4 点）
- 在商品图文描述生成、多模态问答等场景中，可借鉴分阶段偏好优化思想：分别对物体识别、上下文理解和推理结论设计偏好对，在训练时注入更细粒度的真实监督，从而减少事实错误。
- 构建偏好数据集时，可采用类似GCPD的三阶段结构（Object Grounding, Contextual Grounding, Grounded Reasoning），强制模型在生成中间步骤时保持与视觉证据的紧密一致性，这对需要多步推理的电商导购Agent尤其关键。
- 工程实现上，可直接在流行的DPO训练框架（如trl）中添加按阶段分组的损失项，只需将偏好对按阶段标记，然后联合优化，无需大幅改动训练管线。
- 该显式接地监督思路可迁移至搜索推荐中的多模态理解模块（如商品图、视频理解），提升对长尾商品或复杂组合的识别精度，最终改善推荐理由或搜索摘要的真实性。
Switch-Reasoner：强化学习驱动多模态LLM自适应选择推理模式
🧭 自适应推理模式选择 · 强化学习
Wuhan University · Xiaomi Inc · Wuhan University of Technology · Nanyang Technological University · The Hong Kong University of Science and Technology
通过GRPO与双层正则化，让多模态LLM学会何时直接回答、何时显式推理，在异构任务中兼顾精度与效率
📌 工作参考价值（4 点）
- Agent 自适应开销控制：在搜索推荐 Agent 中，对简单用户意图直接调用推荐 API，复杂意图才触发链式推理，降低 Token 与延迟成本。
- RL 训练稳定性借鉴：双级正则（全局模式占比约束 + 样本级收益监督）可防止策略坍缩为“始终详细解释”或“始终简单回复”，适用于对话推荐策略的 RL 微调。
- 虚拟工具抽象：将“思考”视为工具调用，可与现有的检索、推荐、排序等工具统一管理，便于在 Agent 框架中插拔式扩展推理能力。
- 推理效率优化：在多任务推荐系统（如商品描述生成、问答推荐）中，可训练模型判断问题难度，仅对必要样本进行深层推理，显著节省推理算力。
MentalThink：在心理SVG世界中塑造思维
🧭 多模态视觉推理 · SVG中间表示
Beijing University of Posts and Telecommunications · University of Chinese Academy of Sciences · StepFun
让多模态大模型生成并执行SVG代码作为中间视觉表示，实现可验证的空间推理。
📌 工作参考价值（4 点）
- 商品空间关系理解：用 SVG 生成商品轮廓与布局，辅助多模态模型理解复杂场景（如家具搭配、服装层次），提升搜索与推荐的准确性。
- Agent 多步规划：借鉴“心理图像”机制，在 Agent 执行动作前生成场景 SVG 草图，用于自我反思和步骤优化，提高任务成功率。
- 广告创意迭代：利用 SVG 的可编辑性，快速生成和调整广告图片的空间构图，结合 RL 迭代精炼，降低人工设计成本。
- 训练范式复用：SFT 对齐结构化语法 + 多轮 RL 迭代修正是可迁移的通用训练策略，适合需要精确控制输出格式（如图形代码）的生成式推荐场景。
ADAPT：通过注意力动态对齐与偏好调优实现可信多模态大模型
🧭 MLLM幻觉缓解 · 跨注意力动态干预
University of Science and Technology of China · Huawei Technologies Ltd. · State Key Laboratory of Communication Content Cognition, People's Daily Online
从文本-图像跨注意力退化中检测并纠正幻觉，结合视觉锚点与偏好对齐，将主流模型幻觉率降低40%–60%
📌 工作参考价值（4 点）
- 生成式推荐中的视觉锚定：在商品文案、图文搭配生成时，可借鉴ADAPT的早期解码提取视觉锚点，约束后续生成对图像关键区域保持高注意力，减少描述与图像不符的幻觉。
- 在线注意力漂移检测与修正：在Agent多模态交互（如视觉问答、商品搜索）中，可监控跨注意力分布的熵或偏移量，实时触发重聚焦或重新解码，提升回复的视觉忠诚度。
- 偏好数据构造新思路：利用注意力质量作为对比信号，自动筛选视觉grounding好的响应作为正例，无需人工标注即可构造DPO偏好对，低成本提升模型对齐效果。
- 模型架构无关的轻量插件：该方法无需修改原模型结构，只改变推理时的注意力使用与少量微调，可快速集成到现有MLLM pipeline中，适合业务快速验证与迭代。
CoMet：上下文与多重性分解的多模态不确定性估计
🧭 多模态大模型不确定性估计
Princeton University
将多模态不确定性分解为上下文相关项与多重性相关项，用轻量级后置模块高效估计，无需重复生成
📌 工作参考价值（4 点）
- 电商推荐场景下的多模态模型（如图文推荐、短视频描述）可采用不确定性分解思路，区分任务固有歧义和多种可能答案的模糊性，辅助在线决策。
- 轻量级后置模块直接复用已有隐藏表征，无需多次采样或完整生成，适合推荐系统对低延迟的要求。
- 可用于多模态生成内容的幻觉检测，例如自动过滤不可信的图文推荐理由或评论，提升用户体验。
- Agent 在调用 MLLM 时可使用 CoMet 估计置信度，实现自适应动作执行或请求人工确认，增强系统鲁棒性。
非对称互变分学习实现多模态连续推理
🧭 连续潜变量推理 · 训练-推理校准
Shanghai Jiao Tong University · Ant Group
提出AMVL框架，通过双向KL散度校准缓解训练-推理不匹配，提升连续潜变量推理稳定性
📌 工作参考价值（4 点）
- 电商推荐中，生成式item编码（如Semantic ID）常依赖答案信息（下一item）进行连续潜变量建模，AMVL的双向KL正则可防止后验泄漏未来信息，提升在线推理质量。
- 多模态Agent决策时，若使用连续潜变量规划动作，逆KL惩罚后验可避免利用未来信息，使规划模型更贴近真实推理环境。
- 工程上，双向KL仅增加一个正则项，可简便集成到现有VAE推荐框架，适用于对话式推荐、动态创意生成等交互生成任务。
- 论文对“先验污染”的理论分析以及训练-推理不匹配的量化，为推荐系统中teacher-forcing训练策略的改进提供了新视角。
一次前向胜过两次前向：InnerZoom实现准确高效的GUI定位
🧭 单次前向内部缩放引导解码提升GUI定位
Tongyi - MAI
单次前向内部缩放桥接跨层证据，超越需两次前向的ZoomIn，同时降延迟降计算量
📌 工作参考价值（4 点）
- 构建电商自动操作Agent时，可直接用InnerZoom替代ZoomIn，只需一次前向即可获得高精度UI元素定位，端到端延迟降低30%+，适合在线或低资源环境。
- 该方法的核心思想“跨层证据桥接”可迁移到推荐系统的生成式推荐中：将中间层强语义特征显式保留并注入后续解码步骤，提升生成式ID或序列的准确率。
- 实现上，InnerZoom无需修改基础MLLM架构，仅需设计轻量证据提取与精炼模块，训练成本低，可在现有视觉-语言模型上微调即用，适合需要快速落地GUI自动化场景。
- 对于多模态商品图片理解任务，若需定位商品区域或关键属性位置，可借鉴内部缩放思路，将区域感知特征跨层传递，增强定位或属性预测的精度。
利用自主经验探索与后见经验提升GUI代理任务规划能力
🧭 GUI Agent · 经验回放与任务规划
Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
提出PEEU方法，通过自主环境探索与后见经验构造高层次训练数据，显著提升小型MLLM的规划与跨网站泛化能力
📌 工作参考价值（4 点）
- 后见经验构造训练数据：将失败/成功的交互轨迹反向转化为严格对齐的规划级训练样本，可借鉴到电商Agent的购物任务拆解中，用用户实际浏览-购买路径生成高质量指令数据。
- 自主环境探索：让Agent在生产前自动探索网站结构并积累操作经验，类似推荐系统中的冷启动探索，适合构建电商网页的预训练经验库，减少人工标注。
- 分层任务分解视角：TDHAF框架揭示高层次任务训练比原子技能训练更利于分布外泛化，提示在构建购物助手时应优先训练完整任务流（如“比价后下单”），而非单个点击指令。
- 小型MLLM潜力：7B模型超越32B模型，证明通过数据策略可压缩模型成本，适合边缘部署的电商隐私保护场景。
V-Zero：无需答案标签的在线策略蒸馏与对比证据门控细粒度视觉推理框架
🧭 视觉推理 · 无监督蒸馏
Sichuan University · Xi'an Jiaotong University · TeleAI of China Telecom · Peking University
将在线策略蒸馏重新解释为负例无关的stop-gradient对齐，并提出对比证据门控解决轨迹级判别缺失，显著提升细粒度视觉推理效率
📌 工作参考价值（4 点）
- 在线策略蒸馏（OPD）替代标注：在商品图文理解、多模态推荐 Agent 中，可借鉴 OPD 让 MLLM 从自身生成的推理轨迹中学习，彻底摆脱人工标注答案标签的依赖，大幅降低标注成本。
- 对比证据门控机制：用问题相关的区域裁剪（正例）与无关区域（负例）构成视觉对比对，自动评估推理轨迹质量并门控 token 级蒸馏。可用于电商详情页细粒度问答、广告图文一致性校验等场景，提升模型对局部证据的利用能力。
- 训练效率跃升：V-Zero 比 SFT 方法快 5 倍以上，比 RL 基线快 10 倍以上，直接节省计算资源。在搜索推荐 Agent 的视觉子任务训练中，可优先考虑此类免探索、免标注的高效蒸馏方案。
- 与 Agent 框架的集成：方法天然适合 Agent 的多步推理，可将对比证据门控作为内部信号，指导 Agent 在搜索、推荐过程中更精准地聚焦可解释的视觉证据，并实现自我改进。
IV-CoT：隐式视觉思维链实现结构感知的文本到图像生成
🧭 多模态生成 · 隐式视觉链式推理
NLPR, Institute of Automation, Chinese Academy of Sciences · Ant Group · The University of Hong Kong
提出隐式视觉思维链推理，将条件查询分解为潜层结构规划与语义渲染级联，在单次前向中提升生成图像的结构遵循能力。
📌 工作参考价值（4 点）
- 主要学术贡献，但提供的结构-语义分解式生成框架可启发电商场景下的可控商品图生成：先用隐式查询规划物品属性、数量、空间关系，再渲染纹理细节，提升复杂广告素材的指令遵循度。
- 训练时仅用草图作为结构监督、推理时完全隐式的设计，可用于业务中需要轻量级中间控制的多模态生成任务，避免增加在线时延。
- 对于搜索推荐系统中 Agent 驱动的图文混合输出，借鉴这种级联潜空间规划思路，可能改善多约束条件下的生成一致性。
- 整体而言，方法面向通用 T2I 结构控制，直接迁移到推荐检索场景的路径较窄，更多是提供一种多模态生成质量优化的技术储备。
MemGUI-Agent：基于主动上下文管理的端到端长时域移动GUI智能体
🧭 Agent 上下文管理优化
浙江大学 · 快手科技
提出 Context-as-Action，将上下文管理作为一级动作压缩历史，让 8B 模型在长时域移动任务上超越更大规模模型
📌 工作参考价值（4 点）
- 长时域任务中引入“折叠历史”机制：在电商客服、导购 Agent 等多轮交互场景，可将对话历史分为“动作摘要+状态摘要+近期细节”三字段，关键信息不丢失且上下文长度可控，避免 ReAct 模式下的 token 爆炸与事实稀释。
- 将上下文管理作为策略动作统一训练：在推荐对话或任务型 Agent 中，把“忘记/压缩/总结”等上下文操作与业务动作（如查询商品、推券）纳入同一策略模块，端到端 SFT 可让模型学会主动压缩冗余信息，提升长会话稳定性。
- 构造结构化动作-上下文标注数据：可借鉴 MemGUI-3K 构建思路，为 Agent 交互轨迹增补“折叠/保留”等上下文管理标注，用于微调小尺寸模型，使其在长任务中推理成本更低、窗口利用率更高。
- 小模型通过上下文管理超越大模型零样本：该工作证明 8B 模型通过主动上下文管理可超越 235B 模型的零样本性能，适合资源受限的电商场景（如端侧智能助手）低成本部署。
MobileForge：移动 GUI 智能体的无标注适应与分层反馈策略优化
🧭 移动 GUI Agent · 无标注适应与策略优化
Zhejiang University · Kuaishou Technology · Tsinghua University
提出无标注适应框架 MobileForge，通过分层反馈引导的步骤级 GRPO 将开源 MLLM 提升至接近闭源移动 GUI 智能体水平
📌 工作参考价值（4 点）
- 无标注任务生成与课程挖掘：通过探索真实 App 自动生成多样化任务，并按难度课程化，可在电商搜索/推荐 Agent 的模拟环境搭建中复用，降低人工构造训练数据成本。
- 步骤级过程反馈驱动优化：HiFPO 将 rollout 结果、步骤级过程信号和纠正性提示联合用于策略更新，可借鉴到对话式推荐/导购 Agent 的强化学习训练，利用每轮对话的过程质量信号替代粗粒度成功/失败奖赏。
- GRPO 的 hint-contextualized 扩展：将纠正提示作为上下文增强 GRPO 更新，可在 LLM 驱动的推荐解释生成或查询改写任务中，使用用户反馈（如点击、修改查询）作为 contextual hint 进行在线策略改进。
- 跨领域迁移能力验证：在 AndroidWorld 适应后在 MobileWorld 仍有 41% 成功率，提示无标注适应可泛化到新 App 环境，对在多个电商平台或不同垂直领域的 Agent 迁移有一定参考价值。
超越标量距离：用冻结多模态大模型的语义属性梯度训练视觉嵌入
🧭 利用 MLLM 提供属性级监督改善视觉嵌入
University of Illinois Urbana-Champaign
将冻结 MLLM 的属性感知预测转化为细粒度梯度，替代传统的类别标量监督，提升细粒度零样本检索
📌 工作参考价值（4 点）
- 电商商品检索中，可用多模态 LLM 生成商品属性描述，通过 GRPO 将属性感知信号注入视觉编码器，使嵌入对细微款式差异更敏感，无需额外推理成本。
- 注意力蒸馏 loss 可将 LLM 关注的属性 token 对齐到图像嵌入，提升模型对关键属性的聚焦能力，适用于细粒度商品识别和冷启动场景。
- 冻结大模型仅充当训练时的“属性教师”，线上部署时丢弃，保持轻量级编码器的推理效率，适合高流量推荐系统。
- 该方法不依赖类别标签即可实现属性级监督，可迁移到长尾或零样本推荐场景，利用 LLM 的开放知识增强检索能力。
迷你重排序器：通过视觉缓存复用与交互稀疏性实现高效多模态重排序
🧭 多模态重排序 · 视觉缓存复用与稀疏交互
Eastern Institute of Technology, Ningbo · Netmind.ai · Munich Center for Machine Learning, LMU
通过视觉优先格式、提前退出、交互带及token剪枝，将单查询多模态重排序时间降至原来的不到1%，同时保持96%以上性能。
📌 工作参考价值（4 点）
- 视觉优先的 prefix 缓存复用：在电商图片搜索重排中，将图片（视觉 token）放在输入序列前面，可利用 prefix caching 复用绝大多数计算，仅替换文本 query，大幅降低 KV cache 重复生成开销。
- 提前退出与交互限制：对于候选量大的商品重排序，可在模型浅层插入相关性头，仅对 top-K 候选执行深层交互，或只在少数层启用跨图文注意力，有效平衡精度与延迟。
- 视觉 token 剪枝：利用 embedder 引导的 token 剪枝，在图文对比前预先剔除冗余视觉信息，减少输入长度，适合移动端或高吞吐的轻量级多模态重排场景。
- 工程融合思路：三项优化（early exit + interaction band + token pruning）可叠加使用，根据业务延迟预算灵活配置，例如先剪枝再浅层打分，最后仅对少量候选进行完整多模态交互。
M3Exam：真实用户-智能体交互的多模态记忆基准测试
🧭 多模态长期记忆评估与模态感知检索 ★ 深度解读
The Hong Kong University of Science and Technology · Beijing University of Chemical Technology · Harbin Institute of Technology (Shenzhen) · Beijing Institute of Technology (Zhuhai) · Tencent Hy
首个多会话多模态记忆基准M3Exam及模态感知方法M3Proctor，按需使用原始视觉提升13%准确率且token减少70%以上
📌 工作参考价值（4 点）
- 模态感知级联检索：电商Agent可借鉴M3Proctor的查询模态偏向检测，先用文本替身回答，仅在需要时加载图片/文档，大幅降低多模态推理token成本。
- 记忆索引优化：将图片转为caption、文档转为digest作为文本替代品，并附加模态标签，结合偏向重排序提升跨模态检索精度，适用于多模态商品知识库的RAG。
- 长会话记忆摘要：通过紧凑的session summary维持跨会话线索，帮助电商智能客服在多轮对话中保持用户长期记忆，避免上下文断裂。
- 隐式意图评估设计：引入Implicit Inference和Thematic Reasoning题型，可移植到推荐系统长期用户理解的评测中，检验模型从非明确信息推断偏好与状态的能力。
Robust-U1：MLLMs能否自恢复损坏视觉内容以实现鲁棒理解？
🧭 多模态大模型 · 视觉自恢复 · 鲁棒性增强
The Hong Kong University of Science and Technology, Hong Kong · Northwestern Polytechnical University, Xi’an, China · Northeastern University, Shenyang, China · Nanjing University of Science and Technology, Nanjing, China · The Hong Kong University of Science and Technology (Guangzhou), Guangzhou, China
赋予多模态大模型显式视觉自恢复能力，通过SFT+RL双奖励训练显著提升损坏图像下的鲁棒性。
📌 工作参考价值（4 点）
- 商品图像鲁棒理解：电商场景中用户上传图片常有模糊、遮挡、水印等损坏，可借鉴Robust-U1的自恢复模块进行预处理，提升后续商品识别或属性抽取的鲁棒性。
- 多模态Agent的视觉容错：Agent接收实时视频流或截屏时可能出现压缩伪影或抖动，采用修复-推理双路径（同时输入原图和恢复图）比单纯去噪更可靠，避免信息丢失。
- 训练范式可直接复用：用SFT打底 + RL双奖励（像素SSIM保证保真度，语义CLIP相似度保证高层一致性）的方法比直接微调生成模型更稳定，适合在业务数据上微调小规模修复模型。
- 质量感知的推理增强：论文证明修复质量（SSIM）与下游VQA分数高度相关，业务中可通过监控图像质量指标来主动触发修复流程或调整推理置信度。
从视频中学习几何表示赋予多模态大模型空间智能
🧭 多模态大模型空间推理 · 视频几何表示
University of California, Davis
GeoVR框架通过2D视频蒸馏3D几何知识，重塑MLLM内部表示以增强空间感知
📌 工作参考价值（4 点）
- 利用预训练3D模型蒸馏，无需3D数据：对于电商中的3D商品展示、虚拟试穿等场景，可借鉴GeoVR的蒸馏范式，通过现有3D模型（如DUSt3R）从商品视频中提取几何知识，注入2D视觉模型，避免昂贵3D标注。
- 多目标几何约束增强空间一致性：四个互补目标（相机位姿、深度图、公制尺度、多尺度特征对齐）可迁移到物品视频理解任务，例如从商品旋转视频中联合优化，提升尺寸估算、空间关系推理的可靠性。
- 解耦微调策略，低成本提升现有模型：GeoVR仅微调视觉编码器，冻结LLM，这种做法可复用到推荐系统的视频理解组件中，在不大幅增加训练成本的前提下增强物品的空间表示。
- 为虚实融合场景提供基础：在AR购物、虚拟空间布局推荐等Agent任务中，空间智能是核心瓶颈，GeoVR的表示重组思路启发我们如何从大量2D交互视频中学习稳定的几何先验。
LoomVideo：5B 参数统一多模态视频生成与编辑的高效架构
🧭 多模态视频生成与编辑统一架构 ★ 深度解读
Peking University · Alibaba Group
用 MLLM + Deepstack 注入 + 零开销 Scale-and-Add 条件机制，在 5B 规模实现统一视频生成编辑并加速 5.41 倍
📌 工作参考价值（4 点）
- 用 MLLM 替代 T5 编码多模态输入：在电商商品视频生成或虚拟试穿中，可直接使用多模态大模型（如 Qwen3-VL）处理交错图文指令，而无需单独设计文本编码器，提升对商品属性、换装等复杂要求遵循能力。
- Scale-and-Add 零开销条件注入：避免在视频编辑时拼接源视频 token 导致序列翻倍、注意力计算平方增长。在需要融合历史帧或源视频的任务中（例如动态商品展示、视频重渲染），可直接将源视频潜变量按时间步缩放后加到目标潜变量，实现极速推理。
- Deepstack 多层特征注入：将 MLLM 每一层隐藏状态经 MLP 投影后作为 DiT 对应层的 cross-attention key/value，实现深层次语义对齐。这种设计可迁移到跨模态推荐或内容生成中，提升多模态条件遵循能力。
- 三阶段渐进训练 + RL 后训练：先低分辨率对齐 MLLM，再提分辨率引入重建/编辑，最后加入多参考图等多任务微调，并辅以 RL 优化人类偏好。该管线可借鉴用于训练电商场景的统一生成式模型，从单任务逐步扩展，稳定提升质量。
先想象再预测：交错潜空间视觉推理用于视频事件预测
🧭 多模态推理 · 潜空间视觉预测
Shanghai AI Laboratory · University of Science and Technology of China · City University of Hong Kong · Nanjing University · Fudan University
通过交错生成语言与连续视觉潜空间片段，保留细粒度动态线索，大幅提升视频MLLM的未来事件预测精度
📌 工作参考价值（4 点）
- 多模态推荐场景（如直播带货、短视频电商）中，对用户行为或交互序列的预测可借鉴潜空间视觉推理，避免过早文本化损失动态姿态、几何关系等细粒度信息。
- 生成式推荐或Agent规划可引入交替生成语言token与连续视觉潜状态的方式，提升对未来场景的连续预测能力；特别是商品搭配、虚拟试穿等任务，保留视觉中间态可能减少幻觉。
- 使用RL优化采样得到的潜空间轨迹（LA-DAPO），结合结果对比奖励和时间多样性奖励，可迁移到对话式Agent或多步推荐策略中，用来微调生成路径的质量。
- 训练数据筛选策略——“选择未来视觉线索对预测有帮助的样本”——可类比推荐中挖掘对用户意图跳转有强信号的交互片段，用于训练预测模型。
计算机使用代理在常见环境扰动下的鲁棒性基准与增强
🧭 计算机使用代理鲁棒性评估与增强 ★ 深度解读
TMLR Group, Hong Kong Baptist University · The University of Texas at Austin · Sydney AI Centre, The University of Sydney · Shanghai Artificial Intelligence Laboratory
提出AgentHijack基准量化常见干扰对GUI代理的影响，并设计集成onlooker与DA-GRPO的框架提升鲁棒性。
📌 工作参考价值（4 点）
- 在构建多步骤推荐或对话Agent时，可引入onlooker机制（行为总结与初始环境检查）以降低执行偏差；当出现非预期界面变化（如弹窗、网络错误）时，Agent能快速归因并回归主任务。
- DA-GRPO（数据增强的群体相对策略优化）通过在不同干扰环境下采样轨迹，提升策略对视觉干扰、意外操作的鲁棒性，类似电商推荐中应对布局变化、突发遮挡的挑战。
- 评估智能体时需涵盖真实环境中的常见扰动，不可仅依赖干净基准；可借鉴AgentHijack的9类可配置干扰设计，构建电商APP中的异常场景测试集（如弹窗、多app切换、网络波动）。
- 将行为总结文本作为历史上下文的一部分，帮助Agent聚焦长期目标而不被临时弹窗或误触内容带偏，这一设计可迁移到多轮推荐对话中，提升对中断和话题偏移的恢复能力。
FashionLens：面向多功能时尚图像检索的任务自适应学习
🧭 多模态时尚检索 · 任务自适应表示与采样 ★ 深度解读
Harbin Institute of Technology (Shenzhen) · City University of Hong Kong · Southern University of Science and Technology · Nanjing University · National University of Singapore
提出任务自适应学习框架，通过球面查询校准与梯度引导采样解决多任务检索中的特征干扰与优化失衡，性能全面领先。
📌 工作参考价值（4 点）
- 梯度引导自适应采样 (GGAS)：利用 [RET] token 的梯度范数目衡量任务实时难度，并用 EMA 平滑后结合数据集大小先验重新加权采样概率，可迁移至电商多任务模型（如同时优化点击率、转化率、互补推荐）以自动平衡高资源与高难度任务，避免小样本任务欠拟合。
- 球面查询校准器 (PGSQC)：通过信息瓶颈结构生成意图感知的适应提议，再使用自适应球面线性插值动态旋转查询表示，使同一模型能灵活适配相似、搭配、属性筛选等不同检索意图。可在生成式推荐的多场景召回中借鉴，用可学习的插值系数替代硬路由，减小特征冲突。
- 统一多模态指令框架：基于 MLLM 将图片、文本、视频、多图组合及修改文本等多样化查询输入纳入统一编码，并使用自然语言指令显式指定检索意图，为构建电商通用搜索或 Agent 工具调用提供了清晰模板，便于扩展到视频摘要、对话式搜索等复杂交互。
- 异构数据整合 Benchmark 构建：U-FIRE 通过人工设计指令模板将 15 个碎片化数据集标准化，并加入两个未见过的组合任务评估 OOD 泛化，可直接用于电商领域多任务模型的全方位测试与上线前的鲁棒性验证。
感知还是偏见：多模态大模型能否超越人格第一印象？
🧭 多模态大模型人格推理评估
The University of Tokyo · Shanda AI Research Tokyo · Dalian University of Technology
发现MLLM人格评分准确率与证据接地率严重脱节，51%正确评分非基于证据，提出接地人格推理基准揭示偏见差距。
📌 工作参考价值（4 点）
- 借鉴接地评估范式：在推荐或Agent用户建模中，不仅要评估预测准确率，还应强制模型提供行为证据，检查预测是否基于真实线索而非表面统计相关，避免模型学到虚假关联。
- 多智能体+人工验证数据构建：本文使用多智能体管道生成带时间戳行为观察和证据分析的数据集，可复用于电商评论分析或Agent行为理解的训练数据构建，确保证据对齐。
- 失败模式诊断指标：偏见率、虚构率、整合失败率等指标可直接迁移到推荐解释或Agent决策可解释性评估中，监控模型是否在“猜对答案却用错理由”，提升系统可信度。
- 接地型推理链设计：评分→推理→接地的链条可嵌入推荐理由生成或Agent的决策解释模块，要求模型关联具体行为证据，缓解幻觉和刻板印象。
Code-as-Room：基于 Agent 代码合成从俯视图生成 3D 房间
🧭 MLLM Agent 生成 3D 场景
Shanghai Artificial Intelligence Laboratory · Shanghai Innovation Institute · Southern University of Science and Technology · University of Warwick
提出一个 MLLM Agent 框架，通过结构化执行流水线从俯视图生成 Blender 代码来构建 3D 房间
📌 工作参考价值（3 点）
- 多阶段流水线 + 跨阶段记忆模块：将复杂生成任务拆解为解析、几何、材质、灯光等子阶段，并用记忆模块保持上下文一致，可借鉴到电商场景中自动生成商品布局或店铺装修，避免长流程遗忘。
- 代码作为可执行中间表示：用 Blender Python 脚本表示 3D 场景，具备可编辑性和确定性，类似思路可用于生成式推荐中，用代码描述推荐理由或布局，便于二次编辑与调试。
- 结构化执行 harness：为 Agent 设定明确的阶段输出 schema 和校验步骤，有效减少无限循环，可迁移到 Agent 业务系统中，提升稳定性与可控性。
见我所指：对齐视觉与语言表征实现视频细粒度对象理解
🧭 多模态对齐 · 细粒度视频对象理解
VCIP, CS, Nankai University · Tongyi Lab, Alibaba Group · NKIARI, Shenzhen Futian
提出SWIM，训练时用掩码监督对齐跨注意力图，推理仅用文本提示即可定位视频中用户指定的对象，超越视觉提示方法
📌 工作参考价值（4 点）
- 电商视频对象定位：在商品讲解或直播视频中，只需文本查询（如“左边红色的包”）即可精确框定对象，避免手工标注视觉提示，可直接集成到内容理解流水线。
- 跨模态注意力对齐训练 trick：发现属性词产生尖锐激活而名词分散，可借鉴对特定词类（如商品名词、属性）施加空间掩码监督，提升模型遵循细粒度指令的能力。
- NL-Refer 数据集构建范式：为每个对象掩膜配精确自然语言指代表达式，可复用至商品图像或视频标注，增强多模态模型的指代消歧能力。
- Agent 视觉定位模块：在多智体框架中，若 Agent 需根据用户模糊描述（如“右下角的红色鞋子”）操作界面或理解视频，可借鉴该对齐方法，仅凭文本提示即可定位，省去额外视觉提示开销。
PanoWorld：迈向360°全景世界的空间超感知
🧭 全景空间推理 · 多模态大模型
提出全景原生多模态大模型PanoWorld，以球形空间交叉注意力注入几何先验，在全景空间推理上大幅超越现有方法
📌 工作参考价值（4 点）
- 对于需要处理全景图像的多模态系统（如电商虚拟展厅或室内导航Agent），可借鉴PanoWorld的球形空间交叉注意力设计，避免简单投影分解带来的球形结构丢失，直接建模物体之间的连续空间关系。
- 论文提出的几何感知元数据构造流水线（语义锚定、球形定位、参考系变换、深度感知推理）能生成高质量空间指令数据，可用于微调面向电商场景的视觉语言模型，提升商品3D空间问答准确性。
- 在构建空间推理基准时，采用能力对齐的评估维度（如PanoSpace-Bench），能更细粒度诊断模型的空间理解短板，从业者可借鉴此类分项评测设计，针对Agent的空间感知模块进行定向优化。
- 对于需要全局感知的任务（如仓库机器人货架扫描、店铺全景巡检），全景原生理解模式相比多视图拼接在推理效率和空间一致性上更具优势，可直接应用于实时智能体决策。