SpatialBlock：通过合成积木堆叠问题增强 LVLM 空间智能
🧭 LVLM 空间智能 · 合成数据训练
KAIST · AITRICS
用 15k 合成积木堆叠数据训练 LVLM，显著提升 3D 空间推理并泛化到真实场景
📌 工作参考价值（4 点）
- 借鉴合成数据思路：当真实标注昂贵且有噪声时，用结构化合成任务训练模型专项能力。在电商场景可生成产品摆放/货架布局/包装堆叠等合成图像，低成本提升 LVLM 对商品空间关系的理解。
- 锚点式推理：通过 controlled color modulation 注入视觉线索，引导模型在复杂图像中关注关键区域。可用于商品图属性标注、广告创意布局评估等任务，降低对密集几何标注的依赖。
- 小规模高针对性数据集即可带来泛化：15k 合成数据就能提升真实空间任务，说明针对核心认知子任务的合成数据比大规模弱标注更高效，适合业务中快速验证新能力。
- 多目标训练：直接回答与 reasoning-based prediction 两种方式均可提升，可在业务 LLM 中同时保留直接输出和 CoT 解释输出，提升鲁棒性。
ViSAR：面向视觉文档问答的无训练自适应-k检索
🧭 视觉文档RAG·自适应k检索
INSA Lyon, CNRS, LIRIS UMR 5205 · EPITA Research Laboratory (LRE) · Lowit
在嵌入空间构造查询条件页面级相似度矩阵，动态决定检索页数，降低RAG延迟并保持或提升准确率
📌 工作参考价值（4 点）
- 可借鉴动态 top-k 思想：在电商/广告场景中，为商品详情页、广告落地页或用户评价做 RAG 时，不再固定召回条数，而是根据查询复杂度动态截断，能显著减少输入 LVLM 的 token 数和首字延迟。
- 利用 late-interaction 编码器产生的 page-level 相似度矩阵作为查询语义激活图：该方法无需训练，直接基于 embedding 空间的 MaxSim 等运算，可在现有向量检索链路上快速实现，适合业务侧低成本验证。
- 将相似度矩阵的统计结构（如激活分布、峰值集中度）作为检索质量信号，用于重排或决定是否触发多跳检索/补充上下文，类似于推荐中 uncertainty-aware 的截断策略。
- 论文结果显示自适应检索在多个编码器与 LVLM 组合下最高降低 58.7% 延迟且准确率不降，证明“检索质量感知的上下文裁剪”在视觉富文档问答中有效，对多模态商品理解、店铺资质审核等 RAG 任务有直接迁移价值。
同样的注意力，不同的真相：用Logit-Lens检测和缓解LVLM物体幻觉
🧭 多模态幻觉检测与缓解
University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Science · Hong Kong University of Science and Technology
发现物体幻觉并非视觉注意力不足，而是注意力区域无法解码为目标token，提出训练免的检测-缓解框架，取得SOTA。
📌 工作参考价值（4 点）
- 在电商图片描述生成或视觉问答中，可借鉴 Logit Lens 检验高注意力区域是否真正解码为目标商品token，快速定位幻觉来源，无需额外训练。
- 根据幻觉成因分类处理：对于视觉不确定性（相似物体混淆），通过屏蔽高注意力区域（HARM）强制模型重新聚焦；对于上下文先验（强共现偏见），采用视觉证据增强解码（VEED），提高生成可靠性。
- 训练免的 Detect-Mitigate 框架可以直接嵌入现有 LVLM 推理流程，低成本提升生成质量，对 Agent 中视觉模块的可信输出有实用价值。
- 注意力图可视化结合 token 解码一致性检查，可以作为一种离线诊断工具，用于发现商品描述生成中的常见幻觉模式，进而优化数据或 prompt。
从失败中学习：检索中心化思维链与难负样本驱动的统一多模态检索
🧭 多模态检索 · 检索中心化思维链
Glint Lab
提出UniME-R1，基于检索反馈生成思维链纠正嵌入器混淆，借助难负样本与强化学习提升检索
📌 工作参考价值（4 点）
- 检索反馈驱动的思维链：在推荐重排序阶段，可对初始召回结果生成解释性推理文本，放大易混淆 item 的细微差异，用于 query 改写或特征增强。
- 难负样本挖掘策略：有效模拟线上召回失败 case，尤其适用于构建对抗训练集，提升模型对相似商品/视频的判别力。
- 双模式嵌入器设计：直接检索与 CoT 增强检索双路并行，可在精排场景中作为混合表示，或用于多阶段漏斗中粗精排衔接。
- 检索导向强化学习：将对齐奖励直接定义在检索指标上，可迁移至推荐场景中，优化生成式推荐模型的最终曝光收益而非中间 token 似然。
多粒度自适应图证据的智能体多模态RAG
🧭 多模态长文档RAG · 图证据与智能体控制
Beijing Institute of Technology
基于证据图与在线预算控制的多粒度多模态RAG，在长文档QA中动态平衡证据覆盖与噪声
📌 工作参考价值（4 点）
- 多粒度证据图构建：将文档拆解为页面与元素节点，编码布局、阅读顺序、章节层级等结构关系，可迁移到商品详情页的复杂多模态信息检索，例如将商品主图、详情图、参数表、评论链接为图，提升问答或推荐理由生成时的证据定位
- 在线证据控制器与预算机制：按预算迭代激活、搜索、剪枝证据，避免固定Top-k导致的噪声或遗漏。电商场景中可将此法用于动态组装推荐解释/导购上下文的证据片段，在有限令牌内提升说服力
- 多模态证据渲染为结构化输入：将文字、表格、图片等证据统一格式化后馈入大视觉语言模型，启发电商推理时可把商品图文、参数、问答截图等异构信息规范渲染，增强模型理解一致性
- 证据覆盖与噪声的显式权衡：通过预算-性能曲线分析最佳工作点，推荐系统面对长商品详情、长用户评论时，可借此思路为LLM推理设定预算、平衡信息量与推理成本
仅图像扰动的跨模态提示注入攻击大视觉语言模型
🧭 多模态模型安全与对抗攻击
Xidian University
首次实现仅通过图像扰动同时操控LVLM对视觉和文本输入的跨模态提示注入
📌 工作参考价值（4 点）
- 用于多模态推荐系统安全性测试：可借鉴跨模态攻击思路，验证模型是否容易被图像扰动误导，影响图文推荐的一致性。
- 扰动预算分配策略（距离语义区域越远，扰动越小）可用于视觉模型可解释性分析或对抗训练，提升推荐模型对噪声的鲁棒性。
- 层选择揭示多模态融合发生在模型中部，可指导多模态推荐模型的结构设计，将融合模块放在中间层而非最后一层。
- 隐藏状态空间优化思路可迁移到多模态Agent的对抗样本生成或鲁棒性增强训练中。
VideoSeeker: 原生代理工具调用驱动的实例级视频理解
🧭 视频理解 · 代理工具调用 · 强化学习
University of Science and Technology of China · Xiaohongshu Inc. · East China Normal University · Xi’an Jiaotong University
用视觉提示和原生工具调用实现实例级视频理解，平均提升13.7%，超越GPT-4o与Gemini-2.5-Pro。
📌 工作参考价值（4 点）
- 数据合成管线借鉴：四阶段自动化生成实例级视频数据的流程（空间/时间定位标注、工具调用轨迹），可用于构建商品视频细粒度识别、直播片段检索等场景的高质量训练数据。
- 原生工具调用训练范式：冷启动监督+GRPO强化学习内部化工具调用能力，可迁移至电商多模态Agent（如商品问答、视频导购），让模型自主决定何时调用时空定位工具。
- 视觉提示交互设计：以框、掩码等视觉提示替代纯文本描述，提升时空指代精度，适用于商品图像区域标注、视频高光剪辑等交互式应用。
- 反思机制与奖励设计：通过反思步骤和多维度奖励（定位精度、推理正确性）优化策略，可直接参考用于生成式推荐或对话Agent的RL微调，平衡探索与利用。
LVLM词汇劫持：排除惰性token揭示关键注意力头以缓解幻觉
🧭 多模态大模型幻觉缓解
Harbin Institute of Technology (Shenzhen) · Huawei Technologies Co., Ltd. · The Hong Kong Polytechnic University · Nanyang Technological University
发现视觉token的词汇劫持现象，提出无训练注意力增强HAVAE，显著减轻LVLM幻觉
📌 工作参考价值（4 点）
- 电商多模态问答/商品描述生成场景，可借鉴 HAVAE 的无训练注意力干预方法，通过加权少数关键注意力头抑制幻觉，不增加推理延迟。
- 使用 logit lens 诊断模型注意力异常（如某个视觉 token 总是映射到相同的错误词）的思路可迁移到 LLM Agent 的行为审计，排查错误的感知模式。
- NHAR 指标提供了一种快速量化注意力头可靠性的方法，可用于 Agent 感知模块的 head pruning 或动态路由，在有限算力下保留最关键的视觉注意力单元。
- 论文强调的“Inert Token”分析提醒我们在多模态对齐时，图像中某些固定模式（如空白、边框）可能劫持注意力，这些 token 可在预处理阶段过滤或权重衰减。