VeriCUA：通过智能体式探索验证计算机使用智能体
🧭 Agent 任务完成验证 · 动态证据探索
Google · The University of Hong Kong
将验证视为动态证据收集与评估，统一在线离线、跨平台 CUA 任务完成验证，提升一致性并更强拒绝误报
📌 工作参考价值（4 点）
- 对电商 RPA、广告投放自动化等 CUA 场景，别只用 VLM 静态判断轨迹或固定生成检查脚本；可引入验证智能体在任务完成后继续探索 GUI 或执行代码检查，收集互补证据，降低因部分观测导致的假阳性。
- 先根据任务上下文构建 rubric，再对未满足 requirement 动态选择 GUI/code check，并用显式证据规则合并结论。这个流程可直接迁移到业务 Agent 的离线评测、数据清洗与 RL 正负样本过滤，尤其适合 hard cases 标注。
- 在线部署时，当 Agent 宣称完成，再触发一轮验证探索能更强拒绝 false completion claim，适合客服、订单处理等高风险场景，防止未保存编辑或部分完成被当成成功。
- 平台无关的统一验证流程能减少为 Web/App/桌面不同端定制 verifier 的工程成本，可用于多端电商 Agent 的统一评估 pipeline。
拍立淘MMSearch2.0：统一端到端多模态生成式搜索技术报告
🧭 生成式检索 · Semantic ID · 多模态电商搜索 ★ 深度解读
Taobao & Tmall Group of Alibaba
直接由图像+自由文本生成商品Semantic ID，统一相似/编辑/搭配意图，上线拍立淘带来显著GMV提升
📌 工作参考价值（4 点）
- 可直接复用「Sample–Beam rollout」：RL 训练时采样 reasoning prefix，SID 部分用 beam search 生成，使训练 rollout 与线上 beam-decoding 对齐；做生成式推荐/搜索的 GRPO 时能有效减少 train-serve mismatch。
- 用「混合 reasoning budget SFT」把 No-think / Low-think / High-think 训进同一个模型，线上通过 system prompt 切换 think budget，无需为不同延迟要求训多个模型或加意图路由；适合在候选生成与复杂查询场景复用。
- 数据生产采用可组合工具链：Coarse-Filter、Fine-Filter、Query-Text-Gen、CoT-Gen、Quality-Control，并按 cold-start / real-traffic / continuous production 配置不同 workflow；新意图冷启动可先用 proxy 商品关系合成数据，上线后用真实流量回流清洗，再持续混入生产。
- 三层 hierarchical SID（每层 8192 codebook）+ 原生 VLM 直接 beam decode SID 作为检索结果，省去独立召回/排序和意图分类器；已有成熟召回排序链路时，可先作为候选召回源 interleave，A/B 验证后再扩大流量。
WeVisOne-VL：从物体到像素的统一视觉感知模型
🧭 统一目标级与像素级视觉感知
WeChat Vision, Tencent Inc.
用结构化 next-token 预测统一目标级与像素级视觉感知，支持检测、定位、分割与抠图
📌 工作参考价值（4 点）
- 电商商品图片理解：可把商品主体检测、属性定位、mask 生成、OCR 统一到一个 VLM，减少多模型串联；用结构化文本输出 boxes/masks，便于接入 Agent 工具调用。
- <OBJ> token + 轻量 pixel decoder 的思路可迁移：在业务多模态模型中加一个特殊 token 表示实例，让 LLM 主干输出语义信息、pixel decoder 输出像素级结果，实现“语义理解+定位”同架构。
- 针对缺货/不存在的对象做 robust rejection 值得借鉴：商品图或广告素材中检测用户 query 指向对象缺失时直接拒绝，可降低下游误匹配。
- 训练上采用三阶段 curriculum SFT + mixed-task RL 的策略，适合多任务视觉-语言模型在电商场景做稳定训练。
多模态重排是一种系统一决策
🧭 多模态检索重排 · System One 决策
Aalto University
将多模态重排转化为System One选择题，通用VLM一次前向读logits排序，零样本超越专用小模型，文本决策微调有增益
📌 工作参考价值（3 点）
- 在电商多模态商品重排中，可用选择题范式替代逐候选打分：将 query 与 top-k 候选图/描述组成一个多选项 prompt，让通用 VLM（如 Qwen3-VL）一次前向输出每个选项 token 的 logits 作为排序分数，比逐对 yes/no 更快且 hit@1 更高。
- 零样本通用大模型可替代专用重排小模型：若业务数据覆盖较广，直接使用通用 VLM 零样本重排，通常能超过有监督小 reranker，减少标注和训练成本；工程上可放在第二级重排或高价值流量。
- 用纯文本决策数据微调决策能力：即使没有多模态重排标注，也可构造纯文本选择题数据对 VLM 做 decision tuning（如 JEV），提升页面重排等任务，自然图像任务保持稳定，适合快速冷启动。
ProV-Mem：面向流式视频问答的主动记忆框架
🧭 流式视频主动问答 · 分层记忆
The Hong Kong Polytechnic University · Tencent Inc. · Shenzhen Loop Area Institute
冻结 VLM 骨干下，用三层轻量记忆解耦何时查询、说什么、是否发出，实现训练无关的主动流式问答
📌 工作参考价值（4 点）
- 三层记忆架构可直接迁移到实时用户行为流监控与主动触达 Agent：将「触发时机」「生成策略」「去重发送」解耦成独立轻量层，避免每次事件都调用大模型，显著降低推理成本。
- 冻结 VLM backbone + 外围无训练记忆模块，适合业务快速上线；用固定 prompt 先验约束生成简洁且视觉接地的内容，可类比于推荐文案、商品摘要的约束生成。
- episodic memory 做近重复过滤对主动 push 场景尤其关键——能减少对同一用户反复推送相似商品或消息造成的打扰，提升用户体验与消息接受率。
- CAUC 评估思路值得借鉴：在离线评估主动推荐/推送系统时，除准确率、召回外，增加对冗余、过高发送频率、过长输出的显式惩罚，更贴近真实业务收益与成本权衡。
CoWorld Reasoner：以可进化视频世界模型工具链驱动智能体多模态推理
🧭 Agent 多模态推理 · VWM 工具进化
The Hong Kong Polytechnic University · Hangzhou Diagens Biotechnology Co., Ltd
Agentic 框架将视频世界模型作为统一视觉推理引擎，通过可进化 tool/skill 动态生成视觉证据，多基准相对提升 11.8%–13.0%
📌 工作参考价值（4 点）
- 在电商多模态商品理解中，可借鉴「视觉想象作为额外证据」范式：对只有单图/短视频的商品，用世界模型生成多角度、场景变化或使用过程片段，作为 VLM 推理补充输入，降低对完整 3D/视频采集的依赖。
- 采用「工具 + 技能」双层 harness 控制生成行为：把生成模型封装为多个视觉操作工具（如视角合成、时序补全），用结构化 skill 描述指导 LLM 决定是否/何时/如何生成，避免固定 pipeline 只做单一想象形式，适配标题生成、详情页卖点抽取等多任务。
- VLM-VWM Harness Co-Evolution 的思路可直接迁移到推荐 Agent 的 tool/prompt 迭代：记录执行失败/低质量输出，用反馈让 LLM 修订工具描述、技能文档和调用代码；模型权重冻结，可以低成本持续优化线上 Agent 的视觉工具链。
- 在搜索/推荐多模态评测中，该方法提示：对需要时空/因果推理的任务，单纯 VLM 直接推理不足，应加入生成型证据接入和 agentic 调用框架；业务中可先在商品视频问答、用户上传视频审核等任务上试点世界模型辅助取证。
路由化 3D 特权蒸馏提升视觉语言模型空间推理
🧭 VLM 空间推理 · 特权蒸馏
浙江大学
将深度、语义、BEV 等 3D 几何线索作为特权，在 GRPO 中对错误轨迹做路由化蒸馏，提升 VLM 空间推理且部署保持仅 RGB
📌 工作参考价值（4 点）
- 借鉴「特权信息蒸馏」思路：训练时引入部署时不可用的 3D 几何、商品属性、用户行为后验等特权信号作为教师，通过 KL 蒸馏到仅 RGB/文本输入的在线模型，在不增加推理延迟的前提下提升空间推理或多模态判断能力，尤其适合电商图像中的家具尺寸、商品摆放、场景布局理解。
- 借鉴「仅对错误轨迹施加特权 KL」的稀疏监督：在 RLVR/GRPO 流程中，只对模型出错的样本做特权蒸馏，能更高效利用稀疏错误信号，降低训练开销并改善收敛稳定性；推荐/Agent 系统中也可以只对失败案例蒸馏专家/特权信息。
- 借鉴「问题条件路由」：按问题内容只注入相关几何线索（如当前问的是距离则只给深度，问的是方向则给 BEV），而非全量上下文，避免冗余信息稀释注意力；可迁移到 Agent 或推荐模型中对多源特征的按需路由与融合。
- 多种特权可以互补：答案特权和几何特权叠加优于单一特权，业务上可同时蒸馏商品属性、用户反馈、场景 3D 等多类特权，进一步压缩模型与真实环境的信息差。
冻结模型，进化专长：从部署经验中做模型无关的多模态医学AI学习
🧭 冻结模型外部经验持续学习 ★ 深度解读
University of Maryland, College Park · NVIDIA
提出参数无关外部专长框架，让冻结LLM/VLM从部署经验中持续提升并跨模型迁移
📌 工作参考价值（4 点）
- 在线 Agent/导购/客服：用 LLM optimizer 从成功/失败轨迹重写 Skill 文档而非 append，控制长度、消解冲突规则；候选 Skill 上线前用「下一批新流量 + 历史代表性 buffer」联合验证，接受条件为新样本平均收益>0、历史平均收益≥0、且 win>=loss，防止 prompt 过拟合固定验证集。可套用于搜索 query 改写策略、导购话术策略。
- 商品/内容多模态：维护 MMKB 式视觉记忆库，保存商品图+已知结论（类目、属性、违规、点击/转化标签），检索后用明确 prompt 让模型比较参考图证据与当前图的差异/缺失/矛盾，而不是只把图塞进上下文。实验显示同样 references，仅当上下文会让视觉任务分数下降，加比较分析后才转正；可迁移到商品图质检、主图优选、属性抽取。
- 知识与事实记忆：把可靠事实以「证据+适用条件」存入外部 Knowledge Memory，查询时先检索再检查是否直接回答且适用；只有多案例支持或有可信外部来源才入库。可做电商规则库、广告合规知识、平台政策问答的持续更新。
- 经验外置可无缝迁移到新基座/新模型版本，冷启动成本低；换 LLM 供应商或升级模型时，无需重训，直接复用 Skill/Memory/MMKB，对正在 A/B 不同底座或多租户模型选型的团队有用。
DuoMind：通过语义通信实现分布式多机器人协调
🧭 多智能体语义通信与分层协调
University of California, Davis · Microsoft Research · Analog Devices
提出 DuoMind 分层框架，用 VLM 生成语义协调消息、VLA 执行底层动作，并构建 RoboPoly 基准验证多机器人长程协作
📌 工作参考价值（4 点）
- 多智能体系统可借鉴分层架构：VLM 类大模型负责高层任务分解、状态理解与消息生成，下游 executor（VLA/工具调用/排序模型）负责底层精确执行；电商 Agent 中可将 LLM planner 与推荐/搜索执行器解耦，减少长程任务中的误差累积。
- 通信设计上不要传原始观测，而是传由 orchestrator 生成的简短、任务相关的语义消息；这能降低跨 Agent 通信带宽、隔离敏感特征，适合跨团队/跨域推荐与检索 Agent 协作。
- 每个 Agent 的规划步可同时输出“给自己的低层指令”和“给同伴的语义消息”，实现去中心化闭环协调；在业务 Agent 中可让节点在返回动作同时发布 state summary/intent，便于多 Agent 异步协同。
- 评估上可借鉴 RoboPoly 强调长 horizon、闭环、分布式控制的做法，构建多 Agent 业务评测集，并通过消融实验区分“分层编排”与“语义通信”的收益，而不是只看最终业务指标。
GeoLatent：几何引导的隐空间结构化与路由优化用于 3D 推理
🧭 VLM 3D 推理 · 几何隐变量结构化
Tongji University · The Hong Kong Polytechnic University
通过 Common-Residual 几何对齐和路由优化，解决 3D 推理中几何 latent 坍塌与欠使用问题，在 SPAR-Bench 和 SPBench 上达 SOTA
📌 工作参考价值（4 点）
- 连续隐变量可替代文本 token 描述连续空间关系，适合建模价格区间、距离、角度等连续属性；在电商推荐中可尝试用 latent 表示用户-物品的相对偏好（如价格敏感度、类目距离），避免离散化信息损失。
- 路由优化策略值得借鉴：训练时先强制主任务经过某个 bottleneck latent（如商品知识图谱嵌入、用户状态向量），再逐步恢复 direct path，能显著提升 latent 的实际利用率，防止被旁路。
- 用 effective rank 监控 latent 表征多样性，可检测推荐模型中的表征坍塌；当 rank 接近 1 时，说明隐变量没有捕获多维度信息，需加正则或对齐损失。
- 将共享与残差几何对齐分离，可迁移到多信号建模：把公共信息和任务特有信息解耦，避免主导信号（如点击）压制稀疏但重要的信号（如转化）。
KeyRec：面向流式与长视频理解的有界视觉记忆框架
🧭 多模态长视频流式推理视觉记忆压缩
University of Virginia · Google
训练免费的视觉记忆框架，用事件银行与近期缓存分离存储，在固定预算下高效压缩长视频视觉 token
📌 工作参考价值（4 点）
- 借鉴“近期缓存 + 事件银行”的双层记忆结构：在电商用户行为序列或会话流建模中，可保留最近交互的细粒度 token（如点击、浏览），同时将较旧历史压缩为结构化事件表示（如会话摘要、关键行为节点），避免每次推理全量回放，降低长序列注意力成本。
- 采用 query-agnostic writing + query-dependent readout 的两阶段设计：离线阶段持续更新记忆，查询到来时用轻量 text-only router 自适应分配固定 readout 预算到近期与事件记忆，无需重处理历史帧。可在 Agent 记忆系统中应用，控制上下文窗口，降低 LLM API 费用。
- 事件合并与逐出策略（add-merge-evict）可用于用户兴趣画像维护：根据 novelty 决定是否新增事件，合并相似兴趣，淘汰过时兴趣，保持画像有界且信息密度高。
- 对于直播电商、商品视频理解等场景，可复用 KeyRec 的视觉 token 压缩思路，仅保留 10% 的 visual token 预算即可保持接近密集处理的性能，显著降低推理成本。
Jev-Mobile：将 Jev 作为移动 GUI Agent 的执行器
🧭 Agent 分层执行 · 高低频解耦
Rice University
在移动 GUI Agent 中把 VLM 高频规划改为低频目标设定，由轻量 Jev 在结构化动作空间中高频执行，实现成功率相近、延迟与成本大幅下降
📌 工作参考价值（4 点）
- 高低频分离策略可迁移到电商 Agent：将昂贵 LLM 的职责限制在设定子目标或局部状态，把高频操作交给轻量决策模型或规则系统，在结构化候选空间内做选择，可大幅降低 API 成本与延迟。
- 结构化动作空间是落地关键：用 accessibility tree / DOM / schema 预先枚举可执行动作，而不是让 LLM 自由生成坐标或文本，能减少非法动作并简化执行器模型设计；在移动端自动化、RPA、购物助手中可复用。
- 单次 LLM 决策驱动多步执行：借鉴“一次规划、多次执行”的模式，让 LLM 输出局部目标或子任务序列，由轻量执行器完成中间交互，避免每步都带全量上下文调用 VLM。
- 评估指标同时看成功率与效率：业务部署中不仅关注任务完成，也要跟踪端到端时长和模型调用成本；即使成功率略降，成本/延迟大幅下降的方案可能更值得上线。
VLM 长文档问答流水线的实证研究
🧭 长文档 VLM QA 流水线实证
Amazon
图像检索 top-k 页面输入是 token 效率与准确率均衡选择，Agent 收益随 VLM 规模增大才显现
📌 工作参考价值（4 点）
- 在商品详情、说明书、财报等多模态长文档处理中，优先尝试图像 embedding 检索 top-k 页面/区块而不是全量文本入库，token 可降到全页输入的 1/7 到 1/4，且准确率不降反升。
- Agent 工具调用（page/table/figure/search）不是小模型的免费午餐：Qwen3.5-4B/9B 上落后静态页面输入，27B 才持平，Sonnet 4.5 才领先。实际选型时先评估静态管道，再决定是否把预算花在 agentic 流程上。
- 文本检索侧一个现成 cross-encoder rerank 就能匹配很重的多阶段 LLM 管道，工程上可用轻量 reranker 替代 LLM 重排，节省成本和延迟。
- 最强流水线之间互补，oracle 路由能提升约13点，但证据类型路由几乎无效；说明自动路由很难，可先通过人工分析问题类型或构建更强路由特征，不要盲目上路由模型。
世界动作智能体：通过世界动作预演利用 VLM 进行机器人操作
🧭 多智能体机器人操控与技能演化
HKUST(GZ) · CUHK · Knowin AI
多智能体视觉动作工作空间让 VLM 通过动作预演、视图内修正和技能演化实现机器人操作 SOTA
📌 工作参考价值（4 点）
- 可编辑动作提案与预演机制：在推荐/广告 Agent 中，可让 LLM 先产出候选策略或推荐列表，由 Reviewer/Imagination Agent 在低成本模拟中预演，结合离线评估器反馈修订，再决定是否真实上线，降低高风险操作成本。
- 多智能体分工：把主决策、预演评估、技能检索拆成不同 Agent，例如电商推荐中主 Agent 负责当前会话决策，Skill Agent 检索历史有效策略（选品、话术、促销），避免单一 Agent 上下文过载。
- 用交互轨迹蒸馏轻量模型：论文中 harness 轨迹微调将域外成功率从 1.7% 提升到 43.3%，这启示我们可以收集线上 Agent 高质量决策轨迹，蒸馏一个轻量策略模型用于高频、低时延场景，兼顾泛化与成本。
- 选择性上下文呈现：从场景几何自动挑选与当前交互相关的视图，类似在商品推荐中可以根据用户当前浏览/购物车动态裁剪商品属性、图片切片或用户行为段，减少无关信息对 VLM 决策的干扰。
SPHQuant：面向视觉语言模型的高效极低比特权重量化
🧭 VLM 极低比特权重量化
Shanghai Jiao Tong University · The Hong Kong Polytechnic University
提出旋转无关的球面权重量化框架，通过分解8D权重向量分离异常值，实现2-3比特下精度匹配与30.3%解码吞吐提升
📌 工作参考价值（4 点）
- 将权重按向量维度（如8D）分解为坐标符号、半径、正单位方向，并单独给半径分配更高精度，可迁移到LLM骨干的极低比特量化，降低异常值影响而不引入旋转的额外开销。
- 方向码本采用角度参数化并微调来保持单位球约束，可以借鉴到生成式推荐的Semantic ID码本优化或embedding量化，提升低比特表示能力。
- 自定义GEMV kernel：保持方向码本小到可放进共享内存，同时高效打包半径位，对自回归解码的memory-bound场景有实际加速效果，可参考用于部署推荐/Agent中的自回归LLM推理服务。
- 旋转无关方法在2-3bit能与旋转方法精度相当，说明在追求低延迟、低内存的边缘部署时，优先避免旋转开销是可行路线，对端侧Agent或实时推荐推理有借鉴价值。
将视觉语言模型智能迁移至机器人控制
🧭 VLM Agent 闭环控制机器人
Tsinghua University · Tencent Hunyuan
通过离散动作接口与闭环 ICL，使 VLM 零/单样本控制机器人并达 SOTA
📌 工作参考价值（4 点）
- 离散动作接口设计：将连续控制空间抽象为紧凑离散命令集，让 LLM/VLM Agent 通过标准化 API 控制底层系统（如推荐引擎参数、广告出价），提升决策稳定性和可解释性。
- In-context learning 快速适配：用 1-2 个演示示例让通用大模型零样本/小样本适配新任务（如新品类推荐策略、活动文案风格），避免每任务微调，降低迭代成本。
- 闭环反馈框架：借鉴“观察-推理-执行-观察”闭环，构建自主优化 Agent，例如在实时推荐中根据用户行为反馈动态调整排序策略，而非静态输出。
- 通用模型知识迁移：论文显示通用 VLM 零样本可超越任务专用策略，启示业务中可优先用通用 LLM 处理非核心子任务（如 query 改写、解释生成），再决定是否投入专门训练。
Show-Harness：仅用 VLM Agent 通过语义接口控制机器人
🧭 VLM Agent 语义接口机器人控制
Show Lab, National University of Singapore
通过离散语义动作单元与解释器接口，让 VLM Agent 零样本或轻量微调后直接控制机器人
📌 工作参考价值（4 点）
- 借鉴“语义动作单元 + 确定性 interpreter”两层架构：让 LLM/VLM 只输出离散标准化意图标签（如 MV_FWD、GRASP），由业务侧 interpreter 落地为具体执行动作，可迁移到推荐/Agent 系统中降低模型生成复杂控制序列的出错率，同时兼容 App、网页、机器人等多端。
- 对闭源大模型直接 zero-shot 使用同一套接口，开源小模型仅需 few GPU-hours 微调即可替换，说明业务侧可保持接口不变、灵活切换底层模型，降低迭代成本。
- GUMI 的 GUI 操作采集 demonstrations 思路可复用：无需专用硬件，通过浏览器/GUI 操作轨迹构建 fine-tuning 数据，适合 UI 自动化、商品操作、Agent 行为采集等场景。
- 强调跨任务、跨 embodiment、跨环境泛化评测，建议推荐系统也构造跨场景/跨页面/跨库存的泛化测试集，避免单一环境过拟合。
通过生成器在环对齐弥合多模态 RAG 中的语义-效用差距
🧭 多模态 RAG · 检索对齐
两阶段生成器在环框架，用 VLM 生成假设文本并基于答案反馈微调 reranker，弥合多模态 RAG 语义相似与生成效用差距
📌 工作参考价值（4 点）
- 检索/排序目标再对齐：现有向量召回和相关性模型常优化语义相似度，但业务目标可能是点击、转化或生成质量。可用生成器/模型反馈自动构造偏好对，比如候选商品描述是否能辅助生成正确推荐理由或回答，无需人工标注，降低标注成本。
- 跨模态 query 桥接：电商中图片搜索、图文推荐可先让 VLM 根据图像和用户 query 生成“假设文本”（如商品属性、风格描述），再用该文本做 dense retrieval，缓解模态 gap，提升召回精度。
- 低成本 reranker 微调：用 LoRA 微调 cross-encoder reranker，并支持 triplet/DPO/SFT 多种损失，方便在现有排序服务上快速实验。同时可周期性重新挖掘偏好对，随着 reranker 提升迭代优化。
- 生成器在环评估：可以直接将下游生成任务的表现（如推荐理由吸引力、答案正确性）作为排序信号，而不是只看排序指标 NDCG；在线实验时监控最终业务指标，更贴近业务价值。
智能体能否赢得视频浏览器挑战赛
🧭 Agent 自主交互式视频检索
University of Konstanz · Charles University
用VLM智能体自主操控交互式视频检索系统，从初始意图描述出发完成多轮搜索，性能比肩历史专家操作水平
📌 工作参考价值（4 点）
- 把现有检索/推荐系统包装成工具接口，让 LLM/VLM 智能体通过 API 控制查询、翻页、过滤等操作，能快速构建自主搜索或评估流程，无需让模型预知全量候选集。
- 智能体只分析 top-k 结果（如图像/视频关键帧）并决策下一步动作，避免对全库做昂贵推理，在电商图片/视频商品检索中可直接复用这种「索引+小窗口 VLM 判断」模式。
- 用模糊初始意图描述驱动多轮交互式检索，可作为电商搜索中长尾 query 或图片找同款场景的自动化补充，降低用户反复试错成本。
- 评估方式可借鉴 VBS 的任务完成率与交互轮数指标，用于量化推荐/搜索系统在智能体操作下的实际可用性，而不仅是离线排序指标。
潜在对齐推理用于多模态推荐
🧭 多模态推荐 · VLM 潜在推理与双对齐 ★ 深度解读
Xiaohongshu Inc. · Nanjing University
提出 LARK 两阶段潜在推理框架，用视觉与推理文本双重对齐缓解多模态推荐中的跨模态稀释，在 Amazon 与工业数据集上一致超越 baseline
📌 工作参考价值（4 点）
- 离线 item encoder 部署：用 VLM 对商品图/文离线生成 embedding 并预存向量索引，线上只训练 DeepFM/LightGCN/SASRec 等轻量模型，把多模态推理成本完全移出 serving 路径；该论文在百万级商品上验证了此 decoupled 设计的可扩展性。
- 用 Swing 相似度构造 item-item 对比学习正样本，比随机负样本更符合电商协同信号，能显著提升长尾商品表示；已有 Swing 的电商场景可直接替换为 InfoNCE 的正样本源。
- 若业务需要在 VLM 内做多步推理，可采用 latent tokens + 双对齐：用 frozen vision encoder 做 patch-wise 对齐保留视觉信息，用 stop-gradient CoT hidden states 对齐保留推理语义；掩码图像 50% 可防过拟合像素级细节。
- 超参参考：latent token 总数 16（4 组×4）、损失权重 0.1、对比温度 0.07 在多个数据集稳健；3B 参数 VLM 即可超越 7B NoteLLM-2，说明结构设计比模型规模更关键。
时序自蒸馏：无监督学习视频视觉状态跟踪
🧭 自监督时序自蒸馏训练视频状态跟踪
Mohamed bin Zayed University of Artificial Intelligence · ELLIS Institute Finland · Aalto University
用时间采样密度作为自监督信号，让稀疏帧学生匹配稠密帧教师的 next-token 分布，无需标签或额外教师即可提升视频状态跟踪
📌 工作参考价值（4 点）
- 视频/直播电商场景：对商品展示、使用过程、库存/数量变化等短视频，用稠密帧采样的同模型输出蒸馏稀疏帧模型，可在不增加线上推理成本的前提下提升状态/数量判断；souping/轻量视觉编码器适配可作为后续增强手段。
- 无标签数据利用：可以低成本生成合成 clip（物体颜色、数量、位置变化），用 S3T 式的自监督时序蒸馏预训练视频理解模块，再迁移到真实 UGC/广告素材的内容审核或卖点提取。
- Agent/多模态 LLM 训练：如果业务中有连续视频流（如智能客服/导购 Agent 看商品视频），将时间采样密度作为特权信息，让同一模型在自己的稠密/稀疏视图间做 next-token 分布蒸馏，不需要额外 judge，能提升跨时间状态跟踪，且不增加部署成本。
- 如果要改进现有 VLM 在电商视频问答上的表现，可优先考虑对视觉编码器做小规模适配+权重 soup，而非重新训练；论文显示这些组合能稳定提升状态跟踪。
面向相机条件世界模型的奖励建模方法 WorldReward
🧭 多模态奖励建模 · VLM 视频评估
Fudan University · Tencent Hunyuan · Shanghai Innovation Institute · Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory
用 VLM 将长视频按动作分块并投票聚合，统一评测动作一致性与视觉质量
📌 工作参考价值（4 点）
- 长序列生成（如多步商品推荐、对话式导购、视频广告脚本）中，可借鉴“动作对齐分块 + 结构化证据 + 逐块决策投票”的思路，避免长上下文稀释局部关键信号，适合构建 LLM 评估器或奖励模型。
- 偏好数据构建可复用其管线：先由 frontier VLM 生成结构化判断，再用工具化 agent 审计和定向人工复核，降低标注成本并提高一致性，适用于内容生成质量评估、AIGC 审核等场景。
- 在电商多模态生成（如商品视频、虚拟试穿）中，建议拆分“任务完成度”与“画质/自然度”双 reward 分别聚合，避免单一指标失衡，便于 RL 后训练。
- 若业务涉及“按指令生成视频/图片”，可参考其 benchmark 设计：按人类偏好分维度（动作/外观/运动）测量 reward model 一致性，而非只看整体分数，从而更精准定位模型短板。
MERGED：通过生成专家推理蒸馏的多模态实体解析
🧭 多模态实体解析 · 推理蒸馏 ★ 深度解读
Amazon
无需人工标注，多教师VLM生成推理标签，共识SFT+分歧DPO蒸馏7B学生，PR-AUC超32B基线6.32%且成本降6倍
📌 工作参考价值（4 点）
- 关系定义频繁变化的电商场景（exact/variant/substitute），可直接用多教师 VLM 生成结构化标签与 reason；共识样本用于 SFT，分歧样本用 meta-judge 选偏好做 DPO，无需等待人工 SOP 审核，可把新关系上线周期从月级压缩到天级。
- 让模型输出 label+reason+confidence 的 JSON，并用 label 和 confidence 合成标量分，方便接入现有排序/召回链路；7B 学生单样本 <1s、成本约 $600/百万，适合百万级实时商品匹配。
- 冷启动迁移时不要从基座从头训：从已有相邻任务 checkpoint 继续做一轮 MERGED，10K 样本即可显著提升，适合跨市场/跨品类关系定义快速扩展。
- 生成式推荐/Agent 中若需要模型自我解释，可复用 meta-judge 偏好构造思路，提升 reasoning-label faithfulness；但需评估 meta-judge 的一次性大模型成本。
面向短视频假新闻检测的自反思多模态推理框架
🧭 多模态自反思推理 · 假新闻检测
China University of Mining and Technology - Beijing · Fudan University · The Institute of Semiconductors of the Chinese Academy of Sciences
SRM-FND 通过对比反思、迭代根因诊断与校正提示优化，提升短视频假新闻检测的可靠性与可解释性
📌 工作参考价值（4 点）
- 多角色辩论式推理可用于电商内容审核：盲分析者、反结论推理者、自洽仲裁者的协作机制能有效保留判别性证据，可迁移到短视频商品描述、直播切片、用户评论的真实性/合规性审核，尤其适合不确定样本的二次裁决。
- 置信度驱动的跨样本检索值得借鉴：对低置信样本检索同事件/同商品的可信与可疑参照，通过对比增强判定，可应用于商品虚假卖点识别、竞品对比内容审核、广告合规检测等场景。
- 双阶段主题自适应 VLM 微调是低成本部署路径：先做多模态 grounding，再做轻量 topic specialization，适合在算力有限的电商风控团队中快速适配新品类或新违规模式。
- 自反思无需 ground-truth CoT 监督：在缺乏高质量推理标注的电商内容安全场景，可通过迭代根因诊断和提示修正自动提升推理质量，降低人工标注成本。
PACE：统一的压缩-提取范式加速视觉语言模型推理
🧭 VLM推理加速 · token压缩
Sun Yat-sen University · Power Dispatch Control Center, Guangdong Power Grid Co., Ltd. · Shenzhen Loop Area Institute
训练无关的VLM推理加速框架，通过像素自适应压缩和动态双注意力提取，仅用10%视觉token保留93.8%性能，TTFT加速3.1倍
📌 工作参考价值（4 点）
- 电商商品图像理解：对大规模商品图进行VLM推理（如属性提取、图文一致性校验）时，可借鉴APC在编码前评估像素信息密度，对背景简单或冗余区域降采样，降低视觉编码器计算量，显著缩短首token延迟，适合实时性要求高的在线服务。
- 多模态Agent在搜索/推荐中的应用：当Agent需要理解用户上传图片或商品图来辅助推荐时，DDAE融合视觉编码器内部信号和LLM语义信号，可在严格token预算下保留关键视觉细节（如商品logo、纹理），避免性能损失，提升交互响应速度。
- 训练无关、即插即用的设计便于快速集成到现有VLM服务，无需微调即可部署，适合频繁迭代的线上系统；10%视觉token保留93.8%性能、3.1倍TTFT加速的结论可作为token预算设定的参考基准。
- 架构上，将压缩前置到编码器之前、提取后置到LLM之前，形成两级优化，这种“先压缩后提取”的范式可以启发多模态推荐中其他模态（如视频帧、音频）的token优化，在保持性能的同时降低整体推理成本。
通过视觉文本纠错揭示视觉语言模型在图像文本理解上的局限
🧭 多模态评估 · 视觉文本纠错
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, CAS, Beijing, China · School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China · Fanyu AI Laboratory, Zhongke Fanyu Technology Co., Ltd, Beijing, China · Mohamed bin Zayed University of Artificial Intelligence
提出 ReViCo 基准，以视觉文本纠错任务评估 VLM 对图像内文字及其视觉上下文的理解能力
📌 工作参考价值（4 点）
- 电商/广告图像中大量文字（价格、促销、成分、资质）是决策关键。可借鉴 ReViCo 的视觉文本纠错任务，构建内部“商品图文字纠错”评测集，重点考察模型对价格数字、折扣文案、生产日期等易错文本的识别与修正能力。
- 业务用 VLM 做图文理解或信息抽取时，不要只依赖 OCR 指标；应增加“给出错误位置+修正结果”的输出要求，暴露模型在视觉上下文中误读文本的问题，降低后续 Agent 或推荐链路中的错误传播。
- 若需要快速提升，可参考其 targeted training 范式：用少量带标注的视觉文本纠错数据微调多模态模型，尤其针对业务中高频图像模板（banner、主图、详情页）提升鲁棒性；同时保留 prompt-based 基线做对比。
- 评估结果提示，即使 SOTA VLM 也可能误解图像内文字，设计 Agent 工作流时应增加校验环节，比如让模型输出原文与修正后文本，再由规则或 OCR 引擎交叉验证。
V-Rubrics：基于Rubric强化学习的视觉忠实性训练
🧭 多模态VLM后训练 · Rubric奖励
S-Lab, Nanyang Technological University · A*STAR · UIUC
将参考答案分解为原子命题，从视觉忠实、推理一致、指令遵循三方面给结构化rubric奖励，提升VLM多模态后训练
📌 工作参考价值（4 点）
- 将粗粒度结果奖励拆成rubric子项（视觉事实、推理步骤、约束满足），对广告文案、推荐解释、商品QA等LLM评估与RL奖励设计可复用：避免只给整体好坏，能定位错误点并给予结构化部分信用。
- 使用prefix-localized partial credit：当有支撑证据span时只奖励相关前缀，不惩罚后续冗余，适合多步推理生成任务中做更精确的credit assignment。
- 训练数据构造：规则过滤+拒绝采样分数划分难度，再用强LLM统一prompt标注rubric，可低成本获得可扩展的奖励标注集；业务上可对商品描述、视频帧QA等构造领域微调数据。
- 先SFT冷启动再做GRPO，并用相同SFT检查点对比answer-only GRPO，可迁移到LLM-based推荐/Agent训练流程，验证奖励抽象对后训练的实际增益。
Rubrics 作为视觉修复上下文的自演化 UI-to-Code 生成
🧭 VLM 自演化 · 视觉修复上下文
University of Maryland, College Park · Microsoft
提出 RubSE，用结构化 rubric 引导视觉修复，解决 UI-to-code 自演化中局部修复相互耦合导致轨迹不稳定的问题
📌 工作参考价值（4 点）
- 在迭代优化 Agent（如落地页、商品详情页、广告创意自动生成）中，引入结构化“修复指令/评分标准”作为上下文，而不是反复给模型完整截图让其自由修改，能明显约束修改范围，避免模型过度重写导致原本正确区域被破坏。
- “每轮只选一个最高优先级修复目标”并维护已选目标历史，这种机制可以迁移到多轮自优化流程（如搜索推荐文案、UI 布局、推送消息的自动迭代），提升轨迹稳定性，减少回归。
- 强 rubric 生成器 + 弱代码执行器的组合：业务上若代码生成模型能力有限，可以用更强的模型生成视觉修复 rubric，再交给轻量模型执行修改，推理成本更低且效果可迁移，类似推理时蒸馏。
- 将视觉差异表示为 typed rubrics（layout_geometry、style、component 等），把修复问题分解为可执行子目标，对多模态 Agent 设计有直接参考价值，可用于电商多模态内容生成的闭环优化。
DARS：双层信用分配强化学习与结构化推理的图像编辑框架
🧭 多模态图像编辑 · 强化学习信用分配
South China Normal University · KlingAI Research
提出 DARS，在 planner-renderer 图像编辑中通过模块间与模块内双层信用分配，将最终奖励分解为局部监督信号，提升 RL 训练效率
📌 工作参考价值（4 点）
- 在多阶段推荐/Agent 系统中（如 planner-renderer 或召回-排序），用 multi-plan multi-render rollouts 估计模块间和模块内的 reward variability，作为 soft module routing 权重，替代简单的联合 RL 端到端更新，可避免梯度分配不公导致模块优化失衡。
- 让 LLM 输出结构化字段（如意图、对象、动作、约束四字段）而非自由文本，配合 prefix-gated reward 和 token-level advantage reweighting，可将最终业务指标（如成交、点击）奖励分解到关键生成的 token，提升生成式推荐理由/query 的可控性和训练效率。
- 自适应课程：利用 rollout 的平均奖励作为样本难度指标，动态调整训练集中难易样本比例，适合电商场景中长尾/困难样本（如复杂意图 query、小众商品）的针对性优化。
- 跨模块与模块内双层信用分配框架可扩展到“LLM 生成 query -> 检索器执行”的两阶段系统，解决最终指标不好归因于 query 生成还是检索执行的问题。
Llama-Mobile：VLM 的高效 2.7-bit 量化
🧭 VLM 量化与移动端高效推理
Graphcore Research · Arm
提出无需原始训练数据的 VLM 量化 pipeline 与 S3D8 2.7-bit 格式，将 Llama 3.2 11B 压缩至 3.7GB 并保持 VQA 性能
📌 工作参考价值（4 点）
- 业务里若需在端侧/边缘部署多模态模型（商品图理解、广告素材审核、图文客服），可借鉴“无原始训练数据 QAT”：用目标模型自生成校准数据，避免数据不可得和分布偏移。
- S3D8 2.7-bit 格式将三个有符号权重打包进一个字节，解码到 INT8 后推理，对 Arm CPU 友好；有移动端导购/Agent 或端上推荐模型时可评估该格式降低内存。
- 量化训练数据选择对性能很敏感：合成与部署分布匹配的数据比通用公开数据更稳，做模型压缩时值得投入数据构造。
- 11B VLM 压缩到 3.7GB 说明移动端内存预算可承载多模态大模型，适合端侧“拍照搜商品/图片问答”等场景。
视觉语言模型在视觉缺失或被误导时的行为评估：科学图表基准
🧭 VLM 不确定性行为评估与基准
University of Aberdeen, UK · International Institute of Information Technology Hyderabad, India · University of Technology Nuremberg, Germany · University of Southern California, USA
提出 SciFigBench 与 A-R-I 框架，系统评估 VLM 在科学图表上的不确定性行为，揭示高精度不等于高可靠性
📌 工作参考价值（3 点）
- A-R-I 框架可改造成多模态商品理解质检：当商品图模糊、文字遮挡时，模型是否应承认“看不清”而不是编造卖点；可设置 blur/裁剪变换 + 强制确认 unreadable 区域，评估模型在低质量图片上的拒答率。
- resistance probes / caption-bias probes 可借鉴为“图-文不一致”检测：商品主图与标题/卖点描述冲突时，模型是否会被营销文案带偏？可构造对抗样本测试多模态推荐/审核模型的抗误导能力。
- 将“高感知精度≠行为可靠”的结论用于模型选型：在商品图 OCR、广告素材审核等场景，除了 accuracy，还要看 hallucination rate 和 uncertainty admission，类似 Gemini 3.1 Pro 在阻力分数上表现更强，可能更适合需要安全拒绝的业务。
TRAPSBench：视觉语言模型编码了认知克制却无法表达
🧭 多模态 VLM 视觉不确定性下的克制与评估
Meta Superintelligence Labs
VLM 内部能识别证据不足但输出不克制；提出 TRAPSBench 和 PECS，定位表达瓶颈
📌 工作参考价值（4 点）
- 在电商/广告的视觉智能体（商品图审核、直播切片理解、图文问答）中，模型对图像遮挡/模糊常过度自信；不要只靠 prompt 或 logit 置信度，可在 hidden states 上训轻量 probe 识别“不可判定”，作为路由/兜底信号。
- 评估不能只看准确率：可借鉴 PECS 构造 matched pairs（同一 case 只改一个关键帧/遮挡物/文字），要求可判定时答对、不可判定时弃权；在线上可把拒答率与人工差评率、客诉率挂钩。
- 文本不确定性比视觉不确定性更易被识别；若 Agent 含多模态输入，视觉分支应单独做 epistemic gate，避免文本线索足够时掩盖视觉证据缺失。
- 工程化干预放在 output stage 更划算（单层 steering / refusal head / adapter），因为模型内部已有可解码的答案性信息，无需从头训练大模型；这对搜索推荐中的多模态生成式模型做安全拒答也可复用。
被放大不等于有预测力：思考模型中的推理行为
🧭 推理行为分析与过程奖励
Carnegie Mellon University · Stanford University
提出 Behavioral Lift 指标，发现思考模型放大的推理行为与正确性关联弱，而置信校准等高关联行为未被充分放大
📌 工作参考价值（4 点）
- 在 Agent 或搜索推荐链路中用 LLM 做推理/决策时，不要把“显式自我修正”“承认不确定”等表面行为当作可靠性信号；这些行为被思考训练放大但与最终正确性弱相关甚至负相关。可直接用置信校准类信号（如模型对答案的自信度评分、证据对齐程度）做在线过滤、置信度阈值或路由。
- 做 generator-evaluator 或 RAG 推理抽取时，过程监督/奖励函数不要奖励“看起来深思熟虑”的语言（如“让我再想想”“我不确定”），要奖励证据引用、知识与问题陈述对齐、对答案置信度的校准；否则会激励模型输出大量无信息量的表面推理。
- 推理长度不是越长的思考越好；在成本与延迟敏感的推荐/搜索场景，可基于行为 lift 建立更细粒度的过程质量评估，识别哪些中间步骤真正贡献正确性，用于 prompt 压缩、推理步剪枝或早停。
- 如果自建 reasoning model 或微调开源 LLM 做 query/商品理解，评估时除了端到端准确率，应监控行为分布，防止训练只改变风格而非能力。
空间记忆智能体：基于经验的空间智能程序性记忆
🧭 Agent 外部记忆自进化 · 空间推理 ★ 深度解读
Zhejiang University · Shanghai Jiao Tong University · Shanghai Innovation Institute
冻结 VLM 通过外部可验证经验蒸馏可迁移教训，并用访问证据校准迁移可靠性分数，实现无参数更新的空间推理自进化
📌 工作参考价值（4 点）
- 借鉴 TRS 校准思路：把每条 prompt/memory/经验卡片的“可迁移性”用线上反馈（reward/转化）做贝叶斯式更新（先验 + 访问证据），检索时 similarity 与 reliability 联合排序；避免纯 embedding 相似度召回高相似但低效的案例，适用于推荐解释、商品知识检索、Agent 工具经验复用。
- One-Pass Memory Writing：只在首轮经验采集时写入结构化卡片，后续仅更新卡片访问/奖励状态，能显著减少经验库冗余并提高更新覆盖率；对推荐 Agent 的 few-shot 示例库、query 改写策略库维护有直接工程价值。
- 冻结基座模型、只动外部记忆：在线服务无需做 LoRA/RL 更新，风险低、迭代快；适合电商搜索/推荐中基础 LLM 不常更新但策略需要快速试错的场景。
- 反思时输出 pattern / trap / check 三段式可迁移教训，并禁止 restating answer；这个可复用到生成式推荐、搜索 query 推荐中的经验卡片设计，增强可读性和跨任务迁移。
利用视觉语言模型提升网络搜索相关性评估的工业实践
🧭 视觉语言模型 · 搜索相关性自动评估 ★ 深度解读
Pinterest
用微调VLM替代人工标注，结合分层采样，将搜索A/B实验的MDE降低6倍且成本降至近零
📌 工作参考价值（4 点）
- 用开源VLM（Qwen3-VL-4B）微调替代人工相关性标注，达到94.2%±1级一致性，可将标注成本降低超99%、周期从2天缩至2小时，适合电商/广告搜索中快速评估排序实验。
- 分层采样设计（按查询兴趣类别×流行度分层）能大幅缩减相关性指标的方差，使MDE降低6倍（从~1.4%到≤0.25%），对检测微小却重要的排序变化极有价值。
- 保留配对的实验组查询，用配对差异消除个体偏差，使得VLM标签的系统性误差在差值中被抵消，可作为Agent评估或多模态搜索中LLM裁判的校准手段。
- 多语言微调通过单一多语言VLM支持非英语市场，虽相关性略降但配对差异仍稳健，可复用到跨境电商搜索的自动化评估。
注意力头角色断裂：理解与检测VLM幻觉
🧭 视觉语言模型幻觉检测
Peking University · Joy Future Academy
发现幻觉使注意力头偏离忠实上下文行为（角色断裂），基于此构建轻量线性检测器，AUROC 达 93.23%
📌 工作参考价值（4 点）
- 在电商多模态推荐（如商品图生成描述/问答）中，可借鉴 Role-Break 信号构建轻量线性检测器（特征维度<5000），无需微调 VLM 即可识别幻觉输出，提升生成内容可信度。
- 检测器基于注意力头行为的局部偏离，具备线性可读性和可解释性，适合作为实时监控或过滤模块，拦截不可靠的生成文本。
- 若 Agent 工作流中调用 VLM 进行图像理解，可将此检测器后置，对高幻觉 token 直接干预（屏蔽/重生成），降低下游决策风险。
- 该方法不依赖单一幻觉模式，跨模型/任务稳定性强，可用于多模态推荐系统的质量保障。
小视觉语言模型知道错了但说不出来：真实图像退化下的内部与口头置信度对比
🧭 小模型自我认知与置信度评估
Independent Researcher
小VLM的口头置信度近乎恒定且无法检测错误，但内部token概率却能有效分离正确与错误答案
📌 工作参考价值（4 点）
- 用内部 token 概率做 deferral 信号：当小 VLM 用于商品图片理解、图像文本审核等任务时，直接解析模型输出的口头置信度（如"我确定答案是..."）并不可靠，应改用生成序列的平均 token 概率作为置信度指标，尤其在模型需要自动放弃回答的场景。
- 低质量图像输入要双重预警：在用户上传图片可能严重欠曝/模糊的实际业务中（如直播间截图、用户随手拍），内部概率的 error detection AUROC 会骤降到随机水平，此时应结合图像质量评估模块，严重退化时直接拒绝模型输出，不再依赖任何置信度。
- 小模型的 uncertainty 并不体现在口语化表达里：Qwen2-VL-2B 的口头置信度均值稳定在 0.87-0.90，几乎不随输入质量或答案正确性变化，说明对小模型做 prompt engineering 让其自我评估准确性几乎是无效的，必须依赖 hidden state 或 token 概率等信息。
- SmolVLM 的口头置信度解析成本高到不可用，尝试三种 prompt 模板只有一次成功解析出置信度值，这提醒我们在工程化时，若模型输出格式不可控，则结构化置信度输出方案需要更严格的约束（如强制 JSON 格式），否则直接使用内部概率是更稳定的选择。
ENTRAP-VL：视觉语言模型双重上下文夹带分类探测工具
🧭 多模态评估工具 · 上下文忠诚度探测
IIIT Delhi, India · Dr. Ambedkar Institute of Technology, India · Heritage Institute of Technology, India · PwC, India
提出首个用于多模态上下文夹带探测的双模分类基准 ENTAP-VL，以文本和视觉独立诱发夹带现象。
📌 工作参考价值（4 点）
- 电商多模态搜索/推荐中，产品图片和描述常被无关上下文干扰，可借鉴双流探测思想，设计文本和视觉独立的鲁棒性测试集，检验模型是否被不相关但合理的上下文带偏。
- 评估多模态商品理解模型时，可构建类似“真实性-关联度”2×2 分类探针，检测模型是否轻信虚假但可能的上下文（如 PS 背景、误导性配文），提升可信度。
- 在 Agent 调用 VLM 进行多模态决策（如图文问答、商品审核）时，可将该探针作为安全检测环节，避免上下文注入攻击导致错误输出。
- 该工作的分类夹带条件设计（无上下文、随机上下文、矛盾上下文等）可直接复用，用于自制多模态评测集，量化模型对干扰的敏感度。
TRACE：分类学引导的多领域视觉推理环境
🧭 可验证奖励的视觉推理合成训练
Rochester Institute of Technology
基于场景语法与可执行任务程序构建可控、可验证的多域视觉推理数据，RL微调使VLM跨24基准平均提升3.5–4.1个百分点
📌 工作参考价值（4 点）
- 合成商品图像训练数据：借鉴场景语法（scene grammar）思想，按属性（背景、角度、材质）程序化生成大量商品图片，训练多模态模型精准理解商品属性，替代昂贵的人工拍摄。
- 可自动验证的视觉问答构造：利用可执行任务程序（task program）生成带精确答案的视觉问题，实现完全自动化的评测与奖励计算，可用于商品详情页问答、图像描述一致性校验等场景。
- RL微调提升多模态Agent决策：将RLVR框架迁移至真实业务指标（点击率、转化率等可计算信号），微调多模态Agent在图像排序、商品匹配等任务中的推理能力，无需额外人工标注。
- 分类学控制生成多样化训练样本：采用taxonomy-guided variation机制，可扩展到搜索词、查询意图的组合生成，丰富长尾覆盖，增强模型在电商推荐中的泛化能力。
误导图表问答的双路径Agent框架
🧭 Agent 双路径图表问答框架
HKUST · HKUST(GZ)
提出ChartCynics双路径Agent框架，通过视觉诊断与OCR数据验证解耦，大幅提升小模型对误导图表的鲁棒QA性能
📌 工作参考价值（4 点）
- 双路径解耦验证范式可迁移至电商多模态审核：商品图文一致性检查、广告素材合规判定等任务中，可构建类似“视觉异常检测路径 + OCR文本抽取路径”，由Agent Summarizer进行冲突裁决，提高对欺骗性描述的鲁棒性。
- Oracle蒸馏 + 对抗对齐训练方法：在推荐系统对抗恶意行为（如虚假评论、刷单）时，可用Oracle-Informed SFT蒸馏出批判性推理链，再通过Deception-Aware GRPO进行对抗式强化学习，让模型学会识别操纵模式。
- 小模型 + Agent工作流超越闭源大模型：电商搜索推荐场景资源受限时，可将大模型能力拆解为多个专家子路径，通过Agent编排让开源小模型在多模态推理任务上达到甚至超过GPT-4V等专有模型，性价比更高。
- 可借鉴的ROI策略与多证据整合：推荐系统中处理商品主图、详情图等多图像信息时，可引入战略性的ROI裁剪聚焦关键区域，结合文本证据进行最终判断，避免全局视觉偏见。
SVR-R1：通过强化学习中的自验证引导多模态推理
🧭 多模态推理 · 自验证强化学习
University of Illinois Urbana-Champaign · Meta
在RL rollout中嵌入多轮自验证循环，让VLM自我纠正并提升推理准确率，无需外部监督
📌 工作参考价值（4 点）
- 在对话式推荐Agent中，可引入类似的自验证-重试机制：模型生成推荐后自评置信度（Yes/No），低置信时触发二次推理，用RL优化整个过程，提升推荐准确性和用户信任度。
- 异步多轮rollout框架可借鉴至大规模推荐策略的在线RL训练，支持高效采样和动态停止，降低推理成本。
- 不依赖外部验证器的二值自验证信号设计，可作为强化学习奖励的辅助项，用于训练推荐Agent的自我纠错能力，在无真实反馈的冷启动场景中尤为有用。
- 训练过程中模型验证轮次自然减少的现象表明，可将推理阶段的自我验证作为一种正则化机制，最终模型可在部署时跳过验证步骤，加速线上服务。
十年间视觉语言模型准确度与视觉认知错误的演进
🧭 多模态视觉语言模型评估与错误分析
University of California, Santa Barbara
引入复杂社会行为数据集，评估十年间VLM场景描述准确度提升，并分析五类错误演变
📌 工作参考价值（4 点）
- 电商商品图描述、用户行为理解等场景可借鉴 CSB 数据集思路，自建包含复杂交互的测试集，系统性评估多模态模型在业务场景下的描述准确度。
- 五种错误类型（目标检测、识别、幻觉、场景理解、空间依赖）可直接作为诊断维度，监控线上多模态模型的输出质量，重点排查高影响的检测/识别/幻觉错误。
- MLLM 在复杂场景已接近人类但仍有空间依赖误差，提示在商品详情理解、直播画面解析等应用中需关注模型是否关注了关键区域，可引入注意力可视化辅助校验。
- 论文揭示了预训练与指令微调阶段模型的性能鸿沟，为业务选型提供依据：复杂视觉理解任务应优先选用 MLLM，并围绕空间依赖等残余误差做针对性优化。
SynthDocBench：长上下文视觉文档理解的受控基准
🧭 基准评估 · 长文档多模态理解
ServiceNow AI · Mila · Université de Montréal
通过合成数据系统控制文档长度、布局、模态和问题类型，揭示VLMs在长文档上的三种失败模式
📌 工作参考价值（4 点）
- 合成数据生成范式的复用：用LLM管线生成可控变量（长度、布局、模态、问题类型）的文档，可迁移到电商商品详情页、广告落地页等多模态内容的理解评估，系统诊断模型弱点。
- 位置敏感性发现：中部段落准确率最低（5/6模型“Early→Late”负向趋势，最大降8.3个百分点），提示在构建RAG系统的检索上下文时，避免简单按序拼接长文档，应将关键信息前移或采用分段注意力增强机制。
- 图表理解在长文档中崩坏：长文档内嵌图表的理解错误高，对广告/推荐中常含图表的多模态素材，需单独提取图表区域进行专项编码，或限制上下文长度以避免干扰。
- 防伪相关的随机覆写机制：生成时用40%随机覆写防止模型利用虚假关联，在实际业务构建评测集时，可引入类似随机占位符或噪声注入，避免模型走捷径，提升评测稳健性。
JD Oxygen AI商品中心：基于LLM/VLM的商品理解与管理平台
🧭 工业级LLM/VLM商品知识中台 ★ 深度解读
JD.com
用LLM/VLM构建百万级本体与S2D识别架构，实现高精度、高吞吐的商品知识生产
📌 工作参考价值（4 点）
- 本体与模型解耦的 S2D 架构：将商品属性值作为外部知识库检索，再让模型判别匹配，彻底避免本体更新时重训模型。电商属性体系频繁变动时可借鉴，快速上线新属性。
- 计算量聚焦“差异化 SKU × 相关属性”：通过同 SPU 相似度去重和属性相关度探测，大规模缩减无效计算，适合海量商品库的实时/近线特征生产。
- 人机协同的本体迭代范式：专家定义骨架，LLM 做开放抽取+融合+验证，兼顾覆盖与质量；可迁移至类目体系、标签体系等知识资产建设。
- 统一商品隧道分层服务：提供秒/分/天级新鲜度接口，解耦知识生产与消费，使搜索、推荐、运营等场景按需取用，避免重复建设。
DataComp-VLM：改进视觉语言模型的开放数据集基准
🧭 多模态数据筛选与混合策略基准
数据混合而非过滤是提升VLM训练质量的关键，指令丰富混合可扩展性更优
📌 工作参考价值（4 点）
- 数据混合优于过滤：在构建电商多模态模型（如商品图文理解）时，应优先投入人力设计数据配比（例如指令数据 vs. 简单图文对），而非单纯用质量过滤丢弃数据。
- 增加指令微调数据占比：对于需要遵循指令的产品（如商品描述生成、多模态对话搜索），在预算内大幅提升指令格式样本的比例，能带来更好的下游任务扩展性，且收益随模型规模扩大而放大。
- 复用 DCVLM 基准框架：可将内部多源数据（用户评价图、商品主图、商品标题、问答对）组织成类似四类数据类型（图像-文本对、交错文档、纯文本、指令数据），利用其可插拔过滤/混合/采样接口做快速消融实验，找到最优数据配方。
- 小预算探索大模型效果：DCVLM 的低 token 预算轨道（如 6.25B）可用来预估不同数据策略在更大规模下的表现，适合资源有限的业务团队在迭代中提前淘汰劣化配方。
ABACUS：统一基础模型适配以实现图像计数理解与生成
🧭 视觉语言模型统一理解与生成
University of Surrey · Simon Fraser University
提出统一视觉语言模型 ABACUS，无需基准特定训练即可在多种计数任务和计数忠实图像生成上取得 SOTA
📌 工作参考价值（4 点）
- 对于需要生成特定数量商品的电商场景（如促销图“5 件装”），可直接迁移 ABACUS 的计数忠实生成能力，确保图像内容与文案严格对齐。
- 统一模型多任务设计思路可借鉴到推荐系统：用一个模型同时处理点击率预估、转化率预估、商品文案生成等任务，减少独立训练成本。
- 循环一致性 GRPO 策略（理解分支自我批评生成结果）无需外部标注，可应用于推荐系统的生成式对话 agent 中，通过自我纠错提升回复事实性。
- 自适应缩放与物体性图的局部感知机制，可类比到多模态召回，对 query 区域重点建模，提高细粒度检索准确率。
S-Agent：空间工具使用激发空间智能推理
🧭 空间智能 Agent 范式
NTU · THU · ByteDance · NWPU · Ropedia
将空间推理变为VLM规划的时空证据累积过程，配备层次化工具与双记忆，零样本提升多视图推理并可蒸馏小模型。
📌 工作参考价值（4 点）
- VLM 作为规划器结合层次化空间工具（2D→3D lifting）的模式可直接复用到电商多模态商品理解，例如调用工具提取商品尺寸、方位、遮挡关系等空间属性，丰富推荐特征。
- 双记忆设计（Scene Memory 存储场景状态 + Agent Memory 存储工具调用与推理历史）为对话式推荐 / 搜索中的多轮状态管理提供参考，能持续累积用户意图与工具反馈，避免孤立轮次。
- 推理时增强 + 轨迹蒸馏方法论（S-300K → S-Agent-8B）可借鉴到业务轻量模型升级：收集 LLM/VLM 的工具调用轨迹，微调小模型，在成本限制下获得复杂推理能力。
- 时空证据累积而非单帧预测的思路，对视频推荐或动态场景理解有价值，例如从用户浏览视频多帧中逐步累积兴趣证据，提升长期偏好建模的准确性。
凝视头：视觉语言模型如何注视其所描述内容
🧭 视觉语言模型 · 注意力机制 · 模型操控 ★ 深度解读
Northeastern University
VLM 中仅 9% 的注意力头（凝视头）能跟踪当前生成的图像区域，重定向这些头即可控制模型描述目标区域。
📌 工作参考价值（4 点）
- 推理时低成本控制 VLM 描述焦点：通过仅修改不到 9% 的注意力头（凝视头）的注意力掩码，无需重新训练即可将模型输出重定向到图像的任意区域，可用于多模态商品描述、QA 等场景，强制模型聚焦于指定商品或特征。
- 低资源发现关键 head 的方法：使用简单的“凝视分数”（不同查询下注意力转移的对角相关性）在少量前向传播中定位可操控的 head 集，工程上容易复现，可用于其他多模态模型的分析与微调指导。
- 动态注意力干预：可在生成过程中实时切换凝视目标，让模型逐段描述不同区域，类似对话式交互中逐步引导模型关注不同商品或属性，为可控多模态对话提供新接口。
- 注意：仅对联合训练视觉编码器的 VLM 有效（如 Qwen3-VL、InternVL），对冻结编码器的模型（LLaVA、Bunny）效果差，选型时需留意架构差异。
SpatialClaw：以编程为行动界面的空间推理Agent
🧭 Agent 设计 · 代码作为行动界面 ★ 深度解读
NVIDIA · KAIST
提出以Python代码作为行动界面，在持久内核中迭代组合感知工具，显著提升开放式空间推理性能。
📌 工作参考价值（4 点）
- Code as Action 替代固定工具调用：在 Agent 设计中，用 Python 代码生成代替 JSON/XML 结构化工具调用，可动态组合基础 API（分割、重建、计算）完成任意复杂任务。电商场景的智能客服或商品属性提取 Agent 可借鉴，让模型根据问题实时编写数据处理代码，而非受限于预定义工具列表。
- 持久化内核支持观察-修正循环：将执行环境设为持久化 Python 内核，中间变量、可视化结果跨步骤保留。推荐系统的在线调参或分析环节可引入类似机制：每步执行后保留状态，Agent 根据输出反馈修正后续步骤，避免一次性提交全部分析策略。
- 通用计算库赋能动态组合：工具设计为普通 Python 可调用对象，同时预加载 NumPy/SciPy/Matplotlib，使 Agent 无需专属工具即可用基础运算实现统计、空间索引等需求。生成式推荐中，可让 Agent 在召回、排序阶段动态组合检索策略与重排逻辑，利用通用库实现临时的指标计算。
- 无微调的泛化 Prompt 工程：系统提示编码领域通用推理原则（如“用度量计算代替像素估计”、“多证据交叉验证”），而非任务特定示例，跨 20 个基准和多个模型家族均有效。构建电商多模态 Agent 时，可提取通用规则提示，降低每个新任务的手动适配成本。
自演化的视觉提问者
🧭 自监督问题生成 · 视觉提问
University of Maryland, College Park · University of California, Los Angeles · Peking University · Arena · MBZUAI
让VLM通过自我生成与过滤，逐步产出更困难、更多样化的视觉问题，无需外部监督
📌 工作参考价值（4 点）
- 搜索/推荐场景下，可用类似 self-evolving 范式自动产出更困难、更多样化的用户查询词或推荐理由，无需人工标注。
- 对话式推荐 Agent 可利用自提问-过滤机制，主动向用户提出高信息量的澄清问题，提升交互效率。
- 论文的 Agentic 评估协议（感知、推理、多样性）可直接迁移用于评估推荐系统生成的 query 或对话的质量。
- 工程上可借鉴其双模式训练（提问者+回答者联合优化），保证生成能力不损害原有任务性能。
通过个性化视觉提取与自适应学习教会多模态推荐模型“看见”
🧭 多模态序列推荐 · 视觉信号增强 ★ 深度解读
Fudan University · Imperial College London
提出即插即用框架REVEAL，通过反馈引导视觉提取和自适应视觉学习提升多模态序列推荐中视觉信号的利用率。
📌 工作参考价值（4 点）
- 视觉特征增强可复用：当业务中视觉内容（商品图、短视频封面）对CTR/CVR贡献不足时，可借鉴FVE思路——用任务反馈（如最终推荐 loss）迭代优化视觉提示词，无需微调VLM，将静态通用视觉特征转为用户偏好对齐的表示。
- 缓解模态不平衡的轻量方案：AVL通过计算单模态损失差距动态缩放视觉梯度，无需额外监督、不改变骨干结构。电商推荐中文本信息（标题、属性）常过强，可引入类似机制让模型更公平地学习图像、音频等弱模态。
- 即插即用与零推理开销：REVEAL仅在训练阶段生效，推理完全还原原始管道，非常适合业务已上线的模型做低成本升级。
- 提示词工程与反馈循环设计：FVE中利用VLM基于推荐错误分析优化提示词的范式，可迁移至生成式推荐（例如用LLM生成商品描述或创意文案时，以最终转化指标反馈迭代提示模板）。
基于想象力的思考：与世界模拟器协作的Agent视觉空间推理
🧭 Agent视觉空间推理 · 世界模拟器
The University of Hong Kong · Shanghai AI Laboratory · Shanghai Jiao Tong University · Fudan University · Beihang University
提出Astra框架，通过RL训练VLM策略决定何时调用世界模拟器生成新视角图像，提升多视图空间推理能力
📌 工作参考价值（4 点）
- 工具调用的决策学习：Agent仅在想象观察优于直接回答时才调用世界模拟器，这种“何时使用工具”的策略可迁移到对话推荐Agent中，避免过度依赖外部信息导致延迟和误导。
- 两阶段RL课程设计：先通过行为克隆预热工具使用，再用RL优化调用决策，这种分阶段训练策略可用于训练推荐Agent学习何时调用知识检索或用户画像补充信息。
- 视一致性训练保证证据可靠：通过位姿和内容一致性约束训练世界模型，确保生成的观察与实际一致；类似地，在多模态推荐中生成商品描述或图像时，可引入一致性损失提升信息真实性。
- Agent与环境交互的闭环框架：Astra将视觉推理转化为“观察-想象-推理”循环，在电商场景中，可构建模仿用户浏览行为的模拟环境，让推荐Agent主动探索生成更合理的推荐理由。
Video2LoRA：通过参数化视频内化降低 VLM 推理成本
🧭 视觉语言模型 · 视频压缩内化
University of Maryland, College Park
用超网络从视频直接预测 LoRA 权重，查询时零视觉 token，保持性能的同时大幅降低延迟和吞吐成本
📌 工作参考价值（4 点）
- 对于电商商品视频、直播切片等需要反复问答的场景，将视频内化为 LoRA 权重后，后续查询完全省去视频帧编码，可实现 6~80 倍的首 token 延迟降低和 1500 倍的视觉 token 负载缩减，适用于对同一内容多次交互的 Agent 或推荐解释链路。
- 超网络预测 LoRA 权重的思路可迁移到其他多模态输入的快速适配：如图集、商品描述集合等，用一次前向生成一个适配器，替代传统微调，快速构建个性化模型。
- 发现不重叠视频段独立生成的 LoRA 可在秩空间直接相加组合，这为长视频（如长时直播回放）的分块处理提供了可能，可在电商视频理解中用于处理超长商品讲解或直播内容。
- 单次前向生成适配器的架构设计（感知器超网络读取冻结 VLM 中间层特征）可作为“模型即存储”的参考，当业务需要反复访问同一批多媒体内容时，可将内容压缩为轻量权重，减少对上下文窗口的依赖。
SCOPE：面向边缘部署的实时自然语言PTZ摄像代理
🧭 Agent · 语言驱动摄像代理与仿真基准 ★ 深度解读
Armada AI
通过SLM规划器与VLM感知工具解耦，实现边缘实时PTZ摄像代理，并发布536任务基准与19种模型组合分析
📌 工作参考价值（4 点）
- 规划与感知解耦的架构：将SLM作为调度中心，感知工具（VLM）按需调用，避免图像 token 进入对话上下文，降低延迟和显存压力，适合多模态 Agent 的边缘部署。
- MoE SLM 的延迟–准确性平衡：Qwen3-30B-A3B（激活参数 3B）在推理延迟上接近 4B 密集模型，但工具路由和推理能力显著更强，是实时控制环路中的实用选择。
- 量化几乎无损：FP8 量化在多数配置下准确率持平或略优，且减少显存，对生产环境中的模型压缩与加速有直接参考价值。
- 仿真–真实的双向评估框架：在 Blender 中精确复现 PTZ 动作空间和工具 API，实现可复现的闭环评测，这一方法论可迁移至其他具身 Agent 或 IoT 控制的迭代开发中。
为何远处向上看：探究视觉-语言模型的空间表征
🧭 视觉-语言模型 · 空间表征分析
Seoul National University · The Ohio State University · NVIDIA
发现VLMs将垂直图片位置与距离混淆，提出SpatialTunnel基准暴露空间捷径偏见，并表明解耦空间轴可提升鲁棒性
📌 工作参考价值（4 点）
- 多模态推荐（如基于产品图像的空间关系推荐）需警惕模型依赖垂直位置作为距离的捷径，建议用对比对探测内部表征是否解缠。
- 构建具身Agent的视觉模块时，应使用合成基准（如SpatialTunnel）评估空间推理鲁棒性，确保在反直觉视角下仍准确。
- 电商视觉搜索中涉及空间关系查询（如“沙发左侧的台灯”）时，可借鉴表征分析方法验证模型是否真正理解3D空间。
- 模型选型时，相似基准得分可能掩盖内部偏见差异；可补充表征探针，优先选择空间轴分离度高的VLM。
小巧而可靠：高效视觉-语言推理用于时间序列异常检测
🧭 时间序列异常检测 · VLM微调
University of Illinois Urbana-Champaign · Sandia National Laboratories
构建带推理标注的时序异常检测benchmark并微调参数高效VLM，精准率和F1分别提升21和24个百分点以上。
📌 工作参考价值（4 点）
- 电商系统监控（如流量、转化率时序）可借鉴：将时间序列可视化为图表，用微调的VLM（如LoRA）进行异常定位与解释，降低对传统统计方法的依赖。
- 构造高质量推理标注的方法可复用：利用多个大VLM生成候选解释，再基于细粒度任务奖励筛选优质标注，提升训练数据的可解释性。
- 参数高效微调（预计用了LoRA等）使小模型也能继承大模型的推理能力，适合资源受限场景，可迁移到电商中不用推理大模型 online。
- 主要是学术贡献，业务可借鉴点有限，但思路可用于需要透明决策的监控类应用。
AgenticVBench：评估视频后期制作中多模态 AI 代理的基准
🧭 多模态代理 · 视频后期制作基准 ★ 深度解读
Philo Labs Research
首个覆盖视频后期全流程的代理基准，揭示脚手架设计对代理性能的一阶影响
📌 工作参考价值（4 点）
- 脚手架（harness）是一阶变量：同一模型在不同脚手架下的得分差距可达20个百分点。在构建电商/Agent系统时，应像重视模型选型一样重视底层工具链和规划循环的设计。
- 为多模态代理提供专用工具原语：OpenClaw提供的image、tts、video_generate等类型化原语在Sequencing任务中胜出，而通用shell工具使模型在Assembly上表现差。构建电商视频处理或广告合成的Agent时，应封装高层级、参数化的多模态操作，而非让模型从零编写ffmpeg命令。
- 代理失败模式分析指导工程方向：Repurpose任务中83%的失败源于长上下文信息丢失，Repair中24%由模态错位导致。在电商场景中，类似的产品视频压缩或修复任务应优先设计更鲁棒的长期记忆和跨模态对齐机制。
- 基准设计覆盖真实工作流：任务源于20位行业专家的日常流程，涉及0.5小时到一周的人力耗时。这种设计方法可迁移到电商售后、内容生成等Agent任务的真实度校验——从从业者工作流出发定义任务和评分标准，避免脱节。
PhysX-Omni：统一生成可仿真的刚体/变形体/关节体3D资产
🧭 3D生成 · 物理仿真 · 多模态学习
S-Lab, Nanyang Technological University · ACE Robotics
提出统一框架与数据集，实现跨类别仿真就绪3D生成，并构建含六维度评估的基准
📌 工作参考价值（4 点）
- 几何表示trick：论文提出的高分辨率几何直接编码方法，避免压缩损失，可借鉴到电商3D商品重建中，提升细节保真度（如服饰纹理、家具结构）。
- 数据集构建思路：PhysXVerse覆盖多种物理属性，电商可类似构建带材质、可变形参数的商品3D数据集，支撑VR试穿、物理交互模拟。
- 评估维度扩展：PhysX-Bench引入尺度、材质、可供性等六维度评估，生成式商品3D模型也可引入类似benchmark，避免只看几何相似度。
- 多类别统一框架：统一处理刚体、变形体、关节体的生成流水线，可启发我们将不同商品类型（硬质电子、软体衣物、可动家具）纳入同一生成系统，降低维护成本。
POW3R：基于策略感知的动态评分标准奖励框架
🧭 RLVR · 动态奖励聚合 ★ 深度解读
Scale AI · Persona
提出POW3R框架，通过rollout对比自适应调整评分标准权重，将人类重要性与当前可学性解耦，提升GRPO训练效果与效率
📌 工作参考价值（4 点）
- 多目标奖励的动态权重分配：在电商推荐或Agent的多维度评估中（如准确性、多样性、响应速度），可借鉴POW3R，根据策略当前表现动态调整各维度在奖励中的压力，避免固定权重导致学习停滞在已饱和或无法达标的目标上。
- 信息量驱动的训练信号筛选：利用rollout级别的方差（或评分者间分歧）识别哪些评估项对当前策略最具区分力，将训练压力集中于此，其他项保留基线权重，这能提升早期训练效率和最终性能，类似推荐系统中对困难用户或长尾商品的强化学习倾斜。
- 保持类别质量平衡的归一化设计：POW3R在类别内重新分配权重但保持类别总质量不变，这种设计可复用至Agent的多能力维度（规划、工具使用、解答准确性）训练，避免某一能力因梯度占优而掩盖其他能力的发展。
- 评估与训练奖励解耦：静态的人类重要性权重保留作为最终评估目标，训练时则使用动态权重提供更丰富的梯度信号。这种拆解对生成式推荐中多语义ID的优化同样适用：静态的语义重要度不直接等同于RL训练时的有效信号，可分别设计评价和训练两套权重。
极光：使用工具增强代理的统一视频编辑
🧭 视频编辑 · Agent 工具增强 ★ 深度解读
University of Rochester · MIT-IBM Watson AI Lab · NVIDIA
提出Aurora框架，用工具增强的VLM代理解决视频编辑中用户请求欠指定问题，将缺失条件补全后送入统一视频扩散模型。
📌 工作参考价值（4 点）
- Agent 条件构建范式：将用户模糊请求（缺少参考图、掩码、明确指令）委托给工具增强的VLM代理，生成完整的条件元组（指令、任务类型、搜索词、掩码描述），下游生成模型只消费标准条件，该解耦模式可直接用于电商商品图生成、广告视频编辑，降低人工补全成本。
- 偏好对齐解决边界决策：使用DPO精细解决代理的边界案例（如误触发搜索、模糊掩码、约束丢失等），在推荐或Agent决策中可借鉴此方法，通过构建冲突对提升模型在相似但错误路径上的区分能力。
- 工具增强与统一条件接口：代理可调用网络搜索和分割工具，输出统一格式的参考图与掩码，屏蔽不同工具的内部差异，适合在Agent工作流中集成异构API，降低下游模型对工具强耦合。
- 设计评测维度：提出AgentEdit-Bench专门测量代理补全缺失条件的能力，评估指标包含实体匹配和身份保持，可启发我们为客服、推荐等场景构建需要主动补全信息的评测集。
面向视觉过程问答的分层推理框架与基准
🧭 视觉过程问答 · 多模态分层推理
提出ProcedureVQA基准和CoP层次推理框架，通过先检索后细化的方式增强VLM的过程推理能力
📌 工作参考价值（4 点）
- Agent 多步决策借鉴：CoP 的“先粗粒度检索 → 细粒度步骤分解”架构可直接用于电商场景的过程式 Agent，如根据订单状态图片自动检索售后退款流程并定位下一步操作。
- 多模态 RAG 实现：利用视觉线索检索结构化过程知识库的方法，能迁移到商品手册、安装教程的智能问答系统，通过图像匹配相关文档段落再生成答案。
- 数据构建思路：ProcedureVQA 的构建方式可用于内部评测 Agent 的多模态过程推理能力，暴露模型在细粒度跨模态对齐上的短板。
- 流程优化 trick：CoP 的语义分解模块对于长文本步骤的细化，可用于将用户粗糙的意图（如“退货”）分解为可执行的子步骤，提升推荐或客服 Agent 的指令可操作性。
Pelican-Unified 1.0：统一理解、推理、想象与行动的具身基础模型
🧭 具身智能 · 统一多模态基础模型
首个按统一原则训练的具身基础模型，用单一VLM实现理解、推理、想象与行动，同规模下多项性能最优
📌 工作参考价值（4 点）
- 统一多任务的架构思路：用一个VLM同时承担理解与推理，将场景、指令、历史动作映射到共享语义空间，避免多个专家系统的拼接，降低系统复杂度，适合电商场景中需要融合文本、图像、用户行为序列的多任务统一建模。
- 未来生成器联合预测视频与动作：通过同一去噪过程同时产生未来视觉和未来行动，并将语言、视频、动作损失回传至共享表示，这种联合训练能让模型学到更丰富的环境动态表征，对需要想象用户未来行为的推荐模型有启发，可以尝试在用户序列预测中同时生成行为与上下文。
- 自回归思维链生成与潜变量投影：VLM在单次前向中输出任务、动作和未来导向的思维链，并将最终隐状态投影为潜变量，作为未来生成的Condition，这类似于将推理过程显式化为离散Token再总结为稠密向量，可以借鉴到Agent决策或推荐解释中，提升推理的可控性和下游生成质量。
- 一个Checkpoint保持各能力竞争力：实验表明统一训练不会导致能力妥协，对工业部署友好，可减少线上模型数量和版本管理成本，适合电商中需要同时具备理解、推理、想象能力的基础模型建设。
合成图层设计数据是否有利于图层设计分解？
🧭 图形设计图层分解 · 合成数据增强
Hong Kong University of Science and Technology · WeBank
纯合成数据训练在图形图层分解任务上超越真实数据集，且可扩展至数万样本。
📌 工作参考价值（4 点）
- 电商商品图分层编辑：可直接用纯合成数据训练图层分解模型，摆脱对难以获取的专有分层 PSD 文件的依赖，降低数据成本。
- 自动化标注流程：结合 VLM 自动预测图层边界框并生成文本描述，实现训练样本的自动化构造，提升迭代效率。
- 数据分布控制：合成数据可灵活调整图层数量分布，避免真实数据长尾问题，提升模型对不同复杂度设计的泛化能力。
- 训练规模参考：实验表明约 5 万张合成图像即可达到性能饱和，为实际部署时的数据预算提供直接参考。
MemEye：以视觉为中心的多模态智能体记忆评估框架
🧭 Agent
从视觉证据粒度和推理方式两维评估多模态记忆，揭示现有架构在细节保留与状态变化推理上的缺陷
ViDR：将多模态深度研究报告锚定于源视觉证据
🧭 多模态深度研究报告的视觉证据定位与验证
Peking University · National Key Laboratory of Data Space Technology and System · Beijing Jiaotong University · Hunan University
提出将源图像作为可检索、可解释、可验证的证据对象，结合证据索引提纲和视觉验证，提升多模态深度研究报告的可靠性和可验证性
📌 工作参考价值（4 点）
- 多模态证据的可信报告生成：在电商商品评测或行业分析报告的自动生成中，可将商品图片、图表视为可验证的源证据，通过类似“证据索引提纲”的方式将每个结论关联到具体视觉证据，提升生成内容的说服力。
- 噪声图像的精炼流水线：论文提出的“上下文感知过滤 + 提纲感知重排序 + VLM 视觉分析”流程，可直接用于从混乱的网页抓取商品图片中提取高质量、相关的证据原子，避免无关或低质量图片干扰报告。
- 视觉引用的显式验证：在生成报告中验证引用图像的准确性和位置合理性，减少“幻觉”或错配，这一思路可移植到多模态 RAG 系统，增强答案的可信度。
- 多模态报告质量的量化评估：MMR Bench+ 将源图检索、放置、解释、可验证性等纳入评测维度，可为电商多模态内容生成系统提供更全面的离线评估方案，指导优化方向。
面向少样本多模态时间序列分类的 VLM 智能体推理框架 MarsTSC
🧭 LLM ★ 深度解读
Sun Yat-sen University · Xiaomi Corporation · University of Science and Technology of China · National University of Singapore
设计三协作智能体与自进化知识库，让 VLM 在少样本下通过反思推理显著提升时间序列分类准确率