Youtu-Parsing-Omni：单编码器、统一模式的全模态解析
🧭 全模态文档解析 · 统一 schema 与自进化训练
Tencent Youtu
提出一个编码器与统一 schema 的全模态解析器，将文档、图像、音频、视频解析为带时空定位的结构化记录
📌 工作参考价值（4 点）
- 统一 token-role schema 可减少多任务解析头：在电商内容理解中，商品主图、详情页、短视频封面、直播切片往往需要多套解析模型。将不同任务输出统一为带角色标签的 token 序列（如文本、坐标、时间戳），能让 Agent 直接读取并定位证据，降低格式转换和后期拼装成本。
- OSAD 自进化蒸馏适合标注稀缺场景：电商属性抽取、广告素材审核等场景标注成本高、数据漂移快。可先用少量种子数据训练，再用自身 rollout 与参考条件副本做 token 级蒸馏，迭代刷新参考模型，形成“模型生成—自我蒸馏—权重刷新”闭环，减少对新增人工标注的依赖。
- 用预训练 LLM 初始化编码器并共享权重：对于强文本感知需求的任务，如海报 OCR、商品标题识别、价格标签读取，LLM 初始化的编码器能显著提升文本阅读能力。可将现有多模态编码器的文本分支替换为 LLM 初始化，并让各模态共享权重以压缩参数量。
- 视频帧关注并发音频的融合层：在直播切片或口播视频理解中，将音频作为并发信号引入帧特征融合，能改善时序定位和证据引用。对于商品讲解视频，可更准确地定位口播内容对应的画面片段，为后续推荐理由生成或广告素材自动剪辑提供结构化输入。
ZoomCap：证据路由的视觉缩放实现可恢复视觉信息传递
🧭 视觉caption生成与事实评估
Ant Group · Zhejiang University
用草稿路由、自适应缩放和 FactCycle 事实校验生成高密度图像描述，提升 VLM 训练效果
📌 工作参考价值（4 点）
- 借鉴“草稿—缺口恢复—定向补充”策略：在商品图文描述或广告素材理解中，先快速生成初稿，再针对 OCR 密集区域（成分表、注意事项、小标签）和覆盖缺口进行局部放大与二次采集，提升细节覆盖率与可信度。
- 借鉴 FactCycle 事实锚定评估：将生成文案/卖点拆成原子事实，用源商品图和生成图重建做盲评，分离幻觉（虚假宣称）与模型表达能力问题；可用于广告审核、商品描述合规与真实性检查。
- 自适应缩放只对复杂区域分配高分辨率计算，适合处理商品图多尺度信息（瓶身文字、包装细节、模特配饰），控制推理成本；可结合检测器先定位复杂度，再分档裁剪。
- 数据飞轮效果表明，高质量细粒度描述预训练能显著提升下游文档 OCR、感知和医疗 VQA 分数，建议为电商多模态模型构建类似“证据路由”生成的高密度描述数据集，用于持续预训练。
VTR-Bench：视频生成中视觉文本渲染的系统性评测基准
🧭 视频生成评测 · 文本渲染
City University of Hong Kong · The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong Institute of AI for Science, City University of Hong Kong · Westlake University · University of Electronic Science and Technology of China
系统评估视频生成模型的场景文本渲染能力，并提出关键帧引导的Agentic改进框架
📌 工作参考价值（4 点）
- 广告/商品视频生成：引入 WER/字符级 OCR 校验，把品牌名、价格、卖点文案作为硬性 text fidelity 指标，纳入 AIGC 创意 pipeline 的自动验收，避免错误文案上线。
- 关键帧先验与迭代：在生成视频前先用图像模型生成并校验关键帧文字，通过视觉反馈做 candidate selection / refinement；这比直接烧视频生成更省成本，适合筛选电商展示素材。
- Agentic Director 架构可迁移：Director 协调图像/视频生成与视觉评估，把“生成-检查-修正”闭环用于多模态广告 Agent，结合 prompt-specific chain-of-query 同时检查场景/运动约束。
- 评测分离 fidelity 与 semantic/motion：自动评测时用 carrier-specific transcription 和 chain of query，避免单一 VLM 打分；对多模态 Agent 输出的结构化和可归因评估有参考价值。
扩散草稿 + 自回归验证加速文档 OCR
🧭 扩散草稿 + 自回归验证加速生成
Trillion Labs · Korea University · Seoul National University
参数共享 AR-block-diffusion 模型并行草稿 + AR 验证，实现 OCR 解码 3.94 倍加速
📌 工作参考价值（4 点）
- 生成式推荐/广告文案等 input-grounded 长文本任务可借鉴：用 diffusion 并行生成多个 draft token，再用共享参数的 AR 路径做因果验证，接受多 token 提交，无需额外 drafter 网络。
- GRPO 直接优化共享 drafter 参数，用序列级或结构级奖励（如文本格式、关键词覆盖）避免 diffusion trajectory likelihood 估计，训练更稳定且可优化业务目标。
- 自推测解码可嵌入现有 serving 框架（如 SGLang），平均每 forward 提交 9.7 tokens，适合高吞吐低延迟的在线文案生成、query 推荐场景。
- OCR/文档理解中的结构化输出（HTML/LaTeX）奖励信号可类比于电商场景的结构化商品描述、广告落地页生成，可直接复用奖励设计思路。
古代中文文物文字识别综合基准：跨千年、多媒介、多书体
🧭 古代文字识别基准与模型评估
South China University of Technology · Huawei Technologies Co., Ltd.
构建2700张古代中文文物图像基准，覆盖三千年文字演变、九类媒介与七种书体，评估VLM与OCR专家模型并揭示未解难题
📌 工作参考价值（4 点）
- 对电商商品详情图、包装图上的长尾字体、异体字、艺术字识别场景有直接警示：通用 VLM 在低频字符和特殊符号上幻觉严重，生产环境应结合 OCR 专家模型或规则兜底。
- 论文的符号标准化、字符标准化、解析标准化三套标注规范可迁移到电商多源异构数据（如商品吊牌、质检报告、广告图）的评估集构建，统一不同媒介的标注口径。
- 评估思路值得借鉴：在同一基准上对比通用 VLM 与 OCR 专家模型，能快速定位业务中识别任务的模型选型与能力边界。
- 主要面向文化遗产数字化，业务可借鉴点有限；若业务涉及古籍、印章、书法等垂直领域，该基准可作为预训练或微调前的领域能力测试。
通过视觉文本纠错揭示视觉语言模型在图像文本理解上的局限
🧭 多模态评估 · 视觉文本纠错
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, CAS, Beijing, China · School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China · Fanyu AI Laboratory, Zhongke Fanyu Technology Co., Ltd, Beijing, China · Mohamed bin Zayed University of Artificial Intelligence
提出 ReViCo 基准，以视觉文本纠错任务评估 VLM 对图像内文字及其视觉上下文的理解能力
📌 工作参考价值（4 点）
- 电商/广告图像中大量文字（价格、促销、成分、资质）是决策关键。可借鉴 ReViCo 的视觉文本纠错任务，构建内部“商品图文字纠错”评测集，重点考察模型对价格数字、折扣文案、生产日期等易错文本的识别与修正能力。
- 业务用 VLM 做图文理解或信息抽取时，不要只依赖 OCR 指标；应增加“给出错误位置+修正结果”的输出要求，暴露模型在视觉上下文中误读文本的问题，降低后续 Agent 或推荐链路中的错误传播。
- 若需要快速提升，可参考其 targeted training 范式：用少量带标注的视觉文本纠错数据微调多模态模型，尤其针对业务中高频图像模板（banner、主图、详情页）提升鲁棒性；同时保留 prompt-based 基线做对比。
- 评估结果提示，即使 SOTA VLM 也可能误解图像内文字，设计 Agent 工作流时应增加校验环节，比如让模型输出原文与修正后文本，再由规则或 OCR 引擎交叉验证。
MonkeyOCRv2：面向文档AI的视觉-文本基础模型
🧭 文档视觉预训练 · 多模态基础模型
Huazhong University of Science and Technology · Kingsoft Office
面向文档图像的视觉-文本预训练模型，通过联合生成与重建策略提升多任务性能，冻结后可作为高效的多模态LLM视觉编码器
📌 工作参考价值（4 点）
- 商品图像文本增强：联合生成与像素重建的预训练策略对字符笔画和布局高度敏感，可直接用于提升电商商品图、广告素材的OCR准确率，特别是小字、艺术字、复杂背景下的关键信息提取。
- 高效商品文档解析：冻结MonkeyOCRv2+轻量LM（0.7B）即可获得SOTA文档解析效果，推理开销远低于通用大模型，适合大规模商品描述、质检报告、报关单据的结构化信息抽取。
- 多语言支持：预训练涵盖17种语言，对国际化电商平台处理多语言商品标题、评论图片、广告文案有直接帮助，无需额外语言适配。
- 篡改检测与内容审核：模型在文档篡改检测上的强大能力可迁移至商品图片真伪鉴定、用户评论截图真实性审核等风控场景。
DataEvolver：文本丰富图像生成的自进化多智能体数据构建
🧭 自进化数据飞轮 · 多智体协作
Central South University · The Hong Kong University of Science and Technology
将数据构建建模为反馈驱动的策略演化，利用拒绝样本的失败信号迭代改进，显著提升文本图像生成质量
📌 工作参考价值（4 点）
- 借鉴“拒绝样本有价值”的理念：在推荐/搜索的样本标注或数据清洗中，错误样本不仅该丢弃，其错误原因可被结构化记录并反馈到后续的数据采集策略中，减少同类错误反复出现。
- 多 Agent 分工模式可迁移到数据飞轮工程：Retriever（数据采集）、Verifier（质量评估）、Critic（汇总语义洞见）、Generator（合成补缺）分别对应数据链路的采集、质检、归因分析和合成增强，可直接指导推荐系统训练数据管线的设计。
- 利用 LLM 做 Critic 进行语义级反馈总结，可以帮助发现数据分布的覆盖盲区，例如在商品文案生成或搜索词推荐中，自动识别未充分表达的语义类型，并触发针对性合成或采集。
- 迭代构建框架本身是轻量的：不需要改变下游模型结构，只改变数据供给方式，适合在现有推荐模型训练流程中嵌入实验。
面向风险投资尽职调查的多智能体编排框架
🧭 Agent ★ 深度解读
Athens University of Economics and Business
事件驱动多智能体系统自动整合实时网络检索与官方注册文档解析，并通过结构化回退机制消除金融幻觉