#Localization

3 篇

PreView: Enhancing GUI Grounding with Preprocessed Views and Cues

PreView：通过预处理视图和提示增强 GUI 定位

🧭 GUI 视觉定位 · 输入预处理增强冻结模型

Independent Researcher

提出轻量辅助预处理器 PreView，为冻结 GUI 定位模型生成局部放大视图与候选特定视觉/文本提示，无需微调提升定位准确率。

📌 工作参考价值（4 点）

在电商/广告领域的 Agent 自动化（如 RPA、后台操作、广告审核）中，面对高分辨率复杂界面，可借鉴 PreView 的轻量辅助模型预测候选中心、裁剪放大局部视图，显著降低 VLM 输入分辨率和 token 成本，同时提升小控件点击准确率。
候选特定 cue 设计可直接复用：用红圈标记 + 位置提示（如“在左上角附近”）作为视觉 cue，结合候选身份/功能的简短文本描述（如“这是一个‘立即购买’按钮”），消除多控件密集布局下的歧义，这对商品详情页、广告落地页元素定位与合规检测尤其有用。
冻结主干模型、仅训练轻量预处理模块的范式适合业务快速迭代：无需重训或微调现有 VLM/grounding 模型，可快速适配不同界面风格和业务场景；中心细化机制可借鉴为 coarse-to-fine 定位策略。
注意视觉输入预算管理：论文分析了视觉输入 budgets，启示在部署时可根据目标控件数量动态调整裁剪视图数量与分辨率，平衡准确率与推理成本。

Multimodal | 2026-10-23 | HF Daily | score 6/10

LACUNA：评估 LLM 遗忘定位精度的测试平台

🧭 LLM 知识遗忘评估 · 参数定位精度

Mila – Quebec Artificial Intelligence Institute · McGill University

首个提供参数级定位真值的 LLM 遗忘基准，揭示现有方法定位不准且易受攻击，精准定位可大幅提升遗忘鲁棒性。

📌 工作参考价值（4 点）

Other | 2026-07-02 | cs.LG | score 6/10

PixelEyes：解耦感知与推理的精准视觉证据搜索

🧭 解耦感知与推理的视觉Agent

Wuhan University · UC Merced · UTS · NUS · NTU

提出解耦式视觉Agent：推理器决定找什么，专用分割工具给出掩码级定位，配合语义区域BFS消灭冗余路径。

📌 工作参考价值（4 点）

解耦架构可直接迁移到电商Agent：用LLM做高层推理决策（如“找 logo 在衣服的哪个部位”），调用专精的视觉基础模型（如商品分割模型）给出像素级定位，避免LLM直接输出 bbox 不准导致的多轮无效追问。
语义区域 BFS 策略用于多轮商品对比：对商品详情图进行语义分割（如领口、袖口、印花区域），按区域广度优先提问，可系统性地收集细粒度属性，替代当前对话式推荐中随机或深度优先的循环。
合成专家轨迹数据集的方法：将高效搜索策略（如 BFS + 掩码引导）内化到模型训练中，可借鉴用于训练对话式推荐或客服 Agent，让模型学会用最短轮次完成信息收集。
Pinpoint-Bench 的细粒度失败分析框架：分离定位错误与推理错误，有助于诊断业务中多模态 Agent 的“注意盲视”（看到区域但识别错），可用于离线评估和迭代优化。

Agent | 2026-06-29 | HF Daily | score 7/10