稠密检索中方向性后验反馈融合的查询改写
🧭 查询改写 · 稠密检索向量融合 ★ 深度解读
Tsinghua University · Renmin University of China
把反馈向量转为原查询切空间上的方向性约束并做后验融合，训练无关地提升稠密检索查询改写
📌 工作参考价值（4 点）
- 可直接作为线上零训练后处理：对已有 query embedding 和 top-K 召回/LLM 生成反馈 embedding，只做切空间方向提取 + 闭式融合，不 fine-tune 编码器，也不改文档索引。
- 反馈置信度用两层控制：局部用 query-feedback similarity 的 MAD 鲁棒归一化再 sigmoid；集合级用证据向量均值强度 S 与方差 V 算 coherence，并乘以平均局部质量，可避免噪音 PRF 或 LLM 生成反馈带偏改写。
- 更新幅度用最大转角 θ_up 和集合置信度 g 做 cap：q' = cosφ q + sinφ δ/||δ||；对电商搜索中短 query、歧义 query，可限制最大转角在 10-30° 量级，避免改写过于激进。
- 复杂度 O(K²D+K³)，实际 K=5 较稳；PRF 下 K 太大会噪声变大，GRF 下可适当增大，做实验时按反馈质量分别调 K。
ProV-Mem：面向流式视频问答的主动记忆框架
🧭 流式视频主动问答 · 分层记忆
The Hong Kong Polytechnic University · Tencent Inc. · Shenzhen Loop Area Institute
冻结 VLM 骨干下，用三层轻量记忆解耦何时查询、说什么、是否发出，实现训练无关的主动流式问答
📌 工作参考价值（4 点）
- 三层记忆架构可直接迁移到实时用户行为流监控与主动触达 Agent：将「触发时机」「生成策略」「去重发送」解耦成独立轻量层，避免每次事件都调用大模型，显著降低推理成本。
- 冻结 VLM backbone + 外围无训练记忆模块，适合业务快速上线；用固定 prompt 先验约束生成简洁且视觉接地的内容，可类比于推荐文案、商品摘要的约束生成。
- episodic memory 做近重复过滤对主动 push 场景尤其关键——能减少对同一用户反复推送相似商品或消息造成的打扰，提升用户体验与消息接受率。
- CAUC 评估思路值得借鉴：在离线评估主动推荐/推送系统时，除准确率、召回外，增加对冗余、过高发送频率、过长输出的显式惩罚，更贴近真实业务收益与成本权衡。
SkillContrast：差异引导的 Agent 技能重排文本选择
🧭 Agent 技能检索重排 · 差异文本选择
Huawei Technologies Co., Ltd. · Department of Obstetrics, Shanghai East Hospital, Tongji University School of Medicine
训练无关的文本选择器，保留候选技能间差异与局部上下文，压缩重排输入并提升干净命中
📌 工作参考价值（4 点）
- 在 LLM/Agent 重排环节需要压缩候选输入时，不要只按 query 相关性抽句；可对候选集合做差异对比，保留版本、适用条件、资源限制等只有部分候选具备的区分信息，帮助 reranker 区分相似技能/商品。
- 该方法训练无关，可作为 reranker 前置的文本选择模块，适合业务快速接入；生产环境可用字符/段落 diff 或属性对比生成差异片段，控制单候选 token 预算。
- 对电商/广告中相似商品、素材或 skill 的重排，可尝试对候选标题、属性、卖点做“差异化选择”，突出规格、适用人群、价格条件等关键差异，提升 LLM 排序准确率并降低调用成本。
- 注意模型规模影响：较小 reranker（0.6B）可能因信息损失而弱于全量输入，较大模型（4B）可保持甚至提升；建议在目标模型上验证 token 节省与效果平衡。
骨架应该说什么语言？多语言推理中的语言选择
🧭 LLM 多语言推理 · 提示骨架语言选择
ETRI · KAIST · Dankook University
系统研究多语言数学推理中骨架提示语言选择，发现英语骨架平均微小正向但非普遍最优，效应依赖语境
📌 工作参考价值（4 点）
- 多语言业务中若用结构化推理骨架（如多步 agent 的思考模板），默认英语骨架可作为 baseline，但必须按语言分桶评估；平均收益可能由低资源语言/小模型驱动，不能直接全量推广。
- 将语言选择纳入 prompt 实验矩阵：不同骨架语言的效果存在方向一致、评估/基准依赖、不对称负效应，因此需要 multi-rollout + translation ablation 隔离语言变量，避免单次 greedy 结果误判。
- 对低资源语言，如果训练额外的多语言推理模型成本高，可优先用英语骨架做训练免推理引导；但要警惕对某些语言产生负效应，发布前做显著性校正。
- 工程上可复用其开源 LASEF 框架，构建多语言骨架版本管理、评估流水线，尤其适合跨境电商搜索/推荐场景的多语言 query 理解与 agent 推理。
几乎零成本优化循环Transformer解码
🧭 循环Transformer对比解码优化
Apple
训练无关的LoopCD对比解码，利用循环中间状态引导最终预测，提升推理质量并大幅降低计算量
📌 工作参考价值（4 点）
- 对比解码不依赖额外小模型或微调：可直接复用模型自身不同深度的输出，在 logit 或 hidden state 空间做差值引导。对线上已有 LLM 推理服务，可即插即用地提升生成质量，无需重新训练。
- 隐藏状态空间变体（LoopCD-Hidden）几乎零额外开销：适合对延迟敏感的电商搜索 query 生成、推荐理由生成等场景，无需增加输出层计算，直接对中间 hidden state 做对比。
- 循环 Transformer 架构下可动态调整深度：根据请求复杂度决定循环次数，再用 LoopCD 弥补浅层损失，实现精度与 FLOPs 的 trade-off。对需要弹性算力调度的在线推理系统有参考价值。
- 中间状态作为弱预测的直觉可迁移到其他多阶段推理模型（如 MoE 不同专家输出、多步推理的中间结果），利用“弱-强对比”放大模型确信信号，抑制不确定 token。
相关性不等于适用性：个人 GUI Agent 的经验激活框架
🧭 Agent 个性化 · 经验激活
NTU · Alibaba
提出 ExpActivator，将个性化从检索历史改为按当前情境激活适用经验，提升执行与主动建议效果。
📌 工作参考价值（4 点）
- 在 Agent 或推荐系统中，不要把大量相关历史一次性塞入上下文；改用“按当前决策时状态匹配历史动作/经验”的方式，可显著减少 token 并提升每步效果。
- 主动推送/建议（如 push 文案、routine 触发）可引入“条件充分才激活，否则 abstain”的机制，降低打扰率，提高 MCC 类指标。
- 使用冻结骨干的 latent 空间做 screen/state 匹配作为参考动作，无需微调，容易接入现有 LLM/VLM 系统；对电商 Agent 多步操作（如下单、搜索）可借鉴。
- 评估个性化不应只看整体成功率，需区分第一步与后续步骤，关注经验是否在每个决策都“适用”；可设计类似 step-level success 指标。
KeyRec：面向流式与长视频理解的有界视觉记忆框架
🧭 多模态长视频流式推理视觉记忆压缩
University of Virginia · Google
训练免费的视觉记忆框架，用事件银行与近期缓存分离存储，在固定预算下高效压缩长视频视觉 token
📌 工作参考价值（4 点）
- 借鉴“近期缓存 + 事件银行”的双层记忆结构：在电商用户行为序列或会话流建模中，可保留最近交互的细粒度 token（如点击、浏览），同时将较旧历史压缩为结构化事件表示（如会话摘要、关键行为节点），避免每次推理全量回放，降低长序列注意力成本。
- 采用 query-agnostic writing + query-dependent readout 的两阶段设计：离线阶段持续更新记忆，查询到来时用轻量 text-only router 自适应分配固定 readout 预算到近期与事件记忆，无需重处理历史帧。可在 Agent 记忆系统中应用，控制上下文窗口，降低 LLM API 费用。
- 事件合并与逐出策略（add-merge-evict）可用于用户兴趣画像维护：根据 novelty 决定是否新增事件，合并相似兴趣，淘汰过时兴趣，保持画像有界且信息密度高。
- 对于直播电商、商品视频理解等场景，可复用 KeyRec 的视觉 token 压缩思路，仅保留 10% 的 visual token 预算即可保持接近密集处理的性能，显著降低推理成本。
Seek：面向知识检索的自评估探索式迭代检索框架
🧭 LLM 迭代式检索与相关性反馈 ★ 深度解读
University of Waterloo · Mila – Quebec AI Institute · University of California, Berkeley · University of Toronto · Toronto Metropolitan University
训练无关的迭代检索框架，用 LLM 生成伪段落扩展 query 并分级评估反馈，突破单次检索 recall 上限
📌 工作参考价值（4 点）
- 用「LLM 生成 pseudo-passage 扩展 query → 重新召回 → LLM 分级标注」的测试时循环替代固定候选池 rerank，能在不训练排序模型的情况下找回 BM25 漏掉的商品/内容；电商搜索中可让 LLM 根据 query 生成伪商品描述、属性组合或场景描述来提升长尾和复杂约束 query 的 recall。
- 显式利用正负反馈：高分结果强化有效 facet（风格、价格带、使用场景），低分结果作为 drift 在下一轮 prompt 中抑制，而不是只做简单二值相关；可借鉴 UMBRELA 0-3 分级判断，使后续 query 扩展更精准。
- 成本控制设计可直接复用：每轮只评估 top-K 未见文档、最多 T 轮、top-K 全为最高分或连续两轮 top-K 不变时早停；工程上不需要全库 dense embedding，适合快速接入已有搜索链路。
- 最终排序采用两阶段：assessor 打过分文档按 grade 优先、未评估文档按 retriever 分数补位；对 Agent 检索工具友好，因为输出的是已评估的可解释候选池，比原始 BM25 更适合下游推理或商品推荐生成。
ConvMem：面向长上下文推理的卷积记忆框架
🧭 长上下文推理 · 卷积记忆
Institute of Automation, Chinese Academy of Sciences
将长上下文推理重构为分层卷积，训练免费、高度并行，缩短推理链为对数树
📌 工作参考价值（4 点）
- 超长用户行为序列建模：可借鉴其分层卷积思路，将用户长期行为、浏览/点击序列分段，用 LLM 以当前 query 为卷积核做树状摘要，降低顺序读取延迟。
- 多意图查询分解：Multi-Kernel Convolution 把复杂 query 拆成多个语义通道并行处理，适合电商搜索中多意图识别与召回融合。
- 训练免费外挂记忆：无需强化学习微调，可作为独立 memory 组件接入现有 LLM API，避免在特定数据集上过拟合，利于快速落地。
- 工程并行优化：Configurable Strides 和 Skip Connections 支持对多个文本段批量 summary，适合长文档 RAG、商品详情/评论聚合等场景的 GPU 并行加速。
超越一次性扩展：多跳检索的对比证据探索
🧭 多跳 RAG 检索 · 对比证据探索 ★ 深度解读
Chung-Ang University
训练免的多跳检索框架，通过对比 facet 索引、证据条件探索和覆盖感知重排提升 RAG 证据召回
📌 工作参考价值（4 点）
- 可直接迁移到电商搜索中的复杂意图查询：将原始 query 视为多跳证据链的起点，利用 LLM 基于已检索商品/属性生成下一轮 probe，逐步发现缺失的品类、品牌或属性约束，避免一次性扩展引入噪声。
- 借鉴 passage-specific contrastive facets 思想：为每个商品或知识片段离线生成“区分性问答对”（如“该商品与相似商品的差异点”），在召回阶段作为附加信号，帮助提升稠密检索对相似商品的区分度，避免同款/相似款混淆。
- Coverage-aware 贪心选择可以用于重排：在电商推荐或广告素材排序中，用生成多个 probe 分别代表不同用户意图，通过最大化边际覆盖增益选择集合，保证最终结果覆盖不同意图而非重复满足同一需求。
- 工程上，该框架 training-free，只需复用已有 embedding 和 LLM；但离线对比 facet 构建和在线多轮 LLM 调用成本较高，可以先在小而美的商品知识库上预计算，或者限制邻居数量和轮数来权衡 latency。
反射感知的生成式新视角合成
🧭 生成式NVS · 反射几何虚拟视图
KAIST
提出免训练反射感知多视图扩散方法，将镜中影像视为互补视图实现镜面场景一致新视角生成
📌 工作参考价值（4 点）
- 若业务涉及商品 3D/多视图生成（如家具、镜面或反光商品），可借鉴“虚拟视角 + 注意力门控”思路，对镜面/反射面显式建模，在不微调现有多视图扩散模型的情况下提升反射一致性。
- Ref-GeNVS 的 Mirror-gated attention 与 Reflection injection 两阶段注入反射关系，提供了一种 training-free 的条件控制范式：利用几何先验（镜像平面、虚拟相机）引导生成，可迁移到其他需要物理约束的生成任务。
- 对 AI 生成商品创意/短视频，反射面常导致脏图、leakage，可尝试在生成前检测镜面并构造虚拟相机轨迹，作为 layout/pose 条件喂给扩散模型，减少后期修图成本。
- 学术贡献为主，与搜索/推荐/Agent 直接耦合低，但虚拟视图几何增强与 training-free adapters 思想可复用到多模态商品理解/生成 pipeline。
E-SENS：面向负约束检索的排除敏感惩罚方法
🧭 RAG · 负约束检索优化
Independent Researchers
训练无关重排方法 E-SENS，用陷阱查询相似度惩罚排除概念，减少否定敏感检索中的违规召回
📌 工作参考价值（4 点）
- 电商搜索/推荐中用户常含否定词（如“非雪纺”“不含酒精”），现有嵌入召回容易命中否定概念；可借鉴 E-SENS：用 LLM 抽取否定片段生成 trap query，在召回或重排阶段对候选商品做相似度惩罚，无需训练即可上线。
- 广告否定关键词可类似处理：为每个否定词构造排除向量，从广告相关性分数中减去，减少 exclusion 流量上的无效曝光。
- 工程实现上，trap query 应尽量紧凑，避免引入多余语义；惩罚强度作为超参，可在评测集扫描 recall-violation 曲线，取满足召回底线下的最小违规点。
- 在 Agent/RAG 知识召回中，若用户明确排除某类内容，可由 LLM 先提取排除约束并生成 trap query，对召回结果重排过滤，降低后续生成违规风险。
HyMem：通过信息隔离实现长程智能体的分层上下文管理
🧭 Agent 长程上下文分层隔离 ★ 深度解读
Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Nanjing Artificial Intelligence Research of IA
提出训练无关的分层上下文隔离框架 HyMem，将规划、执行、子任务推理与结构化记忆分离，显著提升长程 agent 的 Pass@1
📌 工作参考价值（4 点）
- 把 planner 与 executor 上下文彻底拆开，执行结果只回传 schema 化 RESULTS/RETURN，原始工具输出、重试和中间推理留在临时 context；适合电商导购 Agent 在多轮搜索与商品比较时，防止详情页噪声淹没主任务。
- 复杂子任务用独立的 isolated reasoning session 处理，返回结论+证据+confidence，主 planner 不累积推理过程；可直接用于优惠计算、多条件筛选、价格/评论冲突验证等需要多跳分析的导购场景。
- 结构化记忆分三类：episode/working/tool memory，fold 时只保留里程碑、当前目标和可复用工具经验；可用于长会话用户偏好记忆与跨会话召回。
- 确定性 fold triggers（planner ctx 利用率>0.99、连续失败>=3、tool calls>=10 等）可照搬，训练无关、即插即用；适合在现有 ReAct/搜索推荐 Agent 上快速压测上下文稀释问题。
代理记忆蒸馏：分层教师记忆赋能小模型代理
🧭 代理记忆蒸馏 · 分层教师记忆传递 ★ 深度解读
KAIST · DeepAuto.ai
通过工作流、子任务、函数三层记忆将大模型代理的工具使用经验蒸馏到小模型，无需训练，显著提升工具调用成功率
📌 工作参考价值（5 点）
- 分层记忆设计可直接复用到推荐/电商Agent：将大模型（如GPT-5）在复杂多步推荐任务（如“根据用户画像、实时行为、库存状况生成推荐”）中的成功轨迹，提取为任务规划(Workflow)、子任务执行示例(Subtask)（如召回→过滤→排序）和工具调用指南(Function)（如调用推荐API的参数格式、常见错误处理），注入到4B/8B小模型中，在降低线上延迟与成本的同时保持高质量决策。
- 按需纠错的函数记忆（Function Memory）：当小模型调用API出错时，仅在该步按函数名检索成功示例并注入上下文，不增加正常执行时的token开销，适合电商推荐中接口众多、参数复杂的工具调用场景，可显著降低错误恢复重试次数。
- 子任务记忆（Subtask Memory）贡献最大：实验表明，提供具体可执行的API调用序列（代码级示例）比纯文本策略描述更有效，在构建Agent的记忆库时，应优先沉淀高成功率的子任务执行片段，而非仅保存宏观策略。
- 4B规模模型受益最明显：资源受限的线上推荐Agent可优先采用4B量级模型配合AMD，用极低的推理成本达到接近大模型的工具使用能力；对大模型（>8B）效果收窄，可权衡是否部署。
- 训练无关的即插即用方式：无需微调，仅通过提示工程和离线记忆库构建，快速将历史大模型经验迁移到新上线小模型，适合快速迭代的推荐系统上线流程。
视觉 Token 剪枝的 AI4AI 框架
🧭 LLM 驱动的视觉 Token 剪枝策略自动设计
Xi'an Jiaotong University · Ningbo University of Technology · North China University of Technology · MiLM Plus, Xiaomi Inc. · Hong Kong University of Science and Technology
提出 AutoPrune，用 LLM 驱动 TPDSL 自动设计视觉 token 剪枝策略，免训练，删 94.4% token 仍保持 99% 以上性能
📌 工作参考价值（4 点）
- 多模态推理降本：电商商品图/视频理解、广告创意理解等多模态服务中，可借鉴 AutoPrune 的训练-free 剪枝思路，用领域特定语言描述预算控制、token 打分、选择约束，快速替代手工规则，降低 prefill 延迟。
- 残差式策略搜索：不从头搜索，而是在强基础策略上做残差修改，缩小搜索空间并让 LLM 聚焦关键组件；该思想可迁移到推荐系统策略搜索、特征选择、排序规则自动调优。
- 可复用原子库：将剪枝/召回/过滤等策略拆成可组合原子操作，跨模型和场景迁移；业务中可构建相似 DSL 与原子库，降低策略迭代成本。
- 推理加速指标参考：删 94.4% 视觉 token 仍保持 99% 性能，FLOPs 降 9.9×，prefill 延迟降 6.4×；对低延迟电商搜索/推荐中的多模态 LLM 服务有直接工程参考价值。
重新审视异构大模型合并：加权平均视角
🧭 模型合并 · 异构参数空间加权平均
University of Science and Technology of China
证明通过维度适配和比率控制，无需训练直接加权平均即可有效合并参数量不同的LLM
📌 工作参考价值（4 点）
- 工程上可直接合并不同尺寸的微调模型，无需重新训练，特别适合电商推荐系统中多任务模型的快速融合。
- 使用小比率插值（如0.1）将辅助模型能力注入主模型，例如将对话能力迁移到商品描述生成模型。
- Union-style 扩展或 Intersection-style 截断均为免训练操作，可作为轻量级模型更新方案，部署成本低。
- 注意避免平衡插值，否则性能崩溃；该跷跷板效应提示业务中合并比例需精细 A/B 测试。
递归证据重放：提升LLM长上下文推理的免训练方法
🧭 长上下文推理 · 证据重放增强
University of Illinois Urbana-Champaign
通过递归选择与问题相关的上下文证据并重放，无需训练即提升LLM长上下文推理的证据利用率
📌 工作参考价值（4 点）
- 可将ReContext集成到现有LLM推理管线，用于处理长用户对话历史、多文档召回等场景，无需额外训练或外部存储。
- 在搜索推荐Agent中，当需要从大量上下文（如用户长期行为日志、多篇商品评论）抽取关键证据时，使用递归重放可显著提升LLM回答相关问题的准确性。
- 方法基于模型自身的注意力分数选择证据，可适配不同LLM架构，避免了硬截断上下文带来的信息丢失，适合在端侧或低资源推理中应用。
- 理论框架将上下文视为联想记忆存储体，对优化检索增强生成（RAG）系统的内部证据利用机制有启发，可指导设计更有效的上下文选择策略。
多任务学习的本质子空间合并
🧭 模型合并 · 本质子空间分解
利用任务更新的低维本质子空间，通过正交化融合和低秩专家路由实现训练无关的多任务模型合并
📌 工作参考价值（3 点）
- 主要是学术贡献，多任务模型合并目前尚未在电商推荐系统中广泛应用，但可借鉴其思想：若需融合多个微调的单任务模型来服务多任务推荐，可尝试只保留任务更新在本质子空间中的成分以降低冲突。
- ESM++ 的低秩专家分解和原型路由思想可参考用于推荐模型的多任务动态参数选择，减少参数冗余。
- 训练无关的静态合并方法可作为快速集成多任务能力的基础工具，例如在试验阶段快速组合多个广告预估模型。
扩散语言模型的自增强检索
🧭 扩散语言模型 · 动态检索增强
Cornell University
利用扩散去噪中丢弃的低置信度 token 作为前瞻信号，实现无训练的动态检索增强生成
📌 工作参考价值（4 点）
- 电商对话或商品描述生成中，可利用扩散模型的并行去噪过程，提前从中间低置信度 token 中提取关键实体，触发多跳知识检索，提升答案的完整性和事实准确性。
- 方法完全无训练、不依赖特定检索器，可直接嵌入现有的扩散语言模型推理流程，非常适合业务中快速尝试不同的知识库或检索策略。
- 扩散模型的高吞吐特性（8× 提升）加上前瞻检索，能在高并发电商客服或内容生成场景下，在保持答案质量的同时显著降低延迟。
- 对于 Agent 中的多跳推理或工具调用，可以借鉴前瞻 token 的思路，在最终决策前动态获取更多环境信息，提升决策可靠性。
SkillAdaptor: 基于执行轨迹的步骤级技能自我适应框架
🧭 Agent技能自我适应 · 步骤级归因 ★ 深度解读
Zhejiang University · Ant Digital Technologies, Ant Group · Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph
提出训练免的步骤级失败归因与技能更新方法，在长程交互任务中稳定提升LLM Agent成功率。
📌 工作参考价值（4 点）
- 细粒度故障定位与定向修复：在业务中的多步 Agent（如客服导购、多工具编排）中，可借鉴 Localizer → Linker → Modifier 流水线，将失败归因到具体步骤和使用的技能片段，只修订或生成最小化改动，避免全轨迹更新带来的不稳定和过度泛化，提升迭代效率。
- 资格验证门控防止技能退化：Qualifier 模块通过重执行对比，仅当候选技能带来非负增益时才更新技能库，类似主动增量学习中的回测机制，可直接迁移到线上技能的自动化迭代中，防止错误技能污染下游任务。
- 技能冗余控制与早期停止：通过语义相似度阈值（θdup=0.95）过滤重复技能，并在技能库连续多变无效时提前停止迭代，减少了技能膨胀和计算开销，适合需要长期维护技能库的电商 Agent 系统。
- OpenClaw 类框架的插件式集成：方法设计为可插拔的适配器，可在不改变骨干模型和运行环境的前提下嵌入现有 Agent 框架，对已有产线改造代价小，适合在已有智能体底座上快速试验技能自适应能力。
早期Token压缩完成快速视频理解
🧭 多模态视频理解效率优化 · Token压缩
Zhejiang University · Westlake University · Alibaba Cloud Computing
提出训练无关的视觉编码器内部早期token压缩框架EarlyTom，显著降低TTFT和计算量
📌 工作参考价值（4 点）
- 视觉编码器内压缩可大幅降低首Token延迟：在实时视频理解或推荐场景（如短视频内容分析、直播审核），可以直接借鉴EarlyTom的帧合并策略，在编码器中间层提前丢弃冗余帧，无需重新训练模型，即刻提升推理速度。
- 解耦空间Token选择减少压缩偏差：在生成式推荐（如基于视觉的个性化feed）中，对图像/视频帧的空间信息进行压缩时，采用独立于通道的选择方式（如空间注意力引导的token保留）可以避免重要细节丢失，保持推荐准确性。
- 训练无关方法易于集成：该方案不依赖额外训练，可直接插入现有Vision-LLM流水线，适合快速迭代的工业级系统，尤其在对延迟敏感的Agent或多智体交互中，能快速实现多模态模块的加速。
- 对视频多模态系统的工程启示：揭示了视觉编码器在端到端推理中的时间占比过高问题，从业者应优先优化编码器而非仅关注LLM部分，类似思路可用于电商场景中的商品视频理解、虚拟主播驱动等任务。
CVSearch：基于认知视觉搜索的多模态大模型高分辨率图像感知
🧭 多模态LLM高分辨率认知视觉搜索 ★ 深度解读
哈尔滨工业大学（深圳） · 鹏城实验室 · 中国科学院深圳先进技术研究院
训练自由的认知评估-搜索框架，通过语义引导自适应分块与动态自底向上搜索，实现覆盖与效率平衡的高分辨率视觉搜索。
📌 工作参考价值（4 点）
- 搜索框架可作为电商图像理解的即插即用组件：在商品详情图、用户评价图等场景中，需要对高分辨率图像中的小目标（如标签、瑕疵）进行细粒度感知，可借鉴CVSearch的训练自由范式，无需重新训练即可集成到现有MLLM工作流中。
- 语义引导的自适应分块避免固定网格碎片化：电商图像中商品常跨多个裁剪区域，SGAP方法利用视觉专家特征进行超像素聚类，生成语义一致的块，可用于优化多模态检索或生成式推荐中的图像预处理，减少语义断裂。
- 动态自底向上搜索提升小目标召回：在商品搜索或Agent视觉导航中，小物体（如细颗粒度属性）容易被忽略，采用从局部到全局的底向上搜索策略，并结合视觉复杂度优先探索有价值区域，可提高感知鲁棒性，减少错误传播。
- 评估-搜索工作流平衡效率与鲁棒性：对于需要处理大量图片的推荐系统，可以设计类似的信息充分性评估机制，仅对困难样本启动昂贵的搜索过程，从而在保证精度的同时大幅降低整体延迟。