SuperNav：面向任意任务与场景的智能体导航系统
🧭 Agent 具身导航系统
Zhejiang University · Shenzhen University · Causa Robotics
提出无需导航微调、以工具解耦决策与执行的 MLLM 智能体导航系统，实现任务与场景泛化
📌 工作参考价值（4 点）
- 架构上解耦决策大脑与执行工具：不针对导航任务微调 MLLM，而是通过 agent harness 调用工具，保留通用推理与场景理解能力。对应推荐系统可将 LLM 作为 planner，将召回/排序作为工具，避免微调导致通用知识遗忘。
- 用 visual-point interface 让模型直接在图像上指定目标坐标，而非生成文本描述位置。在多模态推荐或广告素材分析中，可让模型在商品图/场景图中 point 出兴趣区域，作为 grounding 信号辅助推荐解释或素材优选。
- 引入 Navigation Skills 和任务进度管理：显式维护任务状态与目标进度，并在执行反馈后允许模型 revise 决策。在电商 Agent 长链路任务（如导购、多轮商品比较）中，可设计 checkpoint 状态和重规划机制，提升任务成功率。
- 工具与技能抽象：将底层运动封装为可调用的技能，模型只需高层决策。在电商 Agent 中可将搜索、筛选、加购等操作封装为工具，降低模型输出复杂度，提高动作可靠性。
将视觉语言模型智能迁移至机器人控制
🧭 VLM Agent 闭环控制机器人
Tsinghua University · Tencent Hunyuan
通过离散动作接口与闭环 ICL，使 VLM 零/单样本控制机器人并达 SOTA
📌 工作参考价值（4 点）
- 离散动作接口设计：将连续控制空间抽象为紧凑离散命令集，让 LLM/VLM Agent 通过标准化 API 控制底层系统（如推荐引擎参数、广告出价），提升决策稳定性和可解释性。
- In-context learning 快速适配：用 1-2 个演示示例让通用大模型零样本/小样本适配新任务（如新品类推荐策略、活动文案风格），避免每任务微调，降低迭代成本。
- 闭环反馈框架：借鉴“观察-推理-执行-观察”闭环，构建自主优化 Agent，例如在实时推荐中根据用户行为反馈动态调整排序策略，而非静态输出。
- 通用模型知识迁移：论文显示通用 VLM 零样本可超越任务专用策略，启示业务中可优先用通用 LLM 处理非核心子任务（如 query 改写、解释生成），再决定是否投入专门训练。
Show-Harness：仅用 VLM Agent 通过语义接口控制机器人
🧭 VLM Agent 语义接口机器人控制
Show Lab, National University of Singapore
通过离散语义动作单元与解释器接口，让 VLM Agent 零样本或轻量微调后直接控制机器人
📌 工作参考价值（4 点）
- 借鉴“语义动作单元 + 确定性 interpreter”两层架构：让 LLM/VLM 只输出离散标准化意图标签（如 MV_FWD、GRASP），由业务侧 interpreter 落地为具体执行动作，可迁移到推荐/Agent 系统中降低模型生成复杂控制序列的出错率，同时兼容 App、网页、机器人等多端。
- 对闭源大模型直接 zero-shot 使用同一套接口，开源小模型仅需 few GPU-hours 微调即可替换，说明业务侧可保持接口不变、灵活切换底层模型，降低迭代成本。
- GUMI 的 GUI 操作采集 demonstrations 思路可复用：无需专用硬件，通过浏览器/GUI 操作轨迹构建 fine-tuning 数据，适合 UI 自动化、商品操作、Agent 行为采集等场景。
- 强调跨任务、跨 embodiment、跨环境泛化评测，建议推荐系统也构造跨场景/跨页面/跨库存的泛化测试集，避免单一环境过拟合。
因果基础模型
🧭 因果推断 · In-context Learning
Layer 6 AI, Toronto, Canada · TD Bank Group, Toronto, Canada
提出因果基础模型（CFM），在大规模合成数据上预训练，对新数据集通过 in-context learning 零样本估计因果效应
📌 工作参考价值（4 点）
- 广告/Uplift 建模：将 CFM 作为预训练因果先验，在新 campaign 上零样本估计 ATE/CATE，减少冷启动数据需求；可先在小样本上验证策略效果，再决定是否训练专用模型。
- 合成数据流水线：参照 CFM 训练方式，在业务点击/转化模拟器中大规模生成含 treatment/control 的数据，预训练因果模型，再迁移到真实小样本任务上。
- Agent 决策：营销动作选择、定价折扣、Push 文案等场景中，可内嵌 CFM 估计不同动作的因果效应，避免仅用相关模型误判 ROI。
- 工程实现：论文开源代码和 notebooks 提供可复用的 CFM 架构与合成数据生成方法，可直接作为团队因果推理 baseline。
基于Schema引导的生成式AI层次化信息抽取与语义评估
🧭 LLM 结构化信息抽取与评估
Utrecht University · Utrecht Institute for Pharmaceutical Sciences
用单一生成式模型零样本抽取嵌套属性，并通过路径语义匹配与分级评估实现自动化高精度信息提取
📌 工作参考价值（4 点）
- 在电商商品描述、搜索增强等场景中，可借鉴Schema定义信息模型，用单次LLM调用直接从非结构化文本（如商品详情页、用户评论）提取层次化属性（如规格、适用人群），实现零样本结构化，替代传统多模型流水线。
- 提出的路径语义匹配算法能处理提取结果中嵌套、重复、变长属性与金标准的对齐，适用于自动校验LLM输出的结构化数据，例如在商品知识图谱自动构建中，比对提取的属性值与已有库。
- 引入的“精确/语义/有用/不匹配”多级评估量表，为业务场景提供了灵活的质量判断准则，例如在商品信息补全或用户生成内容挖掘中，可允许语义相近的匹配视为有用，提高覆盖率。
- 框架跨模型、跨领域、跨语言的可迁移性验证，表明在电商多语言环境（如不同站点）下，可能无需为每种语言单独设计抽取器，降低维护成本。
基于证据推理的智能代理零样本根因分析框架
🧭 工业诊断 · Agent推理
EPFL - IMOS Laboratory
零样本Agent框架结合数字孪生与LLM推理，迭代收集证据并评估假设，实现可解释工业根因诊断，性能比肩全监督方法
📌 工作参考价值（4 点）
- Agent推理模式迁移：将“假设生成-证据收集-假设验证”的迭代闭环引入推荐/搜索系统的异常诊断（如CTR骤降、召回池突变），可利用LLM生成可疑原因假设，调用监控工具获取统计证据，自动定位根因。
- 数字孪生思路：构建线上系统的正常行为孪生模型（如流量分布基线、转化率时序基线），作为“正常期望”参考，Agent通过对比实时行为与孪生模型残差来识别异常根源，摆脱对故障标注数据的依赖。
- 可解释诊断链：借鉴透明推理轨迹，在业务诊断中输出可审计的因果链（观察症状→排除归因→确认主因），提升算法团队排障效率，并可沉淀为知识库。
- 零样本冷启动应用：针对罕见故障或新上线模块的异常，无需历史故障样本，直接基于系统领域知识图谱和实时数据驱动逻辑进行诊断，快速响应。
基于BERT与候选参与的对话状态跟踪
🧭 对话状态跟踪 · 零样本迁移
OneConnect US Research Institute
利用预训练BERT和候选注意力实现多领域零样本对话状态跟踪，显著提升可扩展性
📌 工作参考价值（4 点）
- 零样本领域迁移：在电商客服或购物助手中，新产品类别（如新增家电品类）无需重新标注对话状态数据，直接用预训练BERT编码schema即可上线，大幅降低冷启动成本。
- 候选注意力机制：对schema中的每一个槽位候选值进行打分，该设计可复用于推荐系统的多意图识别或槽位填充，例如在商品搜索中同时判断用户指定的品牌、价格区间等约束条件。
- 轻量工程实现：整个模型仅基于BERT微调，不依赖复杂本体或额外知识库，适合快速集成到现有对话Agent架构中，作为可插拔的DST模块。
- 跨域泛化验证：在SGD数据集上平均目标槽准确率达到88.7%，较基线提升15个点以上，证明预训练语言模型在结构化对话理解上的迁移潜力，可推广至任务型搜索代理（如机票/酒店比价Agent）。
通过模型合并提升对话检索中的即席搜索有效性
🧭 对话式检索 · 模型合并
University of Toulouse, IRIT
无需微调，通过参数合并融合即席与对话检索能力，零样本NDCG@3提升最高15%
📌 工作参考价值（4 点）
- 当电商搜索需要同时支持多轮对话与常规即席查询时，可直接合并对话微调模型与基础检索模型，避免重新训练和灾难性遗忘，节省大量资源。
- 使用线性（Model Soup）或球面插值（Slerp）两种合并策略，工程实现简单，可作为多任务模型部署的轻量级方案。
- 在零样本场景下，合并模型对未见过的查询表现出更好泛化性，适合快速应对新领域或冷启动的检索需求。
- 该方法提供了一种模型能力组合的思路，可借鉴用于融合不同业务场景（如推荐与搜索）下的微调模型，提升单一模型的综合表现。
Jet-Long: 动态双焦 RoPE 的高效长上下文扩展
🧭 零样本长上下文扩展 · 动态 RoPE 分组 ★ 深度解读
NVIDIA
一种无需微调的零样本长上下文扩展方法，通过动态调整远程窗口分组因子保持位置在分布内，并利用容斥注意力合并实现几乎无开销的推理
📌 工作参考价值（4 点）
- 零样本扩展部署：可将任意开放权重 RoPE LLM 的上下文窗口无损扩展 4 倍以上（如 32K→128K），无需长上下文微调，适合快速上线长上下文应用（RAG、Agent 轨迹、长文档理解）。
- 双窗口架构：本地窗口（w0=2048）完全保留原始 RoPE，远程窗口动态调整分组大小 G=max(1, ceil(L/w_pretrained))，在短输入时退化为基模型，长输入时最小化位置压缩，避免短上下文性能退化。
- 工程实现借鉴：通过“校正旋转”在 query/key 上施加位置偏移 Δ，实现远程窗口注意力，保持 KV 缓存不变；预填充阶段用三次 FlashAttention 的容斥合并（inclusion–exclusion merge）融合为单个 CuTe 内核，达到 1.28–1.39× FA2 吞吐，生成开销 ≤4%，可直接集成到线上推理服务。
- 超参数鲁棒：唯一超参数 w0 在 512~4096 间几乎无波动（RULER 波动 <2pp），无需按部署场景调参，降低维护成本。
基于LLM引导的零样本主动特征获取
🧭 LLM-引导的零样本主动特征获取
Technion · CytoReason · NVIDIA
仅从LLM获取判别性统计量，用最大熵闭合构建MRF，实现零样本主动特征获取，性能超越LLM直接决策
📌 工作参考价值（4 点）
- 交互式推荐冷启动：利用LLM提取用户/物品特征之间的判别性共变关系构建MRF，指导对话式推荐中下一个最优问题的选择，零样本适配新领域。
- 最大熵闭合技巧：当LLM只返回类间区分信息而忽略类内分布时，可通过最大熵原则补全缺失统计量，使概率模型可用于规划，解决LLM输出偏差。
- 规划与知识分离架构：不让LLM直接做序列决策，而是仅提供特征依赖的统计量，再用MRF进行精确推理，规避LLM规划不可靠的问题，可复用于Agent主动信息获取任务。
- 预算受限下的top-k识别：在电商搜索或推荐中，需从大量候选中快速锁定少量目标时，可借鉴top-k主动特征获取策略，动态选择最具区分力的特征询问用户，降低交互成本。
MAVIS：基于结构化视频理解的多智能体视频检索
🧭 多智能体视频检索 · 结构化语义理解 ★ 深度解读
Great Bay University · Nankai University · Tsinghua University · The University of Tokyo
用多智能体协作＋逻辑否决辩论代替全库暴力搜索，实现免训练且高效的视频检索。
📌 工作参考价值（4 点）
- 结构化属性索引思路可迁移：将商品/素材预解析为场景、对象、动作等属性库，实现按语义类别快速查找，避免每次检索都扫描全库，适合电商多模态搜索和推荐。
- 多智能体协作的逻辑否决机制：多个专家代理独立提名候选，再通过严格否决协议排除逻辑冲突项，这一思路可直接用于推荐系统的多维度一致性校验（如类目、属性、用户画像冲突过滤），减少错误推荐。
- 免训练的零样本流程：利用现成 MLLM 和 VLM 完成任务，无需微调，大幅降低业务落地时对标注数据和 GPU 资源的依赖，适合快速迭代的电商场景。
- 可解释的粗到细检索范式：先粗筛后细排，且每个代理的决策过程可追溯，便于在线 debug 和规则干预，对高可靠要求的电商搜索解释性有借鉴意义。
解嵌入矩阵的秘密：LLM 文本嵌入特征透镜与边缘频谱过滤
🧭 零样本文本嵌入增强 · 边缘频谱过滤 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · Lenovo Group Limited · Wuhan University
发现 LLM 解嵌入矩阵的边缘频谱子空间编码高频噪声，提出 EmbedFilter 线性过滤，零样本提升嵌入质量并实现降维。
📌 工作参考价值（4 点）
- 嵌入后处理 trick：直接利用 LLM 自带解嵌入矩阵的 SVD，构造过滤矩阵 $\Phi_\tau$ 对文本嵌入做一次线性变换，即可显著提升语义质量，无需微调或额外训练，适合快速接入线上检索系统。
- 距离保持降维：EmbedFilter 天然保距，可将嵌入维度压缩至 1/8 甚至更低，大幅减小向量索引存储和相似度计算开销，对电商海量商品描述 embedding 的部署意义重大。
- 机制层面启发：高频 token 在零样本嵌入中的统治性表达是普遍问题，可通过 Logit Lens / Logit Spectroscopy 分析企业内部 LLM 的嵌入空间，定位并过滤干扰子空间，提升下游召回与排序效果。
- 与现有 pipeline 兼容：EmbedFilter 可直接叠加在 PromptEOL、ECHO、MetaEOL 等 prompt 工程方法之上，带来稳定叠加收益，可作为多阶段嵌入提取流程中的标准化后处理步骤。