ENTRAP-VL：视觉语言模型双重上下文夹带分类探测工具
🧭 多模态评估工具 · 上下文忠诚度探测
IIIT Delhi, India · Dr. Ambedkar Institute of Technology, India · Heritage Institute of Technology, India · PwC, India
提出首个用于多模态上下文夹带探测的双模分类基准 ENTAP-VL，以文本和视觉独立诱发夹带现象。
📌 工作参考价值（4 点）
- 电商多模态搜索/推荐中，产品图片和描述常被无关上下文干扰，可借鉴双流探测思想，设计文本和视觉独立的鲁棒性测试集，检验模型是否被不相关但合理的上下文带偏。
- 评估多模态商品理解模型时，可构建类似“真实性-关联度”2×2 分类探针，检测模型是否轻信虚假但可能的上下文（如 PS 背景、误导性配文），提升可信度。
- 在 Agent 调用 VLM 进行多模态决策（如图文问答、商品审核）时，可将该探针作为安全检测环节，避免上下文注入攻击导致错误输出。
- 该工作的分类夹带条件设计（无上下文、随机上下文、矛盾上下文等）可直接复用，用于自制多模态评测集，量化模型对干扰的敏感度。
CanvasAgent：通过视觉工具编排实现复杂图像创建与编辑
🧭 多模态代理 · 视觉工具编排
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)
提出数据集 CanvasCraft 与多模态代理 CanvasAgent，通过 SFT+GRPO 训练，实现多工具协同的复杂图像编辑工作流
📌 工作参考价值（4 点）
- 电商商品图复杂编辑（多步骤生成、分割、文字叠加、增强）可借鉴多工具代理编排思路，将现有图像模型封装为工具，由 LLM 代理按需调用，实现自动化工作流。
- CanvasCraft 数据构建方式：自动合成多步编辑轨迹（生成→定位→分割→替换→融合），可迁移至构建商品图像处理指令数据集，用于训练客服或运营代理。
- SFT+GRPO 两阶段训练范式与混合奖励（结果质量+过程合理性）可用于推荐或搜索代理的多步决策优化，提升轨迹合理性与最终效果。
- 代理在 rollout 中实时检查中间图像状态并动态修正工具选择，该闭环反馈机制可启发构建商品推荐可视化解释代理，按中间反馈调整推荐策略。
人类ALMANAC：动作级心智模型标注的协作数据集
🧭 Agent协作心智模型评估数据集
Northeastern University · University of Notre Dame · Adobe · Microsoft · University of Waterloo
构建ALMANAC数据集，以动作级心智模型标注评估LLM模拟人类协作行为的能力
📌 工作参考价值（4 点）
- 在电商多Agent客服/导购系统中，可借鉴Map Task范式收集协作对话，并显式标注自我意图、感知对方意图、团队目标，用于训练Agent的协作对齐。
- 动作级的心智模型标注方法可迁移到生成式推荐对话评估，衡量推荐Agent对用户实时意图和长期兴趣的推理能力。
- 利用ALMANAC或类似数据对LLM进行微调，提升Agent在多轮协作中主动推测伙伴意图、调整策略的能力，避免机械式回复。
- 工程AB测试可参考该数据集构建评估指标（如心智模型预测准确率），量化Agent的协作智能。
技能非文档：面向LLM Agent技能路由的查询条件基准与两阶段检索器
🧭 Agent 技能检索与路由优化 ★ 深度解读
Tencent IMA Product Center · Tencent Youtu Lab
提出保留LLM拒绝信号作为技能兼容性负监督，构建中英双语技能检索基准R3-Skill，并设计两阶段检索器精排利用该信号
📌 工作参考价值（4 点）
- 构建Agent技能库时，不能简单当作文档检索，必须考虑技能间兼容性，应将前期LLM判断为“不可组合”的样本保留为负监督，用于训练精排模型。
- 推荐采用两阶段检索：粗排用双编码器快速召回，精排用交叉编码器，并将兼容性负信号编码为分级标签（如 label=1），通过 listwise 损失优化排序。
- 新增 Set-Compat 指标衡量检索集合的协同可用性，比单独的 recall/NDCG 更能反映 Agent 后续调用的真实成功率。
- 双编码器阶段注入兼容性负样本效果甚微（被梯度稀释），兼容性监督应集中放在交叉编码器精排阶段，这是架构选择的实践结论。
场景抽象：词汇情境化意义的结构化表示
🧭 基于LLM的词汇场景结构化表示
University of Texas at Austin · University of Massachusetts, Amherst
用LLM少样本提示从语境中提取结构化场景，捕捉词语的情境、属性和情感关联
📌 工作参考价值（4 点）
- 在商品搜索和推荐中，对查询词和商品描述进行场景抽象（事件、实体、氛围、情感），可构建超越纯文本匹配的语义索引，提升长尾查询与相关商品的关联度。
- 对话Agent在理解用户意图时，可利用场景轮廓（如“独自喝咖啡”的场景轮廓：专注、提神、清晨）生成更贴合情境的回应，避免字面匹配导致的答非所问。
- 生成式推荐的理由生成可借鉴Expression Profile模块，将商品的场景化属性（如“静谧的冬夜”、“喜庆的节日氛围”）融入推荐文案，增强情感共鸣。
- 构建领域场景知识库（如将电商类目top关键词的场景预先抽象并向量化），可以冷启动实时场景解析，直接用于召回或重排阶段的特征增强。
TransitLM：大规模无地图公交路线生成数据集与基准
🧭 无地图公交路线端到端生成
AMAP, Alibaba Group
发布1300万条公交路线记录的数据集，LLM训练后可直接从起终点生成结构化路线，无需地图或路由引擎
📌 工作参考价值（4 点）
- 数据驱动的端到端路径生成模式可迁移至电商物流场景：用历史订单中的配送序列训练模型，跳过传统地图API和图搜索，直接生成包裹路由。
- 大规模序列数据预训练能隐式学习网络拓扑和转移规律，类似于推荐系统中从用户行为序列学习物品间的转移概率，可用于下次点/线路的预测。
- 模型将GPS坐标隐式映射到站点/门店的能力可用于处理用户模糊输入，减少精确地址解析依赖，提升抗干扰性。
- 路线生成评估时需同时检查结构有效性、换乘次数、绕路比例等多维度指标，可借鉴论文提出的互补评估框架设计业务指标。
ThoughtTrace：真实LLM对话中的用户思维数据集
🧭 用户思维采集与对齐 · 用户行为预测 ★ 深度解读
Johns Hopkins University · Massachusetts Institute of Technology · Google Research
首个大规模用户思维数据集，揭示对话中未言明的意图与反应，并展示其在行为预测与模型对齐中的价值。
📌 工作参考价值（4 点）
- 电商对话推荐：采集用户未显式表达的任务动机、内容/风格期望等‘理由’，构建用户意图特征，提升对话式推荐中自然语言理解的深度。
- Agent对齐：用户对助手回复的‘反应’（如内容相关性、呈现风格不满）可直接作为细粒度偏好信号，用于DPO/RLHF训练，比从后续消息推断偏好更准确、更密集。
- 用户模拟器：训练模型同时预测下一轮消息及对应的思考（理由+反应），生成更贴近真实用户认知过程的模拟对话，用于离线评估和强化学习环境。
- 工程落地：若业务场景允许，可在交互后收集用户事后标注的‘当时想法’，作为高价值训练信号；即使非侵入式，也可将点击、停留时长等作为思考的弱代理变量。