In-Context Multiple Instance Learning
上下文多示例学习
🧭 多示例学习 · 上下文预训练
Berlin Institute for the Foundations of Learning and Data · Technische Universität Berlin · Aignostics · Charité – Universitätsmedizin Berlin · Max-Planck Institute for Informatics
合成数据预训练Perceiver上下文学习器，单次前向传播实现少标签MIL分类，平均性能超越专训基线
📌 工作参考价值（4 点）
- 电商推荐中可将用户行为序列视为袋，利用少量已标记袋（如购买）进行多示例弱监督，识别关键行为物品
- 上下文学习范式可实现推理时仅提供少量示例即适应新推荐任务，免去逐任务微调，适合多场景快速上线
- 合成数据预训练策略可迁移至推荐冷启动：生成合成用户会话数据预训练排序模型，增强小样本下的归纳偏置
- Perceiver 架构可高效处理任意长度用户行为序列，无需截断或填充，适合推荐系统长序列建模