混合模态检索中的模态偏好与 Trident 去偏训练
🧭 多模态检索 · 模态偏好纠偏
University of the Chinese Academy of Sciences · Northeastern University · Tsinghua University · Nanjing University
发现文本高分偏置导致无关文本压制相关图像，提出多正视角 Trident 联合优化相关性判别与视角平衡，提升混合模态检索鲁棒性
📌 工作参考价值（3 点）
- 电商/广告多模态商品库常混有文本和图片，可用「文本/图像/融合视图」构造等权正样本，采用 Multi-Positive View InfoNCE 抑制文本高分偏置，避免无关文本商品挤掉相关图片商品。
- 上线前应做模态组成消融：当图片文档被语义对应文本逐步替换时若出现 V 型曲线，说明模型对混合模态敏感；需重点增加文本对抗负例或平衡文本相似度尺度。
- 对图片文档补充语义等同的文本视图，并把 fused text-image 作为协同正样本训练，能同时提升混合模态与单模态平均检索，适合复用到多模态 RAG/搜索召回或精排。
Madeleine：用模拟生活轨迹学习对话记忆的联想召回
🧭 Agent 长期记忆 · 联想检索 ★ 深度解读
Nanyang Technological University
用 LLM 离线模拟生活轨迹训练 query 侧 LoRA，零 LLM 在线实现对话记忆联想召回，插入 HyperMem 后 LoCoMo-Plus 达 66.6
📌 工作参考价值（4 点）
- 把 LLM 重推理离线蒸馏进 query encoder：业务中的对话/用户记忆召回若依赖 LLM 改写、图谱构建或读取时推理，可改为离线用 LLM 生成“用户状态变化/偏好迁移”监督样本，训练轻量 query-side LoRA；在线只算一次向量，省掉数百到上千次 LLM 调用和大量上下文，适合高 QPS 的推荐/客服场景。
- 复用 frozen 向量库，即插即用：新分数 s(q,m)=cos(E(q),E(m))+cos(Eθ(q),E(m)) 等价于用单个 query 向量 E(q)+Eθ(q) 检索；不改记忆索引、不写入 LLM，迁移成本极低。可直接给现有向量召回的 query tower 加 residual adapter，保留内容相似度同时补学隐性关联，类似搜索/推荐 query 侧增强。
- 训练数据生成与负采样细节：用 LLM 模拟“生活轨迹”产生 cue-trigger 对，要求 trigger 不得提及或暗示 cue 主题；用 same-source negatives + near-duplicate masking，成本仅几美元/3万条。电商可模拟“用户长期状态→后续需求”或“偏好变化”生成训练对，绕过真实数据稀缺与标注困难。
- 不要对隐性关联用 cross-encoder reranker：论文中 reranker 反而显著掉点（52.4→40.9/31.9），因为 cue 与 trigger 表面不匹配、跨编码器按匹配度打分天然不利。关联性召回的关键应在召回层习得，而非精排层再判断语义匹配。
SimLoss：嵌入空间监督实现单遍细粒度图像描述
🧭 多模态图像描述训练 · Embedding-space 对比学习
University of Massachusetts Amherst · Adobe Research
用冻结图像嵌入的 InfoNCE 对比损失对齐 VLM 隐藏状态，单遍生成细粒度描述，速度提升约20倍
📌 工作参考价值（4 点）
- 在电商商品视觉描述生成中，可用 SimLoss 的嵌入空间对齐：冻结 CLIP 等图像编码器作为教师，用 InfoNCE 让生成模型在解码前对齐视觉特征，无需人工细粒度标注，低成本提升商品属性、材质、计数等描述完整性。
- 对需要实时性的商品文案、图片 alt 文本自动生成，可把多阶段验证流水线替换为单遍生成 + 嵌入空间约束，保持描述质量的同时降低约20倍推理延迟，适合线上部署。
- 黑盒变体 SimLoss GRPO 将嵌入模型作为奖励，可复用现有 GRPO/RLHF 训练框架，对生成式推荐或广告文案模型做奖励优化，避免直接依赖人类标注。
- 注意 InfoNCE 需要较大 batch 或 memory bank 来提供足够负样本；该方法可扩展到商品标题-图像、query-落地页图像等跨模态对齐任务。
面向PCVR预测的结构化分词与目标感知兴趣表征STAR
🧭 工业推荐排序 · 序列-特征统一建模 ★ 深度解读
Tsinghua University · Peking University
STAR通过结构化特征分词、DIN式目标感知序列解码与加权InfoNCE对比目标，在PCVR排序上稳定提升AUC
📌 工作参考价值（5 点）
- 高基数稀疏特征别直接丢弃：频率 remap + 共享 unknown bucket + 序列哈希分支，让长尾 ID 重新进入模型；同时保留高频 ID 专属 embedding，可迁移到电商 user/item 长尾特征。
- 对行为序列做 target-aware decoding 而非全局 pooling：DIN 式 query 用 candidate item 与序列 token 的差/点积计算注意力，能更准提取与当前广告/商品相关的兴趣；公式（4-6）可落地。
- 训练加 InfoNCE 对比辅助目标，对 user-item 表示做 in-batch 对齐，提升排序 AUC 而非 LogLoss；适合推荐排序场景，注意温度与权重衰减。
- 稀疏特征中的零值需区分真实零与 padding/missing：加 non-zero mask、整数 ID 偏移，避免特征混淆；工程上要重建映射表保证 train/infer 一致性。
- 缩放容量优先加 hidden width 与 HyFormer block depth，而非 embedding 维度或稀疏参数量；embedding 扩增增益不单调且有成本。
CoHyDE：密集编码器与LLM改写器的迭代联合训练用于工具检索
🧭 Agent工具检索 · 联合训练编码器与HyDE改写器 ★ 深度解读
SAP Labs
通过多轮交替更新，让编码器和LLM改写器在检索任务中协同进化，解决查询与API目录的词汇鸿沟
📌 工作参考价值（4 点）
- 联合训练改写器与编码器：在电商搜索或Agent工具检索中，可借鉴交替迭代的训练范式，用检索分数直接指导改写器优化，使查询描述与商品/工具表示空间对齐，缓解词汇不匹配问题。
- DPO以检索效果为奖励信号：无需外部标注，直接使用编码器的NDCG分数构建偏好对训练改写器，实现端到端的闭环优化，可应用于生成式推荐中的查询改写或商品描述生成。
- 预热与风格适配：先独立训练编码器（用真实查询-物品对）和改写器（用物品目录多格式文本），再进入联合循环，可快速获得领域适应能力，降低冷启动成本。
- 多轮协同进化：逐步增加轮次可稳定提升跨分布能力，尤其适合电商搜索中口语化查询与商品标题之间的语义对齐，模糊查询改善显著（+6.3pp NDCG@5）。
从物品到查询-物品：Quark搜索中的查询条件生成式搜索QGS
🧭 查询条件生成式搜索 · 线性注意力 ★ 深度解读
Alibaba Group · University of Science and Technology of China
以查询条件下一物品预测取代物品自回归，消除搜索序列中查询跳变造成的噪声监督，并引入线性HSTU和异构特征分组注意力实现工业落地。
📌 工作参考价值（4 点）
- 查询条件预测目标：在搜索、对话或Agent行为序列中，当存在明显的上下文切换（如新查询、新任务），可将下一查询/意图作为条件引入下一个动作预测，将噪声边际分布转为干净条件分布，有效降低训练损失波动。
- 线性HSTU编码器：将HSTU的U-gating与RWKV式因果线性递归结合，复杂度从O(L²)降至O(L)，在长度1000时保持排序质量并加速37%，适合电商推荐/搜索的长序列在线建模。
- HFG-Attention异构特征融合：将稀疏跨特征按语义分组，投影到统一维度后用HSTU注意力交互，保留FFN增强非线性，可用于推荐系统中稠密序列表示与稀疏交叉特征的融合，避免直接拼接信息损失。
- InfoNCE对比训练技巧：在batch内负采样时使用padding mask和collision mask（剔除重复目标），提升训练稳定性，可复用至生成式推荐模型的序列预测训练中。