#Self-Supervised

5 篇

Self-Supervised Scaling of Terminal Environments for Scientific Domains

面向科学领域的终端环境自监督扩展

🧭 终端Agent环境自动化与SFT缩放

Tencent HY LLM Frontier · University of Georgia · University of Maryland, College Park · National University of Singapore · Hong Kong Polytechnic University

用现有科学软件工作流自动生成可验证的终端Agent训练样本，SFT后显著提升Terminal-Bench 2

📌 工作参考价值（4 点）

可用现有业务软件/API工作流自动生成(SFT)训练样本：给定输入schema和公开输入输出对，让LLM重构可编辑程序，再用隐藏配置验证，避免逐任务人工标注reference solution，适合电商/广告中的工具调用、查询生成等Agent任务。
层次化verifier思路可迁移：把语义比较、结构有效性、反捷径检查组合起来，防止模型学出表面匹配但语义错误的生成结果，对QueryRec和生成式推荐中的评估尤其重要。
已验证的高质量轨迹比单纯语料规模更有效：对verified trajectories做oversampling后SFT，在matched-token对照中全面领先，说明业务数据应优先筛选行为可验证样本，而不是直接堆量。
公共反馈支持迭代修订的机制可以改造成在线训练：先让Agent在公开样例上尝试，失败后根据反馈修改，最后在隐藏集上验证，类似强化学习中的self-play数据生产。

Agent | 2026-10-01 | HF Daily | score 7/10

Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher

Self-OPD：无教师的流匹配模型在线策略蒸馏

🧭 流匹配模型对齐 · 无教师自蒸馏

Tsinghua University · Zhejiang University · Alibaba Group

提出无需任务专属教师的在线策略蒸馏框架，将学生自探索转为逐步监督，超越现有 RL 与 OPD 方法

📌 工作参考价值（4 点）

无教师自蒸馏思想可迁移到生成式推荐或 LLM 对齐：业务中训练任务专属教师模型成本高，可借鉴 Self-OPD 的分支自探索机制，让学生模型通过自身多步采样获得优势信号，减少对复杂教师网络的依赖。
多目标奖励融合技巧：在电商搜索/推荐中常需同时优化点击、转化、多样性等指标，Self-OPD 在 reward 层面融合归一化分数而非在梯度层面直接加权，能缓解目标冲突，可在多目标 RL 或 LLM 微调中尝试。
分支探索 + 优势加权更新：生成式推荐或文案生成场景中，可使用类似“确定性基线 + 随机分支”的方式产生多样化候选，通过奖励对比计算优势，再用 pull-push 目标引导模型，可能提升生成结果的 reward 对齐效率。
工程实现上注意 SDE 候选与方差归一化：该方法引入 SDE 分支和方差归一化来稳定训练，对于训练不稳定或高方差的 RL 任务有借鉴意义，但需注意计算开销翻倍。

Training | 2026-08-26 | HF Daily | score 6/10

Flow Matching On-Policy Distillation Self-Supervised Multi-Objective Generative Models

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

功能感知中间填充训练提升编码智能体基座模型

🧭 编码智能体训练 · 函数感知填充

用函数调用结构的自监督中间训练增强编码智能体，在复杂任务上提升超3%并缓解能力侵蚀

📌 工作参考价值（3 点）

主要是学术贡献，业务可借鉴点有限。
利用程序依赖图选择关键片段进行掩码训练的思想，可迁移到序列推荐中——针对高偏置交互或语义关键 token 进行掩码，强化模型对长程依赖的建模。
在对话式推荐 Agent 的训练中，可设计类似的中间训练阶段，注入“查询-结果-使用”的循环偏置，提升模型对工具返回结果的利用效率。

Agent | 2026-07-14 | cs.CL | score 8/10

Fill-in-the-Middle Mid-Training Coding Agent Function Call Self-Supervised

STORM: Stepwise Token Optimization with Reward-Guided Beam Search

STORM：奖励引导束搜索的逐步 token 优化查询扩展

🧭 查询改写与词汇扩展 · 奖励引导束搜索 ★ 深度解读

MILA – Quebec AI Institute & ILLS · Université Paris-Saclay & CentraleSupélec & CNRS · Air Liquide · Sorbonne Université & ISIR & CNRS · Sapienza, University of Rome

将检索奖励转化为 token 级信号，通过奖励引导束搜索训练 LLM 生成高效关键词，在不改变索引下大幅提升 BM25

📌 工作参考价值（4 点）

奖励信号粒度下放：将检索质量指标（如 nDCG）转化为 token 级反馈，在生成过程中实时剪枝，解决序列级奖励延迟与稀疏问题。这一思路可直接用于电商搜索/推荐中的 query 改写、标题优化、对话式 Agent 的关键词生成，用业务指标（CTR、转化率）替换 nDCG 即可训练。
低成本高效重写：STORM 训练的 LLM 输出短关键词串，推理延迟接近 BM25，适合在线实时场景。电商搜索可部署为轻量级改写模块，不增加检索延迟，却显著提升召回与相关性。
自监督训练摆脱人工标注：无需人工改写对，只需相关性判断或近似信号（如点击日志、伪标签）。可借鉴其利用交叉编码器伪标签蒸馏到生成式改写器的方法，在标注稀缺的电商场景快速冷启动。
多语言零样本迁移：仅用英文 MS-MARCO 训练，即可迁移到多语言 BM25 索引，效果超越专用多语言稠密检索器。对跨国电商平台，可简化多语 query 改写部署，无需额外训练。

QueryRec | 2026-06-09 | cs.IR | score 10/10

Query Rewriting Beam Search Lexical Expansion Self-Supervised BM25 Reward Guidance

RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities

RePercENT：将解耦表示学习扩展到超越双模态的可扩展框架

🧭 可扩展多模态解耦表示学习

EPFL

提出自监督框架 RePercENT，从预提取的多模态嵌入中联合解耦共享与独特成分，突破两模态限制，大幅降低计算成本

📌 工作参考价值（4 点）

多模态商品理解：直接使用商品图像、标题、描述等预提取特征（如 CLIP/bert 嵌入），解耦出共享语义与模态特有属性（如视觉风格、文本细节），改善多模态检索与推荐中的跨模态匹配。
低成本即插即用：无需昂贵的多模态联合预训练，可利用现有各模态基础模型的嵌入进行快速实验与部署，适合电商场景中多模态数据快速接入。
可扩展至多模态：业务中常涉及图像、文本、用户行为、音频等多源数据，该框架天然支持超过两种模态的解耦，为多模态融合提供更细粒度的可控性。
理论保证下的稳定解耦：联合优化目标与理论分析确保了共享/独特成分的可辨识性，避免解耦崩溃，可借鉴其损失设计思路，提升推荐系统中多模态特征的解耦质量。

Multimodal | 2026-06-03 | cs.LG | score 7/10

Disentangled Representation Multimodal Learning Self-Supervised Scalable Pre-extracted Embeddings