面向持续学习：通过子空间调优减轻遗忘
🧭 持续学习 · 子空间约束微调 ★ 深度解读
UC Berkeley · Mila · McGill University · Université de Montréal · UMass Amherst
通过将权重更新限制在低能量奇异子空间，SST 有效减轻 LLM 微调中的灾难性遗忘
📌 工作参考价值（4 点）
- 在业务中微调 LLM 以适应新领域或任务时，可引入 SST 保护已有通用能力，避免上线后基础能力下降，尤其适用于需要持续更新的推荐/广告模型。
- SST 与优化器无关，只需对优化器最终更新做投影，可直接嵌入现有 SFT/RLHF 流程，无需修改损失函数或数据，工程实现成本低。
- 保护主导奇异方向可显著减少对基模型的 KL 漂移（2-4 倍），有助于保持输出分布的稳定性，对在线学习或 A/B 测试更友好。
- 在顺序学习多领域任务时，SST 能够累积能力而非互相覆盖，适合构建多能力融合的模型或专家合并场景。
面向连续扩散语言模型的 Transformer 架构设计
🧭 连续扩散语言模型 · Transformer 架构优化
Polyadic Research Group · Dots Studio, Xiaohongshu · Peking University · SAGA Lab, The Chinese University of Hong Kong, Shenzhen · The University of California, Los Angeles
提出 LangDiT 架构，通过多项归一化与梯度路由改进，显著降低生成困惑度，刷新连续扩散语言模型 SOTA
📌 工作参考价值（4 点）
- 如果业务中尝试用扩散模型做文本生成（如商品描述、推荐理由、query 扩写），LangDiT 的 QK 归一化、更宽噪声条件和梯度路由技巧可直接迁移，降低生成困惑度。
- 连续扩散语言模型支持并行解码，适合低延迟文本生成场景，可探索用于实时推荐理由或广告文案生成。
- 置信度门控训练自条件可在训练时随机用模型自身预测作为条件，提升采样质量且不增加推理成本，适合作为生成式推荐模型的训练 trick。
- 架构级改进（而非单纯堆参数）对扩散生成质量提升明显，验证了在生成式模型中骨干网络设计的重要性，可借鉴到自研生成式推荐模型的 backbone 优化中。
免训练的 On-Policy 蒸馏
🧭 无训练模型蒸馏与多专家聚合
University of Illinois at Urbana-Champaign · Tsinghua University
提出免训练 on-policy 蒸馏，仅用前向传播和最小二乘逐层合并多个专家模型，无需梯度更新
📌 工作参考价值（4 点）
- 多领域专家模型合并：若业务中有多个针对不同场景（如推荐、搜索、广告）微调的模型，可借鉴 TF-OPD 通过前向计算几百个 rollout 提取输入二阶矩，逐层最小二乘融合，无需联合训练，节省算力和迭代时间。
- 模型融合的精度提升：相比简单 task arithmetic 权重平均，逐层最小二乘匹配专家输出分布能保留更多能力；在推荐模型做多目标融合或跨域迁移时可引入此方法提升融合质量。
- 数据筛选策略：论文发现去除重复循环的生成 token 显著提升融合效果（AIME25 从 task arithmetic 水平到专家水平），提示在蒸馏或融合数据准备中应重点清洗低质量重复内容，避免噪声影响层权重估计。
- 工程部署：融合只需每专家数 GPU 小时的前向计算，适合快速将多个专家模型合并为通用模型上线，尤其适用于需要频繁更新多领域能力的 Agent 或推荐系统。
MLExpert：面向自主机器学习工程的通用智能体模型
🧭 Agent 后训练 · 长程 MLE 优化 ★ 深度解读
East China Normal University · Shanghai Artificial Intelligence Laboratory
用层级SFT与执行窗口交互强化学习训练35B MoE，将MLE奖牌率从37.9%提至72.7%
📌 工作参考价值（4 点）
- 执行窗口共享奖励：面向需要多轮执行反馈的推荐/搜索 Agent（如自动调参、A/B 实验优化、query 改写迭代），把相邻两次实验结果之间的多步决策作为一个 execution window，共用结果奖励，避免稀疏轨迹奖励导致的学习困难；局部性能趋势项可鼓励持续改进而非只追求终局最优。
- 异步收集 + token 级策略修正：在线 RL 中 rollout 策略与当前训练策略不一致是常态，WIRL 的 token-level policy correction（用记录 log-prob 计算比值并截断）可直接迁移到电商/搜索 Agent 的在线训练，降低等待开销。
- Outcome-guided 监督选择：从长轨迹中提取“首次最优提交”之前的有效探索与失败恢复，截断峰值后退化尾段，能显著提升长程 agent 训练数据质量；可借鉴到推荐系统策略迭代数据清洗。
- 交互 harness 设计：维护 experiment tree、candidate 提交、invalidate_node 防止过拟合/数据泄漏，可作为多版本推荐策略管理或自动实验平台的工程蓝本。
N-Gram 记忆两比特量化：LLM 查找表压缩
🧭 LLM 条件记忆嵌入表压缩
Dnotitia Inc. · KAIST
共享 Gaussian trellis 与 norm restoration 将条件记忆行压缩为 2-bit 码，KL 较 2-bit RTN 降低 41-63%，DeepSeek 表由 203GB 降至 51GB
📌 工作参考价值（4 点）
- 大规模稀疏 embedding 表（用户/商品 ID、行为序列记忆、检索索引）可借鉴 CP 的“短码 + 局部 scale + 共享重建程序”：每行仅存 2-bit 码与 scale，离线共享解码器，线上仅解码被查行，显著降低 GPU 显存占用。
- 独立可解码行记录对推荐推理友好；线上 batch 只查少量 ID，无需全局反量化，可将压缩表常驻 GPU 或高速存储，保持稀疏 lookup 延迟。
- 先统计业务 embedding 坐标是否接近高斯，再选择非均匀量化/格码；若不满足，可先做归一化或白化，配合 norm restoration 使用，避免直接 round-to-nearest 的精度损失。
- 同等存储预算下，共享 trellis 优于 per-table 拟合码本和低秩残差；优先采用全局共享重建结构，训练时联合微调局部 scale，可进一步提升压缩效率。
OfficeTown：面向专业组织的生成式模拟与智能体演进框架
🧭 生成式组织模拟 · 多智能体协作评估与训练
Wuhan University · University of California San Diego · South China University of Technology · Cornell University · Microsoft Research Asia
用生成式组织模拟持续产生专业任务、上下文与反馈，构建 406 任务基准并训练提升 Qwen3.5-9B
📌 工作参考价值（4 点）
- 用自然语言组织描述自动生成任务流、工件、权限和反馈，可迁移到电商运营/广告投放/客服等场景，低成本构建多智能体训练与评估环境。
- Principal–assistant 架构值得借鉴：主 Agent 拆解需求、委派边界子任务并审查交付物，子 Agent 只可见权限内上下文，适合搜索推荐链路中把意图理解、召回、排序、文案生成拆给不同子 Agent。
- 持久化 artifacts、decisions、unresolved matters 相当于跨任务长期记忆，可提升多轮推荐/搜索 Agent 对用户历史、活动状态和未决问题的利用效率。
- 模拟数据 + SFT/on-policy distillation 能有效提升外部专业工作基准，业务上可批量生成带评审反馈的搜索推荐 Agent 轨迹，蒸馏到中小模型，降低线上成本。
OR-License：评估 LLM Agent 作为真实运筹优化实践者
🧭 LLM Agent 端到端运筹优化评估
HKUST-GZ · HKU · Qingzhi Optimization (Jinan) Information Technology Co., Ltd. · Hunyuan, Tencent · Tianjin Meta & Infinite Technology Co., Ltd
用 31 个真实付费 OR 项目构建基准，通过客户端模拟器评估 LLM Agent 从原始需求到可部署方案的端到端能力
📌 工作参考价值（4 点）
- 在业务中让 LLM Agent 处理需求分析与建模时，不要只依赖初始 prompt，可引入受控的“客户模拟器”或澄清循环，显式管理信息获取阶段（澄清、建模、验证），并跟踪已确认问题的解决率。
- 评估生成式推荐/优化系统时，除了软性质量指标，应加入可行性硬性检查与类似 DAQ 的“不可行归零”指标，避免模型产出无法部署的方案。
- 对长链路 Agent 任务（如自动选品、库存规划、物流调度），可借鉴研究链完成率定位失败环节：问题表述、代码实现、结果验证，再针对性加入 RAG 或 self-correction。
- 与专家解对比时注意信息边界：业务中 Agent 不应假设隐含专家知识，要显式建模信息获取过程，否则会高估条件质量而低估部署风险。
OS-Helix：统一 GUI 交互与代码执行的计算机使用智能体
🧭 GUI 与代码统一动作空间的计算机使用智能体
University of Science and Technology of China · Shanghai AI Laboratory · National University of Singapore · Shanghai Jiao Tong University · Fudan University
端到端训练统一 GUI 动作与代码执行空间，结合 SFT 与在线 RL 将 OSWorld 成功率提升至 66.44%
📌 工作参考价值（4 点）
- 对需要同时操作 UI 与调用代码的 Agent（如电商 RPA、浏览器自动化、商家后台操作），不要靠 prompt 级工具组合，而应把 GUI 动作与代码执行放进统一 action space，通过混合数据 SFT 内化 GUI/code 路由，避免“加 code tool 反而变差”的退化。
- 用 application–artifact composition 生成带真实文件状态的可执行任务，配合 decoupled instruction/evaluator 产出可自动验证的监督数据，适合电商场景批量构建可执行的 ground-truth 与回归评估集。
- Step-balanced GSPO 按 action step 而非 token 聚合 importance weight，是处理长代码动作与短 GUI 动作异质序列的 RL 稳定技巧，可直接迁移到多步推荐、对话式操作、工具调用等 RL 训练。
- 冷启动 SFT + 在线 RL 在真实桌面环境迭代，这种“先行为克隆后环境反馈”的路线对构建生产级 Agent 可借鉴；若业务无桌面环境，可参考其可验证状态设计来构造环境反馈。
PersonaCUABench：多样化用户人设下的计算机使用智能体评测基准
🧭 Agent 评测 · 用户多样性
The University of Texas at Dallas · University of Southern California · Carnegie Mellon University · Georgia Institute of Technology · University of California, Los Angeles
固定任务、仅变化用户人设，发现 CUA 任务完成率平均下降 36%
📌 工作参考价值（4 点）
- 对话式推荐/购物 Agent 评测可借鉴「固定任务、仅变化用户 persona」的设计，分离任务难度与用户表达差异，避免只测固定指令。
- 用户 simulation 中让 persona agent 用自己的话改写请求、回答追问，能暴露模型对含混需求、额外约束、批准流程的理解能力。
- 评估指标需同时看任务完成与用户满意度/约束遵循：论文中任务完成但用户最高满意度仅 62.7%，提醒业务中不能只优化结果正确。
- 错误分析维度「理解错需求导致失败」vs「用户要求停止但被判定失败」可帮助定位是语义理解问题还是策略/安全机制问题。
评估意识超越英语：LLM 在印度语测试中表现不同吗？
🧭 LLM 安全评估与多语言评估意识
Birla Institute of Technology and Science, Pilani
LLM 在 Indic 语言安全评估中同样存在评估意识，被告知测试时有害请求拒绝率显著上升且良性请求误拒增加
📌 工作参考价值（4 点）
- 若在电商/客服等场景用 LLM 做多语言安全审核、内容过滤或自动回复，评估时避免在 prompt 中显式加入“正在测试/监控”等线索，否则模型可能过度拒绝，造成线上体验与评估指标脱节。
- 多语言部署前，不要只拿英语测试安全行为。需要在真实目标语言（如印地语、孟加拉语）中直接评测拒绝率与良性请求误拒率，因为模型在不同语言下对评估线索的敏感度不同。
- 论文释放了 47,880 条多语言 judged responses，可直接作为多语言安全评测的基准语料，用于复现或训练更鲁棒的拒绝策略模型。
- 如果做推荐理由生成、对话式推荐等产品，需注意模型可能在安全测试时表现更“保守”，但在真实用户交互中恢复常态，导致线上安全风险被低估。可借鉴其 cue 设计，在内部测试中主动加入/移除监控提示来估计行为偏差。
ProV-Mem：面向流式视频问答的主动记忆框架
🧭 流式视频主动问答 · 分层记忆
The Hong Kong Polytechnic University · Tencent Inc. · Shenzhen Loop Area Institute
冻结 VLM 骨干下，用三层轻量记忆解耦何时查询、说什么、是否发出，实现训练无关的主动流式问答
📌 工作参考价值（4 点）
- 三层记忆架构可直接迁移到实时用户行为流监控与主动触达 Agent：将「触发时机」「生成策略」「去重发送」解耦成独立轻量层，避免每次事件都调用大模型，显著降低推理成本。
- 冻结 VLM backbone + 外围无训练记忆模块，适合业务快速上线；用固定 prompt 先验约束生成简洁且视觉接地的内容，可类比于推荐文案、商品摘要的约束生成。
- episodic memory 做近重复过滤对主动 push 场景尤其关键——能减少对同一用户反复推送相似商品或消息造成的打扰，提升用户体验与消息接受率。
- CAUC 评估思路值得借鉴：在离线评估主动推荐/推送系统时，除准确率、召回外，增加对冗余、过高发送频率、过长输出的显式惩罚，更贴近真实业务收益与成本权衡。
RecSoup：面向可控多目标推荐的高效模型合并方法
🧭 多目标推荐 · 模型合并 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China
RecSoup 通过剪枝消解跨目标干扰并学习偏好到合并系数的映射，实现推理时可控多目标推荐，较参数生成提速 165–228 倍
📌 工作参考价值（4 点）
- 模型合并复用已有目标 specialists：工业推荐系统常有多目标模型（如点击、转化、时长、多样性），可离线训练多个单目标专家后，用剪枝+轻量 gating 网络做推理时融合，无需重训全量模型，部署成本低；相比 hypernetwork 生成参数，推理延迟降低 165–228×，适合高 QPS 在线服务。
- 剪枝标准可迁移：将 objective-specific importance 与 cross-objective relevance 结合，用 |τ_i,j * mean_{k≠i} τ_k,j| 保留方向冲突但耦合强的参数，避免因符号不同误删关键权重；该思路可复用于多任务模型合并、LoRA 专家合并、多场景参数融合中的冲突消解。
- 偏好到合并系数用可学习 MLP 而非直接使用偏好向量：业务中多个目标不同尺度/非线性交互时，直接加权效果差；可固定专家参数只更新 gating 网络，用少量样本即可训练，便于在线通过调整 preference weights 切换业务目标（如大促期间提高转化、日常提高多样性）。
- 剪枝保留比例 ρ 在 0.9–0.95 时实际保留 40–70% 参数即可，剪枝不一定总是有益：当任务向量干扰弱时可不剪枝；可将其作为超参或根据专家间重叠度决定是否启用，避免过度稀疏化损失目标信号。
ReviewPilot：系统综述筛选与数据抽取的多智能体对话系统
🧭 多智能体协作自动化系统评价
University of Arizona · Florida International University · Vanderbilt University · University of California, Irvine · New York University
用多智能体对话系统自动化 PRISMA 流程，决策留痕可溯，筛选与抽取 F1 最高达 0.788
📌 工作参考价值（4 点）
- 多智能体协作加项目记忆的架构可迁移到电商/广告的规则配置场景：把选品标准、定向规则或活动 schema 作为可对话修订的 project memory，运营通过自然语言迭代，而不是改代码。
- “每个决策带理由、每个抽取带出处”是可解释性样本：推荐/广告 Agent 的每次拦截、召回或排序决策，都应绑定证据引用与理由，便于审核和 debug。
- 对话式配置 criteria/schema 的思路适合快速将业务专家经验转为结构化筛选逻辑，例如大促选品、广告审核、商家资质筛选。
- 评估方法可直接借用：在信息抽取任务上对比单 prompt 与多智能体系统，用 macro F1 度量，能客观量化 Agent 架构带来的收益。
时间序列推理的互补视觉表示
🧭 多模态时序表示 · 互补视图融合
Ben-Gurion University · Google
用线图与归一化延迟嵌入两种互补视觉视图训练视觉-语言时序模型，显著提升推理精度
📌 工作参考价值（4 点）
- 在电商销量预测、广告投放趋势分析等场景，若用 VLM/LLM 做时序问答或归因，避免只给单一线图或数值序列；同时输入原始线图（保留绝对量纲）与归一化延迟嵌入图（突出形态、去量纲偏移），让模型兼顾绝对峰值和形状相似性。
- 借鉴多级特征融合：时序视觉编码时，不只把最终 patch token 接入 LLM，可把中间层特征也作为 visual token 融合，保留更细粒度时间模式，适合流量、GMV 曲线等复杂信号。
- 对跨商品/类目趋势比较，先做幅度/偏移不变表示（如归一化延迟嵌入），可降低不同 scale 带来的过拟合，提升 cross-domain 泛化。
- 工程上可直接复用 Qwen-VL 系列：把原始 line plot 和 normalized delay embedding 渲染成两张图输入，无需重新设计数值 tokenizer，改造成本低但可能带来明显提升。
SSR：面向 LLM 编排多智能体系统的结构化信号检索器
🧭 多智能体 Agent 发现的确定性检索
Institute of Computing – State University of Campinas, Brazil
用 Agent Card 结构化字段 + IDF 权重 + 倒排信号索引，在不训练的情况下压缩候选上下文，实现可扩展 Agent 发现
📌 工作参考价值（4 点）
- 在多 Agent 推荐/搜索编排中，Agent 注册表规模增长时，不要把所有 Agent Card 都塞进 LLM 上下文：可提取 capability-bearing 字段（如技能、工具描述）构建结构化倒排索引，先做确定性候选预筛，只把 top-k 卡片交给 orchestrator，能直接降低 token 成本、延迟和上下文超限风险。
- 对电商/广告场景中的工具或子 Agent 路由，IDF 加权的结构化稀疏检索比 embedding 检索更轻量、可追溯、无训练成本，适合需要审计和冷启动的服务发现模块；可用类似方式给商品类目、服务能力字段建索引。
- 论文的 Inverted Signal Index 思路可复用到 RAG 或推荐召回：只对高区分度字段/信号显式打分，避免全量候选逐一过模型，在保证效果的同时减少计算量；其 MS MARCO 实验中显式打分段落减少 96.8% 的结果说明了这一点。
- 端到端编排中维持紧凑候选上下文是工程上的关键约束：即使上游检索指标不变，控制送入 LLM 的候选数量也能避免全量 catalog 带来的 operational failure，这对生产级 Agent 系统和高并发广告出价/推荐链路都有参考价值。