通过规范校正通道移除实现 Transformer 稠密结构化压缩
🧭 训练期结构化压缩与架构搜索 ★ 深度解读
Université d’Artois, CNRS, CRIL UMR 8188, Lens, France
训练期用对称 group-lasso 惩罚解决 gauge 自由度，在保留 dense tensor 下动态压缩 Transformer，最高 255 倍 FMA 压缩且精度不降
📌 工作参考价值（4 点）
- 部署推荐/广告 Transformer 时，可优先考虑训练期自适应压缩而非后剪枝：论文证明同样的 utility 度量在后剪枝上失败或显著变差，持续压缩压力会促使网络学到更高效的表征，而不仅删除冗余。
- 如果业务模型含 SwiGLU MLP、attention 等 gauge-connected 结构，可借鉴 additive symmetric group-lasso 惩罚：同时对两侧 factor 做 Frobenius-norm 惩罚，避免直接惩罚 product norm 导致的梯度消失和不稳定；按每通道实际 FMA/参数规模校准 penalty，能把「效用/算力」统一到同一尺度。
- 工程上实现物理 channel removal 而非 mask 稀疏：用 gauge Sinkhorn 先平衡、再 trust-drop 移除整 slice，缩小后的 dense tensor 在 GPU 上保持高吞吐，减少稀疏算子低效；这适合做粗粒度 tower 压缩或小规模重训模型。
- 自适应 ρ 由 loss target 驱动压缩强度，实现较平滑的「先达标再压缩」过程，可作为业务中自动搜架构、控制性能下限的参考；但该理论目前只在 <150M FMA 从零训练任务上验证，迁移到大模型或预训练权重需谨慎。
通过稀疏自编码器特征追踪查询扩展效应
🧭 SAE可解释性 + 查询扩展分析
Shandong University · University of Chinese Academy of Sciences · Institute of Software, Chinese Academy of Sciences
用SAE分解dense retriever表示，解释查询扩展引起的内部特征变化，并通过激活引导提升检索性能
📌 工作参考价值（3 点）
- 利用SAE特征分析查询改写/扩展对检索模型内部表示的影响，定位与用户意图、商品属性相关的稀疏维度，可用于电商搜索相关性问题的诊断与归因。
- 激活引导提供了一种无需重训检索模型或改写查询的轻量干预方式，可能用于实时调整检索行为，例如在电商搜索中提升特定品类或意图的召回。
- 对于生成式推荐或Agent系统，可借鉴SAE分解中间表示的方法，理解上下文如何影响item或action的生成，增强模型决策的可解释性。
统一多模态模型中图像分词器作为视觉语言的研究
🧭 多模态模型训练与图像分词器评估
University of Washington · Amazon FAR
通过跟踪分任务验证损失，揭示图像分词器与文本联合建模时的损失-性能关系及设计影响
📌 工作参考价值（4 点）
- 在多模态联合训练中，按 task 分别监控 validation loss（text、image、T2I、I2T），而不是只看整体 loss，可以更早定位数据配比、分词器或训练不稳定的问题；尤其适用于电商图文统一模型（如商品图 + 文案生成）。
- 选图像 tokenizer 时，用 I2T loss（基于共享文本词表）作为跨模型一致的评估信号，比 T2I loss 或重建指标更稳定，且与下游生成和视觉理解性能都相关；适合作为早停、模型选择或在线监控指标。
- 不要单独根据重建质量（如 FID、SSIM）选择图像 tokenizer，因为更好的重建不保证更低的任务损失或更强的下游性能；应该结合任务损失和实际业务指标（如商品图到文案的匹配度、点击率）做融合判断。
- 图像 tokenizer 的选择会影响联合优化下的文本建模，因此当在同一模型中同时处理商品图片和文本时（如视觉问答、图文搜索），更换 tokenizer 后需要重新检查文本侧的 fine-tune 效果和 loss 变化。
智能体能否赢得视频浏览器挑战赛
🧭 Agent 自主交互式视频检索
University of Konstanz · Charles University
用VLM智能体自主操控交互式视频检索系统，从初始意图描述出发完成多轮搜索，性能比肩历史专家操作水平
📌 工作参考价值（4 点）
- 把现有检索/推荐系统包装成工具接口，让 LLM/VLM 智能体通过 API 控制查询、翻页、过滤等操作，能快速构建自主搜索或评估流程，无需让模型预知全量候选集。
- 智能体只分析 top-k 结果（如图像/视频关键帧）并决策下一步动作，避免对全库做昂贵推理，在电商图片/视频商品检索中可直接复用这种「索引+小窗口 VLM 判断」模式。
- 用模糊初始意图描述驱动多轮交互式检索，可作为电商搜索中长尾 query 或图片找同款场景的自动化补充，降低用户反复试错成本。
- 评估方式可借鉴 VBS 的任务完成率与交互轮数指标，用于量化推荐/搜索系统在智能体操作下的实际可用性，而不仅是离线排序指标。
测量机器人策略中的语言迁移：为 Cosmos3 视觉-语言-动作模型添加希腊语
🧭 低资源语言迁移评估与对照实验
Sophea AI, KIEFER SA, Athens, Greece
机器改写指令为 Cosmos3 VLA 添加希腊语，揭示五类误导性评估，证明双语训练与多种子对照的必要性
📌 工作参考价值（4 点）
- 评估低资源语言或新场景能力时，先构建“故意错误指令/随机输入”等保证 null 基线，避免单一指标假阳性；做多语言 query 理解、商品文案生成或多语种 Agent 时，用乱序或错误语言作为底线对照。
- 多种子重复实验是必须的：低资源语言效果随随机种子波动可高达 31.6 点，线上小流量或多轮实验才能区分配方差异；报告应给出跨种子方差而非单次对比。
- 双语混合训练比纯目标语言训练更稳：在电商多语言场景，英文+小语种联合微调通常优于只用小语种数据，且无需改架构。
- 对机器翻译或模板生成的数据有严重过拟合风险：同一指令提供多种措辞（如 7 种 paraphrase）可显著降低对特定翻译风格的过拟合；做多语言 prompt/文案生成时增加措辞多样性。
超越 KV Cache：混合语言模型跨模型循环记忆迁移（4B→9B 无前缀重放）
🧭 LLM 跨模型记忆状态迁移
首次展示不同尺寸混合语言模型间直接迁移 Gated DeltaNet 持久循环状态，无需目标模型重新读取上下文，显著降低续写损失
📌 工作参考价值（3 点）
- 在长上下文 LLM 推理服务中，可从 4B 草稿模型迁移注意力 KV 与循环状态到 9B 主模型，避免重算历史前缀，显著降低首 token 延迟；电商 Agent 长会话切换模型时可借鉴「直连复用 recurrent/conv state + 轻量 rank-4 修正」作为状态交接基线，不一定需要训练复杂映射。
- 对生成式推荐/Agent 的长会话记忆：混合模型（full-attention + GDN）的持久状态跨模型直接复用其坐标比学习映射更有效，提示模型家族内 hidden state 有一定兼容性，升级模型版本时可先尝试直接复制状态，再用极少量参数微调纠正。
- 若业务上需做模型蒸馏或小模型生成草稿、大模型验证，可复用该思想：把草稿模型的 KV 和 recurrent state 迁移给大模型，省去大模型重新编码 prompt；rank-4 修正成本极低（约 43 万参数），适合线上快速适配。
持续学习机制组合实现长期记忆
🧭 持续学习机制组合与长期记忆
Johns Hopkins University
组合数据/函数/权重 anchor 与 merged LoRA 将 100 任务顺序微调平均保留率从 1.2% 提升至 34.9%
📌 工作参考价值（4 点）
- 模型需要持续更新商品目录或用户行为时，可采用 merged LoRA 为每个新任务/新领域分配独立低秩矩阵，避免直接覆盖全量参数，再定期合并或推理时加权组合，减少灾难性遗忘。
- 借鉴 data anchor：在每次更新时混入少量历史代表样本（或合成回放），即使无法保存完整旧数据，也能显著提升长期保留率；对电商场景可保存高价值/长尾样本的小型 memory buffer。
- 多种机制存在超加性交互，尤其 data anchor + merged LoRA。工程实现上不要单独评估单一策略，应组合验证，并使用 factorial 实验量化主效应与交互作用。
- 任务级 successive halving 搜索设计空间成本可控，适合在业务中快速筛选持续学习策略组合，再投入完整训练。
大规模长上下文 RL 后训练中的在线草稿协同训练投机解码系统
🧭 训练系统 · Speculative Decoding
NVIDIA
构建端到端在线协同训练系统，解决长上下文下上下文并行分支注意力与流水线并行特征传输两大障碍，实现最高 122B 模型显著投机解码加速
📌 工作参考价值（3 点）
- RL 策略训练加速：若团队用 RL 微调 LLM-based 推荐或 Agent 策略，rollout 生成常占大头；可借鉴 speculative decoding 并让 draft 模型在线 co-train 以跟上策略漂移，维持 acceptance length 从而获得端到端加速。
- 长上下文分支注意力合并：论文扩展 zigzag ring attention，将 rank-local 分支注意力与 causal 主序列合并，解决 CP 不支持分支注意力的问题，支持 256K tokens 强扩展并显著省显存；对长序列用户行为/会话建模的训练有直接工程参考价值。
- PP 跨 stage 特征解耦传输：TapChannel 用独立通道传输中间 target features，不干扰主流水线 schedule，可用于在主模型与轻量 draft 模型协同训练中高效传递辅助特征，避免改造现有 pipeline。
Kalman Delta 网络：不确定性感知的关联记忆
🧭 线性注意力 · 状态空间模型 · 不确定性建模
Department of Computer Science, Yale University
将线性注意力循环记忆重构为线性高斯状态空间模型，用卡尔曼滤波跟踪记忆不确定性并提出可并行扫描近似
📌 工作参考价值（4 点）
- 用户长期行为序列建模中若采用线性注意力，可借鉴 KDN 的记忆不确定性机制，通过卡尔曼增益自适应控制写入强度，降低噪声行为对稳定兴趣表征的覆盖风险。
- Agent 长对话/长程任务的状态维护可引入带置信度的增量写入，根据累积证据决定是否更新记忆，提升记忆稳定性与少样本适应能力。
- Diagonal/Isotropic KDN 提供 O(dk)/O(1) 辅助状态并支持并行关联扫描，适合工业级实时推理，可用于构建流式用户兴趣追踪或在线学习模块。
- 若探索生成式推荐中的 Semantic ID 记忆网络，可参考将记忆更新视为状态估计、用变分推断近似后验的思路，处理不确定性和动态环境。
SpatialBlock：通过合成积木堆叠问题增强 LVLM 空间智能
🧭 LVLM 空间智能 · 合成数据训练
KAIST · AITRICS
用 15k 合成积木堆叠数据训练 LVLM，显著提升 3D 空间推理并泛化到真实场景
📌 工作参考价值（4 点）
- 借鉴合成数据思路：当真实标注昂贵且有噪声时，用结构化合成任务训练模型专项能力。在电商场景可生成产品摆放/货架布局/包装堆叠等合成图像，低成本提升 LVLM 对商品空间关系的理解。
- 锚点式推理：通过 controlled color modulation 注入视觉线索，引导模型在复杂图像中关注关键区域。可用于商品图属性标注、广告创意布局评估等任务，降低对密集几何标注的依赖。
- 小规模高针对性数据集即可带来泛化：15k 合成数据就能提升真实空间任务，说明针对核心认知子任务的合成数据比大规模弱标注更高效，适合业务中快速验证新能力。
- 多目标训练：直接回答与 reasoning-based prediction 两种方式均可提升，可在业务 LLM 中同时保留直接输出和 CoT 解释输出，提升鲁棒性。
SQS：基于稀疏量化子分布的贝叶斯 DNN 压缩
🧭 模型压缩 · 贝叶斯变分推断
Purdue University · University of Texas at El Paso
用 spike-and-slab 先验与高斯混合模型统一贝叶斯剪枝与量化，压缩率更高且精度损失相当
📌 工作参考价值（4 点）
- 统一压缩替代两阶段：电商/广告排序塔及 LLM-based reranker 对推理延迟和内存敏感，可借鉴 SQS 把稀疏化和量化作为同一个变分学习问题，避免先剪枝再量化带来的误差累积；对 embedding 层、FFN 层可分别设置稀疏率和码本宽度。
- 可微的先验/近似方案：spike-and-slab 先验天然支持非结构化剪枝，GMM 后验提供量化码本均值，整体保持可微优化；工程落地时可用更轻量的近似替代复杂积分。
- 面向 LLM 部署可迁移：论文在 Llama3.2、Qwen2.5 上验证，说明适合本地部署的 embedding 模型、轻量生成式推荐模型；可按层或 token 粒度做联合压缩，降低 CPU/边缘推理成本。
- 注意：低 bit 量化依赖硬件算子和量化校准，需结合 TensorRT/ONNX 等推理框架；论文偏学术方法，业务收益还需线上延迟和精度实测。
重新审视完整推理轨迹在后训练中的作用
🧭 LLM 推理后训练 · 轨迹截断
NAVER AI Lab
完整推理轨迹对SFT收益有限，仅用端点训练更高效且可迁移到RL和蒸馏
📌 工作参考价值（4 点）
- 在训练 LLM 生成推荐理由、商品卖点、搜索 query 改写等推理链时，可只保留结论或关键步骤，不必收集完整思维链；中间冗余 token 会分散学习，截断后模型可借助内部知识补齐缺失步骤。
- 使用端点（如最终答案/推荐结果）作为 SFT 目标，能提高样本利用效率，降低 token 长度与训练成本，尤其适合大规模商品语料和长推理场景。
- 对基于 RL 或 on-policy distillation 的 Agent 策略优化，可考虑用部分轨迹或关键状态对替代全轨迹，减少冗余更新和奖励 hacking，保持推理行为稳定。
- 在构建电商问答/搜索推荐 Agent 的训练数据时，优先定义任务端点和关键中间约束，而非依赖完整长文本；该发现支持用更简洁的监督信号。
PARSER：长上下文LLM智能体的并行读取与深度推理解耦
🧭 长上下文多智能体并行阅读与推理
The Chinese University of Hong Kong
解耦阅读与推理，并行子代理读全文，主导代理迭代scatter-gather深度推理，长上下文QA大幅提升且延迟降低11倍
📌 工作参考价值（4 点）
- 解耦阅读与推理：用多个轻量 subagent 并行读取长文档 chunk 并返回证据，lead agent 只做深度推理，可迁移到电商场景处理海量商品详情、用户评论、政策文档等长文本，避免顺序阅读延迟，适合在线服务。
- RL 只优化 lead agent，subagents 冻结，显著降低训练成本；业务中可复用：固定检索/抽取模块，用强化学习训练策略/推理模块，如商品对比、复杂推荐解释生成。
- 对证据位置、顺序、距离鲁棒，适用于证据分散的场景（如多个用户评价中找关键信息、跨文档商品属性对比），减少因文档顺序引起的性能波动。
- 迭代 scatter-gather 的查询生成机制可借鉴：每一轮基于已有证据生成更深查询，逐步聚焦关键信息，可用于多轮对话式推荐或搜索 query 细化。
Agent 记忆在模型升级后是否可用：记忆可移植性对照研究
🧭 Agent 记忆可移植性评测
LinkedIn
对照评测四种 Agent 记忆格式在模型升级后的可移植性，证明固定 schema 知识图谱最稳，NOTES 与 RAG 需重建或保留原始历史
📌 工作参考价值（4 点）
- 生产级 Agent 记忆若可能经历模型升级，优先用固定 schema 的 KG 而非自由文本 NOTES；KG-fixed 在 writer swap 下 accuracy 几乎不变，能避免模型耦合导致的隐性遗忘。
- RAG 记忆系统升级 embedding 模型时，不要在同一个索引里混用新旧 embedding：50/50 混合只拿到 4.96pp 增益，会丢掉全量 re-embedding 的 11.90pp 大部分收益。应隔离版本化 embedding 空间，新模型向量写入独立索引。
- 只保留压缩后的 NOTES 不够：模型升级后 store-only repair 在 48 个用例中全都达不到 90% 恢复目标；必须同时保留原始 source history，才能在检索或解读出错时重新构建记忆。
- 记忆迁移评估必须做方向特异性测试：NOTES 迁移出现 +9.91 与 -13.28pp 的非对称变化。训练/评测 pipeline 里不要只测 A→B，要把 B→A 也纳入回归项。
Allegro 互补推荐：从共购噪声到语义兼容
🧭 互补商品推荐 · 双塔+类别映射 ★ 深度解读
Allegro.com · NVIDIA
生产级互补推荐框架 AlleCompanion：用 Category Adapter 和 ComCat 类别映射抑制共购噪声，在 Allegro 实现购物车 GMV 提升 15-21%
📌 工作参考价值（4 点）
- 用类别映射解耦业务规则与模型：将专家规则、LLM 推理、人工标注与共现统计融合成一个 Complementary Category Mapping（类似 ComCat），线上作为目标类别条件输入模型，业务规则更新无需重训。对电商互补/搭配推荐尤其适用，可维护性远高于改训练数据。
- 双塔中加入 Category Adapter + 重建损失：把目标互补类别 embedding 拼接到 query 塔，并加 auxiliary classification/reconstruction loss，能在 latent space 内直接约束检索类别，避免后处理 hard filter 导致候选不足（论文中 hard filter 即使采样 15 倍也只剩 7 个有效候选）。
- 数据清洗要克制，专家知识放映射层而非训练集：用最小 pair count 和同 department 不同 category 启发式重平衡训练数据能提升互补占比，但过度用专家规则过滤/合成训练集会大幅降低 Recall（纯专家规则 Recall@20 仅 0.0818）。建议保留大部分真实交易分布，把领域知识注入映射层。
- 不同场景/位置调混合策略：结算前 in-cart 场景用 same-category（互补+替代混合）带来 GMV +15-21%，而产品页 sponsored 纯互补也有广告收入提升；说明电商推荐需要按 placement 分别配置互补/替代比例，而非全局统一模型。