#Triton

5 篇

BitSparse: Compact Activation Storage for ReLU Feed-Forward Networks

BitSparse：ReLU 前馈网络的紧凑激活存储

🧭 训练显存优化 · 稀疏激活无损压缩

University of Cambridge · University of Oxford

提出 GPU 端无损稀疏激活压缩格式 BitSparse，在 Modded-NanoGPT 和 Nemotron-H 上降低每 token VRAM 31%/30%，开销不超过 1%

📌 工作参考价值（4 点）

若广告/推荐训练模型使用 ReLU/ReLU² 激活且前馈层存在大量稀疏零激活，可用 BitSparse 无损压缩激活缓存，降低训练 VRAM，支撑更大 batch 或更长序列，不牺牲精度。
压缩/解压以 Triton kernel 融合进 autograd function，开销 <1%，可作为自定义 activation checkpointing 的轻量替代或补充，适合在大模型训练框架中集成。
支持 BF16 和 FP8 激活，与混合精度训练兼容；业务上若已使用 FP8，可直接复用该压缩思路。
预分配 buffer 避免 variable size tensor 分配时的 host synchronization，这个工程技巧对推荐模型中动态序列长度样本的训练同样有价值。

Training | 2026-10-15 | cs.LG | score 7/10

KernelOPT：面向 GPU 内核优化的调度感知多智能体搜索

🧭 LLM 多智能体 GPU 内核优化

Red Hat

用五个 profiling 引导 LLM Agent 仅优化 Inductor 生成 Triton 子内核，四级验证门保证端到端正确性并实现 1.07–1.40× 加速

📌 工作参考价值（3 点）

多 Agent + 多级验证门的保守发布模式：任何 KernelOPT 候选都必须通过静态校验、多随机种子正确性、模型级 float64 对照和性能门槛；不通过就回退到编译器 baseline。这套模式可直接迁移到搜索/推荐 Agent 的 query 改写、策略生成或代码生成：候选必须比现有生产规则快且稳，否则自动回退，保证不劣化。
把系统当结构化产物而非黑盒：KernelOPT 不优化整个编译模型，而是保留 cuBLAS/cuDNN 高性能调用，只优化 Inductor 生成的 Triton 子内核。对应到电商 Agent，可保留已成熟的精排/召回服务，只对 LLM 生成的过滤条件、排序表达式或 SQL 片段做局部优化，降低风险并提升收益。
用 profiling 数据驱动 Agent 搜索：不是全量试错，而是通过 profiling 定位热点子内核，再由 Agent 做受限搜索。实际工作中可用耗时/失败率/转化率等 profiling 信号，引导 LLM Agent 只优化高价值环节，减少 token 和延迟开销。

MultiAgent | 2026-09-24 | cs.LG | score 6/10

TileMaxSim：IO感知的GPU分块MaxSim打分与融合量化

🧭 多向量检索GPU加速 · IO-aware kernel

MIT-IBM Watson AI Lab

通过维度分块与融合PQ解压缩，将GPU上MaxSim峰值带宽利用率提升至80.2%，打分吞吐提升220倍

📌 工作参考价值（4 点）

搜索/推荐系统中若使用ColBERT等多向量模型做召回或排序，可将TileMaxSim作为即插即用的GPU算子，将候选评分延迟从百毫秒降至毫秒级，显著降低端到端延迟。
在实现自定义的打分/聚合CUDA kernel时，可借鉴其IO-aware SRAM分块策略：流式加载文档嵌入并在寄存器中累积最大值，避免实例化庞大的相似度矩阵，最大化带宽利用率。
融合PQ解压缩与scoring的思路可迁移至在线检索中压缩嵌入的快速还原计算，通过共享内存查找表减少HBM读取量，适用于存储压缩的电商商品或广告嵌入。
维度分块技术解决了嵌入维度超过共享内存容量的问题，可推广至高维推荐模型（如d>128）的打分加速，保持恒定吞吐。

RAG | 2026-06-24 | cs.IR | score 6/10

Flash-GMM：用于可扩展软聚类的内存高效 GPU 内核

🧭 大规模 GPU GMM 聚类加速

IBM Research

提岀 Flash-GMM，通过 Triton 内核融合避免显存实现完整责任矩阵，实现 20 倍加速，支持单卡训练百倍更大数据集。

📌 工作参考价值（4 点）

用 GMM 软聚类替代 k-means 做 IVF 粗量化：利用 GMM 的责任度将边界向量分配给多个簇，相比 k-means 硬分配，在相同召回下可减少最高 1.7× 的距离计算量，或同等计算预算下提升 recall@10 2~12 个点，适合召回阶段的向量检索优化。
单卡训练超大规模聚类模型：Flash-GMM 避免了显存中 N×K 责任矩阵的实例化，能在单块 A100 (80GB) 上直接训练多达 1 亿向量、1024 个簇的 GMM，为十亿级物品库的索引构建提供可能。
融合核与工程实现：整个 EM 迭代在一个 Triton kernel 中完成，无需存储中间矩阵，可作为即插即用的模块集成到现有 GPU 向量检索管线，显著降低内存压力并提升训练吞吐。
扩展软分配思想：在多模态 / 语义 ID 场景，可借鉴 GMM 的责任度作为软标签，为物品生成多个语义簇归属，替代独热分配，提升生成式推荐的聚类表达能力。

RecSys | 2026-06-08 | HF Daily | score 7/10

AgentKernelArena：面向泛化性的GPU内核优化代理基准测试

🧭 GPU内核优化代理评估基准

AMD

首个覆盖HIP/Triton/PyTorch-to-HIP的智能体GPU内核优化评估基准，引入未见配置泛化测试。

📌 工作参考价值（4 点）

Agent迭代优化流程的量化评估：借鉴其编译、正确性、性能三道门控检查的设计，可为推荐系统中代码生成Agent（如特征工程脚本优化、数据处理pipeline生成）构建类似的闭环评测，确保输出代码在真实环境中可用且高效。
泛化测试避免过拟合：论文揭示从零生成的kernel容易硬编码特定输入形状，在未见配置下正确性大幅下降。在电商场景中，若用Agent生成模型训练或推理代码，应增加不同batch size、序列长度等配置的泛化测试，避免隐式过拟合。
隔离执行与集中评分：其模块化工作区隔离执行、集中打分的框架可复用于多Agent系统的性能基准测试，尤其适合评估代码优化类Agent的鲁棒性和速度提升。
对推荐场景的直接价值有限：工作聚焦底层GPU kernel优化，与业务层的生成式推荐、多智能体协作关联较弱，主要提供评估方法论参考。

Eval | 2026-05-15 | HF Daily | score 7/10