FuTransformer：面向 Hopper 的 Llama 式推理 FP8 Prefill 与 INT4 Decode
🧭 LLM 推理 GPU Kernel 与量化优化
在 H100 上实现 Llama 风格 Transformer 推理 CUDA kernel，prefill 用 FP8，decode 用 INT4 权重和旋转 INT4 KV cache，单步解码从 8.1ms 降至 2.8ms
📌 工作参考价值（4 点）
- 在线推荐/Agent 系统中 LLM 推理延迟敏感，可借鉴其 INT4 decode 方案：权重 INT4 + KV cache INT4，在 H100 上 batch=1 的 Llama-3.1-8B 单步从 8.1ms 降到 2.8ms，适合低延迟实时交互。
- 将量化权重和 keys 直接按 Tensor Core fragment layout 存储，避免生成完整中间 tile，减少显存读写和 kernel 复杂度；这项工程优化可复用到线上 embedding lookup 或 attention 模块的低精度部署。
- 使用 block-diagonal Hadamard 旋转抑制异常通道对 KV cache 量化误差的影响（旋转后 cache 量化仅增加 0.20 PPL），对用户行为序列、长历史 cache 的压缩存储有参考价值。
- 把固定 RMSNorm gain 折叠进权重、FP8 输出直接写入并采用 delayed scaling，合并多个独立 kernel 为 GEMM+epilogue，减少 kernel 启动和中间结果搬运，适用于实时特征服务中的算子融合。
从大规模教师到高效多模态学生：搜索相关性预测蒸馏
🧭 搜索相关性预测 · LLM蒸馏多模态学生 ★ 深度解读
eBay · Tooploox
用GPT-4.1当裁判生成48万条相关性标签，蒸馏到Gemma-3多模态小模型，精度接近教师、吞吐大幅提升
📌 工作参考价值（4 点）
- 用高能力闭源LLM作为标注器（LLM-as-a-Judge）批量生成query-item相关性标签（含解释），再用这些数据SFT小模型。如果业务有大量未标注query-item对，可以先小规模人工标注校准prompt，再放大生成训练集，成本远低于人工标注。
- 蒸馏时保留“先给标签再给解释”的respond-then-explain格式，并让生成解释参与训练，能显著提升小模型在难样本/边缘类上的F1（Test1 F1从68.32提升到76.19）；业务落地可以只输出标签、按需输出解释，推理成本分离。
- 多模态学生模型用更低分辨率图像（300px）训练即可接近高分辨率，但提升到900px在难样本上有1-2点收益且不影响Gemma-3推理延迟（内部统一256视觉token）。电商场景商品图往往很大，不必过度压缩。
- FP8量化在单卡H100上无解释吞吐从194 req/s提升到271 req/s（+39%），精度几乎不降，适合高吞吐在线相关性服务；选型上12B模型在精度/吞吐Pareto前沿优于27B。
面向LLM的全流程FP8强化学习训练稳定性优化
🧭 FP8强化学习训练稳定性优化
University of Wisconsin–Madison · ByteDance Seed
揭示FP8全流程RL中量化噪声扭曲importance ratio导致训练崩溃，提出Calibrated Clipping动态校准剪切界
📌 工作参考价值（4 点）
- 若在电商搜索/推荐Agent或生成式推荐中用FP8做RL微调，除train-inference mismatch外，需重点监控entropy surge和输出乱码，这是重要性比被量化噪声扭曲的早期信号。
- Calibrated Clipping可迁移：在低精度训练时，动态对齐FP8与BF16分布的低位分位数并重新平衡上界，能防止negative-advantage tokens梯度被错误零化，适合GRPO/DAPO等常见RL算法。
- 对生成式推荐或Agent策略优化，FP8全流程加速价值大，但直接套用预训练FP8配置有风险；建议在RL阶段引入基于分位数的动态clipping机制，并监控importance ratio分布。
- 若业务中同时使用多种FP8 scaling granularity，该方法在不同粒度上均有效，可作为通用稳定性补丁。
VC-Attention：值平滑与 Softmax 投影的低比特注意力
🧭 低比特注意力 · 量化推理加速
Nunchux AI · MIT · CMU · UC Berkeley · Stanford
训练免费的低比特注意力框架，用值平滑和融合概率投影同时提升量化和速度
📌 工作参考价值（4 点）
- 低比特激活量化中，value 异常值往往无固定通道/时空结构，可借鉴 V-Smooth：先对 token 做轻量在线聚类，使硬件 block 内分布更均匀，再对残差（减去块均值）量化，利用 online softmax 维护的 row sum 恢复均值；该方法无需重训，可直接套用到 Transformer 排序模型或 LLM-based Agent 的 attention 推理加速。
- softmax 高精度指数是低比特 attention 的非 GEMM 瓶颈，ExpCast-FP8 把 log-domain 分数直接映射为 E4M3 概率码，用一次融合乘加替代 FP32 指数和格式转换，可迁移到 LLM 推理 kernel，提高 Tensor Core 利用率、降低 pipeline 阻塞。
- 工程上关注到 block 量化尺度由最大值决定、典型值代表范围窄的问题；通过 token 重排 + 残差量化减少误差，这种思路也适用于 embedding/特征的低比特压缩。
- 该工作展示了在多种新 GPU 上对 attention kernel 的精细优化，可作为自研推理引擎中 attention 低比特实现的参考基线；但业务侧若以 CPU/通用 GPU 为主，需要评估移植成本。
表格基础模型的注意力FP8量化
🧭 表格基础模型推理优化 · FP8注意力量化
Prior Labs
开发FP8量化QKV的注意力Triton内核，通过训练/测试量化误差对齐实现1.7倍加速且精度无损
📌 工作参考价值（4 点）
- 如果业务里用了类似 TabPFN 的 tabular transformer 做点击率、LTV、风控等表格数据建模，推理优化重点应放在 attention 计算上，而不是像 LLM 那样优先做 weight 或 KV cache 量化；QKV 直接量化到 FP8 并用显式 FP8 matmul，可以在注意力热点上拿到 1.5-1.7x 加速。
- 关键实现 trick：训练和推理时对行（row）的量化误差必须对齐，否则精度会急剧下降。迁移到推荐/广告场景时，如果表格模型在训练和线上服务的数据分布或预处理不同，需要把量化校准纳入训练管线，保证一致性。
- 动态开启量化内核的策略值得借鉴：在训练行数超过 8192 时才启用 FP8 attention kernel，短序列时用基线 kernel，避免小 batch/短序列下量化开销反而拉低吞吐。
- 工程上用 Triton kernel 可以针对 attention 做轻量级量化优化，无需重新训练模型；在表格特征建模或 in-context tabular learning 的推理服务中，可以将 FP8 attention 作为无精度损失的加速开关，降低线上延迟和成本。
ZGCM-1：面向数学与智能体搜索的全开源高效基础模型
🧭 高效训练 · Agentic Search ★ 深度解读
Zhongguancun Academy · Zhongguancun Institute of Artificial Intelligence
全开源 7B 模型，靠混合注意力、FP8/Muon 与 MDP 中训，在数学和 Agentic Search 上逼近大模型
📌 工作参考价值（5 点）
- 混合注意力 5:1 SWA/global 可在 256K 上下文将 KV cache 降 6.4x、吞吐提升 3.94x：适合电商多轮对话、长用户行为序列或长文档检索场景，用 7B 级模型支撑长上下文 Agent 而不过度消耗显存。
- 把交互轨迹改写为 MDP 状态-动作对做稠密监督，比整段模仿学习更利于训练 Agent 在搜索/推荐中做局部决策（如何时调用搜索、扩展 query、停止迭代）；可直接复用到电商导购 Agent 的工具调用数据构造。
- FP8+Muon+TWEO 组合实现约 4.2x pre-training time-to-loss，内部迭代模型可行；尤其 TWEO 抑制激活 outlier 是 FP8 稳定的关键，可在训练栈中尝试。
- SFT 数据质量裁剪：约剪掉一半候选，六基准均值 67.78→68.83，证明高质量数据胜于堆量；对电商话术/导购数据可借鉴严格去污和分层过滤。
- Agent 数据与 general 数据联合训练优于先 general 后 agentic 或只 agentic：对话式购物助手不应只用领域轨迹，需保留通用指令遵循能力。
PuRo-2B：用 RTX 5090 以约 5090 美元级预算训练 Qwen2-1.5B
🧭 低成本 LLM 预训练 recipe ★ 深度解读
Tsinghua University · Pengcheng Laboratory
开源低成本预训练 recipe：RTX 5090 + FP8 + MuonH + 课程平均，约 $6.9K 训出接近 Qwen2.5-1.5B 的 2B 模型
📌 工作参考价值（4 点）
- 低成本训练 domain-specific 小模型：RTX 5090 的 BF16/FP8 每美元算力约为 H200 的 2.7 倍，业务侧可评估消费级 GPU 集群做 LLM 训练/微调，而不必只租 A100/H200；但需注意驱动改 P2P/GDR、InfiniBand 组网等工程风险。
- FP8 混合精度可从随机初始化开始，不需要 BF16 warm-up：参考 blockwise scaling（激活 1D 128，权重 2D 128x128），敏感状态保持 BF16/FP32，预期吞吐提升 1.3-1.4x 且质量损失很小，适合训练中小规模排序/召回或生成式推荐模型。
- MuonH 优化器对 attention/MLP 矩阵做 fixed-radius 投影，显式控制 effective LR，比普通 Muon 更稳；在总 token 预算不固定、需要持续训练时，WSD + 较长线性 decay 比短 decay 更划算，可迁移到训练中小型 Transformer。
- 数据课程与 checkpoint averaging：按源内质量分排序 chunk 的 coarse curriculum + 末尾常数 LR checkpoint averaging，不需要全局质量分就能提升下游任务；对多源推荐/搜索语料，可用 proxy 小模型评估各数据源的下游收益，指导 mixture 权重，显著降低数据筛选成本。