#Offloading

3 篇

The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction

内存墙的另一半：用训练的路由预测从 SSD 服务 35B MoE

🧭 LLM 推理优化 · SSD offloading

AutoArk

Edge0 用下一层路由预测实现 SSD 流式加载专家权重，在单 24GB 卡上以 20 tok/s 服务 35B MoE，质量接近 fp16 教师

📌 工作参考价值（3 点）

在资源受限的单卡环境部署 LLM 推荐/Agent 时，可采用 SSD offload + 路由预测预取：只加载预测命中的专家，用下一 token 的路由预测提前发起 I/O，隐藏磁盘延迟，降低峰值显存。
量化部署大模型时，可用未合并的 recovery LoRA 在量化后的 student path 上训练，补偿 int4 量化与路由替换带来的质量损失，推理时只增加极小的 adapter 计算，适合线上低时延场景。
路由预测思想可迁移到 Agent 多步推理或生成式推荐流水线：预测下一步需要的模型/数据组件并提前加载，减少串行等待，提升吞吐。

LLM | 2026-09-15 | HF Daily | score 7/10

SeqMoE：预测式与图兼容 MoE 卸载实现近满载性能

🧭 MoE 推理卸载 · 预测式专家预取

University of Science and Technology of China · Suzhou Institute for Advanced Research, University of Science and Technology of China

通过序列建模预测专家激活，结合联合预取调度与图兼容运行时，实现 45% 常留下 96.97% 命中率和 80.22% 满载性能

📌 工作参考价值（4 点）

若业务使用 MoE 架构 LLM（如 Mixtral、DeepSeek-MoE）做 query 改写、文案生成或 Agent 工具编排，可参考 SeqMoE 的专家激活序列预测：只让约 45% 的 expert 常驻显存，仍能获得约 80% 的 full-load 性能，适合在显存受限 GPU 上部署大规模 MoE 推理服务。
将“下一步需要加载哪些 expert”建模为序列预测问题，类似推荐中的 next-item prediction，可以用轻量 decoder 输出多步、多层的 expert ID 序列，比按层独立 LRU 更精准，能直接迁移到 LLM serving 的预取模块。
联合预取调度可形式化为 Job Sequencing with Deadlines：把 PCIe/NVLink 带宽作为约束、各 token 的 expert 需求作为 deadline，统一调度一批请求的 expert 加载，能显著提升带宽利用率；在 Continuous Batching 场景下可以复用这一思想。
图兼容 runtime 的做法值得工程实现借鉴：将 expert 放置与计算解耦，避免预取引入依赖同步，从而能用 CUDA Graph 捕获端到端执行路径，减少 kernel launch overhead；不过动态 MoE routing 会加大图捕获复杂度，需在 serving 框架里做静态化或部分捕获。

Other | 2026-09-11 | cs.AI | score 7/10

LazyTrain：有限资源下大模型训练的零浪费产出优化

🧭 LLM 训练资源调度优化

IDEA Research · The Hong Kong University of Science and Technology (Guangzhou) · DataArcTech Ltd.

将checkpoint选择、激活放置、重计算与CPU-GPU-NVMe通信重叠建模为混合整数调度，并耦合混合8-bit算子提升单卡训练效率

📌 工作参考价值（4 点）

层流式执行器上将 checkpoint 选择、激活 offload、重计算与 PCIe/NVMe 传输显式建模为混合整数调度问题，避免通信暴露在关键路径；自研微调平台或单卡多卡调度时可把“何时 offload/重计算”做成可求解策略而非硬编码规则。
8-bit 优化器状态与快速梯度裁剪耦合为混合算子，压缩优化器状态省显存，同时用快速裁剪掩盖 CPU 端更新延迟；适合 LoRA/QLoRA 或全参微调中优化器状态占显存大、需单卡大 batch 的场景。
消费级 GPU（RTX 3090）上最大可行 batch size 各模型规模可增加 1，能直接服务推荐/CTR/CVR 模型 LLM backbone 的对比学习、多任务微调，降低单卡试错成本。
离线求解调度策略、训练时执行的思想可迁移到推荐系统训练中，把 embedding offload、参数服务器通信、数据搬运也显式建模为调度问题，提升 GPU 利用率。

Training | 2026-08-12 | cs.CL | score 7/10