AI Papers Daily

#SGLang

2 篇

WUSH-KV: KV Cache Quantization with Data-Adaptive Transforms

WUSH-KV：数据自适应变换的 KV Cache 低比特量化

🧭 LLM 推理优化 · KV Cache 量化 ★ 深度解读

Institute of Science and Technology Austria (ISTA) · ETH Zürich · Red Hat AI

用 WUSH 数据自适应可逆变换对 KV cache 做低比特量化，2-bit 下 Qwen3-8B 全面优于 OSCAR

📌 工作参考价值（4 点）

• 对需要长上下文/高并发 LLM 服务的推荐与 Agent 系统，KV cache 内存是主要瓶颈。可借鉴将可逆变换与量化解耦：校准阶段按每个 head 的 Gram 矩阵（缓存张量自身统计）+ Hessian（下游消费者敏感度）构建变换，允许非正交各向异性缩放，比固定 Hadamard/随机旋转在 2-bit 下显著降低误差。类似思路可用于用户/物品 embedding 缓存或特征存储的低比特压缩，关键是 Hessian 选下游任务对扰动的敏感度。
• 值侧变换可在离线折叠进权重（V→WV、WO），在线零额外开销；键侧变换因 RoPE 无法折叠，放在 RoPE 之后，每新增 token 只多做一次 d×d 矩阵乘。工程上优先折叠 value 侧，key 侧用固定在线 transform，避免逐位置补偿。
• 保留 sink token 和最近 token 的 FP16 窗口（例如 sink=64, recent=256）并用批量量化 flush（chunk 8/16）可在大幅降低平均位宽时保护长上下文和生成质量；该策略与具体量化器无关，可直接迁移。
• 校准只需 128 条序列、一次完成，跨 bitwidth 复用；量化器可选 QuEST 或 OSCAR-style percentile-clipped affine，证明 WUSH 与 QuEST 搭配接近最优。在 SGLang 中集成时，可沿用 OSCAR 的 cache 管理策略，不必为 WUSH 重新调参。

LLM | 2026-09-28 | HF Daily | score 8/10

KV CacheQuantizationWUSHLLM InferenceData-Adaptive TransformSGLang

Miles v0.1: Production-Level Post-Training

Miles v0.1：生产级后训练系统

🧭 生产级后训练系统与Agentic RL

RadixArk

一个全栈生产级后训练系统，支持RL、LoRA RL、蒸馏等，在64 GPU上对744B MoE做异步Agentic RL步时263秒

📌 工作参考价值（4 点）

• 借鉴其解耦的 rollout 与 trainer 架构：使用 SGLang 作为独立推理引擎，通过 router 管理多个 engine，训练器支持 Megatron-LM / FSDP 双后端，可适配电商推荐场景中大规模 LLM 的 RL 训练或在线学习。
• LoRA RL 支持降低了 RL 微调的资源门槛，适合在电商/广告领域对已有 LLM 做轻量级策略优化，如对话式推荐、搜索 query 改写等业务。
• true-on-policy rollout-training alignment 机制确保训练数据来自最新策略，避免策略滞后，对推荐系统中的实时反馈学习（如 bandit / RL 推荐）有参考价值。
• 异步 Agentic RL 案例（多轮工具调用、外部环境交互）可直接迁移到构建电商导购 / 客服 Agent 的训练 pipeline，缓解 rollout 与训练间的气泡问题。

Training | 2026-09-07 | HF Daily | score 7/10

Post-TrainingReinforcement LearningSGLangMegatron-LMMoELoRA