FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution
FreeToken：面向边缘环境的带宽自适应 MoE 高效推理系统
🧭 边缘 MoE 推理系统 · 带宽自适应执行
UC Berkeley · UT Austin
通过带宽自适应执行与全栈协同设计，将前沿 MoE 模型高效部署到个人异构硬件
📌 工作参考价值（4 点）
- 若业务中需本地或边缘侧部署 MoE LLM（如 query 改写、商品文案生成），可借鉴 FreeToken 不固定 offloading 策略的思路：根据当前 PCIe 带宽、CPU/GPU 算力动态决定 expert 常驻位置，而非依赖静态预设。
- 对 Agent 类工作负载（多轮工具调用、长上下文），关注其请求模式动态变化，利用请求间共享前缀缓存与状态复用，减少重复 KV cache 重构，降低长尾推理成本。
- 在异构硬件集群中做推理调度时，可将模型状态视为可迁移资源，按机器实际可用内存、带宽和计算强度做细粒度映射，而非只按 GPU 数量分配。
- 若团队使用开源 MoE 模型做离线批量生成（如推荐理由生成、广告文案扩展），可参考其对模型权重分片与流式加载的工程优化，降低对单机 GPU 显存的硬性要求。