LoRA-generating hypernetworks for efficient on-device LLM generative personalization
LoRA生成超网络用于高效设备端LLM生成式个性化
🧭 设备端LLM个性化 · 超网络生成LoRA
训练超网络将用户上下文映射为个性化LoRA，兼顾ICL计算可行性与PEFT权重修改优势
📌 工作参考价值（3 点）
- 将 hypernetwork 生成个性化 LoRA 的思路用于用户级文案生成（如 push 消息、推荐理由），可避免对每个用户做云端微调或扩展 prompt；设备端只需一次前向计算，延迟低且不增加输入长度。
- 该架构共享基础 LLM 权重并仅需额外存储一个超网络，适合移动端/边缘设备部署；业务中若需为大量用户提供个性化生成能力，可考虑训练一个通用的用户编码器+超网络，而非保存大量微调模型。
- 用户上下文 token 作为输入，可类比在推荐系统中将用户行为序列编码后生成适配参数；此方法可作为生成式推荐中轻量用户表征的一种实现，用于生成个性化语义 ID 或推荐文案的 LoRA 适配。