Every Weight Is a Path of Shared Discrete Decisions
TWIG：每个权重都是共享离散决策路径
🧭 模型压缩 · 权重离散化
LEAD Lab, ITMO University
提出 TWIG 树结构权重表示，统一剪枝、量化、低秩与码本，LLM 权重以更少加法达到与 GPTQ 同等误差
📌 工作参考价值（4 点）
- 业务部署 LLM/推荐模型时可统一压缩流程：TWIG 把剪枝、量化、低秩、码本、权重共享合并为同一树结构决策，避免分阶段工具链（先剪枝再量化再低秩）造成误差累积，可用一个优化目标联合搜索。
- 对延迟敏感、希望硬件固权/推理加速的电商搜索或广告模型，可尝试将关键层表示为 signed power-of-two 项，使乘法变移位加法，降低电路成本；优先用于 outlier 明显或冗余大的 FFN/embedding 层，实测此类矩阵可减少更多加法。
- 工程实现上可借鉴“共享路径继承”思想：让一组权重共享高层离散门（sign/scale/index），仅叶节点不同，既能大幅减少元数据存储，又便于在芯片制造前固化。
- 当前证据仅来自 5 个权重矩阵，尚未验证全模型端到端精度与吞吐；业务落地前需先做全模型压缩实验，评估与 GPTQ/AWQ 等成熟方案的端到端指标。