Expand More, Shrink Less: Shaping Effective-Rank Dynamics for Dense Scaling in Recommendation
扩多缩少：塑造推荐模型稠密扩展的有效秩动态
🧭 深度推荐模型缩放 · 有效秩动态调控 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Tencent Inc.
通过参数化全混合与GLU-PFFN缓解RankMixer嵌入坍塌，提升稠密扩展性能
📌 工作参考价值（4 点）
- 替换 RankMixer 的 token mixing：将固定的块转置换操作改为可学习的 Parameterized Full Mixing（对 flatten 后的 token 向量做稠密线性变换加残差），能显著提升有效秩与交互细粒度，在电商推荐中可直接迁移。
- GLU 风格 P-FFN 防坍缩：用 GLU（门控线性单元）替代原 GELU 型 P-FFN，即 (GELU(MW1) ⊙ (MW2))W3 + M Wr，统计上可抑制有效秩收缩，实现“收缩少”。
- 两个模块协同使用：实验表明两者互补，单独使用增益有限，同时替换才能获得最大性能提升，是工程改造的可靠方案。
- 有效秩监控诊断：跟踪各层有效秩分布，可快速发现嵌入坍塌风险，指导模型架构调整。