Learned Subspace Compression for Communication-Efficient Pipeline Parallelism
Signal
72
Hype
15
En 3 lignesMAPL (Manifold Aware Projection Learning) compresse les activations inter-étages en pipeline parallelism via projections orthogonales apprises sur variété de Stiefel. Testé sur LLaMA 150M-1B, la méthode réduit la communication sans dégradation significative vs. Subspace Networks.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain