Reparametrizing Shampoo and SOAP for Subspace Basis Updates and BFloat16 Storage

En 3 lignesNouvelle reparamétrisation des méthodes Shampoo (KL-Shampoo, SOAP, KL-SOAP) permettant le stockage en BFloat16 et réduisant le coût computationnel via décomposition QR en sous-espace. Améliore l'efficacité mémoire et temps sans dégradation de performance.

Résumé généré par Claude — vérifié par l'humain