Orth-Dion: Eliminating Geometric Mismatch in Distributed Low-Rank Spectral Optimization

En 3 lignesOrth-Dion améliore Dion, un optimiseur spectral pour l'entraînement distribué à faible rang. En remplaçant la normalisation de colonnes par une orthogonalisation QR, la méthode élimine un facteur √r dans la convergence et atteint le taux O(√L_r/T) des méthodes spectrales exactes. Validation sur pré-entraînement de modèles de langage.

Résumé généré par Claude — vérifié par l'humain