DynaTrain: Fast Online Parallelism Switching for Elastic LLM Training

En 3 lignesDynaTrain est un système d'entraînement distribué permettant la reconfiguration en ligne du parallélisme multi-dimensionnel en moins d'une seconde. Via une abstraction Virtual Parameter Space, il reconfigure un modèle dense de 70B en 2s et un MoE de 235B en 4.36s, surpassant les systèmes élastiques existants de trois ordres de magnitude.

Résumé généré par Claude — vérifié par l'humain