Gefen: Optimized Stochastic Optimizer

En 3 lignesGefen est un optimiseur mémoire-efficace qui réduit l'empreinte mémoire d'AdamW d'environ 8x (6.5 GiB par milliard de paramètres) en partageant les estimations de second moment entre blocs de paramètres et en quantifiant le premier moment via un codebook appris. Maintient les performances d'AdamW tout en permettant des microbatches plus larges en entraînement distribué.

Résumé généré par Claude — vérifié par l'humain