Weight normalization: A simple reparameterization to accelerate training of deep neural networks
OpenAI présente la normalisation des poids, une reparamétrisation simple qui accélère l'entraînement des réseaux de neurones profonds. La technique découple la magnitude et la direction des poids, réduisant la covariance des gradients et améliorant la convergence.