Flatland: The Adventures of Gradient Descent with Large Step Sizes

En 3 lignesArticle théorique sur la convergence de la descente de gradient avec grands pas d'apprentissage. Les auteurs définissent formellement les « grands » pas en ne requérant que la continuité locale de Lipschitz du gradient, conçoivent des méthodes adaptatives du premier ordre qui opèrent à la limite de stabilité dès le début, et montrent que rechercher la platitude globale trop tôt ralentit la convergence.

Résumé généré par Claude — vérifié par l'humain