The Implicit Bias of Depth: From Neural Collapse to Softmax Codes

En 3 lignesÉtude théorique montrant que la profondeur des réseaux de neurones induit un biais implicite vers des solutions de faible rang, alternatives au neural collapse. Analyse des dynamiques d'entraînement du modèle UFM (unconstrained feature model) sans régularisation, révélant comment la profondeur favorise les softmax codes plutôt que les géométries structurées classiques.

Résumé généré par Claude — vérifié par l'humain