WAV: Multi-Resolution Block Residual Routing for Deep Decoder-Only Transformers

En 3 lignesWAV v1 améliore le routage des connexions résiduelles dans les Transformers profonds en ajoutant des bases directionnelles (phase et split) aux résumés de blocs. Sur TinyStories et Text8, la méthode réduit la perte de validation à 48 couches (0.4738 vs 0.4960) avec paramètres négligeables.

Résumé généré par Claude — vérifié par l'humain