Generative modeling with sparse transformers

## Sparse Transformer : ce que signifie vraiment le facteur 30x

### 1. Le problème structurel que ça résout

L'attention standard dans les Transformers (Vaswani et al., 2017) souffre d'une complexité quadratique O(n²) en mémoire et en calcul par rapport à la longueur de séquence n. Concrètement : doubler la longueur de séquence quadruple le coût. À 1 024 tokens, c'est gérable. À 8 000 tokens, c'est prohibitif sur tout hardware standard. C'est ce plafond qui a contraint pendant deux ans les modèles génératifs à travailler sur des fenêtres contextuelles courtes — avec les dégradations de cohérence à longue distance que ça implique pour la génération de texte, mais surtout pour l'audio et les images haute résolution.

Le Sparse Transformer d'OpenAI attaque ce goulot directement : en rendant le mécanisme d'attention parcimonieux (sparse), chaque position n'attend plus toutes les autres positions, mais un sous-ensemble structuré. La complexité tombe à O(n√n), ce qui permet de traiter des séquences jusqu'à 30x plus longues que ce qu'autorisait l'attention dense à iso-budget computationnel.

### 2. Ce que ça change concrètement sur les benchmarks

OpenAI annonce de nouveaux records en prédiction séquentielle sur trois modalités :

- **Texte** : amélioration sur les benchmarks de modélisation du langage (les chiffres exacts de perplexité ne sont pas tous publiés dans l'extrait, mais le gain est revendiqué comme état de l'art) - **Images** : la capacité à modéliser des séquences de pixels longues est directement liée à la résolution traitée — 30x de longueur supplémentaire signifie qu'on peut modéliser des images nettement plus grandes en autorégressif sans découpage arbitraire - **Audio** : c'est ici que le gain est le plus spectaculaire en pratique. Une seconde d'audio à 24 kHz représente 24 000 échantillons. L'attention dense sur cette longueur était computationnellement hors de portée ; le sparse attention la rend tractable

L'amélioration n'est pas seulement quantitative (séquences plus longues) mais qualitative : les dépendances à longue distance sont mieux capturées, ce qui se traduit par une cohérence accrue dans les sorties générées.

### 3. Le mécanisme : ce qui est réellement nouveau

L'attention sparse n'est pas une idée neuve en soi — des travaux antérieurs avaient exploré des patterns d'attention locaux ou aléatoires. Ce que le Sparse Transformer apporte, c'est une structure d'attention **factorisée et apprise** qui combine : - Des patterns d'attention **locaux** (positions proches) - Des patterns d'attention **strided** (positions espacées régulièrement, permettant de capturer des structures périodiques dans l'audio ou les images)

Cette factorisation permet à chaque couche de couvrir l'ensemble de la séquence en O(n√n) opérations tout en maintenant des gradients stables à grande profondeur — un problème non trivial que les implémentations naïves de sparse attention ne résolvent pas.

L'implémentation requiert des kernels CUDA custom pour être efficace en pratique, ce qui constitue une barrière à la réplication pour les équipes sans infrastructure GPU de bas niveau.

### 4. Qui perd, qui gagne

**Gagnants immédiats** : les applications de génération audio (musique, synthèse vocale longue durée), la génération d'images haute résolution en autorégressif, et tout use case nécessitant une fenêtre contextuelle longue en NLP (résumé de documents, code long).

**Perdants potentiels** : les approches concurrentes de modélisation longue séquence basées sur des architectures alternatives — RNN/LSTM améliorés, Transformer-XL (qui gère la longueur via la récurrence de segments) — voient leur avantage comparatif s'éroder. Transformer-XL en particulier, publié par Google Brain quelques mois avant, proposait une solution différente au même problème ; le Sparse Transformer offre une alternative plus générale et moins contrainte architecturalement.

Les équipes qui ont investi dans des pipelines de génération d'images basés sur des CNNs (PixelCNN et variantes) font face à un concurrent autorégressif désormais capable de tenir la comparaison sur des résolutions plus élevées.

**Point de vigilance** : la complexité d'implémentation et la dépendance aux kernels custom signifient que le bénéfice réel est conditionné à une infrastructure spécifique. Ce n'est pas un drop-in replacement pour les Transformers standard dans la majorité des frameworks à ce stade.