CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs

En 3 lignesCODA est une abstraction GPU qui réécrit les blocs Transformer en programmes GEMM-épilogue. Elle fusionne les opérations mémoire-limitées (normalisation, activations, résidus) avec la sortie GEMM avant écriture en mémoire, réduisant les mouvements de données. Couvre presque tout le calcul non-attention en forward/backward pass.

Résumé généré par Claude — vérifié par l'humain