Block-sparse GPU kernels
OpenAI publie des kernels GPU optimisés pour les réseaux de neurones à poids block-sparse. Ces kernels surpassent cuBLAS et cuSPARSE de plusieurs ordres de magnitude selon le taux de sparsité. Ils ont permis d'atteindre des résultats SOTA en analyse de sentiment et génération de texte/images.