Block-sparse GPU kernels

En 3 lignesOpenAI publie des kernels GPU optimisés pour les réseaux de neurones à poids block-sparse. Ces kernels surpassent cuBLAS et cuSPARSE de plusieurs ordres de magnitude selon le taux de sparsité. Ils ont permis d'atteindre des résultats SOTA en analyse de sentiment et génération de texte/images.

Résumé généré par Claude — vérifié par l'humain