Anyone using Flash Attention 2 (ai-bond) on their V100's? How is the performance?

En 3 lignesUtilisateur teste Flash Attention 2 (ai-bond) sur V100. Benchmarks montrent 7-24x speedup en backward pass, réduction mémoire jusqu'à 91.9% (323.4 MB économisés). Temps de réflexion avant réponse minimisé. Validation numérique OK sur configurations causal et non-causal.

Résumé généré par Claude — vérifié par l'humain