Blackwell and PDL performance increase
Signal
75
Hype
15
En 3 lignesLlama.cpp ajoute le support de Programmatic Dependent Launch (PDL) pour les GPU Nvidia Blackwell (CC >= 90). PDL améliore l'exécution des kernels : +5-6% en token generation sur Qwen 35B et Gemma 26B, sans gain en pre-fill. À activer avec '-D GGML_CUDA_PDL=ON' à la compilation.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain