Retour au feed
Reddit r/LocalLLaMA·

Blackwell and PDL performance increase

Signal
75
Hype
15
En 3 lignesLlama.cpp ajoute le support de Programmatic Dependent Launch (PDL) pour les GPU Nvidia Blackwell (CC >= 90). PDL améliore l'exécution des kernels : +5-6% en token generation sur Qwen 35B et Gemma 26B, sans gain en pre-fill. À activer avec '-D GGML_CUDA_PDL=ON' à la compilation.
Lire la source
Ton avis ?
LlamaInfrastructureBenchmarks

Résumé généré par Claude — vérifié par l'humain