Build 9254 fixes my TG regression and adds PDL for NVIDIA GPUs
Signal
78
Hype
15
En 3 lignesLe build 9254 de llama.cpp corrige une régression de throughput et ajoute le support PDL (Programmatic Dependent Launch) pour les GPU NVIDIA CC >= 90. PDL permet l'exécution concurrente de kernels CUDA sur le même stream, réduisant la latence de lancement. Gains observés : +3% sur RTX 5060 Ti, jusqu'à +10% sur RTX PRO 6000 selon le modèle.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain