Retour au feed
Reddit r/LocalLLaMA·

Build 9254 fixes my TG regression and adds PDL for NVIDIA GPUs

Signal
78
Hype
15
En 3 lignesLe build 9254 de llama.cpp corrige une régression de throughput et ajoute le support PDL (Programmatic Dependent Launch) pour les GPU NVIDIA CC >= 90. PDL permet l'exécution concurrente de kernels CUDA sur le même stream, réduisant la latence de lancement. Gains observés : +3% sur RTX 5060 Ti, jusqu'à +10% sur RTX PRO 6000 selon le modèle.
Lire la source
Ton avis ?
InfrastructureOpen sourceBenchmarks

Résumé généré par Claude — vérifié par l'humain