Retour au feed
Reddit r/LocalLLaMA·

I didn't know it was possible to compile llamacpp to run cuda + vulkan at the same time..

Signal
45
Hype
25
En 3 lignesUtilisateur compile llama.cpp avec CUDA et Vulkan simultanément sur W7800. Obtient +10% tokens/sec en décodage avec MiniMax-M3-UD-IQ2_M. Teste la combinaison de deux accélérateurs GPU pour optimiser les performances.
Lire la source
Ton avis ?
Open sourceInfrastructure

Résumé généré par Claude — vérifié par l'humain