I didn't know it was possible to compile llamacpp to run cuda + vulkan at the same time..
Signal
45
Hype
25
En 3 lignesUtilisateur compile llama.cpp avec CUDA et Vulkan simultanément sur W7800. Obtient +10% tokens/sec en décodage avec MiniMax-M3-UD-IQ2_M. Teste la combinaison de deux accélérateurs GPU pour optimiser les performances.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain