Yay got Gemma 12B QAT working on old 1080ti (maybe with speculative decoding?)
Signal
45
Hype
15
En 3 lignesUtilisateur fait tourner Gemma 12B QAT sur une GTX 1080 Ti (9 ans) avec 50 tok/sec. Configuration avec décodage spéculatif (modèle draft MTP) et quantification Q4_K_XL. Cherche optimisations supplémentaires.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain