[3090] Gemma4 QAT + MTP quick TPS numbers [TLDR 1.2-1.8x better]
Signal
72
Hype
35
En 3 lignesGemma 4 avec QAT et MTP atteint 70-80 tok/s sur RTX 3090 (vs 40 tok/s avant), soit 1.2-1.8x plus rapide. Configuration : Gemma 4 12B/31B, draft-MTP, contexte 40960, Q4_K_XL + Q8_0 KV cache. Support multimodal et réponse vocale quasi-instantanée.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain