Retour au feed
Reddit r/LocalLLaMA·

DifussionGemma 4 on 4x7900xtx

Signal
65
Hype
15
En 3 lignesDéploiement de DiffusionGemma 26B sur 4x AMD 7900 XTX via vLLM. Performances : 100 tokens/s en génération, 45-60 t/s en traitement de prompt. KV cache : 152k tokens. Utilisation mémoire GPU : ~23.6-23.7 GB par carte, températures 78-88°C.
Lire la source
Ton avis ?
Génération de codeInfrastructureOpen source

Résumé généré par Claude — vérifié par l'humain