Experimentation with Qwen 3.6 and Gemma 4 - Guidance needed

En 3 lignesDéveloppeur testant Qwen 3.6 et Gemma 4 en local sur matériel modeste (i5-12400, 64GB RAM, 2x GTX 1050 Ti). Obtient ~40 t/s en traitement de prompt et 12-18 t/s en génération. MoE, quantization et speculative decoding rendent les LLMs locaux viables sans hardware coûteux.

Résumé généré par Claude — vérifié par l'humain