I just realized how good MoE models are for consumer hardware

En 3 lignesUtilisateur découvre que les modèles MoE (Mixture of Experts) comme Qwen 35B offrent bien meilleures performances sur hardware consumer en déportant les experts en RAM. Avec Ryzen 7 3800X + 7900XT + 32GB, le 35B est significativement plus rapide que le 27B malgré une VRAM GPU moins utilisée.

Résumé généré par Claude — vérifié par l'humain