Mutating Gemma 4 31B Dense in to a native Gemma 4 additive-MoE model

En 3 lignesUn utilisateur de r/LocalLLaMA a créé un script d'entraînement pour convertir Gemma 4 31B Dense en modèle MoE additif natif, inspiré par JDONE-Research/AIOne-Agent-52B-A36B-it. Le projet vise à ajouter un routeur et des experts au modèle dense existant en 24h sur GPU B300.

Résumé généré par Claude — vérifié par l'humain