Me train LLM on 8GB from Scratch. Me happy

En 3 lignesUn développeur a créé un script pour entraîner un petit modèle (25M paramètres) sur TinyStories avec seulement 8GB de VRAM. Après tests de plusieurs techniques (mHC, BitNet, TurboQuant, MTP), seule MTP fonctionne correctement, bien que plus lentement. Le code et le modèle sont disponibles sur GitHub et Hugging Face.

Résumé généré par Claude — vérifié par l'humain