Retour au feed
arXiv cs.CL·

MiniGPT: Rebuilding GPT from First Principles

Signal
72
Hype
15
En 3 lignesMiniGPT est une implémentation compacte de GPT en PyTorch, reconstruite from scratch dans un notebook unique. Le modèle de 10.77M paramètres atteint une validation loss de 1.4780 sur Tiny Shakespeare avec tokenization au niveau caractère et génère du texte avec structure dialogale reconnaissable.
Lire la source
Ton avis ?
GPTGénération de codePapers

Résumé généré par Claude — vérifié par l'humain