Retour au feed
Reddit r/LocalLLaMA·

moar QAT stuff and hairy ticks

Signal
65
Hype
15
En 3 lignesPublication de modèles Gemma-4 quantifiés (12B et 31B) avec une méthode QAT améliorée basée sur Q4_0. L'auteur a développé un processus itératif de recherche d'erreur maximale en F16 surpassant l'imatrix, atteignant une KLD similaire à unsloth. Code PyTorch disponible sans restrictions.
Lire la source
Ton avis ?
Open sourceBenchmarksGénération de code

Résumé généré par Claude — vérifié par l'humain