Benchmarks of 20 small LLMs on a 6GB RTX 4050

En 3 lignesBenchmark de 20 petits LLMs sur GPU RTX 4050 6GB. L'auteur teste des quantifications Q4/Q6 GGUF avec 6 probes qualitatives (tool-call, JSON strict, décomposition de plan, pas d'hallucination de chemin) plutôt que des suites complètes, mesurant vitesse de préfill et génération à 1k/8k/32k tokens pour identifier les modèles viables en local sur hardware limité.

Résumé généré par Claude — vérifié par l'humain