1-bit and 1.58 bit LLM Benchmarking on Jetson Orin Nano Super | Bonsai LM

En 3 lignesBenchmark détaillé des modèles Bonsai LM (1-bit et 1.58-bit, 1.7B–8B) sur Jetson Orin Nano Super ($250) avec llama.cpp CUDA. Résultats clés : 25W est optimal pour modèles ≤4B (47–48% plus rapide qu'en 15W), pas de throttling thermique observé, Bonsai-1.7B Q1_0 atteint 5.84 tok/J en 237 MB disque avec 26 tok/s.

Résumé généré par Claude — vérifié par l'humain