Jetson Orin NX Build for Hermes Agent + Benchmarking
Signal
65
Hype
25
En 3 lignesConstruction d'un serveur LLM miniature sur Jetson Orin NX avec benchmarking. Gemma 4 26B quantifié en Q2_K_XL atteint 66K tokens de contexte, 14.65 tok/s à 8K contexte et 10.21 tok/s à 60K contexte. Support des appels d'outils multiples pour agents Hermes.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain