Retour au feed
Reddit r/LocalLLaMA·

My GLM-5.2-FP8 HGX-H200 SGLang docker deploy config

Signal
45
Hype
15
En 3 lignesConfiguration Docker pour déployer GLM-5.2-FP8 sur HGX-H200 avec SGLang. Atteint 70 tokens/s et 262k contexte en désactivant DP et moe-a2a-backend deepep, avec mem-fraction-static à 0.83. Les recettes vLLM officielles incompatibles avec H200.
Lire la source
Ton avis ?
QwenGénération de codeInfrastructureOpen source

Résumé généré par Claude — vérifié par l'humain