GH200 NVL2 or 8x RTX 6000 Blackwell for running Kimi K2.6 / DeepSeek V4 locally? (5 devs, agentic coding)

En 3 lignesDéveloppeur cherche la meilleure infrastructure (~100-150k$) pour servir localement Kimi K2.6 et DeepSeek V4 en équipe de 5 (coding agentic). Compare dual GH200 NVL2 (1.2TB mémoire unifiée, 95k$) vs 8x RTX 6000 Blackwell (768GB VRAM, 140k$). Test GH200 seul : 23 tok/s en décodage 2-bit, mais préfill lent et modèles débordent en mémoire lente.

Résumé généré par Claude — vérifié par l'humain