If you had $150K for building a production-class local inference server to serve 300 people, what would you buy?

En 3 lignesUn utilisateur cherche à acheter un serveur d'inférence de production pour $150K capable de servir 300 utilisateurs en failover. Configuration actuelle : 4 H100s exécutant des modèles AWQ 122B à 256k contexte avec vLLM. Envisage SuperMicro avec RTX Pro 6000 ou DGX Station comme alternatives.

Résumé généré par Claude — vérifié par l'humain