vllm-doctor — a CLI tool to diagnose and monitor vLLM inference servers

En 3 lignesvllm-doctor est un outil CLI open-source qui diagnostique les serveurs vLLM en analysant les métriques Prometheus. Il détecte la pression de queue, les latences TTFT/TPOT élevées, la saturation du cache KV et propose des recommandations avec niveaux de confiance.

Résumé généré par Claude — vérifié par l'humain