Charon: A Unified and Fine-Grained Simulator for Large-Scale LLM Training and Inference

En 3 lignesCharon est un simulateur unifié et modulaire pour prédire les performances d'entraînement et d'inférence des LLM à grande échelle. Il atteint une erreur de prédiction inférieure à 5,35% globalement et 3,74% pour l'entraînement sur clusters GPU. En déploiement d'inférence, il a identifié une configuration améliorant le débit système.

Résumé généré par Claude — vérifié par l'humain