Beyond Prediction: Tail-Aware Scheduling for LLM Inference

En 3 lignesNouvel ordonnanceur pour l'inférence LLM qui remplace la prédiction de longueur par des signaux statistiques légers et l'ajustement dynamique de priorités. Réduit P99 TTLT de 35-50% vs SRPT avec connaissance parfaite de longueur, et TTFT de 34-47% sur traces production et open-source.

Résumé généré par Claude — vérifié par l'humain