Stream2LLM: Overlap Context Streaming and Prefill for Reduced Time-to-First-Token (TTFT)

En 3 lignesStream2LLM est un système de serving LLM qui réduit le temps jusqu'au premier token (TTFT) en chevauchant la récupération de contexte avec l'inférence. Le système gère deux modes : append (accumulation progressive) et update (raffinement itératif). Évaluation sur workloads réels montre jusqu'à 11x d'amélioration TTFT.

Résumé généré par Claude — vérifié par l'humain