I tested MTP on vLLM and llama.cpp for Gemma 4 & Qwen 3.6 — 3.34x faster inference, here are my findings RTX 6000 PRO.

En 3 lignesBenchmark MTP (Multi-Token Prediction) sur Gemma 4 31B et Qwen 3.6 27B avec vLLM et llama.cpp. Résultat : 3.34x accélération (132.52 vs 39.69 tok/s). vLLM surpasse llama.cpp sur Gemma 4 ; llama.cpp performant sur Qwen. Pas de dégradation qualité confirmée, VRAM négligeable.

Résumé généré par Claude — vérifié par l'humain