mistral.rs v0.8.2: up to 2.8x faster CUDA inference than llama.cpp on GB10, B200, and H100

## mistral.rs v0.8.2 : anatomie d'un gain de 2.8x sur llama.cpp

### 1. Ce qui est mesuré et comment

EricLBuehler publie un rapport de benchmark reproductible — point non négligeable dans un écosystème où les chiffres de performance sont souvent invérifiables. Les tests couvrent Gemma 4 dans ses deux variantes (dense et MoE), sur trois GPU NVIDIA distincts (GB10, B200, H100), avec deux types de quantification (eQ8_0 et Q4K). Le gain maximal annoncé est 2.8x en tokens/seconde par rapport à llama.cpp, et la claim centrale est que mistral.rs est plus rapide à **chaque point** du sweep de release — pas seulement sur un cas favorable.

La reproductibilité est documentée étape par étape dans le rapport GitHub (`releases/v0.8.2/report.md`), ce qui permet à n'importe quel opérateur disposant du matériel concerné de valider ou contester les chiffres. C'est une posture rare dans les annonces de ce type.

### 2. Contexte technique : pourquoi llama.cpp était la référence

llama.cpp s'est imposé comme le runtime d'inférence local de facto depuis fin 2023 grâce à sa portabilité (CPU, Metal, CUDA, Vulkan), sa maturité de quantification (GGUF/GGML), et son écosystème d'intégrations (Ollama, LM Studio, Jan, etc.). Sur CUDA spécifiquement, llama.cpp bénéficie d'années d'optimisations de kernels et d'une base de contributeurs large.

mistral.rs est un runtime Rust lancé par EricLBuehler, initialement positionné sur la flexibilité (support multi-modèles, pipeline agentic, serveur OpenAI-compatible natif) plutôt que sur la performance brute CUDA. La v0.8.2 marque un pivot explicite vers le throughput GPU, avec un focus déclaré sur les architectures Ampere/Hopper/Blackwell.

### 3. Ce que les chiffres impliquent concrètement

Un facteur 2.8x sur H100 ou B200 n'est pas un détail d'optimisation marginale. Sur un H100 à ~$2-3/heure en cloud, cela se traduit directement en coût d'inférence divisé par 2.8 pour un throughput équivalent, ou en capacité à servir ~2.8x plus de requêtes concurrentes avec le même budget GPU. Pour les opérateurs qui déploient Gemma 4 MoE (modèle à 80B+ paramètres effectifs selon la configuration), le delta est économiquement significatif.

Le support de eQ8_0 (quantification 8-bit équilibrée) et Q4K (4-bit avec regroupement) indique que les gains ne sont pas limités à la précision FP16/BF16 — ils se maintiennent dans les régimes de quantification utilisés en production.

Le GB10 (Grace Blackwell Superchip, architecture NVLink-C2C) est particulièrement notable : c'est le hardware embarqué dans les DGX Spark et Project DIGITS, ciblant le déploiement edge/workstation haut de gamme. Être optimisé sur GB10 dès maintenant positionne mistral.rs sur un segment matériel en croissance rapide.

### 4. Perdants potentiels et limites à surveiller

**llama.cpp et son écosystème** sont les perdants directs si les benchmarks se confirment à large échelle. Ollama, LM Studio et Jan reposent tous sur llama.cpp comme backend CUDA principal. Si mistral.rs maintient cet avantage de performance, la pression pour intégrer un backend alternatif va s'intensifier — mais la migration est non triviale compte tenu du format GGUF et des dépendances d'intégration.

**Limites à noter :** (a) Les benchmarks sont publiés par l'auteur du projet — l'absence de validation tierce indépendante est un biais structurel. (b) Le sweep couvre uniquement Gemma 4 ; les gains sur Llama 3, Mistral, Qwen ou Phi ne sont pas documentés dans cette release. (c) mistral.rs ne supporte pas encore le format GGUF nativement, ce qui crée une friction d'adoption pour les utilisateurs avec des modèles existants en GGUF. (d) La maturité de l'écosystème (plugins, intégrations tierces, documentation) reste inférieure à llama.cpp.

Le serveur OpenAI-compatible intégré avec features agentiques (`mistralrs serve --agent`) est un différenciateur fonctionnel, mais c'est aussi un terrain où des solutions comme vLLM et SGLang sont déjà bien établies sur GPU cloud.

En résumé : v0.8.2 est une démonstration technique sérieuse avec méthodologie reproductible, sur du matériel pertinent (H100, B200, GB10), dans des conditions de quantification réalistes. La question n'est plus si mistral.rs peut battre llama.cpp sur CUDA, mais si l'écosystème autour va suivre la performance.