kv-cache : avoid kv cells copies by ggerganov · Pull Request #24277 · ggml-org/llama.cpp
Signal
72
Hype
15
En 3 lignesFusion d'une optimisation KV-cache dans llama.cpp réduisant les copies de cellules. Améliore les performances MTP pour Gemma-4. Disponible à partir du commit b9551.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain