Llama.cpp : Split Mode Tensor Fix Incoming?
Signal
45
Hype
25
En 3 lignesLlama.cpp préparerait un correctif pour les crashes en mode split tensor sur multi-GPU. Le mode split tensor offre ~35% de gain de débit (TG) par rapport au mode layer, mais provoque des plantages tous les 90-120 minutes dus à l'épuisement de la VRAM.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain