Retour au feed
Reddit r/LocalLLaMA·

Tensor split mode: CUDA error on latest llama.cpp with Qwen-3.6-27b

Signal
35
Hype
15
En 3 lignesUtilisateur rencontre une erreur CUDA avec llama.cpp en mode tensor split sur Qwen-3.6-27b avec dual RTX 3090. Le mode tensor split n'est pas implémenté pour llama_params_fit, causant un crash NCCL lors du warmup du modèle.
Lire la source
Ton avis ?
LlamaQwenInfrastructureOpen source

Résumé généré par Claude — vérifié par l'humain