Retour au feed
Reddit r/LocalLLaMA·

club-rdna16: practical 16GB AMD/Radeon local LLM testing repo

Signal
72
Hype
15
En 3 lignesRepo GitHub pour tester des LLM locaux sur GPU AMD 16GB (RX 6900 XT, RX 7800 XT, etc.). Tests pratiques avec llama.cpp/ROCm : Qwen 27B et 35B-A3B, contexte jusqu'à 131k tokens, profils KV cache q8, mesures de throughput et retrieval. Partage de configurations reproducibles et appels à contributions.
Lire la source
Ton avis ?
Open sourceGénération de codeBenchmarksInfrastructureQwen

Résumé généré par Claude — vérifié par l'humain