Did a 30 runs of llama-bench to find optimal settings for my use case (Frigate and HomeAssistant) on my MI60 32gb VRAM GPU - two models tested Gemma4 and Qwen3.6 - Figured I'd share in case it helps anyone else

En 3 lignesUtilisateur a exécuté 30 benchmarks llama.cpp sur GPU MI60 32GB pour optimiser Gemma 4 26B Q4_1 et Qwen3 35B Q4_0 dans Frigate et HomeAssistant. Résultats : commandes vocales <1.2s, résumés vidéo <18s. Tests systématiques sur profondeurs KV cache (0, 1000, 6000 tokens) avec 512 tokens prompt et 128 tokens générés.

Résumé généré par Claude — vérifié par l'humain