vLLM PR adding native HIP W4A16 kernel was merged
Signal
78
Hype
15
En 3 lignesvLLM a fusionné une PR ajoutant un kernel HIP W4A16 natif pour ROCm. Les benchmarks montrent des gains significatifs : 270.2 tk/s en fp16 (max-num-seqs=8) et 445.7 tk/s (max-num-seqs=32), dépassant les implémentations Triton précédentes.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain