I ported EXL3 to run well on Apple Silicon - PonyExl3
Signal
75
Hype
25
En 3 lignesPortage d'EXL3 (codec haute qualité/faible RAM) sur Apple Silicon via Metal. M5 Max atteint ~600 tok/s prefill et ~38 tok/s génération (Qwen 27B), surpassant RTX 4090 sur certains benchmarks (68.5-80 tok/s decode). Repo GitHub avec résultats reproductibles.Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain