Retour au feed
Reddit r/LocalLLaMA·

I ported EXL3 to run well on Apple Silicon - PonyExl3

Signal
75
Hype
25
En 3 lignesPortage d'EXL3 (codec haute qualité/faible RAM) sur Apple Silicon via Metal. M5 Max atteint ~600 tok/s prefill et ~38 tok/s génération (Qwen 27B), surpassant RTX 4090 sur certains benchmarks (68.5-80 tok/s decode). Repo GitHub avec résultats reproductibles.
Lire la source
Ton avis ?
Open sourceGénération de codeInfrastructureQwen

Résumé généré par Claude — vérifié par l'humain