Welcome Falcon Mamba: The first strong attention-free 7B model

En 3 lignesHugging Face présente Falcon Mamba, un modèle 7B sans mécanisme d'attention basé sur l'architecture Mamba. Il rivalise avec les modèles à attention standard en performance tout en offrant une inférence plus rapide et une consommation mémoire réduite.

Résumé généré par Claude — vérifié par l'humain