Repo for implementations of various Transformer Attn mechanisms [P]

En 3 lignesDépôt GitHub proposant des implémentations de différents mécanismes d'attention Transformer. Initialement créé pour des expériences de Small Language Models, le projet couvre aussi la vision par ordinateur, les encodeurs Vision modernisés et le reinforcement learning. Contributions bienvenues.

Résumé généré par Claude — vérifié par l'humain