Introducing RWKV - An RNN with the advantages of a transformer

En 3 lignesHugging Face présente RWKV, un modèle RNN combinant les avantages des transformers : parallélisation à l'entraînement et inférence linéaire en complexité. Architecture hybride éliminant le goulot d'étranglement quadratique de l'attention.

Résumé généré par Claude — vérifié par l'humain