RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways

En 3 lignesRoVE introduit une modification sans paramètres supplémentaires de RoPE (Rotary Position Embeddings) en rendant les valeurs sensibles à la position via rotation simultanée avec les clés. Les modèles GPT-2 124M et 354M montrent des gains empiriques sur l'apprentissage en contexte, la perplexité hors-distribution et la récupération long-contexte.

Résumé généré par Claude — vérifié par l'humain