You could have designed state of the art positional encoding
Article explorant la conception de positional encodings pour transformers. Analyse comment différentes approches (sinusoïdale, RoPE, ALiBi) impactent les performances et la généralisation en longueur de séquence.