Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't

En 3 lignesÉtude théorique sur l'expressivité des transformers avec padding. Les auteurs prouvent que les transformers avec padding polynomial et précision constante équivalent à AC⁰ uniforme, tandis que ceux avec précision croissante atteignent TC⁰. La profondeur et la précision numérique sont les facteurs clés ; la largeur n'augmente pas l'expressivité au-delà du logarithmique.

Résumé généré par Claude — vérifié par l'humain