LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation

En 3 lignesLaneRoPE permet à plusieurs séquences générées en parallèle de collaborer lors de l'inférence. La méthode ajoute un masque d'attention inter-séquences et étend RoPE pour capturer les positions relatives entre tokens dans et hors d'une séquence. Tests sur raisonnement mathématique montrent des gains de précision avec surcharge minimale.

Résumé généré par Claude — vérifié par l'humain