SuperThoughts: Reasoning Tokens in Superposition

En 3 lignesSuperThoughts compresse les paires de tokens CoT consécutifs en représentations latentes uniques et décode deux tokens par étape via un module Multi-Token Prediction léger. Testé sur Qwen2.5-Math (1.5B, 7B, 14B), l'approche réduit la longueur CoT de 20-30% tout en maintenant la précision (dégradation 1-2 points sur MATH500, AMC, OlympiadBench, GPQA-Diamond).

Résumé généré par Claude — vérifié par l'humain