LoRi: Low-Rank Distillation for Implicit Reasoning

En 3 lignesLoRi propose une distillation par rang faible pour internaliser le raisonnement dans les LLM. La méthode aligne les trajectoires cachées d'enseignant et d'étudiant dans un sous-espace tensoriel de rang faible. Évaluée sur LLaMA et Qwen, elle améliore les performances en raisonnement mathématique multi-étapes et approche la précision du CoT explicite.

Résumé généré par Claude — vérifié par l'humain