CosmicFish-HRM: Adaptive Reasoning via Hierarchical Recurrent Mechanisms in Compact Language Models

En 3 lignesCosmicFish-HRM est un modèle compact avec un module de raisonnement hiérarchique (HRM) qui alloue dynamiquement l'effort computationnel pendant l'inférence. Le modèle apprend à arrêter selon la complexité de l'entrée, combinant cycles de raisonnement haut/bas niveau avec Grouped Query Attention, RoPE et SwiGLU. Les résultats montrent un comportement de raisonnement non-uniforme adapté aux tâches.

Résumé généré par Claude — vérifié par l'humain