A Simple State Space Model Excels at Multivariate Time Series Classification

## S4D bat Mamba sur la classification de séries temporelles : ce que ça implique vraiment

### 1. Le résultat central et pourquoi il surprend

Depuis 2023, Mamba s'est imposé comme l'architecture SSM de référence grâce à ses transitions d'état input-dépendantes (selective state spaces). La communauté a largement supposé que cette complexité supplémentaire — sélectivité, hardware-aware scanning, paramètres dynamiques — se traduisait mécaniquement en gains de performance. Ce papier invalide cette hypothèse sur un domaine précis : la classification de séries temporelles multivariées (TSC).

S4D, un SSM diagonal à paramètres *fixes* (non input-dépendants), surpasse systématiquement les variantes Mamba en précision et en efficacité sur 59 datasets. Ce n'est pas un résultat marginal sur un benchmark de niche : l'évaluation couvre MONSTER (jusqu'à 60 millions de samples, séquences de 50 000 timesteps, 82 classes) et la suite UEA, contre 15 baselines. C'est à ce jour l'étude comparative la plus large sur les SSMs pour la TSC.

### 2. MS4 et MS4N : ce qui change architecturalement

Les auteurs ne s'arrêtent pas à la comparaison. Ils proposent deux modifications légères de S4D :

- **MS4** : ajout d'une projection linéaire en entrée + mécanisme de channel-mixing. Le channel-mixing est critique pour les séries multivariées où les corrélations inter-canaux portent de l'information discriminante (ex. capteurs IMU, EEG multi-électrodes). - **MS4N** : variante normalisée de MS4 qui stabilise la dynamique des états avec un overhead négligeable. La normalisation cible le problème classique des SSMs sur longues séquences : la dérive des états cachés qui dégrade la précision sur des horizons de 50K timesteps.

Le résultat clé de MS4N : il égale ou surpasse des modèles deep learning concurrents **2× et 10× plus grands en paramètres**. Autrement dit, on obtient des performances compétitives sans scaling, ce qui a des implications directes sur les coûts d'inférence et les contraintes embarquées.

### 3. Pourquoi S4D gagne là où Mamba ne gagne pas

L'explication la plus plausible tient à la nature de la TSC vs. la modélisation de séquences génératives. Mamba a été optimisé pour des tâches où la sélectivité contextuelle est cruciale : génération de texte, où le modèle doit ignorer certains tokens et en retenir d'autres dynamiquement. En TSC, la tâche est discriminative et globale — on cherche une représentation de séquence entière, pas une prédiction token-à-token. Les paramètres fixes de S4D suffisent à capturer les dynamiques fréquentielles et temporelles pertinentes, sans le surcoût computationnel du selective scanning.

De plus, les datasets MONSTER incluent des séquences extrêmement longues (50K timesteps). Sur ces horizons, la complexité quadratique évitée par les SSMs est un avantage structurel, mais la sélectivité de Mamba introduit une variance paramétrique qui peut nuire à la généralisation quand les données d'entraînement sont limitées relativement à la dimensionnalité.

### 4. Perdants et implications pratiques

**Perdants directs :** Les architectures Mamba spécialisées TSC (plusieurs papiers 2023-2024 ont proposé des adaptations Mamba pour la TSC) voient leur justification fragilisée. Si S4D nu surpasse Mamba, l'ingénierie supplémentaire de ces variantes devient difficile à défendre.

**Perdants indirects :** Les approches Transformer pour la TSC longue séquence (Informer, PatchTST, etc.) restent sous pression. MS4N avec 10× moins de paramètres qui match des Transformers est un signal fort que le scaling n'est pas la bonne direction pour ce domaine.

**Gagnants :** Les praticiens déployant de la TSC sur hardware contraint (edge, IoT industriel, wearables médicaux) ont maintenant une baseline solide, légère, et bien évaluée. MS4N offre un point de départ crédible sans nécessiter les ressources d'entraînement des grands modèles.

**Ce qui reste ouvert :** Le papier ne traite pas la TSC en régime few-shot ni le transfer learning cross-domaine. S4D/MS4N sont entraînés from scratch sur chaque benchmark — la question de la généralisabilité pré-entraînée reste entière. Par ailleurs, MONSTER et UEA couvrent principalement des domaines capteurs/médical/HAR ; les performances sur séries financières haute fréquence ou NLP-adjacent restent à établir.

En termes de reproductibilité, le code n'est pas encore mentionné comme public dans l'abstract arXiv — point à surveiller pour l'adoption pratique.