Plug-and-Play Spiking Operators: Breaking the Nonlinearity Bottleneck in Spiking Transformers

En 3 lignesMéthode plug-and-play pour convertir les opérateurs non-linéaires des Transformers en opérations compatibles avec les réseaux de neurones impulsionnels (SNN). Décompose Softmax, SiLU et normalisation en primitives (division, exponentiation, normes L2) exécutables par groupes de neurones LIF sans fine-tuning. Perte <1% sur benchmarks LLM.

Résumé généré par Claude — vérifié par l'humain