I built a PyTorch MoE/MoD training framework with custom CUDA kernels [Apache 2.0]

En 3 lignesFramework PyTorch open-source pour entraîner des LLM avec architectures MoE/MoD, kernels CUDA personnalisés (2-7x plus rapide que PyTorch vanilla sur T4), support jusqu'à 64 experts, orchestrateur adaptatif avec 20+ métriques, configs 500K-300B paramètres. Apache 2.0, démo Colab incluse.

Résumé généré par Claude — vérifié par l'humain