Get in here: Community model build thread

En 3 lignesUn thread Reddit propose de créer un modèle communautaire via calcul distribué en utilisant une approche Mixture-of-Experts (MoE). La stratégie « Branch-Train-Stitch » distribue un modèle prototype dense à des participants qui l'entraînent indépendamment sur leur matériel, puis fusionnent les sous-modèles en MoE. Les décisions clés incluent la taille du prototype (2B ou 7B) selon la VRAM disponible.

Résumé généré par Claude — vérifié par l'humain