Can Heterogeneous Language Models Be Fused?

En 3 lignesHeteroFusion fusionne des modèles de langage hétérogènes (Llama, Qwen, Mistral) en alignant les structures fonctionnelles plutôt que les poids bruts, et en supprimant les signaux de transfert incompatibles. Surpasse les baselines de fusion et d'ensemble sur transfert hétérogène, fusion multi-source et généralisation cross-family.

Résumé généré par Claude — vérifié par l'humain