Scaling LLMs horizontally: hidden-state coupling without weight modification [R]

En 3 lignesResidual Coupling (RC) connecte des modèles de langage gelés en parallèle via des projections linéaires apprises légères, sans modifier les poids. Les ponts linéaires lisent les états cachés d'un modèle et injectent des mises à jour additives dans le flux résiduel d'un autre. Sur données médicales, RC réduit la perplexité à 11.02 vs 56.80 pour MoE (+80.7%), et améliore TruthfulQA de 9.1 points.

Résumé généré par Claude — vérifié par l'humain