Gradient Transformer: Learning to Generate Updates for LLMs

En 3 lignesGradient Transformer, un framework de distillation de connaissances sans données, génère des vecteurs de mise à jour pour LLM à partir de TinyLM fine-tunés sur données privées. Le modèle capture la corrélation entre les vecteurs de gradient des deux modèles, permettant l'adaptation collaborative sans accès aux données sensibles.

Résumé généré par Claude — vérifié par l'humain