Distributional Alignment as a Criterion for Designing Task Vectors in In-Context Learning

En 3 lignesNouvelle métrique d_NTP pour évaluer la qualité des task vectors en ICL en mesurant l'alignement des distributions de probabilités. Méthode Linear Task Vector (LTV) minimise d_NTP via régression linéaire fermée, améliore la précision de 9,2% sur 8 benchmarks et 5 LLMs, réduit la latence. Task vectors transférables entre modèles de tailles différentes (+6,4% pour petit modèle).

Résumé généré par Claude — vérifié par l'humain