Zero-order Parameter-free Optimization for LMO-based Methods: Novel Approach for Efficient Fine-tuning

En 3 lignesNouvel algorithme AdaNAGED pour l'optimisation sans gradient (zero-order) et sans paramètres lors du fine-tuning de LLMs. Réduit la mémoire requise par la rétropropagation en utilisant des oracles de minimisation linéaire et des mises à jour géométriques adaptatives. Validé sur OPT-1.3B.

Résumé généré par Claude — vérifié par l'humain