Signs Beat Floats: Low-Rank Double-Binary Adaptation for On-Device Fine-Tuning

En 3 lignesLoRDBA remplace les facteurs de faible rang des adaptateurs LoRA par des vecteurs binaires avec échelles canal-wise, réduisant l'empreinte mémoire de plus de 10× tout en maintenant la qualité fp16 LoRA. Surpasse les baselines low-bit à taille égale avec surcharge latence préfill ≤8% et surcharge mémoire d'entraînement ~1.6× LoRA fp16.

Résumé généré par Claude — vérifié par l'humain