Retour au feed
arXiv cs.LG·

Staged Factorial Screening for Budget-Constrained Micro-Pretraining

Signal
72
Hype
15
En 3 lignesÉtude de screening factoriel par étapes pour l'optimisation d'hyperparamètres en micro-préentraînement sur GPU unique avec budget limité. 613 expériences testent l'effet de batch, profondeur et largeur du modèle sur 2-24h. Les facteurs D, A, B, C restent significatifs après correction statistique; la recherche aléatoire converge vers des régions similaires sans attribution causale.
Lire la source
Ton avis ?
Fine-tuningBenchmarksInfrastructure

Résumé généré par Claude — vérifié par l'humain