Pocket Foundation Models: Distilling TFMs into CPU-Ready Gradient-Boosted Trees

En 3 lignesDistillation de modèles fondamentaux tabulaires (TabICLv2) en arbres boostés (XGBoost/CatBoost) pour inférence CPU ultra-rapide. Résout le problème d'effondrement des soft targets via étiquetage out-of-fold stratifié. Sur 153 datasets : 0.882 macro-mean AUC (96.5% du teacher) en 1.9 ms CPU, speedup 38-860x. Pipeline open-source TabTune.

Résumé généré par Claude — vérifié par l'humain