Hubs or Fringes: Pretraining Data Selection via Web Graph Centrality

En 3 lignesWebGraphMix sélectionne les données de préentraînement en analysant la topologie du graphe web Common Crawl. La méthode calcule des scores de centralité sans modèle ni données étiquetées, puis mélange documents centraux et périphériques. Sur 400M-1B paramètres, le ratio 1:1 atteint 41,4% en moyenne (+1,6pp vs échantillonnage uniforme), 43,8% combiné avec scores de qualité.

Résumé généré par Claude — vérifié par l'humain