Difficulty-Based Preference Data Selection by DPO Implicit Reward Gap

En 3 lignesNouvelle stratégie de sélection de données pour l'alignement LLM basée sur l'écart de récompense implicite DPO. En ciblant les exemples de préférence les plus difficiles (petit écart), la méthode atteint des performances supérieures avec seulement 10% des données originales sur plusieurs benchmarks.

Résumé généré par Claude — vérifié par l'humain