Value-Gradient Hypothesis of RL for LLMs

En 3 lignesÉtude théorique de pourquoi les méthodes RL sans critique (PPO, GRPO) améliorent les LLM. Les auteurs montrent que les mises à jour d'acteur sont de type value-gradient en espérance, et que l'autodifférenciation à travers l'attention produit des costates empiriques approximant le signal de valeur. Décomposition de l'impact RL en signal value-gradient et marge de récompense atteignable.

Résumé généré par Claude — vérifié par l'humain