I spent months inside verl (an RL post-training framework), forked it, then stopped. Wrote up the internals, the tooling a fork costs, and a nasty NCCL bug.

En 3 lignesUn chercheur ayant travaillé plusieurs mois sur verl (framework RL post-training de ByteDance) détaille ses internals : orchestration des boucles RLHF, pattern single-controller, structures de données (DataProto), et un bug NCCL découvert. Fork abandonné mais expérience documentée pour la communauté.

Résumé généré par Claude — vérifié par l'humain