Why we no longer evaluate SWE-bench Verified

En 3 lignesOpenAI abandonne l'évaluation sur SWE-bench Verified, jugé contaminé et inadéquat pour mesurer les progrès en code. L'analyse révèle des tests défectueux et des fuites d'entraînement. OpenAI recommande SWE-bench Pro comme alternative.

Résumé généré par Claude — vérifié par l'humain