ContraFix: Agentic Vulnerability Repair via Differential Runtime Evidence and Skill Reuse

## ContraFix : Réparation automatique de vulnérabilités par preuve différentielle

### 1. Ce qui est annoncé

ContraFix est un framework agentic de réparation automatique de vulnérabilités (AVR) qui repose sur deux mécanismes distincts : la génération de preuves d'exécution différentielles et la réutilisation de compétences de réparation entre instances. Évalué sur SEC-Bench (200 instances C/C++) et PatchEval (225 instances Go, Python, JavaScript), il atteint respectivement 84,0% et 73,8% de résolution avec GPT-4-mini, tout en coûtant moins d'un tiers du baseline le plus fort comparable.

### 2. Le problème réel que ça résout

Les agents LLM actuels pour l'AVR échouent principalement par mauvaise compréhension sémantique : ils produisent des patches orientés symptôme plutôt que des corrections causales. Un crash report indique *où* le programme a échoué, mais pas *quelle* variable ou transition d'état, parmi les nombreux candidats proches du site de faute, sépare l'exécution crashante de l'exécution sûre. C'est le problème de l'ambiguïté causale locale.

ContraFix l'attaque en trois étapes architecturales :

- **Mutator** : construit des variantes de PoC (Proof of Concept) qui encadrent la frontière de défaillance — certaines déclenchent le crash, d'autres non. Cette technique de straddling permet d'isoler les conditions nécessaires et suffisantes à la vulnérabilité. - **Analyzer** : insère des sondes d'état autour de la région fautive et synthétise les divergences entre exécutions crashantes et non-crashantes en une *repair specification* structurée. - **Patcher** : convertit cette spécification en patches source vérifiés.

Le second mécanisme est la **skill base à deux pistes** : chaque réparation réussie alimente une base contenant des repair specifications et des mutation strategies, récupérées via une politique à trois niveaux pour les instances futures. Cela élimine le diagnostic from-scratch sur des cas similaires — un coût récurrent ignoré par les approches précédentes.

### 3. Pourquoi les chiffres comptent

Les benchmarks utilisés ne sont pas triviaux. SEC-Bench couvre du C/C++ réel avec des vulnérabilités de type mémoire (buffer overflow, use-after-free), historiquement résistantes à la réparation automatique. PatchEval couvre trois langages à sémantiques très différentes (Go, Python, JavaScript), testant la généralisation cross-langage.

Le ratio coût/performance est le chiffre le plus significatif : moins d'un tiers du coût du baseline le plus fort pour des taux de résolution supérieurs. Avec GPT-4-mini (et non GPT-4 ou GPT-4o), cela suggère que l'architecture compense largement la puissance brute du modèle. C'est une indication directe que le goulot d'étranglement dans l'AVR actuel est le raisonnement causal, pas la capacité de génération de code.

Avant ContraFix, les meilleurs systèmes AVR publiés sur des benchmarks comparables plafonnaient autour de 60-70% sur des suites multi-langages, et nécessitaient des modèles plus coûteux. Le saut à 84,0% sur SEC-Bench représente une amélioration substantielle sur un benchmark C/C++ où les erreurs mémoire requièrent une compréhension fine du cycle de vie des pointeurs.

### 4. Perdants potentiels et limites

**Perdants directs** : les approches AVR basées sur la génération directe de patches sans exécution différentielle (CodeAct-style, SWE-agent sans instrumentation runtime) voient leur positionnement fragilisé. Les outils commerciaux de SAST/DAST qui proposent des suggestions de fix automatiques (Snyk, Semgrep Autofix, GitHub Copilot Autofix) sont exposés si ce type d'architecture devient standard.

**Limites non résolues** : la dépendance à l'exécution différentielle suppose que les PoC sont disponibles ou constructibles — ce qui n'est pas toujours le cas pour des vulnérabilités logiques ou des failles d'authentification sans crash observable. La skill base accumule de la valeur avec le volume d'instances traitées, ce qui crée un avantage pour les déployeurs à grande échelle et un désavantage pour les usages ponctuels. Enfin, l'évaluation reste sur des benchmarks académiques ; la performance sur des CVE récents en conditions réelles de dépôts complexes reste à démontrer.

L'architecture de ContraFix est reproductible avec n'importe quel LLM capable d'appels d'outils — le choix de GPT-4-mini comme modèle de référence est délibérément conservateur et renforce la crédibilité des résultats.