Better language models and their implications

## GPT-2 : Pourquoi ce modèle a marqué un tournant structurel dans le NLP

### 1. Ce qui est annoncé — les chiffres bruts

OpenAI publie GPT-2, un modèle de langage non supervisé à 1,5 milliard de paramètres entraîné sur WebText, un corpus de 40 Go de texte issu de liens Reddit ayant reçu au moins 3 karma. Le modèle atteint l'état de l'art sur 7 des 8 benchmarks de language modeling testés, dont Penn Treebank (35,76 de perplexité, contre 46,54 pour le meilleur modèle précédent) et WikiText-103 (17,48 contre 18,65). Ce qui est structurellement nouveau : ces performances sont obtenues en zero-shot — aucun fine-tuning spécifique à la tâche, aucun exemple d'entraînement supervisé.

Sur CoQA (lecture-compréhension conversationnelle), GPT-2 atteint 55 F1 en zero-shot, contre 89 F1 pour les modèles supervisés de l'époque — l'écart est réel, mais le fait qu'un modèle non supervisé approche ce niveau sans voir un seul exemple de la tâche est le signal fort.

### 2. Le contexte antérieur — ce que cela remplace

Avant GPT-2, le paradigme dominant en NLP était le fine-tuning supervisé sur des tâches spécifiques : BERT (publié par Google en octobre 2018, 340M paramètres) avait démontré la puissance du pré-entraînement + fine-tuning, mais nécessitait toujours des données labellisées par tâche. ELMo, ULMFiT, et le GPT original (117M paramètres, juin 2018) suivaient la même logique : pré-entraîner, puis adapter.

GPT-2 pose une question différente : jusqu'où peut-on aller sans adaptation supervisée du tout ? La réponse empirique — assez loin pour être inconfortable — redéfinit ce qu'on attend d'un modèle de base. Le scaling (x13 en paramètres par rapport à GPT-1) combiné à la qualité du corpus produit des capacités émergentes non explicitement entraînées.

### 3. Les implications concrètes pour les praticiens

**Génération de texte** : GPT-2 produit des paragraphes cohérents sur plusieurs centaines de tokens avec maintien du contexte thématique. Pour les équipes travaillant sur la génération de contenu, cela déplace le problème de "est-ce grammaticalement correct" vers "est-ce factuellement fiable" — une distinction critique.

**Transfert zero-shot** : La capacité à faire de la traduction (11,5 BLEU sur WMT-14 FR→EN en zero-shot, contre 33,5 pour les systèmes supervisés) et du résumé sans fine-tuning suggère que les représentations internes du modèle encodent des structures linguistiques transférables. Pour les équipes avec peu de données labellisées, c'est un signal d'architecture à retenir.

**Décision de rétention partielle** : OpenAI choisit de ne pas publier le modèle complet (1,5B paramètres), publiant uniquement la version 117M. C'est la première fois qu'un lab majeur invoque explicitement le risque de misuse (génération de désinformation à grande échelle) pour justifier une publication partielle. Ce précédent de "staged release" va structurer les débats de gouvernance pendant les 5 années suivantes.

### 4. Les perdants potentiels et les angles morts

**Fournisseurs de données labellisées** : Si le zero-shot devient viable sur un spectre croissant de tâches NLP, la valeur des datasets annotés manuellement (Mechanical Turk, prestataires d'annotation) se comprime mécaniquement. Ce n'est pas immédiat avec GPT-2, mais la trajectoire est tracée.

**Approches basées sur les règles et les grammaires formelles** : Les systèmes de NLP symboliques (parsers, grammaires CFG, systèmes à base de règles) perdent leur argument de contrôle et d'explicabilité face à des modèles qui généralisent mieux empiriquement.

**Google et BERT** : BERT venait de dominer 11 tâches NLP en novembre 2018. GPT-2 ne bat pas BERT sur les tâches supervisées, mais démontre qu'une architecture decoder-only, avec suffisamment de paramètres et de données, peut rivaliser en zero-shot — ce qui ouvre une voie architecturale alternative que GPT-3 (175B, 2020) et la famille GPT-4 vont confirmer massivement.

**Angle mort majeur** : GPT-2 hallucine factuellement de façon systématique. Les benchmarks mesurent la cohérence linguistique et la perplexité, pas la véracité. Ce découplage entre fluidité et exactitude factuelle — visible dès 2019 — ne sera pas résolu par le scaling seul, et reste un problème ouvert en 2024. Les praticiens qui déploient sur des cas d'usage à risque (médical, juridique, financier) doivent intégrer cette limite dès la conception architecturale de leurs systèmes.