Introducing the Realtime API

## API Realtime OpenAI : ce que ça change concrètement pour la voix

### 1. Ce qui est annoncé

OpenAI ouvre l'accès à son API Realtime, la même infrastructure qui propulse le mode vocal avancé de ChatGPT. L'API permet des échanges speech-to-speech en temps réel, avec une latence significativement réduite par rapport aux pipelines classiques. Elle supporte nativement l'audio en entrée et en sortie, la détection d'activité vocale (VAD), l'interruption mid-sentence, et l'appel de fonctions (function calling) directement depuis le flux audio — sans passer par une transcription intermédiaire.

Le modèle sous-jacent est `gpt-4o-realtime-preview`. Deux voix sont disponibles au lancement. La tarification est à l'usage : 0,06 $/min pour l'audio en entrée, 0,24 $/min pour l'audio en sortie — des chiffres à comparer avec les coûts cumulés d'un pipeline STT + LLM + TTS assemblé manuellement.

### 2. Pourquoi c'est structurellement important

Avant cette annonce, construire une expérience vocale naturelle nécessitait d'assembler au minimum trois composants distincts : un moteur STT (Whisper, Deepgram, AssemblyAI), un LLM pour le raisonnement, et un moteur TTS (ElevenLabs, Play.ht, Azure Neural). Chaque saut entre composants ajoutait de la latence — typiquement 800 ms à 2 s de délai total perçu, ce qui casse l'illusion de conversation naturelle.

L'API Realtime court-circuite ce pipeline en traitant l'audio de bout en bout dans un seul modèle multimodal. Le résultat pratique : des latences annoncées comparables à celles du mode vocal de ChatGPT, soit environ 300-500 ms dans les démos publiques. C'est le seuil en dessous duquel les utilisateurs perçoivent une conversation comme fluide.

La gestion native des interruptions est un point technique sous-estimé. Dans un pipeline classique, si l'utilisateur coupe la parole, il faut détecter l'interruption, annuler la génération TTS en cours, et relancer le LLM — trois opérations asynchrones sources de bugs et de latence. Ici, c'est géré au niveau du modèle.

### 3. Implications pour l'écosystème — gagnants et perdants

**Perdants directs :** Les fournisseurs spécialisés STT et TTS voient leur proposition de valeur se réduire pour les cas d'usage conversationnels. Deepgram, AssemblyAI, ElevenLabs et Play.ht sont exposés. ElevenLabs en particulier avait positionné sa latence faible comme différenciateur — cet avantage s'érode si OpenAI livre les performances annoncées à l'échelle. Les intégrateurs qui avaient construit des abstractions autour de pipelines multi-composants (Vocode, Pipecat) doivent revoir leur architecture.

**Gagnants directs :** Les développeurs d'agents vocaux, de call centers IA, d'assistants embarqués, et d'applications d'accessibilité. La réduction de la complexité d'intégration est réelle : un seul endpoint WebSocket remplace trois APIs avec leurs SDKs, gestion d'erreurs et coûts séparés.

**Concurrents en réaction forcée :** Google (avec Gemini Live, annoncé à Google I/O 2024 mais pas encore en API publique) et Anthropic (pas de capacité vocale native annoncée) se retrouvent en retard sur ce segment précis. Hume AI, qui avait une longueur d'avance sur la voix empathique avec son EVI, reste différencié sur l'axe émotionnel mais perd l'avantage de l'accès API précoce.

### 4. Ce qu'il faut surveiller

La tarification à 0,24 $/min en sortie audio est élevée pour des cas d'usage à fort volume (call centers, IVR). À titre de comparaison, ElevenLabs facture environ 0,30 $/1000 caractères, ce qui revient moins cher pour des réponses courtes. L'équation économique dépendra fortement du ratio entrée/sortie et de la durée moyenne des échanges.

La question de la personnalisation vocale reste ouverte : les deux voix disponibles au lancement sont fixes, sans clonage vocal ni ajustement de style — un gap par rapport à ElevenLabs ou Resemble AI pour les marques qui veulent une identité sonore propre.

Enfin, la disponibilité est actuellement limitée aux développeurs en accès anticipé via l'API Assistants, avec un déploiement progressif. Les contraintes de capacité à l'échelle restent à valider en production réelle.