Retell passe à 100 millions d'appels par mois grâce aux modèles OpenAI et à Codex

Retell AI, start-up nord-américaine, conçoit des agents vocaux pour les centres de contact. Elle sert aujourd'hui plus de 4000 entreprises, et son trafic mensuel est passé de 30 millions d'appels début 2026 à plus de 100 millions en septembre. Les modèles OpenAI génèrent les réponses dans 80% des appels, la consommation cumulée a dépassé 1 000 milliards de tokens, et le taux de demandes résolues chez les clients dépasse 80%. Le revenu par employé s'élève par ailleurs à 1,6 million de dollars en rythme annuel. OpenAI a publié ce cas client le 27 octobre 2026.

Comment choisir un modèle pour un appel en direct

En entreprise, un agent vocal doit respecter les politiques de la société, rester dans son rôle et ne pas perdre le fil quand la conversation dévie. Pour comparer les modèles, Retell a construit un benchmark interne, vCX : des dizaines de modèles sont testés sur des dialogues complexes à plusieurs tours, tirés de scénarios réels de production. Le benchmark évalue le respect des instructions, l'ancrage dans les informations fournies, la justesse des appels d'outils et le naturel de la parole.

Dans le test du 13 octobre 2026, GPT-6 Astra arrive en tête pour le respect des instructions, avec 89,7%. Des mesures plus anciennes, réalisées avant la sortie d'Astra, montraient un autre classement : GPT-5.5 menait pour la part de réponses sans hallucination (88,0%) et la justesse des appels d'outils (88,3%) avec le raisonnement activé, devant Gemini-3.1-Pro et Claude-4.6. Sans raisonnement, il restait aussi premier pour la part de réponses sans hallucination. Retell intègre les nouveaux modèles le jour de leur sortie et relance le benchmark.

Ce qui se passe pendant un appel

La couche d'orchestration de Retell lance les modèles audio, suit le déroulement de la conversation et décide quand l'agent doit parler, écouter ou réagir à une interruption. Les textes des réponses et les requêtes d'appel d'outils sont générés par les modèles OpenAI. Retell exécute ensuite ces appels via des intégrations avec les systèmes du client et peut inscrire le résultat dans la fiche client. Si un humain doit intervenir, l'agent met l'opérateur au courant du contexte, répond à ses questions et ne transfère l'appelant qu'après confirmation de sa disponibilité. Après l'appel, GPT-5.6 Terra analyse la transcription : il en extrait les issues et les données structurées.

Côté latence, la situation est la suivante. Le trafic de jour dépasse de plus de 50 fois le minimum nocturne, c'est pourquoi Retell utilise des serveurs dédiés OpenAI, mutualisés entre tous ses clients. Des points d'accès API régionaux raccourcissent le trajet réseau et aident à respecter les exigences de résidence des données dans la santé et la finance. Retell exploite en outre sa propre pile téléphonique, doublée d'une pile de secours, ainsi que des circuits de repli pour les services vocaux et les services de modèles.

• GPT-6 Astra : première place pour le respect des instructions (89,7%), latence médiane de la première phrase de 883 ms, également utilisé pour les tests automatisés d'interface
• GPT-6 Sol : latence médiane de 883 ms
• GPT-6.1 Sol : génération des réponses et appels d'outils pendant les appels
• GPT-5.6 Luna : meilleure latence du benchmark, 497 ms
• GPT-5.5 : 88,0% sans hallucination, 88,3% d'appels d'outils corrects
• GPT-5.6 Terra : analyse des transcriptions après les appels
• Realtime API et text-to-speech d'OpenAI : proposés aux clients comme moteur vocal
• Anker : 80,4% de demandes résolues, NPS de 63, support de première ligne aux États-Unis et au Royaume-Uni
• Pine Park Health : 55,7% de prises de rendez-vous lors du contact avec le patient, 2,1 postes à temps plein de temps libéré pour les assistants médicaux

Codex, un collègue virtuel

L'économie de Retell ne repose pas seulement sur les modèles utilisés pendant les appels. Les ingénieurs donnent à Codex une exigence générale ; il étudie le code, le confronte aux données réelles et explique ce qu'il faut modifier. Un ingénieur affirme que Codex réalise cette analyse mieux que lui, et nettement plus vite. Pendant l'implémentation, Codex repère souvent des détails que le développeur n'avait pas pris en compte, et lors du débogage, il rapproche les logs et les enregistrements de la base de données du code. Il est aussi utilisé dans le travail avec les clients, par exemple pour rédiger plus vite les instructions destinées aux modèles dans leurs applications.

Le test du frontend est un cas à part. Quand un ingénieur ouvre une pull request, GPT-6 Astra ouvre l'interface via computer use, clique dessus, déroule les scénarios, tente de la faire planter et signale les problèmes détectés. Selon Retell, les modèles précédents le faisaient de manière peu fiable. L'équipe continue de recruter, mais elle a besoin de moins d'ingénieurs que n'en réclame la croissance de l'activité.

Ce qu'on peut retenir de ce cas

Pour ceux qui construisent des agents vocaux, ce cas offre plusieurs enseignements pratiques. Il faut un benchmark maison fondé sur des dialogues réels : chez Retell, c'est lui qui décide quel modèle passe en production. Il vaut mieux affecter des modèles différents à des tâches différentes : Luna, rapide, pour la latence, Astra pour la discipline sur les instructions, Terra pour le post-traitement. Il faut des points d'accès régionaux et une solution de secours à chaque couche. Enfin, avec une charge dont le pic est 50 fois supérieur au minimum, la capacité dédiée n'est pas un luxe, mais une condition pour obtenir des réponses stables.

Il faut garder à l'esprit que tous les chiffres viennent de Retell elle-même et ont été publiés par OpenAI sous forme de témoignage client. Le benchmark vCX est interne et n'a fait l'objet d'aucune vérification indépendante. Parmi les projets de l'entreprise : étendre le contrôle qualité et les simulations, ajouter des langues et mettre en place un apprentissage automatique à partir de la base de connaissances.