OpenAI lance GPT-Realtime-2 et deux autres modèles vocaux via son API

OpenAI a annoncé l'extension des capacités vocales de son API. Les développeurs ont désormais accès à un GPT-Realtime-2 mis à jour et à deux nouveaux modèles vocaux pour la reconnaissance, la synthèse et la traduction de la parole.

Trois nouveaux modèles vocaux dans l'API

L'API compte trois modèles : un GPT-Realtime-2 mis à jour (version améliorée de l'existant) et deux modèles entièrement nouveaux. Ils visent des tâches distinctes : reconnaître la parole de l'utilisateur, synthétiser une réponse vocale et traduire des conversations entre langues en temps réel.

Concrètement, les développeurs peuvent intégrer l'interaction vocale directement dans leurs applications, sans passer par des services externes de reconnaissance et de synthèse vocales. Jusqu'ici, il fallait combiner plusieurs fournisseurs : un pour la reconnaissance, un autre pour la synthèse, un troisième pour la traduction. Désormais, tout est au même endroit.

Ce que savent faire les nouveaux modèles

• Reconnaissance vocale (speech-to-text) avec prise en charge de nombreuses langues
• Synthèse vocale (text-to-speech) au rendu et à l'intonation naturels
• Traduction de conversations en temps réel avec conservation du contexte
• Faible latence pour les applications interactives (streaming)
• Intégration poussée avec GPT-4 pour comprendre le sens

Les modèles ont été entraînés sur de grands volumes de données audio et affichent de bons résultats en anglais comme dans d'autres langues. GPT-Realtime-2 a été mis à jour : traitement de la parole naturelle, compréhension du contexte et rapidité de réponse sont améliorés.

Les développeurs disposent d'outils pour créer des applications qui écoutent l'utilisateur, comprennent ce qu'il dit et répondent à voix haute. C'est important pour les assistants vocaux, les centres d'appels, les applications pédagogiques et les services interactifs.

Comment cela fonctionne en pratique

Imaginez une application d'apprentissage des langues. L'élève parle dans une langue étrangère. L'API l'entend (speech-to-text), envoie le texte à GPT-4 pour vérification et correction, puis lit le résultat d'une voix naturelle (text-to-speech). Tout cela se passe en temps réel.

Ou une application de traduction : une touriste parle en russe, et l'API traduit en temps réel et s'exprime en anglais. Sans délai, contrairement à Google Translate.

Disponibilité et concurrence

Pour l'instant, les modèles ne sont disponibles que pour les développeurs via l'API. Ils n'apparaîtront pas dans ChatGPT ni dans les autres applications grand public d'OpenAI (du moins à court terme). OpenAI met ainsi ces nouveautés entre les mains de spécialistes, les affine sur des applications réelles, puis les intègre si nécessaire à des produits grand public.

Les tarifs de l'API seront plus élevés que ceux des modèles de texte, mais plus bas que ceux de la concurrence (par exemple Google Cloud Speech-to-Text). OpenAI affronte Google, Amazon Polly, Microsoft Azure Speech Services et d'autres plateformes cloud. Les API vocales forment un terrain concurrentiel où chaque milliseconde de latence et chaque point de pourcentage de précision comptent.

L'interface vocale cesse d'être une curiosité : elle devient la norme

des applications modernes.

Ce que cela change

L'interface vocale devient plus accessible. N'importe quel développeur peut désormais ajouter à son application une conversation vocale avec l'IA sans intégration coûteuse de services tiers. Cela accélérera l'arrivée d'applications d'IA vocales sur le marché et rendra l'interaction avec les services plus naturelle.