OpenAI lanza GPT-Realtime-2 y otros dos modelos de voz a través de su API

OpenAI ha anunciado una ampliación de las capacidades de voz de su API. Los desarrolladores ya tienen acceso a un GPT-Realtime-2 actualizado y a dos nuevos modelos de voz para reconocimiento, síntesis y traducción del habla.

Tres nuevos modelos de voz en la API

La API incorpora tres modelos: un GPT-Realtime-2 actualizado (una versión mejorada del existente) y dos modelos completamente nuevos. Están pensados para tareas distintas: reconocer la voz del usuario, sintetizar la respuesta hablada y traducir conversaciones entre idiomas en tiempo real.

Esto significa que los desarrolladores pueden integrar la interacción por voz directamente en sus aplicaciones sin recurrir a servicios externos de reconocimiento y síntesis de voz. Hasta ahora había que integrar varios proveedores: uno para reconocer, otro para sintetizar y un tercero para traducir. Ahora todo está en un solo lugar.

Qué saben hacer los nuevos modelos

• Reconocimiento de voz (speech-to-text) con soporte para muchos idiomas
• Síntesis de voz (text-to-speech) con sonido e entonación naturales
• Traducción de conversaciones en tiempo real conservando el contexto
• Baja latencia para aplicaciones interactivas (streaming)
• Integración profunda con GPT-4 para comprender el significado

Los modelos se han entrenado con grandes volúmenes de datos de audio y ofrecen buen resultado tanto en inglés como en otros idiomas. GPT-Realtime-2 se ha actualizado: mejora el procesamiento del habla natural, la comprensión del contexto y la rapidez de respuesta.

Los desarrolladores reciben herramientas para crear aplicaciones que escuchan al usuario, entienden lo que dice y responden con voz. Es importante para asistentes de voz, centros de llamadas, aplicaciones educativas y servicios interactivos.

Cómo funciona en la práctica

Imagina una aplicación para aprender idiomas. El alumno habla en un idioma extranjero. La API lo oye (speech-to-text), envía el texto a GPT-4 para revisarlo y corregirlo, y después lee el resultado con una voz natural (text-to-speech). Todo ocurre en tiempo real.

O una aplicación traductora: una turista habla en ruso, y la API traduce en tiempo real y lo dice en inglés. Sin retrasos, a diferencia de Google Translate.

Disponibilidad y competencia

Por ahora, los modelos solo están disponibles para desarrolladores mediante la API. No aparecerán en ChatGPT ni en otras aplicaciones de consumo de OpenAI (al menos a corto plazo). Así OpenAI pone las novedades en manos de especialistas, las pule en aplicaciones reales y, si hace falta, las integra después en productos de consumo.

Los precios de la API serán más altos que los de los modelos de texto, pero más bajos que los de la competencia (por ejemplo, Google Cloud Speech-to-Text). OpenAI compite con Google, Amazon Polly, Microsoft Azure Speech Services y otras plataformas en la nube. Las API de voz son un terreno competitivo donde cada milisegundo de latencia y cada punto porcentual de precisión cuentan.

La interfaz de voz deja de ser algo exótico: se está convirtiendo en

el estándar de las aplicaciones modernas.

Qué significa

La interfaz de voz es cada vez más accesible. Ahora cualquier desarrollador puede añadir a su aplicación conversación por voz con IA sin una costosa integración de servicios de terceros. Esto acelerará la llegada de aplicaciones de IA con voz al mercado y hará la interacción con los servicios más natural.