Gemini 2.5 Flash sustituye a los evaluadores humanos en las pruebas de agentes de voz

El 10 de julio de 2026, un grupo de investigadores publicó en arXiv un trabajo que evalúa la fiabilidad de los modelos Gemini como jueces de audio automáticos (LALM, Large Audio Language Model) para agentes de voz full-duplex. Los modelos escuchan la grabación estéreo en bruto de una conversación y puntúan su calidad sin pasar por una transcripción intermedia.

Cómo se diseñó el experimento

Como modelo de referencia se eligió Gemini 2.5 Flash, que se comparó con tres evaluadores humanos calibrados sobre un corpus de 209 sesiones estéreo. El corpus se divide en dos bloques: 152 conversaciones full-duplex reales repartidas en 13 estratos de acento y condiciones de grabación, y 57 clips con defectos introducidos a propósito para comprobar la sensibilidad del modelo ante errores concretos del agente.

Cada sesión se puntúa en 8 parámetros de calidad de producción, entre ellos naturalidad del habla, puntualidad de la respuesta, interrupciones y comprensión.

Cifras clave del conjunto de datos:

• 209 sesiones estéreo, 57 de ellas con defectos artificiales
• 13 estratos por acento y condiciones de grabación
• 8 parámetros de calidad (production dimensions)
• 3 evaluadores humanos calibrados
• Gemini 3.5 Flash y Gemini 3.1 Pro se probaron en paralelo

¿Cuánto coincide Gemini con las personas?

Los autores aplican tres pruebas independientes y Gemini 2.5 Flash las supera de forma consistente.

Correlación de rangos: en 5 de 8 parámetros, la diferencia entre el coeficiente de Spearman modelo-humano y el humano-humano no supera 0,07. En 7 de 8 parámetros, los intervalos bootstrap del 95 % se solapan, por lo que no hay una diferencia estadísticamente significativa.

Coincidencia simple de puntuaciones: en 6 de 8 parámetros, el modelo se aleja de la puntuación media de los tres humanos en no más de 1 punto en el 60–92 % de las sesiones.

Sensibilidad a defectos: en 45 de las 48 celdas «tipo de defecto × parámetro», el modelo detecta los errores introducidos a propósito al menos igual de bien que las personas. Los autores advierten de que la mayoría de las celdas tienen poca potencia estadística, así que el resultado debe leerse como «no peor que», y no como «equivalencia demostrada».

Qué cambia al cambiar de modelo

Gemini 3.5 Flash eleva la coincidencia simple con los humanos a 8 de 8 parámetros, lo que lo hace potencialmente más adecuado para la evaluación automática.

Sin embargo, Gemini 3.1 Pro, pese a tener una correlación de rangos similar, puntúa sistemáticamente por debajo de los humanos en varios parámetros. Los autores extraen una conclusión de fondo: una alta correlación de rangos no garantiza una calibración correcta. Al pasar de un modelo a otro hace falta una validación aparte con un conjunto de calibración; los resultados de una versión de Gemini no se pueden trasladar automáticamente a otra.

Qué significa

El trabajo aporta una base empírica para sustituir a parte de los evaluadores humanos por Gemini en las pruebas de producción de agentes de voz: la evaluación automática cuesta aproximadamente 100 veces menos que la humana, con una calidad comparable en la mayoría de los parámetros. Para los equipos que desarrollan asistentes de voz con IA y soporte full-duplex, esto puede suponer un recorte sustancial de los costes de control de calidad, siempre que el modelo concreto se calibre con cuidado.

Preguntas frecuentes

¿Cuánto más barato es evaluar agentes de voz con Gemini?

Según los autores, la evaluación automática con LALM cuesta aproximadamente 100 veces menos que la humana, con una calidad comparable en las pruebas de producción.

¿Qué ocurre al sustituir

Gemini 2.5 Flash por otra versión de la familia?

Gemini 3.5 Flash eleva la coincidencia simple con los humanos a 8 de 8 parámetros. Gemini 3.1 Pro, en cambio, puntúa sistemáticamente por debajo de los humanos en varios parámetros, aunque su correlación de rangos sigue siendo comparable. Los autores recomiendan recalibrar cualquier modelo nuevo y no fiarse solo de las métricas de ranking.