Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarOpenAI Blog→ original

Los agentes de Codex realizaron 1700 investigaciones sobre la lentitud de ChatGPT y encontraron la causa en 600

Cuando son los agentes quienes escriben el código, ChatGPT puede ralentizarse tras cualquier despliegue, y buscar la causa a mano ya no da abasto. En OpenAI, una alerta de caída de velocidad lanza ahora un agente de Codex: él busca la causa y propone una corrección, y un ingeniero la revisa. En poco más de tres meses, el sistema ha realizado más de 1700 investigaciones y ha encontrado la causa en más de 600 casos, unos 17 al día. Los equipos con lanzamientos frecuentes pueden delegar la búsqueda de causas en agentes, pero la decisión de desplegar debe seguir en manos de personas.

Procesado por IA desde OpenAI Blog; editado por Hamidun News
Los agentes de Codex realizaron 1700 investigaciones sobre la lentitud de ChatGPT y encontraron la causa en 600
Fuente: OpenAI Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalOpenAI Blog ↗
Editor jefe
Dato clave #1De 100 diagnósticos revisados manualmente, el 70% era exacto y el 30% requería ajustes
Dato clave #2Una segunda sesión de Codex intenta refutar el diagnóstico y detecta errores
Dato clave #3Tras el despliegue, otro agente comprueba si la velocidad ha vuelto a la normalidad

Imagine que, tras un nuevo despliegue, ChatGPT empieza a responder algo más despacio: por ejemplo, aumenta el llamado primer token, es decir, la pausa entre la pregunta y el inicio de la respuesta. Antes, un ingeniero de OpenAI acudía a las métricas, los logs y las trazas y averiguaba a mano qué cambio era el culpable. Ahora el código lo escriben agentes, los lanzamientos son cada vez más numerosos y analizar cada caída de rendimiento manualmente ya no es viable.

Por eso la compañía construyó Performance Factory, un sistema en la nube basado en Codex: cuando salta una alerta de caída de rendimiento, el agente investiga la causa por sí mismo y propone una corrección, y una persona la revisa. En poco más de tres meses, el primer flujo de trabajo del sistema gestionó más de 1700 investigaciones y determinó la causa raíz (es decir, el cambio concreto que provocó la ralentización) en más de 600 casos. Son unas 17 investigaciones automáticas cada día.

Para su equipo, es un ejemplo de cómo liberar a las personas de la búsqueda rutinaria de causas sin dejar en manos de los agentes la decisión sobre lo que llega a producción.

Cómo llegó OpenAI a la «fábrica»

El camino constó de seis pasos. Al principio todo se hacía a mano: se revisaban métricas, se comparaban trazas, se depuraban máquinas en vivo y se leía código. Para los problemas recurrentes, como las caídas de latencia del primer token, el equipo escribió herramientas, y con el tiempo se acumularon más de 30, entre ellas profilers de CPU y de asignación de memoria.

Después, Codex pasó a ser un compañero de trabajo: el ingeniero preguntaba «¿por qué va más lento?» y el agente buscaba las métricas, las trazas y el código pertinentes, incluso en un sistema que no conocía. Aun así, seguía siendo la persona quien tenía que dirigir la investigación.

Entonces el proceso del equipo se plasmó en una skill compartida, perf-forensics. Esta indica al agente qué herramientas están disponibles, cuándo usarlas y cómo proceder: localizar el momento en que empezó la caída, determinar qué solicitudes están afectadas y comprobar si la explican los despliegues o los cambios de configuración. La skill se validó con pruebas de evaluación sobre regresiones pasadas y, para ciertos tipos de problemas (por ejemplo, caídas de velocidad y de disponibilidad de ChatGPT), Codex empezó a entregar un diagnóstico en una sola ejecución.

Más adelante, los ingenieros se sintieron como un «proxy humano»: llegaba una alerta, la persona la copiaba en Codex y pegaba el resultado de vuelta en Slack. Las investigaciones se trasladaron a la nube y la alerta pasó a iniciar la sesión por sí sola. Pero la automatización terminaba ahí: la corrección y la verificación posterior al despliegue seguían haciéndolas personas, y averiguar qué regresiones merecían atención obligaba a revisar hilos de Slack. Performance Factory cerró toda la cadena.

De qué se compone el sistema

Tiene cuatro partes. Un servicio de tareas: los ingenieros describen los flujos de trabajo con archivos de configuración y prompts en Markdown, donde se indica qué estados tiene la tarea, qué transiciones están permitidas y en qué pasos hace falta una persona. Un despachador, que comprueba periódicamente qué tareas están listas para el siguiente paso y lanza Codex con las instrucciones del estado actual.

Una API en la nube, que ejecuta Codex dentro de la red de OpenAI con acceso a los repositorios y a las herramientas de observabilidad: métricas, logs, trazas, perfiles de CPU y snapshots de memoria. El agente trabaja con una cuenta de servicio, de modo que sus permisos pueden restringirse y sus acciones se distinguen fácilmente de las humanas. Por último, las suscripciones: una tarea que espera a una persona o un despliegue «se duerme» y despierta con un evento, por ejemplo, un comentario en un pull request o una comprobación de CI fallida.

El primer flujo de trabajo es Regression Workflow. La alerta abre una tarea, el agente encuentra la causa y propone una corrección, el ingeniero la revisa y decide qué se despliega y, tras el despliegue, otro agente comprueba si los indicadores han vuelto a su nivel original. Si la regresión persiste, la tarea vuelve a la fase de investigación. El estado y las conclusiones se almacenan en la propia tarea, no en la memoria de un único agente, por lo que otros agentes o personas pueden retomar el trabajo.

Una discusión consigo mismo y la dificultad de las correcciones

El agente busca cuándo empeoró la métrica por primera vez (a veces varias horas antes de la alerta) y compara grupos de solicitudes: si las solicitudes similares se han vuelto más lentas o si, simplemente, ha aumentado la proporción de las que ya eran lentas. Después examina los despliegues y los cambios de flags, lee el código y comprueba, con logs y trazas, si ese cambio pudo producir tal efecto.

Al principio, los agentes se detenían con frecuencia en la primera explicación verosímil, y una parte de los diagnósticos resultaba errónea. La solución fue una revisión adversarial: una sesión de Codex independiente intenta refutar el diagnóstico. Si el culpable es un despliegue, ¿siguen sanas las solicitudes similares que este no afectó?

Si el cambio se revirtió, ¿se recuperó la métrica? En un caso, el agente vinculó los fallos en las conversaciones de ChatGPT con errores de carga de imágenes y dio la causa por encontrada. El revisor advirtió que el servicio interno de búsqueda de archivos ya se había recuperado, mientras que las solicitudes con imágenes seguían fallando.

El diagnóstico no explicaba el síntoma, así que la investigación se reabrió.

En una revisión manual de 100 causas propuestas, el 70% se consideró exacto, y el 30% requería ajustes o no demostraba la relación causal. Por ello, la tarea grande se dividió en pasos acotados de Codex: unos buscan la causa, otros la cuestionan y otros proponen la corrección. Los autores señalan que la corrección en sí es la parte más difícil: tras verificar el diagnóstico, Codex escribe el arreglo y abre un pull request, pero la decisión final sigue siendo del ingeniero.

Historia

Preguntas frecuentes sobre la noticia

Cómo llegó OpenAI a la «fábrica»?

El camino constó de seis pasos. Al principio todo se hacía a mano: se revisaban métricas, se comparaban trazas, se depuraban máquinas en vivo y se leía código. Para los problemas recurrentes, como las caídas de latencia del primer token, el equipo escribió herramientas, y con el tiempo se acumularon más de 30, entre ellas profilers de CPU y de asignación de memoria.

¿Qué se sabe sobre De qué se compone el sistema?

Tiene cuatro partes. Un servicio de tareas: los ingenieros describen los flujos de trabajo con archivos de configuración y prompts en Markdown, donde se indica qué estados tiene la tarea, qué transiciones están permitidas y en qué pasos hace falta una persona. Un despachador, que comprueba periódicamente qué tareas están listas para el siguiente paso y lanza Codex con las instrucciones del estado actual.

¿Qué se sabe sobre Una discusión consigo mismo y la dificultad de las correcciones?

El agente busca cuándo empeoró la métrica por primera vez (a veces varias horas antes de la alerta) y compara grupos de solicitudes: si las solicitudes similares se han vuelto más lentas o si, simplemente, ha aumentado la proporción de las que ya eran lentas. Después examina los despliegues y los cambios de flags, lee el código y comprueba, con logs y trazas, si ese cambio pudo producir tal efecto.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…