Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarOpenAI Blog→ original

Agentes Codex fizeram 1700 investigações sobre lentidão do ChatGPT e encontraram a causa em 600

Quando agentes escrevem o código, o ChatGPT pode ficar mais lento depois de qualquer release, e não dá tempo de caçar a causa manualmente. Na OpenAI, o alerta de queda de velocidade agora aciona um agente Codex: ele procura a causa e propõe uma correção, que um engenheiro revisa. Em pouco mais de três meses, o sistema fez mais de 1700 investigações e encontrou a causa em mais de 600 casos, cerca de 17 por dia. Equipes com releases frequentes podem delegar a busca de causas aos agentes, mas devem manter nas mãos de pessoas a decisão sobre o que vai para produção.

Processado por IA de OpenAI Blog; editado por Hamidun News
Agentes Codex fizeram 1700 investigações sobre lentidão do ChatGPT e encontraram a causa em 600
Fonte: OpenAI Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalOpenAI Blog ↗
Editor-chefe
Dado-chave #1Dos 100 diagnósticos verificados manualmente, 70% estavam corretos e 30% precisaram de ajustes
Dado-chave #2Uma segunda sessão do Codex tenta refutar o diagnóstico e pega erros
Dado-chave #3Depois do deploy, outro agente verifica se a velocidade voltou ao normal

Imagine que, depois de um novo release, o ChatGPT passou a responder um pouco mais devagar: por exemplo, subiu o chamado primeiro token, a pausa entre a pergunta e o início da resposta. Antes, o engenheiro da OpenAI ia às métricas, aos logs e aos traces e descobria manualmente qual mudança era a culpada. Hoje os agentes escrevem o código, os releases são cada vez mais numerosos e analisar cada queda na mão já não é viável.

Por isso a empresa construiu a Performance Factory, um sistema em nuvem baseado no Codex: quando um alerta de queda dispara, o agente investiga a causa por conta própria e propõe a correção, e uma pessoa a revisa. Em pouco mais de três meses, o primeiro fluxo de trabalho em produção do sistema acompanhou mais de 1700 investigações e identificou a causa-raiz (isto é, a mudança específica que provocou a lentidão) em mais de 600 casos. São cerca de 17 investigações automáticas por dia.

Para a sua equipe, é um exemplo de como tirar das pessoas a busca rotineira de causas sem entregar aos agentes a decisão sobre o que vai para produção.

Como a OpenAI chegou à «fábrica»

O caminho teve seis etapas. No início, tudo era manual: olhar métricas, comparar traces, depurar máquinas em operação, ler código. Para problemas recorrentes, como quedas na latência do primeiro token, a equipe escreveu ferramentas, e com o tempo elas passaram de 30, incluindo profilers de CPU e de alocação de memória.

Depois, o Codex virou parceiro: o engenheiro perguntava «por que ficou mais lento?», e o agente buscava as métricas, os traces e o código relevantes, mesmo num sistema desconhecido. Mas ainda cabia a uma pessoa conduzir a investigação.

Então o processo da equipe foi registrado numa skill compartilhada, a perf-forensics. Ela diz ao agente quais ferramentas estão disponíveis, quando usá-las e como agir: encontrar o momento em que a queda começou, identificar as requisições afetadas e verificar se releases ou mudanças de configuração a explicam. A skill foi testada em avaliações com regressões passadas e, para tipos selecionados de problema (por exemplo, quedas de velocidade e de disponibilidade do ChatGPT), o Codex passou a entregar o diagnóstico em uma única execução.

Em seguida, os engenheiros se sentiram um «proxy humano»: chegava o alerta, a pessoa o copiava para o Codex e colava o resultado de volta no Slack. As investigações foram levadas para a nuvem, e o alerta passou a iniciar a sessão sozinho. Mas a automação parava aí: a correção e a verificação pós-release continuavam por conta de uma pessoa, e descobrir quais regressões realmente exigiam atenção significava vasculhar threads do Slack. A Performance Factory fechou a cadeia inteira.

Do que o sistema é feito

São quatro partes. Primeiro, o serviço de tarefas: os engenheiros descrevem o workflow com arquivos de configuração e prompts em Markdown, indicando quais estados a tarefa tem, quais transições são permitidas e em quais etapas é preciso uma pessoa. Segundo, o despachante, que verifica periodicamente quais tarefas estão prontas para a próxima etapa e inicia o Codex para elas, com instruções para o estado atual.

Terceiro, a API em nuvem, que executa o Codex dentro da rede da OpenAI, com acesso aos repositórios e às ferramentas de observabilidade: métricas, logs, traces, perfis de CPU e snapshots de memória. O agente trabalha com uma conta de serviço, o que permite limitar suas permissões e distinguir facilmente suas ações das de uma pessoa. Por fim, as assinaturas: uma tarefa que espera por uma pessoa ou por um deploy «adormece» e acorda com um evento, como um comentário num pull request ou uma verificação de CI que falhou.

O primeiro workflow é o Regression Workflow. O alerta abre uma tarefa, o agente encontra a causa e propõe a correção, o engenheiro revisa e decide o que vai para produção e, depois do deploy, outro agente verifica se os indicadores voltaram ao patamar original. Se a regressão persistir, a tarefa volta para investigação. O estado e as conclusões ficam armazenados na própria tarefa, e não na memória de um único agente, de modo que outros agentes ou pessoas podem assumir o trabalho.

Uma discussão consigo mesmo e a dificuldade das correções

O agente procura quando a métrica piorou pela primeira vez (às vezes, algumas horas antes do alerta) e compara grupos de requisições: se requisições semelhantes ficaram mais lentas ou se apenas aumentou a proporção das que já eram lentas. Depois examina releases e mudanças de flags, lê o código e verifica nos logs e nos traces se a mudança poderia ter causado esse efeito.

No começo, os agentes muitas vezes paravam na primeira explicação plausível, e parte dos diagnósticos saía errada. A solução foi a revisão adversarial: uma sessão separada do Codex tenta refutar o diagnóstico. Se o culpado é um release, requisições semelhantes que ele não tocou continuaram saudáveis? Se a mudança foi revertida, a métrica se recuperou? Em um caso, o agente associou falhas em conversas do ChatGPT a erros de upload de imagens e considerou a causa encontrada. O revisor notou que o serviço interno de busca de arquivos já tinha se recuperado, enquanto as requisições com imagens ainda falhavam. O diagnóstico não explicava o sintoma, e a investigação foi reaberta.

Na verificação manual de 100 causas propostas, 70% foram consideradas corretas, e 30% precisaram de ajustes ou não demonstravam relação de causa e efeito. Por isso, a tarefa grande foi dividida em etapas estreitas do Codex: umas buscam a causa, outras a contestam, outras propõem a correção. Os autores apontam a própria correção como a parte mais difícil: depois da validação do diagnóstico, o Codex escreve o ajuste e abre um pull request, mas a decisão continua com o engenheiro.

História

Perguntas frequentes sobre a notícia

Como a OpenAI chegou à «fábrica»?

O caminho teve seis etapas. No início, tudo era manual: olhar métricas, comparar traces, depurar máquinas em operação, ler código. Para problemas recorrentes, como quedas na latência do primeiro token, a equipe escreveu ferramentas, e com o tempo elas passaram de 30, incluindo profilers de CPU e de alocação de memória. Depois, o Codex virou parceiro: o engenheiro perguntava «por que ficou mais lento?», e o agente buscava as métricas, os traces e o código relevantes, mesmo num sistema desconhecido.

O que se sabe sobre Do que o sistema é feito?

São quatro partes. Primeiro, o serviço de tarefas: os engenheiros descrevem o workflow com arquivos de configuração e prompts em Markdown, indicando quais estados a tarefa tem, quais transições são permitidas e em quais etapas é preciso uma pessoa. Segundo, o despachante, que verifica periodicamente quais tarefas estão prontas para a próxima etapa e inicia o Codex para elas, com instruções para o estado atual.

O que se sabe sobre Uma discussão consigo mesmo e a dificuldade das correções?

O agente procura quando a métrica piorou pela primeira vez (às vezes, algumas horas antes do alerta) e compara grupos de requisições: se requisições semelhantes ficaram mais lentas ou se apenas aumentou a proporção das que já eram lentas. Depois examina releases e mudanças de flags, lê o código e verifica nos logs e nos traces se a mudança poderia ter causado esse efeito. No começo, os agentes muitas vezes paravam na primeira explicação plausível, e parte dos diagnósticos saía errada.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…