Cognition lança Devin Oncall: 100% no SREGym e correção em produção em 2min 21s

A Cognition abriu o acesso geral ao Devin Oncall, um agente em nuvem para plantões que analisa sozinho alertas e relatos de bugs, diagnostica falhas em produção e tenta corrigi-las. Segundo a empresa, no benchmark SREGym ele alcançou 100% de sucesso de ponta a ponta, com melhor tempo até a resolução do problema de 2 minutos e 21 segundos. Em operação real, o sistema já processa milhares de alertas por dia em grandes clientes.

Benchmark: o que exatamente foi medido

O SREGym testa agentes em falhas típicas de sistemas em funcionamento. Cada teste é baseado em um incidente real, e em uma única execução o agente precisa tanto encontrar a causa raiz quanto aplicar uma mitigação que funcione. Pelos gráficos da Cognition, o Devin Oncall com GPT-6 Astra e Claude Opus 5.5 chegou a 100%, com GPT-6.1 Sol fez 94,1% e com Claude Fable 5.1 ficou em 85,3%. Para comparação: o Claude Code com Sonnet 5 marcou 45,1%, o Codex com GPT-5.6 Sol, 76,5%, e o CloudThinker com Opus 5, também 76,5%.

Há uma ressalva importante. A própria Cognition reconhece que modelos de nível intermediário já atingem o teto desse conjunto, mais "limpo", enquanto a geração anterior chegava a 50–60%. O benchmark está saturado, e 100% nele não garante o mesmo resultado em um sistema legado complicado. A empresa diz abertamente que os agentes ainda tendem a parar na primeira causa plausível.

Como o agente funciona

A filosofia se apoia na "lição amarga": em vez de prompts longos e afinados à mão, arquiteturas em grafo e modelos de SRE com fine-tuning, a aposta é em um agente de código forte, com o contexto e as ferramentas certos. Os autores, entre os quais há ex-integrantes da TierZero, afirmam que as técnicas antigas deixam de funcionar à medida que os modelos evoluem e precisam ser removidas. A arquitetura do Devin não está presa a um único modelo, então é possível escolher o melhor para cada tarefa do plantão.

Contra conclusões precipitadas, entra um segundo agente, o revisor. Ele verifica de forma assíncrona o raciocínio e as chamadas de ferramentas do agente principal e pega erros típicos: correlação confundida com causalidade, telemetria contraditória ignorada, confusão entre gatilho e causa raiz. Pela lógica do sistema, um deploy recente é uma pista, não uma explicação.

O contexto é montado em três camadas:

• Per-Responder Memory: memória de cada responder, por exemplo quem marcar e como se comportar nas investigações seguintes.
• Per-Org Skills: habilidades que o Devin gera ao indexar o ambiente com regularidade. Exemplo: cálculo do raio de impacto para os clientes.
• Per-Org Memory: pós-processamento de cada investigação e um "cache de baixa fidelidade" do conhecimento institucional.

O produto tem duas modalidades. Os Responders acompanham o fluxo de alertas ou relatos de bugs. Um agente pai oculto decide se o problema é novo e, se for, abre uma investigação filha com contexto limpo. Assim, cerca de 60% das investigações são puladas (na ilustração, 65 de 100 alertas), e o custo cai para 46% do modo "analisar tudo", ou seja, uma economia de 54%. Os Incidents se conectam ao canal do incidente, mantêm um documento vivo com linha do tempo e evidências e repassam as perguntas diretas dos engenheiros a agentes filhos, enquanto o agente pai continua a investigação em segundo plano. As mensagens passam por filtragem prévia.

Clientes e números

• Reducto: o Devin notou uma tendência em vários alertas e abriu um incidente por conta própria, antes de os alertas de produção dispararem. Agora ele é o primeiro a analisar a maioria dos alertas, às vezes fecha problemas de gravidade média ou prepara e testa um PR antes de chamar um engenheiro.
• RV Tech (joint venture entre Rivian e Volkswagen): o agente extrai identificadores de veículos e horários dos chamados, puxa logs, executa parsers e faz a triagem. Uma equipe conseguiu devolver vários engenheiros ao trabalho de produto.
• AngelList: a causa raiz é encontrada 3,5 vezes mais vezes do que no sistema interno Sky; 50% dos incidentes são encerrados de forma totalmente autônoma. A Sky foi desativada.

É preciso considerar que todos os números vêm do blog do fornecedor e não há verificação independente.

Conclusão prática para as equipes: é mais sensato começar pelos Responders em um único canal de alertas barulhento e medir a taxa de duplicatas puladas e a precisão das causas raiz. A integração com observabilidade (nos depoimentos de clientes, menciona-se o Datadog MCP) e com o rastreamento de código vai influenciar a qualidade do diagnóstico mais do que a escolha do modelo. Vale limitar as permissões de ação em produção a mitigações como rollback e escalonamento, como a própria Cognition recomenda, e fazer toda alteração de código passar por revisão humana.