Devin Security recebe o Claude Mythos 5.2: 73,5 pontos contra 32,7 do Opus 5.5

Procurar vulnerabilidades em uma grande base de código é como limpar um apartamento em que o dono traz coisas novas todo dia. Analisadores estáticos fazem barulho, o pentest é feito uma vez por trimestre, e a equipe de segurança sempre tem uma fila de cem tickets. A Cognition propõe ajustar esse processo com um modelo: o Claude Mythos 5.2 agora está disponível no Devin Security.

O que exatamente foi lançado

O Devin Security é um serviço gerenciado de varredura. Por dentro, trabalham modelos «de fronteira» para cibersegurança, mas a equipe de segurança não precisa de acesso separado a eles. Você entrega um repositório, o Devin executa a varredura e devolve os achados. O Mythos 5.2 ainda não está disponível para todos: apenas para clientes corporativos elegíveis; os demais são convidados a enviar uma solicitação.

Separadamente, a Cognition promete créditos para varreduras gratuitas. Em um trecho da publicação fala-se em mais de US$ 100 milhões; em outro, em «centenas de milhões de dólares» em créditos do Devin. Não está claro como isso se concilia, então olhe as condições da solicitação, não as manchetes. A empresa também não revela os critérios de seleção.

O que o benchmark mostrou

A Cognition executou os modelos em um conjunto interno de 25 repositórios em C, Python, Go, PHP e TypeScript. Entre os frameworks estão Django, Flask, Laravel e Next.js. Cada repositório está fixado em um commit em que as vulnerabilidades publicamente conhecidas ainda não foram corrigidas. No total, são 1781.

Antes, o benchmark verificava uma única coisa: se o Devin encontrava um erro predefinido. Agora há muitos bugs em cada repositório, então também é possível medir a precisão — que parcela dos achados é real. A métrica final é o F2 em uma escala de 0 a 100. Ela considera tanto a completude (quantas falhas conhecidas foram encontradas) quanto a precisão, mas dá mais peso à completude. Cada modelo foi executado três vezes por repositório, e os resultados foram calculados pela média.

Resultados:

• Claude Mythos 5.2 — 73,5
• Claude Mythos 5.1 — 56,9
• Claude Opus 5.5 — 32,7

O ganho em relação à versão anterior do Mythos é de cerca de 29%. O Opus 5.5 fica atrás em mais da metade. Para uma única geração de modelos, é um salto expressivo.

Por que vale ler os números com ressalvas

Primeiro, o benchmark é interno, e quem o calculou foi o vendedor do serviço. Não há replicação independente, e o próprio conjunto de dados não foi publicado.

Segundo, foram usadas vulnerabilidades divulgadas publicamente. O modelo pode ter encontrado suas descrições ou patches nos dados de treinamento. A publicação não discute isso, e essa é uma suposição minha, mas vale verificar esse possível vazamento. Encontrar bugs conhecidos é mais fácil que encontrar bugs desconhecidos no seu código fechado.

Terceiro, o F2 recompensa a completude. Em segurança, a lógica é clara: uma falha não detectada custa mais que uma verificação extra. Mas falsos positivos têm um custo, e quem paga é sua equipe de triagem. Uma única nota geral não mostra quanto lixo será preciso ler manualmente. É bom que a Cognition tenha incluído a precisão no cálculo, mas esses números não são apresentados separadamente na publicação.

O que fazer na prática

Se você está no segmento corporativo e responde pela segurança, envie a solicitação. Os créditos gratuitos são um motivo para testar o serviço sem orçamento de piloto.

Não avalie o resultado por uma única nota. Pegue dois ou três repositórios seus que já tenham bugs conhecidos e corrigidos e calcule duas coisas: quantos deles a varredura encontrou e que parcela do relatório precisou ser descartada como ruído. Os segundos números mostram quanto custará a triagem.

Descubra de antemão para onde vai o código: como os dados são armazenados, quem vê os relatórios e o que acontece com eles após a varredura. Para repositórios fechados, isso importa mais que a diferença de pontos.

E não dispense o pentest. Um modelo que encontra mais classes conhecidas de erros é uma camada adicional útil. Mas vulnerabilidades de lógica de negócio e cadeias de ataque pouco óbvias não foram testadas por este benchmark.

A principal conclusão: a combinação «modelo + serviço gerenciado» está ficando visivelmente mais barata para os defensores. Resta saber quanto dos 73,5 pontos em um teste alheio se transformará em achados no seu código. Dá para verificar isso em algumas semanas, enquanto os créditos estão sendo distribuídos.