Anthropic reescreveu o teste técnico três vezes: Claude Opus 4.5 alcançou os melhores engenheiros

A Anthropic usa o teste técnico para engenheiros de performance desde o início de 2024. Mais de 1000 candidatos já o fizeram, e dezenas deles trabalham na empresa, incluindo quem colocou o cluster Trainium em operação e quem lançou todos os modelos desde o Claude 3 Opus. Agora, cada nova versão do Claude quebra esse teste. Com o mesmo limite de tempo, o Claude Opus 4 superou a maioria dos humanos. O Claude Opus 4.5 igualou os melhores candidatos, e, no resultado de duas horas, tornou-se impossível distinguir esses candidatos do modelo. O autor do teste, Tristan Yum, líder da equipe de otimização de performance, descreveu o caso em 21 de janeiro de 2026.

Como o teste foi montado

Em novembro de 2023, a Anthropic se preparava para lançar o Claude Opus 3. A empresa já tinha clusters de TPU e GPU, esperava um grande cluster Trainium e sofria com a falta de engenheiros de performance. Yum escreveu no Twitter, e chegaram por e-mail mais candidatos do que o pipeline padrão conseguia processar. Ele levou duas semanas para projetar o teste.

Ele montou em Python um simulador de um acelerador fictício, parecido com uma TPU. Os candidatos otimizam o código nesse simulador enquanto acompanham, em um trace do Perfetto com recarga automática (hot reload), cada instrução executada. A máquina tem memória scratchpad de gerenciamento manual, VLIW (várias unidades de execução em cada ciclo), SIMD e multicore.

A tarefa deliberadamente não trata de deep learning: é uma travessia paralela de árvore, inspirada na inferência SIMD sem ramificações de árvores de decisão. O candidato parte de uma implementação totalmente sequencial, passa por um aquecimento com multicore e depois escolhe entre SIMD e empacotamento VLIW. A primeira versão ainda continha um bug que precisava ser depurado, o que exigia construir uma ferramenta para isso.

O primeiro resultado confirmou a ideia. Um candidato da leva vinda do Twitter pontuou bem acima dos demais, entrou na equipe e, quase de imediato, encontrou uma solução alternativa para um bug do compilador que bloqueava um lançamento: a matemática de índices de tensores estourava 32 bits.

Como o Claude quebrou o teste

Em maio de 2025, mais da metade dos candidatos teria se saído melhor simplesmente entregando a tarefa ao Claude 3.7 Sonnet via Claude Code. O Opus 4, ainda em pré-lançamento, produziu uma solução melhor do que quase todos os humanos dentro de 4 horas. Yum usou o modelo para descobrir em que ponto ele começa a travar e fez desse ponto a base da segunda versão. Ele escreveu um código inicial mais limpo, adicionou novos recursos à máquina, removeu o multicore, que o Claude já resolvia, e reduziu o limite de 4 horas para 2, porque a coordenação de horários alongava a contratação por semanas.

Com o Opus 4.5, isso não funcionou. O modelo resolveu os principais gargalos, aplicou as microotimizações usuais e passou o limite de aprovação em menos de uma hora. Depois parou, concluindo que havia chegado ao limite de largura de banda da memória. A maioria das pessoas chega à mesma conclusão. Mas existe um truque que explora a estrutura do problema. Quando Yum informou o número de ciclos que era possível atingir, o Claude pensou e encontrou o truque. Na marca de 2 horas, o resultado dele igualava o melhor resultado humano, e essa pessoa também usava intensamente o Claude 4. Em um harness interno com test-time compute, o modelo continuou melhorando o resultado conforme o tempo aumentava.

Duas tentativas de salvar o formato

Yum rejeitou a proibição de IA: ela não dá para fiscalizar e afasta o teste do trabalho real. A ideia de "superar o Claude Code sozinho" também é duvidosa. O Claude trabalha rápido, e os humanos gastam metade do tempo lendo o enunciado, então a estratégia vencedora pode acabar sendo apenas observar de fora.

A primeira tarefa nova nasceu de uma otimização real de Yum: a transposição de dados em registradores 2D de TPU sem conflitos de banco de memória. O Opus 4.5 teve uma ideia que o autor não havia previsto: transpor não os dados, mas toda a computação. Yum fechou essa brecha, e o modelo não chegou ao ótimo, mas, com o modo ultrathink e um orçamento de raciocínio maior, resolveu a tarefa mesmo assim. A razão é que há muito material escrito sobre conflitos de banco, e o Claude tem uma enorme bagagem de experiência nisso.

A segunda tentativa foi para o território do estranho. Era preciso uma tarefa fora da distribuição dos dados de treinamento, e Yum recorreu aos jogos da Zachtronics, que usam conjuntos de instruções incomuns e rigidamente limitados. Isso conflita com o objetivo de fazer o teste parecer trabalho de verdade, e o autor reconhece essa concessão.

Fatos principais

• O teste é usado desde o início de 2024, e mais de 1000 candidatos o fizeram.
• O limite de tempo foi reduzido de 4 para 2 horas.
• O Claude 3.7 Sonnet superava mais de 50% dos candidatos.
• O Opus 4 superou quase todos os humanos em 4 horas.
• O Opus 4.5 passou o limite de aprovação em menos de uma hora e igualou o melhor humano em 2 horas.
• Com tempo ilimitado, os melhores humanos ainda superam o Claude.

Conclusões práticas para quem contrata

Tarefas baseadas em técnicas conhecidas, como transposição ou conflitos de banco, o modelo resolve com base na experiência acumulada. É mais seguro avaliar o raciocínio diante de material desconhecido do que o conhecimento. Proibir IA, por sua vez, adianta pouco: é mais simples projetar o teste partindo do princípio de que o candidato trabalha com um modelo. O próprio trabalho também se deslocou para depuração complexa, projeto de sistemas, análise de performance e verificação de correção, e isso é difícil de avaliar em algumas horas. A Anthropic publicou o teste original como um desafio aberto: quem superar o resultado do Opus 4.5 pode escrever para a empresa.