Anthropic adaptou Claude aos chips da AMD em três dias com o modelo Mythos

A Anthropic iniciou o roadshow de seu IPO, e o vídeo para investidores trouxe informações que a empresa ainda não havia publicado: como ela realmente funciona por dentro no nível do hardware. O trecho mais interessante é a seção sobre computação, apresentada pelo cofundador Tom Brown. Para quem constrói infraestrutura para LLMs, é uma rara visão dos bastidores.

Quatro famílias de chips em vez de uma

Brown afirma que Claude agora é treinado e usado para servir inferências nas quatro grandes famílias de chips: AWS Trainium, Google TPU, GPUs da NVIDIA e GPUs da AMD. Segundo ele, isso foi possível graças a uma aposta pouco convencional feita há bastante tempo. Na época, muitos achavam que executar modelos em chips diferentes não valia o esforço.

Havia motivos para esse ceticismo. Cada chip precisa de sua própria pilha de software e de sua própria pilha de inferência. Isso é caro e complexo. Se você já adaptou código de CUDA para outra plataforma, sabe o que isso envolve: os kernels, funções de baixo nível que efetivamente fazem os cálculos matriciais em um hardware específico, precisam ser reescritos quase do zero.

A Anthropic trabalha nisso há anos e, segundo Brown, tem sido “incrivelmente bem-sucedida”. Já havia um indício indireto do uso de várias plataformas de chips em setembro. Em uma análise de três falhas recentes, a empresa descreveu bugs que afetaram apenas as implantações em TPU. Ou seja, o mesmo modelo de fato roda em plataformas diferentes, e os erros podem variar entre elas.

Mythos colocou Claude em funcionamento na AMD em três dias

O número mais impressionante diz respeito à AMD. Neste ano, a Anthropic começou a trabalhar pela primeira vez com as GPUs desse fabricante. Antes, incorporar uma nova plataforma de chips exigia meses de trabalho de dezenas de engenheiros. Desta vez, a tarefa foi entregue ao modelo Mythos.

Segundo Brown, ele colocou Claude em funcionamento na AMD em três dias, quase sem intervenção humana. Claude adaptou ou escreveu quase 100% dos kernels.

Para quem trabalha na área, esse é um sinal importante. Adaptar kernels era considerado justamente aquele trabalho “caro e tedioso” que mantém os engenheiros presos a um único fornecedor. Se um LLM realmente consegue fazer a maior parte desse trabalho, cai o custo de abandonar a dependência de um único fornecedor de GPUs. Isso também serve de argumento nas negociações sobre o preço do hardware.

Multiplicadores de capacidade computacional e a discussão sobre autoaperfeiçoamento

Brown aponta uma segunda fonte de vantagem: a velocidade de descoberta de “multiplicadores de capacidade computacional”. A Anthropic considera a capacidade computacional efetiva resultante: a capacidade física multiplicada pelos multiplicadores descobertos.

O vídeo traz um exemplo. Suponha que treinar um modelo de determinado nível exija 100 unidades de capacidade computacional. Um multiplicador de 4x significa que o mesmo modelo pode ser treinado com 25 unidades. Ou é possível usar todas as cem e obter um modelo mais inteligente, que antes exigiria 400.

Segundo Brown, os multiplicadores se acumulam: cada novo multiplicador potencializa o efeito dos anteriores, e esse tipo de vantagem é difícil de replicar. Em seguida vem a afirmação mais ousada. Na visão da empresa, o processo pode acelerar à medida que ela se aproxima do autoaperfeiçoamento recursivo, quando Claude poderá descobrir multiplicadores inteiramente por conta própria.

O que é preciso ter em mente

Primeiro: trata-se de material para investidores, e não de um relatório independente. Números como “três dias” e “quase 100% dos kernels” foram apresentados por um dos fundadores e não foram verificados de forma independente. Também faltam detalhes: quais kernels exatamente, quão próximo é o desempenho em relação à NVIDIA e quantas horas de revisão humana ainda foram necessárias.

Segundo: o autoaperfeiçoamento recursivo ainda é, aqui, uma ambição para o futuro. Não é um resultado que alguém tenha medido. Deve ser entendido como parte da estratégia da empresa e de sua argumentação para o IPO.

Terceiro: não há uma transcrição oficial do vídeo. Simon Willison gerou uma por conta própria com o MacWhisper e a publicou, portanto vale conferir as citações nessa transcrição.

A conclusão prática para equipes que constroem sua própria infraestrutura de inferência: se vocês estavam adiando o suporte a um segundo fornecedor por causa do custo de adaptar os kernels, é hora de rever essa estimativa. Experimentem entregar a um modelo capaz um kernel pequeno com testes e calcular quantas horas de engenharia ele realmente economiza. Mesmo que o resultado de vocês seja mais modesto do que três dias, o limite do que se considera “caro e não vale o esforço” já mudou.