OpenMythos: reconstrução open source em PyTorch da arquitetura do Claude Mythos com 770M de parâmetros

A Anthropic nunca publicou um relatório técnico sobre o Claude Mythos. Isso não deteve a comunidade de pesquisa, e agora surgiu no GitHub o projeto OpenMythos, que tenta responder a uma pergunta: como essa arquitetura é realmente construída?

O autor do projeto, Kye Gomez, abordou a tarefa a partir de primeiros princípios. Ele não se baseou em vazamentos internos nem em informações privilegiadas, apenas em publicações revisadas por pares e em pesquisas de acesso público sobre arquiteturas de grandes modelos de linguagem. O resultado é uma reconstrução completa da suposta arquitetura do Claude Mythos, implementada em PyTorch.

A principal descoberta técnica do projeto: um modelo com 770 milhões de parâmetros apresenta desempenho comparável ao de arquiteturas transformer padrão com 1,3 bilhão de parâmetros. Se a observação estiver correta, ela aponta para uma abordagem fundamentalmente diferente de escalonamento: não aumentar o número de parâmetros, mas organizá-los de forma mais eficiente.

Entre as decisões arquitetônicas que Gomez reconstruiu no OpenMythos estão mecanismos de atenção especializados, esquemas de normalização fora do padrão e, ao que tudo indica, um afastamento do esquema clássico decoder-only dos modelos do tipo GPT. Segundo o autor, é a combinação dessas decisões que garante a eficiência paramétrica anormalmente alta.

É importante entender que o OpenMythos não é engenharia reversa no sentido técnico e não tenta reproduzir os pesos de um modelo real da Anthropic. É uma hipótese teórica transformada em código funcional. Gomez afirma isso explicitamente na documentação: o projeto reflete uma das interpretações possíveis de como uma arquitetura assim poderia ser construída, e não pretende reproduzir o original com exatidão.

Mesmo assim, a própria existência do projeto é reveladora. O sigilo da Anthropic sobre os detalhes arquitetônicos do Claude virou norma: a empresa publica pesquisas sobre segurança, interpretabilidade e aprendizado por reforço, mas evita revelar detalhes técnicos de seus modelos principais. Isso cria um vácuo de informação que a comunidade preenche por conta própria.

O OpenMythos não é a primeira tentativa do tipo. Antes, a comunidade já trabalhou na reconstrução das arquiteturas do GPT-4 e do Gemini Ultra, com base em indícios indiretos de benchmarks, no padrão de erros e em publicações de autores afiliados. A diferença é que aqui se trata de uma arquitetura que a Anthropic nunca anunciou oficialmente: o Claude Mythos aparece apenas em rumores e vazamentos não confirmados.

Para quem trabalha com aprendizado de máquina, o OpenMythos interessa sobretudo como fonte de ideias arquitetônicas. Mesmo que a reconstrução se mostre imprecisa, as soluções específicas, sobre a organização da atenção, os esquemas de normalização e a abordagem de escalonamento, podem ser úteis independentemente da origem.

O projeto foi publicado sob uma licença aberta, e o código está disponível no GitHub. Isso significa que qualquer pessoa pode executar a arquitetura, verificar as características declaradas e propor suas próprias interpretações. Na prática, Gomez abriu uma investigação coletiva, e agora a comunidade vai levá-la adiante.