OpenMythos: reconstrução open-source da arquitetura Claude Mythos em PyTorch com 770M parâmetros

A Anthropic nunca publicou um artigo técnico sobre Claude Mythos. Isto não impediu a comunidade de pesquisa — e agora o projeto OpenMythos surgiu no GitHub, tentando responder à pergunta: como exatamente essa arquitetura é estruturada? O autor do projeto, Kye Gomez, abordou a tarefa a partir de primeiros princípios.

Ele não se baseou em vazamentos internos ou informações privilegiadas — apenas em publicações revisadas por pares e pesquisas publicamente disponíveis no campo de arquiteturas de grandes modelos de linguagem. O resultado é uma reconstrução completa da presumida arquitetura Claude Mythos, implementada em PyTorch. A principal descoberta técnica do projeto: um modelo com 770 milhões de parâmetros demonstra desempenho comparável ao de arquiteturas de transformadores padrão com 1,3 bilhão de parâmetros.

Se essa observação estiver correta, aponta para uma abordagem fundamentalmente diferente de escalabilidade — não através do aumento do número de parâmetros, mas através de uma organização mais eficiente deles. Entre as presumidas soluções arquitetônicas que Gomez reconstruiu no OpenMythos estão mecanismos de atenção especializados, esquemas de normalização não-padrão e, aparentemente, um afastamento do esquema clássico decoder-only de modelos semelhantes a GPT. É a combinação dessas soluções, segundo o autor, que fornece eficiência paramétrica anormalmente alta.

É importante entender: OpenMythos não é engenharia reversa no sentido técnico nem uma tentativa de reproduzir os pesos do modelo real da Anthropic. É uma hipótese teórica formalizada em código funcional. Gomez explicitamente afirma isso na documentação: o projeto reflete uma possível interpretação de como tal arquitetura poderia ser estruturada, em vez de reivindicar a reprodução exata do original.

Não obstante, o próprio fato do surgimento deste projeto é revelador. A opacidade da Anthropic em relação aos detalhes arquitetônicos do Claude tornou-se a norma — a empresa publica pesquisas sobre segurança, interpretabilidade e aprendizado por reforço, mas evita revelar os detalhes técnicos de seus modelos estrela. Isto cria um vácuo informacional que a comunidade preenche por conta própria.

OpenMythos não é a primeira tentativa deste tipo. Anteriormente, a comunidade se envolveu na reconstrução das arquiteturas do GPT-4 e Gemini Ultra, baseando-se em indicadores indiretos de benchmarks, padrões de erro e publicações de autores afiliados. A diferença é que aqui estamos lidando com uma arquitetura que a Anthropic nunca anunciou oficialmente — Claude Mythos é mencionado apenas no contexto de rumores e vazamentos não confirmados.

Para profissionais de aprendizado de máquina, OpenMythos é interessante principalmente como uma fonte de ideias arquitetônicas. Mesmo que a reconstrução se mostre imprecisa, soluções específicas — em organização de atenção, esquemas de normalização, abordagens de escalabilidade — podem se mostrar úteis independentemente de sua origem. O projeto é publicado sob uma licença aberta, com código disponível no GitHub.

Isto significa que qualquer pessoa pode executar a arquitetura, verificar as características declaradas e propor suas próprias interpretações. Essencialmente, Gomez abriu uma investigação coletiva — e agora a comunidade a continuará.