Andrej Karpathy coloca um GPT inteiro em 243 linhas de Python puro

Existe um gênero de programação que está mais perto da poesia do que da engenharia. É quando um sistema extremamente complexo é reduzido à sua essência absoluta, eliminando tudo o que é supérfluo até sobrar apenas matemática e lógica puras. Foi exatamente isso que fez Andrej Karpathy, um dos fundadores da OpenAI e ex-chefe da área de AI da Tesla, ao publicar em fevereiro de 2026 o microGPT: uma implementação completa da arquitetura transformer que treina e gera texto em 243 linhas de Python puro.

Para dimensionar o feito, é preciso entender o contexto. Modelos de linguagem modernos como o GPT-4 ou o Claude envolvem dezenas de bilhões de parâmetros, milhares de GPUs, meses de treinamento e bases de código mantidas por centenas de engenheiros. Diante de todo esse poderio industrial, é fácil esquecer que, na base, existe uma construção matemática relativamente elegante, descrita no famoso artigo "Attention Is All You Need", de 2017. Karpathy pegou essa construção e mostrou que ela cabe inteira em poucas telas de código — sem PyTorch, sem NumPy, sem nenhuma biblioteca externa.

O MicroGPT implementa todos os componentes centrais da arquitetura transformer: tokenização, codificação posicional, mecanismo de atenção (self-attention), propagação direta por camadas totalmente conectadas, normalização e retropropagação do erro para o treinamento. Cada operação matemática é feita à mão — multiplicação de matrizes, softmax, funções de ativação. Na prática, qualquer pessoa com noções básicas de álgebra linear e Python pode abrir o arquivo e acompanhar todo o caminho do texto de entrada até o token gerado, sem esbarrar em abstrações de frameworks.

Karpathy chama o microGPT, com modéstia, de "projeto de arte", e a definição é mais precisa do que parece. Não se trata de uma ferramenta para uso prático: um modelo treinado dessa forma não vai manter diálogos coerentes nem substituir o ChatGPT. O desempenho de Python puro, sem bibliotecas otimizadas, é várias ordens de grandeza inferior ao de frameworks especializados. Mas o valor do projeto está em outro plano. Ele desmistifica a tecnologia que hoje define a cara do mundo moderno.

Para Karpathy, a abordagem não é novidade. Ele se consolidou há tempos como um dos melhores divulgadores de deep learning. Seu curso de redes neurais em Stanford virou clássico, e a série de vídeos "Neural Networks: Zero to Hero", no YouTube, ajudou dezenas de milhares de pessoas a entender os fundamentos. O microGPT segue essa linha, mas eleva o nível: se antes Karpathy explicava arquiteturas com PyTorch, agora ele removeu a última camada de abstração. Entre o leitor e a matemática do transformer, não sobrou nada.

As consequências vão além da educação. A indústria de inteligência artificial vive um momento paradoxal: a tecnologia fica cada vez mais influente e, ao mesmo tempo, cada vez mais opaca. As empresas fecham seus modelos, publicam cada vez menos detalhes técnicos, e a distância entre quem cria a AI e quem a usa só aumenta. Nesse contexto, projetos como o microGPT cumprem uma função essencial: devolvem ao espaço público a compreensão fundamental da tecnologia. Quando um político, um jornalista ou simplesmente um engenheiro curioso de uma área vizinha quer entender o que de fato é um GPT, 243 linhas de código dão uma resposta mais honesta do que qualquer material de marketing.

Há também o lado prático. Para pesquisadores iniciantes e estudantes, o microGPT é a sandbox ideal. Dá para modificar o mecanismo de atenção e ver o que acontece. Dá para trocar a função de ativação, experimentar com o tamanho da janela de contexto, adicionar sua própria variante de codificação posicional. Quando todo o código está à vista e cada linha é compreensível, experimentar deixa de ser magia negra e vira método científico.

No fim das contas, o microGPT é um lembrete de que, por trás das avaliações trilionárias das empresas de AI e das conversas sobre superinteligência artificial, existe uma matemática que cabe em poucas páginas. Escala e poder computacional transformam essa matemática em algo impressionante, mas a essência continua acessível. E enquanto houver gente como Karpathy disposta a dedicar tempo para tornar o complexo simples, a indústria tem a chance de ser não só poderosa, mas também transparente.