Veterano da Microsoft roda um transformer em um PDP-11 de 6 MHz e 64 KB de memória

O veterano da Microsoft Dave Plummer mostrou que um transformer não só pode ser explicado de forma simples, como também executado, literalmente, em um hardware do fim da década de 1970. Seu experimento com um minicomputador PDP-11 de 6 MHz e 64 KB de RAM traz a conversa sobre IA para o chão: treinar é muita aritmética, repetição e otimização cuidadosa.

Um computador velho, uma tarefa nova

Plummer é conhecido como o desenvolvedor que, no passado, participou da criação de componentes importantes do Windows. No novo vídeo, ele não partiu para um truque nostálgico em busca de curtidas, mas para a demonstração de um princípio básico dos modelos modernos. No centro do experimento está um sistema PDP-11 de 47 anos, uma máquina de uma época em que ninguém sonhava com grandes modelos de linguagem.

É o contraste que torna o projeto convincente: se uma versão enxuta de um transformer pode ser treinada em um aparelho desses, o núcleo da ideia é muito mais simples do que parece diante de data centers e orçamentos de bilhões.

No PDP-11 rodou o Attention 11, modelo escrito em assembly do PDP-11 pelo desenvolvedor Damien Boureille. A tarefa é modesta só à primeira vista: pegar uma sequência de oito números e devolvê-la em ordem inversa. O que importa não é decorar alguns exemplos, mas captar uma regra que funcione em dados de entrada novos. É exatamente isso que Plummer destaca: mesmo num cenário de brinquedo, o modelo precisa aprender a estrutura, e não apenas adivinhar a próxima resposta por padrão.

Como o modelo foi comprimido

Para que o experimento tivesse alguma chance de funcionar, os desenvolvedores precisaram comprimir a arquitetura ao limite. O Attention 11 não é uma minicópia do ChatGPT, e sim um transformer de uma única camada, com um só mecanismo de atenção, levado a um estado de minimalismo de engenharia. O modelo tem apenas 1216 parâmetros. Em vez dos grandes blocos de memória e aceleradores comuns em projetos de IA atuais, usa cálculos em ponto fixo, e a passagem direta (forward pass) foi reduzida a precisão de 8 bits. Na prática, é um esqueleto didático de transformer, em que ficou só o essencial para demonstrar o próprio processo de treinamento.

• 1216 parâmetros em vez de bilhões
• cálculos em ponto fixo
• precisão de 8 bits na passagem direta
• otimização de quase todo ciclo do processador
• uma tarefa de descobrir uma regra, não de memorizar exemplos

Mas, mesmo com essas restrições, o resultado não foi meramente decorativo. Plummer informou que o modelo chegou a 100% de precisão em cerca de 350 passos de treinamento. Em um sistema PDP-11/44 com placa de memória cache, isso levou cerca de três minutos e meio. Perto das GPUs modernas, é velocidade de museu, claro. Mas, para uma máquina de 6 MHz com 64 KB de RAM, o fato de haver um treinamento completo importa mais que o tempo absoluto: o experimento prova que os princípios dos transformers não exigem mágica, só recursos e boa engenharia.

Não é mágica, é matemática

O objetivo principal do projeto não era encontrar um substituto prático e útil para os modelos modernos. Plummer tentou mostrar algo mais incômodo para os românticos: na base da IA não há fogo sagrado. Há um ciclo de erros, correções e repetições em que os pesos vão se ajustando à tarefa. Por isso, sua demonstração funciona como antídoto contra a mistificação das redes neurais. Ela remove a camada de marketing e deixa a mecânica nua, que pode ser observada quase quadro a quadro.

"Do palpite ao conhecimento."

É assim que Plummer descreve o momento em que o modelo para de tropeçar e passa a aplicar de forma estável a regra que encontrou.

Esse é o efeito mais interessante do experimento: o espectador não vê uma resposta inteligente pronta, mas o nascimento de uma capacidade por meio de correções sucessivas. Em meio às conversas sobre AGI, soa como um choque de realidade. Os sistemas modernos impressionam não porque violam as leis da computação, mas porque o mesmo mecanismo roda em escala colossal, com dados, modelos e clusters de computação incomparavelmente maiores.

O que isso significa

O experimento com o PDP-11 não prova que o ChatGPT possa ser transportado para um computador retrô. Mas mostra com clareza outra coisa: as ideias básicas dos transformers são compactas o bastante para serem entendidas, reproduzidas e treinadas até em hardware antigo. Para o mercado, é mais um argumento a favor de modelos pequenos e eficientes e de otimização cuidadosa, sobretudo agora que o custo de computação vira um fator competitivo à parte.