Entusiasta roda Qwen em FPGA de $50 com 4 GB de memória usando openTPU

Um engenheiro entusiasta publicou no Habr a primeira parte da história de um acelerador de IA feito em casa. Ele pegou o projeto aberto openTPU, comprou uma placa com FPGA de $50 e 4 GB de memória, conectou a um mini PC comum e rodou nela um modelo da família Qwen. O anúncio não traz medições de velocidade: nem tokens por segundo, nem o tamanho do modelo, nem a precisão (em bits) dos pesos. Mesmo assim, a configuração já mostra o quanto a barreira de entrada para experimentos com IA em hardware diminuiu.

O que se sabe da primeira parte

Pelo texto publicado, o cenário é este:

• Acelerador: FPGA que custa cerca de $50.
• Memória: 4 GB.
• Host: um mini PC comum, sem hardware de servidor.
• Arquitetura: openTPU, implementação aberta das ideias de uma unidade de processamento tensorial.
• Modelo: Qwen, família de modelos de linguagem da Alibaba.
• Formato: primeira parte de uma série, com continuação por vir.

O autor não revelou qual versão do Qwen foi executada, como ela foi quantizada nem qual interface liga a placa ao PC. Quase tudo depende desses três parâmetros, por isso é cedo para avaliar o resultado antes da segunda parte.

Por que a abordagem TPU combina com FPGA

O primeiro TPU do Google, descrito em uma publicação de 2017, foi construído em torno de um arranjo sistólico: 256×256 multiplicadores de 8 bits com acumulação, ou seja, 65 536 unidades pelas quais os dados passam em forma de onda. Essa estrutura é regular, se encaixa bem em lógica programável e não exige um controle complexo. Com ela é possível montar um multiplicador de matrizes, e a multiplicação de matrizes é a base do funcionamento dos transformers.

Nesse esquema, a FPGA funciona como uma placa de protótipo para o chip. O projeto pode ser reescrito, e é possível mudar o tamanho do arranjo, a precisão em bits e a forma de acesso à memória sem encomendar silício. Por $50, é um argumento forte para ensino e prototipagem.

A principal limitação: memória

A geração de texto esbarra na largura de banda da memória, não no poder de cálculo. Para cada token, é preciso ler quase todos os pesos do modelo. Uma placa FPGA barata, com um único módulo de memória, oferece um barramento modesto, e é ele que define a velocidade, não o número de multiplicadores do arranjo.

Os 4 GB estabelecem o teto para o tamanho do modelo. Pela nossa estimativa, com quantização de 4 bits, um modelo de alguns bilhões de parâmetros ocupa cerca de 2 GB, e ainda sobra margem para o cache de contexto. Por isso, o mais razoável é esperar uma versão pequena do Qwen com compressão agressiva. Modelos com dezenas de bilhões de parâmetros não cabem nessa placa.

O que observar na segunda parte

O projeto é útil para engenheiros que querem entender como um acelerador funciona por dentro e para estudantes de arquitetura de chips de IA. Ele não vai substituir uma placa de vídeo, e o autor, a julgar pelo título, não promete isso.

Quando a continuação sair, verifique quatro pontos:

• a velocidade de geração em tokens por segundo em um modelo específico;
• o esquema de quantização e a perda de qualidade;
• a largura de banda da memória e o canal de comunicação com o host;
• a existência de código aberto e de instruções para reproduzir o projeto pelos mesmos $50.

Se o repositório for aberto e a montagem for reproduzível, a publicação pode se tornar uma boa plataforma de estudo para quem quer experimentar IA em hardware sem orçamento para GPU.