Como treinar uma rede neural de texto em casa: habrGPT e a comparação entre fp8 e bf16

No Habr, um desenvolvedor descreveu o treinamento do habrGPT, um modelo de linguagem para texto com 500 milhões de parâmetros, do zero com o corpus de artigos da plataforma, usando uma GPU doméstica. A base é o nanochat de Andrej Karpathy, e a comparação gira em torno de dois formatos de treinamento: fp8 e bf16.

O que é o nanochat e por que adaptá-lo para uso doméstico

O nanochat é um projeto de código aberto de Andrej Karpathy, ex-diretor de IA da Tesla e cofundador da OpenAI. Seu lema: "treine seu próprio ChatGPT por $100". O pipeline original foi pensado para um cluster de oito GPUs NVIDIA H100 com 80 GB de memória de vídeo cada, hardware de classe profissional inacessível para a maioria dos desenvolvedores entusiastas.

• O modelo habrGPT: 0,5 bilhão de parâmetros (0.5B), treinado do zero, sem fine-tuning de um modelo pronto
• Corpus: artigos do Habr, a maior comunidade de TI em russo
• Hardware do experimento: uma GPU doméstica, bem mais fraca que 8×H100 de 80 GB
• Formatos comparados: fp8 contra bf16
• Meta mínima: obter geração de texto coerente

O autor testa quão realista é o slogan "$100 e seu próprio ChatGPT" fora de data centers profissionais e quanto a qualidade se degrada ao adaptar o treino para hardware doméstico.

O corpus do Habr basta para treinar um modelo de linguagem?

O Habr é uma das maiores plataformas técnicas em russo, com dezenas de milhares de artigos sobre programação, DevOps, aprendizado de máquina e segurança da informação. Usá-lo como corpus de treinamento resulta em um modelo com um estilo "habrês" bem marcado: tecnicamente competente, repleto de código e de terminologia especializada.

A principal questão do experimento não é o estilo, e sim o volume de dados. Modelos de linguagem treinados do zero exigem uma quantidade enorme de texto até para aprender a gramática básica. Os artigos do Habr formam um corpus de qualidade, mas temático e bem menor que os corpora da web normalmente usados para treinar LLMs. Os autores estabelecem uma meta modesta: verificar se o material basta para o modelo "pelo menos conseguir juntar duas palavras".

Fp8 contra bf16: o que muda no treinamento doméstico

Fp8 e bf16 são formatos de números de ponto flutuante. Deles dependem diretamente a precisão dos cálculos e o consumo de memória de vídeo no treinamento de redes neurais.

O bf16 (bfloat16) virou o padrão da maioria dos treinamentos modernos de LLMs: é preciso o bastante e tem suporte nativo nas GPUs NVIDIA desde a arquitetura Ampere. O fp8 é um formato mais agressivo, que consome metade da memória de vídeo. Isso permite encaixar um modelo maior na mesma GPU doméstica ou acelerar a passagem das épocas, ao custo de uma possível perda de precisão nos gradientes.

Para treinar em casa, o fp8 é especialmente atraente: ele reduz a

exigência de memória de vídeo justamente onde ela é mais escassa.

A comparação entre fp8 e bf16 no corpus em russo do Habr vai mostrar como a redução agressiva de precisão afeta a coerência e a gramática do texto gerado, e se a memória economizada compensa a perda de qualidade.

O que isso significa

O experimento habrGPT demonstra que treinar do zero um modelo de linguagem pequeno deixou de ser privilégio exclusivo de clusters na nuvem. O nanochat de Karpathy combinado ao fp8 coloca a tarefa ao alcance de um único desenvolvedor com GPU de consumo, ainda que ao custo de concessões na precisão dos cálculos e no volume de dados de treinamento. A barreira de entrada para a pesquisa prática com LLMs continua caindo.

É possível treinar uma rede neural de texto sem a nuvem?

Sim, o artigo descreve o treinamento do habrGPT em uma GPU doméstica, em vez de um cluster profissional na nuvem.

O que é o nanochat?

Um projeto de código aberto de Andrej Karpathy (ex-diretor de IA da Tesla e cofundador da OpenAI) para treinar modelos de linguagem com um orçamento de cerca de $100.