habrGPT: treinamento de uma LLM 0.5B do zero com artigos do Habr — nanochat de Karpathy e comparação entre fp8 e bf16

Um desenvolvedor no Habr publicou um experimento: o treinamento do modelo de linguagem habrGPT com 500 milhões de parâmetros do zero em um corpus de artigos da plataforma — usando uma GPU doméstica em vez de um cluster profissional. O trabalho é baseado no nanochat de Andrey Karpathy, com a comparação centrada em formatos de treinamento fp8 e bf16.

O que é nanochat e por que adaptá-lo em casa

nanochat é um projeto de código aberto de Andrey Karpathy, ex-Diretor de IA na Tesla e cofundador da OpenAI. Sua tese central: "treine seu próprio ChatGPT por $100". No pipeline original, o treinamento foi projetado para um cluster de oito GPUs NVIDIA H100 com 80 GB de memória de vídeo cada — hardware de classe profissional inacessível para a maioria dos desenvolvedores entusiastas.

• Modelo habrGPT: 0,5 bilhão de parâmetros (0.5B), treinado do zero — sem fine-tuning de um modelo existente
• Corpus: artigos do Habr — a maior comunidade de TI de língua russa
• Hardware do experimento: uma GPU doméstica, significativamente mais fraca que 8×H100 80 GB
• Formatos comparados: fp8 versus bf16
• Objetivo mínimo: alcançar geração coerente de texto

O autor testa o quão realista é o slogan "$100 e seu próprio ChatGPT" fora dos datacenters profissionais e quanto a qualidade se degrada quando adaptada para hardware doméstico.

O corpus do

Habr é suficiente para treinar um modelo de linguagem

Habr é uma das maiores plataformas técnicas de língua russa com dezenas de milhares de artigos sobre programação, DevOps, aprendizado de máquina e segurança da informação. Usá-lo como corpus de treinamento significa obter um modelo com um "estilo Habr" pronunciado: tecnicamente competente, saturado de código e terminologia especializada.

A questão principal do experimento não é o estilo, mas o volume de dados. Modelos de linguagem treinados do zero requerem uma quantidade massiva de texto apenas para dominar a gramática básica. Os artigos do Habr constituem um corpus tematicamente específico e de alta qualidade, mas significativamente menor em tamanho do que os corpus web normalmente usados para treinar LLMs. Os autores estabelecem uma meta modesta: verificar se há material suficiente para o modelo "pelo menos conseguir juntar algumas palavras".

Fp8 versus bf16: qual é a diferença para treinamento em casa

Fp8 e bf16 são formatos de armazenamento de números de ponto flutuante que afetam diretamente a precisão computacional e o consumo de memória GPU durante o treinamento de redes neurais.

Bf16 (bfloat16) tornou-se o padrão para a maioria dos treinamentos modernos de LLM: é suficientemente preciso e nativamente suportado por GPUs NVIDIA a partir da arquitetura Ampere. Fp8 é um formato mais agressivo que consome metade da memória de vídeo. Isso permite ajustar um modelo maior na mesma GPU doméstica ou acelerar as passagens de épocas — ao custo de possível perda de precisão de gradiente.

Para treinamento em casa, fp8 é especialmente atraente: reduz os

requisitos de memória de vídeo precisamente onde ela é mais escassa.

A comparação de fp8 e bf16 no corpus Habr de língua russa mostrará como a redução agressiva de precisão afeta a coerência e a gramática do texto gerado — e se a memória economizada vale a perda de qualidade.

O que isso significa

O experimento habrGPT demonstra: o treinamento de um modelo de linguagem pequeno do zero deixou de ser um privilégio exclusivo de clusters em nuvem. O nanochat de Karpathy combinado com o formato fp8 torna essa tarefa viável para um único desenvolvedor com uma GPU de consumidor — ainda que ao custo de compromissos na precisão computacional e no volume de dados de treinamento. A barreira de entrada para pesquisa prática em LLM continua a diminuir.