habrGPT: entrenamiento de una LLM 0.5B desde cero con artículos de Habr — nanochat de Karpathy y comparación entre fp8 y bf16

Un desarrollador en Habr ha publicado un experimento: el entrenamiento del modelo de lenguaje habrGPT con 500 millones de parámetros desde cero en un corpus de artículos de la plataforma — usando una GPU doméstica en lugar de un cluster profesional. El trabajo se basa en el nanochat de Andrey Karpathy, con la comparación centrada en los formatos de entrenamiento fp8 y bf16.

¿Qué es nanochat y por qué adaptarlo en casa?

nanochat es un proyecto de código abierto de Andrey Karpathy, ex-Director de IA en Tesla y cofundador de OpenAI. Su tesis central: "entrena tu propio ChatGPT por $100". En el pipeline original, el entrenamiento está diseñado para un cluster de ocho GPUs NVIDIA H100 con 80 GB de memoria de vídeo cada una — hardware de clase profesional inaccesible para la mayoría de desarrolladores entusiastas.

• Modelo habrGPT: 0,5 mil millones de parámetros (0.5B), entrenado desde cero — sin ajuste fino de un modelo existente
• Corpus: artículos de Habr — la mayor comunidad de TI de habla rusa
• Hardware del experimento: una GPU doméstica, significativamente más débil que 8×H100 80 GB
• Formatos comparados: fp8 versus bf16
• Objetivo mínimo: lograr generación coherente de texto

El autor comprueba qué tan realista es el lema "$100 y tu propio ChatGPT" fuera de los datacenters profesionales y cuánto se degrada la calidad cuando se adapta para hardware doméstico.

¿Es suficiente el corpus de

Habr para entrenar un modelo de lenguaje?

Habr es una de las mayores plataformas técnicas de habla rusa con decenas de miles de artículos sobre programación, DevOps, aprendizaje automático y seguridad de la información. Utilizarlo como corpus de entrenamiento significa obtener un modelo con un "estilo Habr" pronunciado: técnicamente competente, saturado de código y terminología especializada.

La pregunta principal del experimento no es el estilo, sino el volumen de datos. Los modelos de lenguaje entrenados desde cero requieren una cantidad masiva de texto incluso para dominar la gramática básica. Los artículos de Habr constituyen un corpus temáticamente específico y de alta calidad, pero significativamente menor en tamaño que los corpus web normalmente utilizados para entrenar LLMs. Los autores establecen un objetivo modesto: verificar si hay material suficiente para que el modelo "al menos pueda encadenar un par de palabras".

Fp8 versus bf16: ¿cuál es la diferencia para el entrenamiento en casa?

Fp8 y bf16 son formatos de almacenamiento de números de punto flotante que afectan directamente a la precisión computacional y al consumo de memoria GPU durante el entrenamiento de redes neuronales.

Bf16 (bfloat16) se ha convertido en el estándar para la mayoría de entrenamientos modernos de LLM: es suficientemente preciso y nativamente soportado por GPUs NVIDIA a partir de la arquitectura Ampere. Fp8 es un formato más agresivo que consume la mitad de la memoria de vídeo. Esto permite ajustar un modelo más grande en la misma GPU doméstica o acelerar los pasos de épocas — al costo de una posible pérdida de precisión de gradientes.

Para el entrenamiento en casa, fp8 es especialmente atractivo: reduce

los requisitos de memoria de vídeo precisamente donde es más escasa.

La comparación de fp8 y bf16 en el corpus Habr de habla rusa mostrará cómo la reducción agresiva de precisión afecta la coherencia y la gramática del texto generado — y si la memoria ahorrada vale la pérdida en calidad.

Qué significa esto

El experimento habrGPT demuestra: el entrenamiento de un modelo de lenguaje pequeño desde cero ha dejado de ser un privilegio exclusivo de clusters en la nube. El nanochat de Karpathy combinado con el formato fp8 hace que esta tarea sea viable para un único desarrollador con una GPU de consumo — aunque al costo de compromisos en la precisión computacional y en el volumen de datos de entrenamiento. La barrera de entrada para la investigación práctica en LLMs continúa bajando.