Cómo entrenar una red neuronal de texto en casa: habrGPT y una comparación entre fp8 y bf16

En Habr, un desarrollador describió el entrenamiento de habrGPT, un modelo de lenguaje para texto de 500 millones de parámetros, desde cero con el corpus de artículos de la plataforma y con una GPU doméstica. La base es nanochat de Andrej Karpathy, y la comparación gira en torno a dos formatos de entrenamiento: fp8 y bf16.

Qué es nanochat y por qué adaptarlo para usarlo en casa

nanochat es un proyecto de código abierto de Andrej Karpathy, exdirector de IA en Tesla y cofundador de OpenAI. Su lema: «entrena tu propio ChatGPT por $100». El pipeline original está pensado para un clúster de ocho GPU NVIDIA H100 con 80 GB de memoria de vídeo cada una, hardware de clase profesional al que la mayoría de los desarrolladores aficionados no tiene acceso.

• El modelo habrGPT: 0,5 mil millones de parámetros (0.5B), entrenado desde cero, no a partir del ajuste fino de un modelo existente
• Corpus: artículos de Habr, la mayor comunidad informática en ruso
• Hardware del experimento: una GPU doméstica, bastante más débil que 8×H100 de 80 GB
• Formatos comparados: fp8 frente a bf16
• Objetivo mínimo: lograr una generación de texto coherente

El autor comprueba hasta qué punto es realista el lema «$100 y tu propio ChatGPT» fuera de los centros de datos profesionales, y cuánto se degrada la calidad al adaptarlo a hardware doméstico.

¿Basta el corpus de

Habr para entrenar un modelo de lenguaje?

Habr es una de las mayores plataformas técnicas en ruso, con decenas de miles de artículos sobre programación, DevOps, aprendizaje automático y seguridad informática. Usarla como corpus de entrenamiento da un modelo con un estilo «habresco» marcado: técnicamente solvente, cargado de código y de terminología especializada.

La pregunta principal del experimento no es el estilo, sino el volumen de datos. Los modelos de lenguaje entrenados desde cero necesitan una enorme cantidad de texto incluso para dominar la gramática básica. Los artículos de Habr forman un corpus de calidad pero temáticamente específico y mucho más pequeño que los corpus web con los que suelen entrenarse los LLM. Los autores fijan una meta modesta: comprobar si el material alcanza para que el modelo «al menos sepa enlazar un par de palabras».

Fp8 frente a bf16: qué cambia para el entrenamiento doméstico

Fp8 y bf16 son formatos de números de coma flotante. De ellos dependen directamente la precisión de los cálculos y el consumo de memoria de vídeo al entrenar redes neuronales.

Bf16 (bfloat16) se ha convertido en el estándar de la mayoría de los entrenamientos modernos de LLM: es lo bastante preciso y las GPU de NVIDIA lo admiten de forma nativa desde la arquitectura Ampere. Fp8 es un formato más agresivo que consume la mitad de memoria de vídeo. Eso permite alojar un modelo mayor en la misma GPU doméstica o acelerar el paso de las épocas, a costa de una posible pérdida de precisión en los gradientes.

Para entrenar en casa, fp8 resulta especialmente atractivo: reduce los

requisitos de memoria de vídeo justo donde más escasea.

La comparación de fp8 y bf16 con el corpus ruso de Habr mostrará cómo afecta la reducción agresiva de precisión a la coherencia y la gramática del texto generado, y si la memoria ahorrada compensa la pérdida de calidad.

Qué significa

El experimento habrGPT demuestra que entrenar desde cero un modelo de lenguaje pequeño ha dejado de ser un privilegio exclusivo de los clústeres en la nube. El nanochat de Karpathy combinado con fp8 pone la tarea al alcance de un solo desarrollador con una GPU de consumo, aunque a costa de concesiones en la precisión de cálculo y en el volumen de datos de entrenamiento. La barrera de entrada a la investigación práctica con LLM sigue bajando.

¿Se puede entrenar una red neuronal de texto sin la nube?

Sí, el artículo describe el entrenamiento de habrGPT en una GPU doméstica en lugar de un clúster profesional en la nube.

¿Qué es nanochat?

Un proyecto de código abierto de Andrej Karpathy (exdirector de IA en Tesla y cofundador de OpenAI) para entrenar modelos de lenguaje con un presupuesto de unos $100.