habrGPT : entraînement d’un LLM 0.5B à partir de zéro sur des articles de Habr — nanochat de Karpathy et comparaison entre fp8 et bf16

Un développeur sur Habr a publié une expérience : l'entraînement du modèle de langage habrGPT avec 500 millions de paramètres à partir de zéro sur un corpus d'articles de la plateforme — en utilisant une GPU domestique au lieu d'un cluster professionnel. Le travail est basé sur le nanochat d'Andrey Karpathy, la comparaison portant sur les formats d'entraînement fp8 et bf16.

Qu'est-ce que nanochat et pourquoi l'adapter à la maison ?

nanochat est un projet open-source d'Andrey Karpathy, ancien Directeur IA chez Tesla et cofondateur d'OpenAI. Sa thèse centrale : « entraînez votre propre ChatGPT pour $100 ». Dans le pipeline original, l'entraînement est conçu pour un cluster de huit GPUs NVIDIA H100 avec 80 Go de mémoire vidéo chacun — du matériel de classe professionnelle inaccessible pour la plupart des développeurs passionnés.

• Modèle habrGPT : 0,5 milliard de paramètres (0.5B), entraîné à partir de zéro — sans affinage fin d'un modèle existant
• Corpus : articles de Habr — la plus grande communauté IT russiophone
• Matériel de l'expérience : une GPU domestique, significativement plus faible que 8×H100 80 Go
• Formats comparés : fp8 versus bf16
• Objectif minimal : réaliser une génération de texte cohérente

L'auteur teste le réalisme du slogan « $100 et votre propre ChatGPT » en dehors des datacenters professionnels et la dégradation de la qualité lors de l'adaptation au matériel domestique.

Le corpus

Habr est-il suffisant pour entraîner un modèle de langage ?

Habr est l'une des plus grandes plateformes techniques russiphones avec des dizaines de milliers d'articles sur la programmation, DevOps, l'apprentissage automatique et la sécurité de l'information. L'utiliser comme corpus d'entraînement signifie obtenir un modèle avec un « style Habr » prononcé : techniquement compétent, saturé de code et de terminologie spécialisée.

La question principale de l'expérience n'est pas le style, mais le volume de données. Les modèles de langage entraînés à partir de zéro nécessitent une énorme quantité de texte même pour maîtriser la grammaire de base. Les articles de Habr constituent un corpus thématiquement spécifique et de haute qualité, mais significativement plus petit que les corpus web généralement utilisés pour entraîner les LLMs. Les auteurs fixent un objectif modeste : vérifier s'il y a suffisamment de matériel pour que le modèle « puisse au moins enchaîner quelques mots ».

Fp8 versus bf16 : quelle est la différence pour l'entraînement à la maison ?

Fp8 et bf16 sont des formats de stockage de nombres en virgule flottante qui affectent directement la précision computationnelle et la consommation de mémoire GPU lors de l'entraînement des réseaux neuronaux.

Bf16 (bfloat16) est devenu le standard pour la plupart des entraînements modernes de LLM : il est suffisamment précis et nativement pris en charge par les GPUs NVIDIA à partir de l'architecture Ampere. Fp8 est un format plus agressif qui consomme moitié moins de mémoire vidéo. Cela permet d'adapter un modèle plus grand à la même GPU domestique ou d'accélérer les passages d'époque — au prix d'une perte potentielle de précision des gradients.

Pour l'entraînement à la maison, fp8 est particulièrement attrayant :

il réduit les exigences de mémoire vidéo précisément où elle est la plus rare.

La comparaison de fp8 et bf16 sur le corpus Habr russophone montrera comment la réduction agressive de la précision affecte la cohérence et la grammaire du texte généré — et si la mémoire économisée justifie la perte de qualité.

Ce que cela signifie

L'expérience habrGPT démontre : l'entraînement d'un petit modèle de langage à partir de zéro a cessé d'être un privilège exclusif des clusters cloud. Le nanochat de Karpathy combiné avec le format fp8 rend cette tâche réalisable pour un seul développeur avec une GPU grand public — même au prix de compromis sur la précision computationnelle et le volume de données d'entraînement. La barrière d'entrée pour la recherche pratique en LLM continue de baisser.