habrGPT: обучение LLM 0.5B с нуля на статьях Хабра — nanochat Карпатого и сравнение fp8 с bf16

Разработчик на Хабре опубликовал эксперимент: обучение языковой модели habrGPT объёмом 500 млн параметров с нуля на корпусе статей платформы — на домашнем GPU вместо профессионального кластера. За основу взят nanochat Андрея Карпатого, а в центре сравнения — форматы обучения fp8 и bf16.

Что такое nanochat и зачем адаптировать его дома

nanochat — открытый проект Андрея Карпатого, бывшего директора по AI в Tesla и сооснователя OpenAI. Его ключевой тезис: «за $100 обучите свой ChatGPT». В оригинальном пайплайне обучение рассчитано на кластер из восьми видеокарт NVIDIA H100 по 80 ГБ видеопамяти каждая — профессиональный класс оборудования, недоступный большинству разработчиков-энтузиастов.

• Модель habrGPT: 0,5 млрд параметров (0.5B), обучена с нуля — без дообучения готовой модели
• Корпус: статьи Хабра — крупнейшего русскоязычного IT-сообщества
• Оборудование эксперимента: домашний GPU, значительно слабее 8×H100 80 ГБ
• Сравниваемые форматы: fp8 против bf16
• Минимальная цель: достичь связной генерации текста

Автор проверяет, насколько реалистичен лозунг «$100 и свой ChatGPT» за пределами профессиональных датацентров и насколько деградирует качество при адаптации под домашнее железо.

Хватит ли корпуса Хабра для обучения языковой модели

Хабр — одна из крупнейших русскоязычных технических платформ с десятками тысяч статей по программированию, DevOps, машинному обучению и информационной безопасности. Использовать его в качестве обучающего корпуса — значит получить модель с выраженным «хабровским» стилем: технически грамотным, насыщенным кодом и специализированной терминологией.

Главный вопрос эксперимента — не стиль, а объём данных. Языковые модели, обучаемые с нуля, требуют огромного массива текста даже для освоения базовой грамматики. Статьи Хабра — тематически специфичный и качественный корпус, но значительно меньший по размеру, чем веб-корпуса, на которых обычно тренируют LLM. Авторы ставят скромную планку: проверить, хватит ли материала, чтобы модель «хотя бы смогла связать пару слов».

Fp8 против bf16: в чём разница для домашнего обучения

Fp8 и bf16 — форматы хранения чисел с плавающей точкой, от которых напрямую зависят точность вычислений и потребление видеопамяти при обучении нейросетей.

Bf16 (bfloat16) стал стандартом для большинства современных LLM-тренировок: он достаточно точен и нативно поддерживается видеокартами NVIDIA начиная с архитектуры Ampere. Fp8 — более агрессивный формат, потребляющий вдвое меньше видеопамяти. Это позволяет на том же домашнем GPU уместить модель большего размера или ускорить прохождение эпох — ценой потенциальной потери точности градиентов.

Для обучения дома fp8 особенно привлекателен: он снижает требования к

видеопамяти именно там, где она в наибольшем дефиците.

Сравнение fp8 и bf16 на русскоязычном корпусе Хабра покажет, как агрессивное снижение точности сказывается на связности и грамматике генерируемого текста — и стоит ли сэкономленная память потерь в качестве.

Что это значит

Эксперимент habrGPT демонстрирует: обучение небольшой языковой модели с нуля перестало быть исключительной привилегией облачных кластеров. nanochat Карпатого в связке с форматом fp8 делает эту задачу посильной для одного разработчика с потребительским GPU — пусть и ценой компромиссов в точности вычислений и объёме обучающих данных. Порог входа в практическое LLM-исследование продолжает снижаться.