Colibri на чистом C запускает MoE-модели на 700B+ параметров без GPU

Обычно разговор о запуске огромных open-weight моделей заканчивается одним: «нужна стойка с GPU». Репозиторий Colibri предлагает другой путь. Судя по посту в агрегаторе AI Radar, проект набрал около 47,4 тысячи звёзд, из них 802 за один день. Это сильный сигнал интереса, хотя сам пост посмотрели всего 29 раз, а подробностей в нём почти нет. Разберёмся, что известно и что стоит проверить самим.

Что заявлено

Colibri описывают как движок на чистом C для запуска крупных MoE-моделей на обычных компьютерах. Ключевая фишка: эксперты подгружаются с диска по мере необходимости. В списке поддерживаемых семейств указаны GLM, Kimi, DeepSeek и Qwen. Главный тезис автора поста: модели размером 700B и больше можно запускать без видеокарты.

Чистый C здесь тоже аргумент. Это минимум зависимостей, простая сборка и понятный контроль над памятью. Для инфраструктурного кода, где важно, сколько байт и когда читается с диска, это разумный выбор.

Как это работает на простом примере

MoE (Mixture of Experts) устроена так: в каждом слое модели есть десятки или сотни «экспертов», то есть отдельных блоков весов. Для каждого токена специальный роутер выбирает лишь несколько из них. Остальные в этот момент простаивают.

Представьте библиотеку на тысячи книг. Для ответа на конкретный вопрос нужны страницы из восьми книг. Классический подход тащит всю библиотеку в рабочую комнату, то есть в видеопамять или оперативку. Для 700B-модели это сотни гигабайт. Подход Colibri, как его описывают, другой: на столе лежит только нужное, а остальное остаётся на стеллаже, то есть на SSD. Когда роутер просит новых экспертов, движок читает их с диска.

Простая арифметика показывает масштаб. 700 млрд параметров в 4-битном формате занимают примерно 350 ГБ. В оперативку обычного ПК это не влезет, а на хороший NVMe-диск поместится. За один токен реально читается лишь доля этих весов, и именно на этом держится вся идея.

Ограничения, о которых молчит пост

Во-первых, скорость. NVMe-диск читает на порядки медленнее, чем память GPU. Если каждый токен требует свежих экспертов, генерация упрётся в диск. В посте нет ни одной цифры токенов в секунду, а это главная метрика. Возможно, получится терпимо для пакетной обработки или экспериментов, но интерактивный чат или агентный цикл с десятками вызовов могут оказаться мучительными.

Во-вторых, диск. Нужны сотни гигабайт свободного места и быстрый накопитель. На старом SATA или HDD картина будет заметно хуже.

В-третьих, качество и совместимость. Неизвестно, какие форматы квантизации поддерживаются и насколько результат совпадает с эталонными реализациями. Заявление «работает с DeepSeek, Kimi, GLM, Qwen» ещё не значит, что работает каждая версия каждой модели.

Наконец, сам источник. Пост выглядит как автоматическая выжимка трендового репозитория. Цифры звёзд и перечень моделей лучше проверить прямо на GitHub.

Что с этим делать на практике

Если вы разработчик или основатель, который оценивает self-hosted LLM, Colibri стоит добавить в список для быстрого теста. Порядок действий простой:

• Прочитайте README и список поддерживаемых моделей и форматов.
• Возьмите одну MoE-модель средних размеров и замерьте токены в секунду на своём SSD.
• Сравните результат с арендой GPU или с обычным API. Для редких задач, приватных данных и офлайн-сценариев диск вместо видеокарты может оказаться выгоднее.
• Не закладывайте проект в продакшен, пока не увидите стабильные бенчмарки и живую историю коммитов.

Большая картина такая: MoE-архитектура делает гигантские модели менее требовательными к вычислениям на токен, а инструменты вроде Colibri пытаются сделать их менее требовательными к железу. Если заявления подтвердятся, порог входа для экспериментов с моделями уровня 700B заметно снизится. Но пока это обещание, а не измеренный результат.