Kairos: байтовая модель для всех модальностей сошлась на 440 байтах

Независимый исследователь, публикующий код под ником fabienfrfr, выложил отчёт о Kairos. Это архитектура байтовой фундаментальной модели, которая должна читать и генерировать текст, изображения, аудио, видео, лидарные облака и управляющие потоки в одном байтовом пространстве. Реальных результатов пока мало: модели на 1–15 млн параметров переобучали на одной фразе из 440 байт. Автор сам оговаривает, что отчёт отвечает на вопрос «оптимизируется ли это вообще», а не «полезно ли это».

Что собрано внутри

Kairos склеивает несколько недавних идей. Блок внимания LiZAttention2 объединяет двунаправленное линейное внимание gated-DeltaNet и внимание со скользящим окном поверх общих проекций. Поверх идёт блочная агрегация Attention-Residual и разреженный слой Mixture-of-Experts в роли feed-forward. Входные данные любой модальности превращаются в байты через многомасштабный кодек. Обучение идёт по задаче шумоподавления с равномерным шумом: модель восстанавливает байты из зашумлённой последовательности. Отдельно описан шлюз памяти рекуррентного состояния между сессиями. Для каждого компонента в отчёте есть алгоритмы, выведенные из кода.

Что именно проверили

Эксперимент намеренно скромный. Автор обучал небольшие модели на единственной локальной машине и смотрел, падает ли функция потерь. Кодеки и варианты внимания гоняли с тремя сидами, ещё семь факторов проверили единичными запусками. Ключевые цифры:

• LiZAttention2 и одно оконное внимание за 3000 шагов доходят до минимальной потери около 10⁻³.
• После 600 шагов средняя минимальная потеря у кодеков лежит в диапазоне от 0,018 (patch-кодек) до 0,354 (depthwise-свёрточный кодек).
• Порядок кодеков одинаков на всех трёх сидах.
• Размер моделей в тесте: 1–15 млн параметров, только текст.
• Целевая конфигурация: 200M параметров всего, 25M активных. Расчёт аналитический, пропускная способность не измерялась.

Наиболее интересен вывод про общие и раздельные проекции внимания. Сначала общие проекции давали видимое преимущество. С ростом числа шагов или разнообразия данных оно исчезает, а при замороженных проекциях знак эффекта меняется на обратный. Автор трактует это как ускорение сходимости, а не прирост ёмкости. Вывод скорее методологический: на одной фразе легко принять ранний отрыв за архитектурное достоинство.

Перегруппировка и сравнение кодеков тоже требуют осторожности. Разрыв между patch-кодеком и depthwise-свёрткой в десятки раз по потере показывает, что на крошечной задаче выбор кодека решает скорость запоминания. Что он даст на реальных данных, отчёт не говорит. Обобщение, мультимодальное обучение и сопоставление с существующими моделями в работу не вошли. Всё это автор оставляет на запланированный претрейн.

Кому это пригодится

Как готовый инструмент Kairos пока рано использовать. Код открыт на GitHub, пакет kairos-fm опубликован в PyPI, так что компоненты можно разобрать и подключить в свои эксперименты. Особенно полезны исследователям, которые тестируют линейное внимание и MoE на ограниченном железе: отчёт показывает, как быстро отсеять неработающие комбинации. Практический вывод для тех, кто сравнивает архитектуры на малых моделях: проверяйте эффект на большем числе шагов и более разнообразных данных, иначе ускорение сходимости легко принять за выигрыш в ёмкости. Об успехе идеи байтового пространства для всех модальностей можно будет судить после претрейна на реальных данных и замеров пропускной способности.