El creador de LILA presentó una arquitectura compacta de AI y cuestionó el enfoque de Sam Altman

Автор проекта Sovereign-Lila-Leech опубликовал манифест LILA и заявил, что геометрическая архитектура на решетке Лича может радикально удешевить языковые модели. Главная ставка — не на новые дата-центры, а на компактные модели, которые можно запускать офлайн на клиентских устройствах.

В чем идея LILA В основе проекта — попытка встроить в трансформер фиксированную геометрию решетки

Лича, одного из самых известных объектов в 24-мерной математике. По описанию в репозитории, стандартные обучаемые проекции query и key заменяются на замороженное ортогональное ядро, а дополнительная функция потерь подтягивает скрытые представления к выбранным направлениям решетки. Автор подает это как способ уйти от brute force-подхода и сделать поведение модели более интерпретируемым.

«Математика не должна вычисляться — она должна существовать».

В самой статье эта идея оформлена как манифест против «корпоративного ИИ»: автор противопоставляет несколько строк кода и геометрический приоритет большим бюджетам OpenAI и Qualcomm. Но если убрать публицистический слой, тезис понятный: не вся эффективность в ИИ обязана приходить из роста параметров, вычислений и инфраструктуры; часть выигрыша можно искать на уровне самой структуры модели.

Что обещает проект В манифесте заявлены максимально амбициозные

эффекты: 44,9-кратное геометрическое сжатие, нативная 2-битная квантизация и возможность запускать модели масштаба до 4 млрд параметров на мобильных устройствах. Автор также делает акцент на полной офлайн-автономии, нулевых затратах на серверный инференс и конфиденциальности пользовательских данных. То есть речь идет не просто о еще одной архитектурной идее, а о заявке на новый стек для edge AI.

На более приземленном уровне публичные материалы проекта выглядят так: в GitHub-репозитории описана 20-миллионная базовая модель Leech-Lila; в README говорится об обучении на TinyStories и FineWeb-edu на одной NVIDIA T4 в Google Colab; код и веса опубликованы open source под AGPLv3; препринт с описанием подхода размещен на Zenodo; * проект позиционируется как research code, пригодный для экспериментов с геометрическими индуктивными смещениями. В README указаны и более конкретные ориентиры: stable rank первого слоя 8,55, эффективная емкость около 440 млн параметров и результат 0,129 bits-per-character на TinyStories. Автор интерпретирует это как признак того, что геометрическая регуляризация может давать непропорциональный выигрыш даже на небольшой модели.

Но пока эти числа относятся к компактному исследовательскому сетапу, а не к массовому продукту.

Где возникают вопросы

Главный нюанс в том, что манифест и техническое описание проекта звучат с разной степенью уверенности. В статье говорится о 44,9-кратном сжатии и почти революционном перевороте для мобильного ИИ, а в README самого репозитория фигурирует 22-кратное сжатие, метрики на TinyStories и прямой статус Proof-of-Concept / Research Code. Это не делает работу бессмысленной, но показывает, что до промышленной проверки и воспроизводимых сравнений пока далеко.

Второй момент — сравнение с Qualcomm. Автор ссылается на препринт Qualcomm AI Research от 11 марта 2026 года о векторной квантизации на решетке Лича и трактует его как запоздалое признание силы этой математики. Но задачи у работ разные: Qualcomm пишет о сжатии LLM через vector quantization, тогда как LILA предлагает фиксировать геометрию внутри attention-механизма.

Поэтому говорить о прямой победе одного подхода над другим рано. Независимых бенчмарков, peer review и сравнений на больших практических задачах у проекта пока нет.

Что это значит

История LILA интересна не как доказанный «убийца» больших моделей, а как сигнал, что вокруг edge AI и архитектурной эффективности снова начинается экспериментальная гонка. Если подобные идеи подтвердятся на воспроизводимых тестах, рынок получит больше локальных моделей с меньшей зависимостью от облака. Если нет, манифест все равно фиксирует важный сдвиг: спор в ИИ идет уже не только о размере, но и о математике внутреннего устройства моделей.