Criador do LILA apresentou uma arquitetura compacta de AI e contestou a abordagem de Sam Altman

O autor do projeto Sovereign-Lila-Leech publicou o manifesto LILA e afirmou que uma arquitetura geométrica baseada na rede de Leech pode reduzir radicalmente o custo dos modelos de linguagem. A principal aposta não está em novos data centers, mas em modelos compactos que podem ser executados offline nos dispositivos dos usuários.

Qual é a ideia do LILA

No centro do projeto está a tentativa de incorporar uma geometria fixa da rede de Leech — um dos objetos mais conhecidos da matemática em 24 dimensões — em um transformer. De acordo com a descrição do repositório, as projeções treináveis padrão de query e key são substituídas por um núcleo ortogonal congelado, e uma função de perda adicional puxa as representações ocultas em direção às direções selecionadas da rede. O autor apresenta isso como uma maneira de se afastar da abordagem de força bruta e tornar o comportamento do modelo mais interpretável.

"A matemática não deve ser computada — ela deve existir."

No próprio artigo, essa ideia é enquadrada como um manifesto contra a "IA corporativa": o autor contrasta algumas linhas de código e prioridade geométrica com os grandes orçamentos da OpenAI e da Qualcomm. Mas se removermos a camada jornalística, a tese é clara: nem toda eficiência em IA precisa vir do aumento de parâmetros, computações e infraestrutura; parte dos ganhos pode ser buscada no nível da própria estrutura do modelo.

O que o projeto promete

O manifesto reivindica efeitos de máxima ambição: compressão geométrica de 44,9 vezes, quantização nativa de 2 bits e a capacidade de executar modelos de até 4 bilhões de parâmetros em dispositivos móveis. O autor também enfatiza autonomia offline completa, custos zero de inferência em servidor e privacidade dos dados do usuário. Ou seja, não se trata apenas de mais uma ideia arquitetural, mas de uma proposta para uma nova pilha tecnológica para edge AI.

Em um nível mais concreto, os materiais públicos do projeto se apresentam assim:

• o repositório GitHub descreve um modelo base de 20 milhões de parâmetros, Leech-Lila;
• o README menciona treinamento em TinyStories e FineWeb-edu em uma única NVIDIA T4 no Google Colab;
• o código e os pesos são publicados em código aberto sob AGPLv3;
• um preprint descrevendo a abordagem está disponível no Zenodo;
• o projeto é posicionado como código de pesquisa adequado para experimentos com vieses indutivos geométricos.

O README também especifica benchmarks mais concretos: rank estável da primeira camada de 8,55, capacidade efetiva de cerca de 440 milhões de parâmetros e resultado de 0,129 bits por caractere no TinyStories. O autor interpreta isso como evidência de que a regularização geométrica pode gerar ganhos desproporcionais mesmo em um modelo pequeno. Mas, por enquanto, esses números se referem a uma configuração de pesquisa compacta, não a um produto de massa.

Onde surgem as dúvidas

O principal ponto de atenção é que o manifesto e a descrição técnica do projeto falam com diferentes níveis de confiança. O artigo afirma compressão de 44,9 vezes e uma mudança quase revolucionária para a IA móvel, enquanto o README do próprio repositório menciona compressão de 22 vezes, métricas em TinyStories e o status explícito de Prova de Conceito / Código de Pesquisa. Isso não torna o trabalho sem sentido, mas mostra que a validação industrial e as comparações reproduzíveis ainda estão longe.

O segundo ponto diz respeito à comparação com a Qualcomm. O autor faz referência a um preprint da Qualcomm AI Research de 11 de março de 2026 sobre quantização vetorial na rede de Leech e o interpreta como um reconhecimento tardio do poder dessa matemática. Mas os dois trabalhos têm objetivos diferentes: a Qualcomm escreve sobre compressão de LLM via quantização vetorial, enquanto o LILA propõe fixar a geometria dentro do mecanismo de atenção. Portanto, é cedo para declarar uma vitória clara de uma abordagem sobre a outra. O projeto atualmente não possui benchmarks independentes, revisão por pares ou comparações em grandes tarefas práticas.

O que isso significa

A história do LILA é interessante não como um "assassino" comprovado de grandes modelos, mas como um sinal de que uma corrida experimental em torno de edge AI e eficiência arquitetural está recomeçando. Se essas ideias forem confirmadas por testes reproduzíveis, o mercado ganhará mais modelos locais com menor dependência da nuvem. Caso contrário, o manifesto ainda marca uma mudança importante: o debate em IA não é mais apenas sobre tamanho, mas também sobre a matemática da estrutura interna dos modelos.