Le créateur de LILA a présenté une architecture AI compacte et contesté l'approche de Sam Altman

L'auteur du projet Sovereign-Lila-Leech a publié le manifeste LILA et a affirmé qu'une architecture géométrique basée sur le réseau de Leech pourrait radicalement réduire le coût des modèles de langage. Le pari principal ne porte pas sur de nouveaux centres de données, mais sur des modèles compacts pouvant fonctionner hors ligne sur les appareils des utilisateurs.

En quoi consiste l'idée de LILA

Au cœur du projet se trouve la tentative d'intégrer une géométrie fixe du réseau de Leech — l'un des objets les plus connus des mathématiques en 24 dimensions — dans un transformer. D'après la description du dépôt, les projections query et key entraînables standard sont remplacées par un noyau orthogonal gelé, et une fonction de perte supplémentaire rapproche les représentations cachées des directions sélectionnées du réseau. L'auteur présente cela comme un moyen de s'éloigner de l'approche brute force et de rendre le comportement du modèle plus interprétable.

«

Les mathématiques ne doivent pas être calculées — elles doivent exister. »

Dans l'article lui-même, cette idée est formulée comme un manifeste contre l'« IA d'entreprise » : l'auteur oppose quelques lignes de code et une priorité géométrique aux grands budgets d'OpenAI et de Qualcomm. Mais si l'on fait abstraction de la couche journalistique, la thèse est claire : toute l'efficacité de l'IA ne doit pas nécessairement provenir de l'augmentation des paramètres, des calculs et de l'infrastructure ; une partie des gains peut être recherchée au niveau de la structure même du modèle.

Ce que promet le projet

Le manifeste revendique des effets d'une ambition maximale : une compression géométrique de 44,9 fois, une quantification native sur 2 bits et la possibilité d'exécuter des modèles allant jusqu'à 4 milliards de paramètres sur des appareils mobiles. L'auteur insiste également sur l'autonomie hors ligne complète, les coûts d'inférence serveur nuls et la confidentialité des données utilisateur. Il ne s'agit donc pas simplement d'une nouvelle idée architecturale, mais d'une proposition pour une nouvelle pile technologique pour l'edge AI.

À un niveau plus concret, les documents publics du projet se présentent ainsi :

• le dépôt GitHub décrit un modèle de base de 20 millions de paramètres, Leech-Lila ;
• le README mentionne un entraînement sur TinyStories et FineWeb-edu sur une seule NVIDIA T4 dans Google Colab ;
• le code et les poids sont publiés en open source sous AGPLv3 ;
• un preprint décrivant l'approche est disponible sur Zenodo ;
• le projet est présenté comme du code de recherche adapté aux expériences sur les biais inductifs géométriques.

Le README précise également des points de référence plus concrets : un rang stable de la première couche de 8,55, une capacité effective d'environ 440 millions de paramètres et un résultat de 0,129 bits par caractère sur TinyStories. L'auteur interprète cela comme la preuve que la régularisation géométrique peut apporter des gains disproportionnés même sur un petit modèle. Mais pour l'instant, ces chiffres concernent une configuration de recherche compacte, et non un produit grand public.

Où des questions se posent

Le principal point de nuance est que le manifeste et la description technique du projet s'expriment avec des niveaux de confiance différents. L'article évoque une compression de 44,9 fois et un changement presque révolutionnaire pour l'IA mobile, tandis que le README du dépôt lui-même mentionne une compression de 22 fois, des métriques sur TinyStories et le statut explicite de Preuve de Concept / Code de Recherche. Cela ne rend pas le travail sans intérêt, mais montre que la validation industrielle et les comparaisons reproductibles sont encore loin.

Le deuxième point concerne la comparaison avec Qualcomm. L'auteur fait référence à un preprint de Qualcomm AI Research du 11 mars 2026 sur la quantification vectorielle sur le réseau de Leech et l'interprète comme une reconnaissance tardive de la puissance de ces mathématiques. Mais les deux travaux ont des objectifs différents : Qualcomm écrit sur la compression de LLM via la quantification vectorielle, tandis que LILA propose de fixer la géométrie à l'intérieur du mécanisme d'attention. Il est donc trop tôt pour déclarer une victoire claire d'une approche sur l'autre. Le projet ne dispose actuellement d'aucun benchmark indépendant, d'aucune révision par les pairs ni de comparaisons sur de grandes tâches pratiques.

Ce que cela signifie

L'histoire de LILA est intéressante non pas comme un « tueur » prouvé des grands modèles, mais comme le signal qu'une course expérimentale autour de l'edge AI et de l'efficacité architecturale recommence. Si de telles idées se confirment lors de tests reproductibles, le marché obtiendra davantage de modèles locaux avec une moindre dépendance au cloud. Dans le cas contraire, le manifeste marque tout de même un changement important : le débat dans l'IA ne porte plus seulement sur la taille, mais aussi sur les mathématiques de la structure interne des modèles.