Kairos : un modèle d'octets pour toutes les modalités converge sur 440 octets

Le chercheur indépendant qui publie son code sous le pseudonyme fabienfrfr a mis en ligne un rapport sur Kairos. Il s'agit d'une architecture de modèle de fondation en octets, censée lire et générer du texte, des images, de l'audio, de la vidéo, des nuages de points lidar et des flux de contrôle dans un même espace d'octets. Les résultats concrets restent rares : des modèles de 1 à 15 millions de paramètres ont été sur-entraînés sur une seule phrase de 440 octets. L'auteur précise lui-même que le rapport répond à la question « est-ce que cela s'optimise seulement ? » et non à « est-ce utile ? ».

Ce qu'il y a sous le capot

Kairos assemble plusieurs idées récentes. Le bloc d'attention LiZAttention2 combine l'attention linéaire bidirectionnelle gated-DeltaNet et l'attention à fenêtre glissante, sur des projections communes. Viennent ensuite une agrégation par blocs Attention-Residual et une couche Mixture-of-Experts parcimonieuse qui joue le rôle de feed-forward. Les données d'entrée, quelle que soit leur modalité, sont converties en octets par un codec multi-échelle. L'entraînement repose sur une tâche de débruitage avec bruit uniforme : le modèle reconstruit les octets à partir d'une séquence bruitée. Le rapport décrit par ailleurs une porte de mémoire pour l'état récurrent entre les sessions. Pour chaque composant, il fournit des algorithmes dérivés du code.

Ce qui a réellement été testé

L'expérience est volontairement modeste. L'auteur a entraîné de petits modèles sur une seule machine locale et observé si la fonction de perte diminuait. Les codecs et les variantes d'attention ont été lancés avec trois seeds, et sept autres facteurs ont été testés en exécution unique. Chiffres clés :

• LiZAttention2 et l'attention à fenêtre seule atteignent une perte minimale d'environ 10⁻³ en 3000 pas.
• Après 600 pas, la perte minimale moyenne des codecs va de 0,018 (codec patch) à 0,354 (codec à convolution depthwise).
• L'ordre des codecs est identique sur les trois seeds.
• Taille des modèles du test : 1 à 15 millions de paramètres, texte uniquement.
• Configuration cible : 200M de paramètres au total, 25M actifs. Il s'agit d'un calcul analytique ; le débit n'a pas été mesuré.

La conclusion la plus intéressante concerne les projections d'attention communes ou séparées. Au départ, les projections communes offraient un avantage visible. Il disparaît quand le nombre de pas ou la diversité des données augmente, et le signe de l'effet s'inverse lorsque les projections sont gelées. L'auteur y voit une accélération de la convergence, et non un gain de capacité. La leçon est plutôt méthodologique : sur une seule phrase, il est facile de prendre une avance précoce pour une qualité de l'architecture.

Le regroupement et la comparaison des codecs appellent eux aussi de la prudence. L'écart de plusieurs dizaines de fois sur la perte entre le codec patch et la convolution depthwise montre que, sur une tâche minuscule, le choix du codec détermine la vitesse de mémorisation. Ce qu'il apportera sur des données réelles, le rapport ne le dit pas. La généralisation, l'entraînement multimodal et la comparaison avec les modèles existants ne font pas partie du travail. L'auteur les renvoie au pré-entraînement prévu.

À qui cela peut servir

Il est trop tôt pour utiliser Kairos comme outil prêt à l'emploi. Le code est ouvert sur GitHub et le paquet kairos-fm est publié sur PyPI : les composants peuvent donc être décortiqués et branchés dans ses propres expériences. Le rapport est surtout utile aux chercheurs qui testent l'attention linéaire et le MoE sur du matériel limité : il montre comment écarter rapidement les combinaisons qui ne fonctionnent pas.

Pour ceux qui comparent des architectures sur de petits modèles, l'enseignement pratique est le suivant : vérifiez l'effet sur davantage de pas et des données plus variées, faute de quoi une accélération de la convergence passe facilement pour un gain de capacité. Le succès de l'idée d'un espace d'octets commun à toutes les modalités ne pourra être jugé qu'après un pré-entraînement sur des données réelles et des mesures de débit.