Ai2 présente trois modèles ouverts à COLM 2026 : Olmo Hybrid, Asta et Bolmo

Trois projets et une stratégie de science ouverte

Ai2 est arrivée à COLM 2026 à San Francisco avec un portfolio de développements ouverts qui reflète la stratégie du laboratoire : créer des artefacts de recherche accessibles à l'étude et à la modification, et développer des outils d'IA pour la science en collaboration avec des experts. La conférence a accueilli une session Open Science, Open House, où le lead produit d'Asta, Rubén Lozano, et le scale-lead d'Olmo, Iz Beltagy, ont discuté de la philosophie des développements ouverts avec les participants. En tant que laboratoire à but non lucratif, Ai2 travaille sur des questions scientifiques fondamentales tout en publiant modèles, données, code et méthodologie.

Pour l'organisation, la collaboration ouverte n'est pas un aspect secondaire, mais le mode de fonctionnement principal.

Olmo Hybrid : une architecture pour l'efficacité

La conférence a présenté l'article « Olmo Hybrid: From Theory to Practice and Back », qui étudie une architecture combinant l'attention des transformeurs (qui récupère des détails spécifiques dans le texte antérieur) avec des couches récurrentes linéaires (qui maintiennent un état compact). La recherche relie la théorie sur les capacités représentationnelles de ces architectures à des expériences contrôlées lors de l'entraînement.

Olmo Hybrid a montré un gain mesurable : il atteint la précision du modèle de référence Olmo 3 7B sur les benchmarks MMLU (un benchmark couvrant les connaissances dans de nombreux domaines) en utilisant 49% de tokens en moins lors de l'entraînement. Ces résultats alimentent le développement de la prochaine version d'Olmo, actuellement en pré-entraînement avec une architecture hybride mixture-of-experts, qui combine attention et récurrence en routant chaque token vers un sous-ensemble des composants du modèle.

Ai2 a ouvert l'infrastructure de cet axe de recherche. Olmo-core 3, publié avant COLM, contient un système repensé pour l'entraînement de grands modèles mixture-of-experts. Les chercheurs peuvent utiliser ce code pour développer leurs propres modèles et étudier les choix d'entraînement, aux côtés des checkpoints et des rapports techniques issus de l'écosystème Olmo. Google a récemment reproduit l'entraînement d'Olmo 3 7B dans MaxText sur Google Cloud TPU, soulignant la reproductibilité de cette approche entièrement ouverte.

Asta : une plateforme pour la science agentique

Lors de la conférence, le directeur senior de la recherche NLP, Noah A. Smith, a échangé avec le responsable communication Kyle Wiggers sur le développement de la prochaine itération d'Olmo et sur les travaux liés aux modèles agentiques. Les outils scientifiques doivent répondre aux besoins réels des chercheurs — c'est pourquoi Ai2 développe Asta en collaboration directe avec des scientifiques, en étudiant à la fois les capacités et les limites de ces systèmes.

AstaBrief a récemment été publié : un modèle ouvert qui génère des rapports citables à partir de questions scientifiques et de la littérature trouvée. Les chercheurs peuvent l'utiliser via le mode Fast de la plateforme Asta, ou télécharger le modèle pour l'exécuter sur leur propre infrastructure. Ai2 travaille directement avec les communautés scientifiques pour identifier les lacunes des modèles généralistes et les capacités que devront offrir les futurs développements ouverts. Le chercheur senior Bodhisattwa Prasad Majumder était présent à COLM pour élargir ces échanges, en présentant plusieurs articles pertinents.

Bolmo : le texte via les octets

Au cours de la conférence, Nature a publié l'article « Retrofitting language models to operate over bytes », une recherche qui est à la base de Bolmo. La plupart des modèles de langage découpent le texte en segments issus d'un vocabulaire fixe. Bolmo travaille directement avec les octets de base représentant les caractères, ce qui permet de prendre en compte des détails qui échappent à la tokenisation en sous-mots. L'article décrit comment transformer un modèle de langage existant vers cette approche grâce à un entraînement supplémentaire relativement court.

Parallèlement à la publication, des checkpoints supplémentaires ont été mis à disposition, permettant aux chercheurs d'expérimenter eux-mêmes cette architecture. En rendant publics ces découvertes et ces ressources, Ai2 donne à d'autres scientifiques la possibilité de tester cette approche et de la développer davantage.