Ai2 leva três modelos abertos para a COLM 2026: Olmo Hybrid, Asta e Bolmo

Três projetos e uma estratégia de ciência aberta

A Ai2 chegou à COLM 2026, em San Francisco, com um portfólio de desenvolvimentos abertos que reflete a estratégia do laboratório: criar artefatos de pesquisa que possam ser estudados e modificados, e desenvolver ferramentas de IA para a ciência em parceria com especialistas da área. A conferência recebeu o encontro Open Science, Open House, no qual o líder de produto do Asta, Rubén Lozano, e o líder de escala do Olmo, Iz Beltagy, discutiram com os participantes a filosofia por trás do desenvolvimento aberto. Como laboratório sem fins lucrativos, a Ai2 se dedica a questões científicas fundamentais enquanto publica modelos, dados, código e metodologia.

Para a organização, a colaboração aberta não é um aspecto secundário, mas sim a principal forma de trabalhar.

Olmo Hybrid: uma arquitetura pensada para a eficiência

A conferência apresentou o artigo "Olmo Hybrid: From Theory to Practice and Back", que examina uma arquitetura que combina atenção de transformer (capaz de recuperar detalhes específicos de texto anterior) com camadas recorrentes lineares (que mantêm um estado compacto). A pesquisa conecta a teoria sobre a capacidade representacional dessas arquiteturas a experimentos de treinamento controlados.

O Olmo Hybrid apresentou um ganho mensurável: atingiu a precisão do modelo-base Olmo 3 7B nos benchmarks MMLU (que abrangem conhecimentos de diversas áreas) usando 49% menos tokens durante o treinamento. Esses resultados estão alimentando o desenvolvimento da próxima versão do Olmo, atualmente em pré-treinamento com uma arquitetura híbrida de mixture-of-experts que combina atenção e recorrência, roteando cada token por um subconjunto dos componentes do modelo.

A Ai2 também abriu a infraestrutura por trás desse trabalho. O Olmo-core 3, lançado antes da COLM, traz um sistema redesenhado para treinar grandes modelos mixture-of-experts. Pesquisadores podem usar o código para desenvolver seus próprios modelos e estudar as decisões de treinamento, além de acessar checkpoints e relatórios técnicos do ecossistema Olmo. A Google recentemente reproduziu o treinamento do Olmo 3 7B no MaxText usando TPUs do Google Cloud, reforçando a reprodutibilidade da abordagem totalmente aberta.

Asta: uma plataforma para a ciência agêntica

Na conferência, o diretor sênior de pesquisa em NLP, Noah A. Smith, conversou com o líder de comunicação Kyle Wiggers sobre o desenvolvimento da próxima iteração do Olmo e o trabalho em modelos agênticos. As ferramentas científicas precisam corresponder às tarefas reais dos pesquisadores — por isso a Ai2 desenvolve o Asta em parceria com cientistas, estudando tanto as capacidades quanto as limitações desses sistemas.

Recentemente foi lançado o AstaBrief, um modelo aberto que gera relatórios citáveis a partir de perguntas científicas e da literatura encontrada. Os pesquisadores podem usá-lo no modo Fast da plataforma Asta ou baixar o modelo para executá-lo na própria infraestrutura. A Ai2 trabalha diretamente com comunidades científicas para identificar onde os modelos de propósito geral são insuficientes e quais capacidades os futuros desenvolvimentos abertos devem oferecer. O pesquisador sênior Bodhisattwa Prasad Majumder esteve presente na COLM para ampliar esses diálogos, apresentando diversos artigos relevantes.

Bolmo: texto através de bytes

Durante a conferência, a Nature publicou "Retrofitting language models to operate over bytes", a pesquisa que fundamenta o Bolmo. A maioria dos modelos de linguagem divide o texto em blocos extraídos de um vocabulário fixo. Já o Bolmo opera com os bytes básicos que representam os caracteres, o que permite capturar detalhes que a tokenização em subpalavras costuma ocultar. O artigo descreve como converter um modelo de linguagem já existente para essa abordagem com um treinamento adicional relativamente curto.

Junto com a publicação, foram lançados checkpoints adicionais que permitem aos pesquisadores experimentar a arquitetura por conta própria. Ao compartilhar tanto as descobertas quanto os materiais, a Ai2 dá a outros cientistas a possibilidade de testar a abordagem e levá-la ainda mais longe.