Ai2 lleva a COLM 2026 tres modelos abiertos: Olmo Hybrid, Asta y Bolmo

Tres proyectos y una estrategia de ciencia abierta

Ai2 llegó a COLM 2026 en San Francisco con un portafolio de desarrollos abiertos que refleja la estrategia del laboratorio: crear artefactos de investigación que puedan estudiarse y modificarse, y desarrollar herramientas de IA para la ciencia junto con expertos del área. En la conferencia se celebró un encuentro de Open Science, Open House, donde el líder de producto de Asta, Rubén Lozano, y el líder de escalado de Olmo, Iz Beltagy, debatieron con los asistentes la filosofía del desarrollo abierto. Como laboratorio sin fines de lucro, Ai2 aborda cuestiones científicas fundamentales mientras publica modelos, datos, código y metodología. Para la organización, la colaboración abierta no es un aspecto secundario, sino la forma principal de trabajar.

Olmo Hybrid: una arquitectura pensada para la eficiencia

En la conferencia se presentó el paper "Olmo Hybrid: From Theory to Practice and Back", que estudia una arquitectura que combina la atención de los transformers (que recupera detalles específicos de texto anterior) con capas recurrentes lineales (que mantienen un estado compacto). La investigación conecta la teoría sobre la capacidad representacional de estas arquitecturas con experimentos de entrenamiento controlados.

Olmo Hybrid mostró una mejora medible: alcanzó la precisión del modelo base Olmo 3 7B en los benchmarks MMLU (que abarcan conocimientos de múltiples disciplinas) usando un 49% menos de tokens durante el entrenamiento. Estos resultados están alimentando el desarrollo de la próxima versión de Olmo, actualmente en preentrenamiento con una arquitectura híbrida de mixture-of-experts que combina atención y recurrencia, enrutando cada token a través de un subconjunto de componentes del modelo.

Ai2 también abrió la infraestructura detrás de este trabajo. Olmo-core 3, publicada antes de COLM, incluye un sistema rediseñado para entrenar grandes modelos mixture-of-experts. Los investigadores pueden usar el código para desarrollar sus propios modelos y estudiar las decisiones de entrenamiento, junto con checkpoints e informes técnicos del ecosistema Olmo. Google recién reprodujo el entrenamiento de Olmo 3 7B en MaxText sobre TPUs de Google Cloud, lo que subraya la reproducibilidad del enfoque totalmente abierto.

Asta: una plataforma para la ciencia agéntica

En la conferencia, el director senior de investigación en NLP, Noah A. Smith, conversó con el líder de comunicaciones Kyle Wiggers sobre el desarrollo de la próxima iteración de Olmo y el trabajo en modelos agénticos. Las herramientas científicas deben ajustarse a las tareas reales de los investigadores, por eso Ai2 desarrolla Asta junto con científicos y estudia tanto las capacidades como las limitaciones de estos sistemas.

Recientemente se lanzó AstaBrief, un modelo abierto que genera informes citables a partir de preguntas científicas y la literatura encontrada. Los investigadores pueden usarlo en el modo Fast de la plataforma Asta o descargar el modelo para ejecutarlo en su propia infraestructura. Ai2 trabaja directamente con comunidades científicas para identificar dónde los modelos de propósito general resultan insuficientes y qué capacidades deben soportar los futuros desarrollos abiertos. El investigador senior Bodhisattwa Prasad Majumder asistió a COLM para ampliar estos diálogos, presentando varios papers relevantes.

Bolmo: el texto a través de bytes

Durante la conferencia, Nature publicó "Retrofitting language models to operate over bytes", la investigación que sustenta a Bolmo. La mayoría de los modelos de lenguaje dividen el texto en fragmentos tomados de un vocabulario fijo. Bolmo, en cambio, opera con los bytes básicos que representan los caracteres, lo que permite capturar detalles que la tokenización en subpalabras suele ocultar. El artículo describe cómo convertir un modelo de lenguaje existente a este enfoque con un entrenamiento adicional relativamente breve.

Junto con la publicación se lanzaron checkpoints adicionales que permiten a los investigadores experimentar con la arquitectura por su cuenta. Al compartir tanto los hallazgos como los materiales, Ai2 le da a otros científicos la posibilidad de poner a prueba el enfoque y seguir desarrollándolo.