Ai2 привезла на COLM 2026 три открытые модели: Olmo Hybrid, Asta и Bolmo

Три проекта и стратегия открытой науки

Ai2 приехала на COLM 2026 в Сан-Франциско с портфелем открытых разработок, отражающих стратегию лаборатории: создавать исследовательские артефакты, доступные для изучения и модификации, и развивать AI-инструменты для науки совместно с экспертами. На конференции прошла встреча Open Science, Open House, где лид продукта Asta Rubén Lozano и скейл-лид Olmo Iz Beltagy обсуждали философию открытых разработок с участниками. Как некоммерческая лаборатория, Ai2 занимается фундаментальными вопросами науки, одновременно публикуя модели, данные, код и методологию. Для организации открытое сотрудничество — не вторичный аспект, а основной способ работы.

Olmo Hybrid: архитектура для эффективности

На конференции представили статью «Olmo Hybrid: From Theory to Practice and Back», изучающую архитектуру, объединяющую трансформер-внимание (retrieves specific details from earlier text) с линейными рекуррентными слоями (maintain a compact state). Исследование связало теорию о представительных возможностях этих архитектур с контролируемыми экспериментами при обучении.

Олмо Гибрид показал измеримый прирост: достиг точности базовой модели Olmo 3 7B на тестах MMLU (benchmark, охватывающий знания по множеству предметов) используя на 49% меньше токенов при обучении. Эти результаты питают разработку следующей версии Olmo, находящейся в предварительном обучении с гибридной mixture-of-experts архитектурой, которая комбинирует внимание и рецеентность, маршрутизируя каждый токен через подмножество компонентов модели.

Ai2 открыла инфраструктуру этого направления. Выпущенная перед COLM Olmo-core 3 содержит переработанную систему для обучения больших mixture-of-experts моделей. Исследователи могут использовать код для разработки собственных моделей и изучения решений при обучении, наряду с чекпойнтами и техническими отчётами из экосистемы Olmo. Google недавно пересоздала тренировку Olmo 3 7B в MaxText на Google Cloud TPUs, подчёркивая воспроизводимость полностью открытого подхода.

Asta: платформа для агентской науки

На конференции старший директор по NLP-исследованиям Noah A. Smith обсудил с коммьюникационным лидом Kyle Wiggers развитие следующей итерации Olmo и работу над агентскими моделями. Научные инструменты должны соответствовать реальным задачам учёных — поэтому Ai2 разрабатывает Asta совместно с исследователями и изучает как возможности, так и ограничения систем.

Недавно выпущена AstaBrief — открытая модель, которая генерирует цитируемые отчёты на основе научных вопросов и найденной литературы. Учёные могут использовать её в режиме Fast платформы Asta или загрузить модель для запуска на собственной инфраструктуре. Ai2 работает напрямую с научными сообществами, изучая, где general-purpose модели недостаточны и какие возможности должны поддерживать будущие открытые разработки. Старший научный сотрудник Bodhisattwa Prasad Majumder присутствовал на COLM для расширения этих диалогов, представив несколько релевантных статей.

Bolmo: текст через байты

В ходе конференции в журнале Nature опубликована статья «Retrofitting language models to operate over bytes» — исследование, лежащее в основе Bolmo. Большинство языковых моделей разбивают текст на чанки из фиксированного словаря. Bolmo работает с базовыми байтами, представляющими символы, что позволяет учитывать детали, скрытые при субсловной токенизации. Статья описывает преобразование существующей языковой модели в этот подход с помощью сравнительно короткого дополнительного обучения.

Вместе с публикацией выпущены дополнительные чекпойнты, позволяющие исследователям экспериментировать с архитектурой самостоятельно. Открытие находок и материалов даёт другим учёным возможность протестировать подход и развивать его дальше.