Швейцарский Apertus 1.5 получил зрение, слух и контекст в 262 тысячи токенов

Швейцарский проект Apertus выпустил Apertus 1.5, обновление открытых моделей на 8B и 70B параметров. Теперь они принимают изображения и аудио, умеют переключаться в режим размышлений, работают с контекстом в 262 144 токена (в четыре раза больше, чем у Apertus 1.0) и лучше вызывают внешние инструменты. Веса вышли на Hugging Face 24 июля 2026 года под Apache 2.0, а подробный технический отчёт опубликован в октябре. Это дообучение первой версии: 8B-модель получила ещё 4 трлн токенов текстовых и мультимодальных данных (итого 19 трлн), 70B получила 2 трлн (итого 17 трлн).

Главная особенность релиза в том, как команда добавила мультимодальность. Открытость тоже полная: веса, данные, рецепты обучения и ценностная хартия лежат в публичном доступе.

Мультимодальность без отдельного энкодера

Вместо привычной связки с визуальным энкодером разработчики выбрали раннюю фузию. Изображения и аудио превращаются в дискретные токены и идут в одной последовательности с текстом. Картинки токенизирует Emu3.5: изображение 512×512 даёт 1 024 токена. Звук обрабатывает WavTokenizer, 40 токенов на секунду. Архитектура остаётся прежней, расширяется только словарь, так что обучение идёт на скорости текстовой модели. Есть и ограничение: модели понимают картинки и звук, но генерируют только текст. Работа с речью пока считается экспериментальной.

Предобучение шло в четыре стадии: несвязанные данные (текст плюс отдельные картинки и аудио), парные данные (подписи к изображениям и транскрипты), cooldown с упором на математику и код и наращивание контекста с 8k до 262k токенов. Больше половины токенов остались чисто текстовыми, чтобы не потерять языковые навыки Apertus 1.0. Текстовый корпус обновили за счёт FineWeb2-HQ+, FinePDFs и Nemotron-CC. Условия те же: только публичные данные с разрешающими лицензиями, а отказы через robots.txt учитываются задним числом.

Пять стадий постобучения

После предобучения модели проходят цепочку SFT, SFT на длинном контексте, RL, DPO и выравнивание по хартии (SDPO).

• SFT на 3,7 млн текстовых примеров плюс данные по изображениям и речи. Трейсы рассуждений добавляют только к тем промптам, которые модель не решает без них. Данные по tool use ограничены траекториями, проверенными исполнением.
• SFT на полном окне 262k возвращает способность работать с длинным контекстом, которую ослабляет короткое обучение.
• RLVR с проверяемыми наградами примерно на 350 тыс. промптов по математике, коду, следованию инструкциям, мультиязычности и зрению, с включённым и выключенным режимом размышлений.
• DPO на парах, размеченных судьёй, улучшает качество чата, работу с инструментами и безопасность.
• SDPO выравнивает модель по Apertus Charter через обратную связь судьи и самодистилляцию. Этот этап применён только к 8B.

В абляциях команда заметила любопытную вещь: мультимодальные данные в SFT улучшают результаты по всем модальностям. А выигрыш от мультимодальных трейсов рассуждений переживает последующий текстовый RL: математика растёт сильнее, чем при старте с чисто текстового чекпойнта.

Что показывают бенчмарки

Авторы честно пишут, что модели всё ещё уступают передовым open-weight решениям. Тем не менее прогресс заметен.

• Apertus 1.5 8B опережает открытые модели схожего размера на задачах следования инструкциям и мультиязычности.
• Режим размышлений поднимает результаты на сложных бенчмарках вроде AIME.
• По мультимодальности модель ближе к Gemma 4 12B и другим актуальным open-weight решениям. Она конкурентна в пространственном понимании и в работе с документами и графиками среди полностью открытых моделей.
• На швейцарских юридических задачах модель на уровне ведущих open-weight моделей.
• На Last Translation Benchmark 8B-версия равна GPT-OSS-20B и обходит Claude Haiku 4.5 и Google Translate.

Отдельный акцент сделан на прозрачности оценок. Результаты опубликованы в формате Every Eval Ever вместе с EvalEval Coalition: фиксируется не только счёт, но и кто запускал тест, как получен доступ к модели, какие настройки генерации использованы. По оценке EvalEval, схема покрывает 56 из 60 элементов отчётности, которых требуют статья 55 EU AI Act и GPAI Code of Practice. Тесты работают на публичном форке lm-evaluation-harness, поэтому их можно перезапустить.

Где взять и что дальше

В релиз входят базовые модели, SFT, RL, DPO и финальные чекпойнты для 8B и 70B (финальная 70B соответствует стадии DPO). На Hugging Face выложены промежуточные чекпойнты, текстовая SFT-смесь, пул предпочтений и обучающие пары. Код опирается на Megatron-LM и verl. Модели уже интегрировали Proton Lumo и Infomaniak Euria. API анонсировали Swisscom, Infomaniak, Phoeniqs и другие провайдеры.

Для европейских компаний с жёсткими требованиями к происхождению данных и комплаенсу это один из немногих вариантов, где можно проверить весь путь от корпуса до чекпойнта. Исследователям доступны все стадии для изучения. Загрузок на Hugging Face уже больше пяти миллионов. Следующий шаг команда обозначила на AI+X Summit в Цюрихе: Apertus 2.0 с разреженной MoE-архитектурой на примерно 600B параметров, более длинным расписанием обучения и приоритетом на агентов, математику и код.