Liquid AI выпустила LFM3: шесть мультимодальных моделей на 2B с контекстом 256K

Liquid AI выпустила LFM3 — поколение моделей, которое собрано вокруг одной идеи: специализированный интеллект должен жить рядом с приложением, а не в облаке. Шесть моделей класса 2B закрывают текст, зрение, звук, omni-режим и калиброванные ответы. Все они ветвятся от одной базы LFM3-1.7B-Base, и каждую можно дообучить на одной GPU. Текстовая LFM3-1.7B обходит прежнюю LFM2.5-2.6B с 35% меньшим числом параметров, при 4-битной квантизации занимает около 1 ГБ и держит контекст 256K токенов.

Три типа слоёв вместо двух

LFM2 показала, что гибрид коротких сверток и внимания быстро работает на устройстве без потери качества. Для LFM3 команда снова прогнала поиск архитектуры с аппаратной обратной связью (hardware-in-the-loop), теперь по 14 комбинациям устройств и бэкендов: от телефонов и Raspberry Pi 5 до ноутбуков, облачных CPU, GPU и NPU Qualcomm Hexagon. Задача была в том, чтобы дать агентам больше возможностей на параметр и быстрый вывод на длинном контексте.

В LFM3-1.7B-Base 24 слоя, и устроены они так:

• 13 управляемых (gated) коротких сверток с ядром 7 вместо 3 в LFM2;
• 5 слоёв внимания со скользящим окном в 256 токенов;
• 6 слоёв глобального внимания;
• головное гейтирование внимания: сигмоида масштабирует выход каждой головы, и голова может отключиться, когда ей нечего добавить. Это помогает гасить выбросы активаций, которые мешают квантизации;
• частичный RoPE в глобальных слоях: вращается только высокочастотная половина каждой головы, вторая половина сопоставляет содержание независимо от расстояния;
• sandwich norm: нормализация и на входе блока, и на выходе.

Выигрыш проявляется на длине. На коротких промптах LFM3-1.7B на устройствах соответствует LFM2-1.2B в пересчёте на параметр, а при 8K токенов контекста работает примерно на 25% быстрее. Предобучение заняло 22 трлн токенов со словарём 128K, как у LFM2.5-8B-A1B. Последние 3,5 трлн токенов ушли на mid-training на отобранных данных с повышенной долей агентных трасс и вызовов инструментов, там же контекст расширили до 256K.

Шесть моделей и два новых энкодера

Вместо одной большой универсальной модели Liquid предлагает выбрать ту, что подходит под входные данные:

• LFM3-1.7B — текст на входе и выходе, база LFM3-1.7B-Base;
• LFM3-VL-2B — текст, изображения и видео на входе, текст на выходе; первая зрительная модель Liquid с видео;
• LFM3-Audio-2B — текст и звук на входе, текст и речь на выходе; 18 языков;
• LFM3-Omni-2B — текст, изображения, видео и звук на входе, текст и речь на выходе; первая omni-модель компании;
• d1-2B — на базе LFM3-VL-2B, выдаёт калиброванные ответы;
• d1-omni-2B — то же на базе LFM3-Omni-2B, с аудио на входе.

Зрительный энкодер на 164M параметров сочетает свертки и внимание и требует втрое меньше вычислений, чем SigLIP2 в прежних VL-моделях. По точности он равен энкодеру Qwen3.5-2B, но тратит в 2,2 раза меньше FLOPs (замер на одном и том же языковом бэкбоне LFM2.5-230M). Для видео пара отобранных кадров сворачивается в один временной срез, и длина последовательности падает вдвое.

Аудиоэнкодер смешивает скользящее внимание и короткие свертки и полностью каузален, поэтому модель заполняет префилл, пока пользователь ещё говорит. Время до первого токена — от 50 мс. Новый токенизатор LiquidCodec превращает токены в речь примерно в 87 раз быстрее реального времени на одном потоке CPU Apple M4 Max и поддерживает потоковое декодирование.

Цифры, которые важны для агентов

На WebArena-Verified LFM3-1.7B набирает 38,42 против 3,02 у LFM2.5-2.6B. На длинных задачах в браузере и бизнес-приложениях она обходит Qwen3.5-9B. Модель дообучена под агентные оболочки Hermes Agent, Pi и OpenClaw.

LFM3-VL-2B (1,9B параметров против 3,1B у LFM2.5-VL-3B) поднимает среднее по 62 зрительным бенчмаркам с 57,6 до 71,4 и сравнивается с Gemma 4 12B, которая больше более чем в шесть раз. Модель рассуждает пошагово, находит объекты и оценивает их взаимное расположение, что нужно робототехнике. LFM3-Audio-2B улучшает качество синтеза с 3,22 до 3,83 по UTMOSv2 относительно LFM2.5-Audio-1.5B и добавляет понимание аудио и вызов инструментов по голосовым запросам. LFM3-Omni-2B на Daily-Omni, WorldSense и AV-SpeakerBench обходит модели до 10,7B, включая Qwen2.5-Omni-7B.

С чего начать на одной видеокарте

Все модели запускаются через transformers: для текстовой хватит последней версии, для VL нужна 5.21.0 или новее, для Audio и Omni — 5.20.2 и выше, с флагом trust_remote_code. Для локальных агентов есть отдельное руководство Agent Harnesses, для llama.cpp и других движков инструкции лежат в карточках моделей.

Практический смысл экономический. Связку из ASR, VLM, LLM и TTS можно заменить одной Omni-моделью, а это меньше сервисов, меньше задержек на стыках и ноль токенов, отправленных в облако. Команде с узкой предметной областью — медицинской терминологией, складскими терминами, внутренними интерфейсами — достаточно одной GPU, чтобы дообучить 2B-модель и разместить её на ноутбуке, телефоне или одноплатнике. Начинать стоит с LFM3-1.7B для вызова инструментов и структурированных выводов, а мультимодальные версии подключать тогда, когда на входе появляются камера или микрофон.