Диффузионные языковые модели бросают вызов GPT: рекорд скорости в 892 токена

# Диффузионные модели переписывают правила: 100 миллиардов параметров, 892 токена в секунду

Индустрия языковых моделей получила неожиданный вызов. Исследователи продемонстрировали, что диффузионные подходы к генерации текста, долгое время считавшиеся медленными и неэффективными, способны не только конкурировать с классическими архитектурами вроде GPT, но и превосходить их по скорости. Диффузионная языковая модель объёмом 100 миллиардов параметров достигла рекордной скорости генерации в 892 токена в секунду — показатель, который ставит под сомнение устоявшиеся взгляды на то, как должны работать современные большие языковые модели.

Это достижение особенно значимо потому, что диффузионные методы долгие годы оставались на периферии в контексте текстовых задач. Тогда как в компьютерном зрении диффузионные модели завоевали авторитет и произвели революцию в синтезе изображений, в обработке текста преобладала авторегрессионная парадигма — та самая, на которой построены ChatGPT и его конкуренты. Авторегрессионные модели предсказывают следующий токен, исходя из всех предыдущих, что требует последовательных проходов через нейросеть и замедляет процесс.

Диффузионные языковые модели работают принципиально иначе. Вместо того чтобы генерировать текст слово за словом, они стартуют с шумовых данных и постепенно уточняют выходное значение через несколько этапов дерезинфекции. Парадокс: при таком подходе, казалось бы требующем больше вычислительных операций, новая 100-миллиардная модель показала скорость в 892 токена в секунду. Это примерно в два раза быстрее, чем типичные показатели современных авторегрессионных моделей аналогичного размера. Технический прорыв кроется в оптимизации алгоритма дерезинфекции и архитектуры сети, позволяющей параллельно обрабатывать множество позиций в тексте, а не ждать завершения предсказания одного токена для перехода к следующему.

Значение этого результата выходит далеко за рамки простого установления скоростного рекорда. Успешное масштабирование диффузионной модели до 100 миллиардов параметров доказывает, что этот подход не является тупиком в инженерном смысле. Если диффузионные модели могут работать с такой производительностью, они открывают новые пути для оптимизации. Производители могут снизить задержку, улучшить пропускную способность серверов и снизить энергопотребление — критически важные факторы в эпоху расходов на облачные вычисления.

Для индустрии это означает, что будущее языковых моделей не обязательно привязано к авторегрессионной архитектуре. OpenAI, Google DeepMind и другие лаборатории вложили огромные ресурсы в оптимизацию именно авторегрессионного подхода, но появление конкурентной альтернативы может заставить пересмотреть стратегии. Компании, которые инвестировали в исследование диффузионных методов, получают ощутимое преимущество. Для конечных пользователей это может означать более быстрые ответы от AI-ассистентов, более дешёвые API и более энергоэффективные локальные модели.

Однако стоит проявлять осторожность в интерпретации результатов. Скорость генерации токенов — это далеко не единственный критерий качества модели. Важны также качество текста, способность справляться с долгосрочными зависимостями и логической последовательностью. Предстоит понять, может ли диффузионный подход не уступать авторегрессионным в смысле содержательности и точности ответов при равных вычислительных ресурсах.

Это событие символизирует переходный момент в AI-индустрии, когда доминирующая парадигма начинает ощущать конкуренцию. Если диффузионные модели подтвердят свою жизнеспособность и на других параметрах, мы можем стать свидетелями подлинного разнообразия архитектур в mainstream-AI, каждая со своими сильными сторонами.