Runpod собрал дайджест: Llama-2 с контекстом 32k токенов и SDXL 1.0 в открытом доступе

Облачный GPU-провайдер Runpod опубликовал второй выпуск еженедельного дайджеста RoundUp. В нём две главные позиции: Llama-2 с поддержкой контекста до 32 тысяч токенов и публичный релиз SDXL 1.0. Базовая Llama-2 от Meta рассчитана на 4096 токенов, так что окно выросло в восемь раз. Третий пункт про новинку Stability AI в доступном анонсе обрезан на слове Stable, поэтому гадать о нём мы не будем.

Отдельная оговорка про источник. Сам дайджест короткий и почти целиком состоит из ссылок на чужие релизы. Эти релизы относятся к лету 2023 года, а дата публикации в ленте стоит другая. Скорее всего, запись переиндексировали. Для читателя это значит одно: перед нами сводка уже вышедших вещей, а не свежая новость. Тем не менее обе позиции хорошо показывают, где у владельцев GPU реальные узкие места.

Llama-2 на 32k: откуда берётся длинное окно

Meta выпустила Llama-2 в трёх размерах: 7B, 13B и 70B параметров. Контекст у всех трёх составлял 4096 токенов. Версии с 32k появились позже, их сделали сторонние команды, в частности Together AI с моделью LLaMA-2-7B-32K. Обычно для этого применяют интерполяцию позиций: позиционные эмбеддинги растягивают на более длинную последовательность и дообучают модель на длинных текстах. Архитектура остаётся прежней, меняется только то, как модель различает расстояния между токенами.

Практическая польза понятна. В 32 тысячах токенов помещается порядка 80–100 страниц текста, то есть длинный договор, большой модуль кода или стенограмма многочасовой встречи целиком. Без нарезки на куски и без отдельного поиска по векторной базе.

За это приходится платить памятью. Посчитаем для Llama-2-7B в fp16: 32 слоя, скрытая размерность 4096. KV-кэш на один токен занимает 2 × 32 × 4096 × 2 байта, то есть 512 КБ. На 32 тысяч токенов выходит около 16 ГБ, и это на один запрос. Сами веса модели весят примерно 14 ГБ. Итого одна длинная сессия не помещается в 24 ГБ видеопамяти, и нужна карта на 40 или 80 ГБ либо квантизация.

SDXL 1.0: что получили пользователи

SDXL 1.0 от Stability AI стала доступна публично в конце июля 2023 года. Модель работает в связке из двух частей: базовая сеть генерирует картинку, а refiner дорабатывает детали. Базовая часть насчитывает около 3,5 млрд параметров, весь ансамбль примерно 6,6 млрд. Это заметно больше, чем у Stable Diffusion 1.5, и родное разрешение выросло до 1024×1024. Веса выложили под лицензией CreativeML Open RAIL++-M, поэтому их можно запускать и дообучать самостоятельно.

Для провайдеров вроде Runpod это прямой спрос на аренду. Люди, у которых дома карта на 8 ГБ, переносят SDXL в облако и платят почасово.

Ключевые цифры

• Контекст Llama-2: 4096 → 32 000 токенов, рост примерно в 8 раз.
• Размеры Llama-2: 7B, 13B, 70B параметров.
• KV-кэш Llama-2-7B в fp16: около 512 КБ на токен, около 16 ГБ на 32k токенов.
• Веса Llama-2-7B в fp16: около 14 ГБ.
• SDXL 1.0: около 3,5 млрд параметров в базовой модели, около 6,6 млрд в связке с refiner.
• Родное разрешение SDXL: 1024×1024.

Что проверить на практике

Если вы планируете гонять длинный контекст на арендованных GPU, считайте память заранее. Для 7B-модели с окном 32k закладывайте минимум 40 ГБ на одну параллельную сессию, а для нескольких одновременных запросов нужна карта на 80 ГБ или инференс-движок с постраничным управлением KV-кэша, например vLLM. Квантизация весов в 8 или 4 бита освободит память, но кэш придётся сжимать отдельно.

С SDXL проще. Для генерации в 1024×1024 хватает карты на 16–24 ГБ, а refiner можно включать только там, где важны детали. Прежде чем арендовать железо под длинное окно, проверьте, не решает ли вашу задачу обычный RAG на 4k. Он дешевле, и на многих сценариях его качество не хуже.