Runpod publica novo resumo: Llama-2 com contexto de 32k tokens e SDXL 1.0 em acesso aberto

A Runpod, provedora de GPUs na nuvem, publicou a segunda edição do seu resumo semanal RoundUp. Duas posições se destacam: a Llama-2 com suporte a contexto de até 32 mil tokens e o lançamento público do SDXL 1.0. A Llama-2 base, da Meta, foi projetada para 4096 tokens, então a janela aumentou oito vezes. O terceiro item, sobre uma novidade da Stability AI, aparece cortado na palavra Stable no anúncio disponível, e por isso não vamos especular sobre ele.

Uma ressalva sobre a fonte. O resumo é curto e consiste quase só de links para lançamentos de terceiros. Esses lançamentos são do verão de 2023, mas a data de publicação no feed é outra. Provavelmente o post foi reindexado. Para o leitor, isso significa que se trata de uma compilação de itens que já saíram, não de uma notícia nova. Ainda assim, as duas posições mostram bem onde estão os gargalos reais de quem tem GPUs.

Llama-2 com 32k: de onde vem a janela longa

A Meta lançou a Llama-2 em três tamanhos: 7B, 13B e 70B parâmetros. Nos três, o contexto era de 4096 tokens. As versões com 32k surgiram depois e foram criadas por equipes independentes, como a Together AI, com o modelo LLaMA-2-7B-32K. Em geral, o método é a interpolação de posições: os embeddings posicionais são esticados para uma sequência mais longa, e o modelo passa por um ajuste fino com textos longos. A arquitetura continua a mesma; muda apenas a forma como o modelo distingue a distância entre os tokens.

O ganho prático é claro. Em 32 mil tokens cabem de 80 a 100 páginas de texto, o que equivale a um contrato extenso, um módulo grande de código ou a transcrição de uma reunião de várias horas, tudo de uma vez. Sem dividir o material em pedaços e sem uma busca separada em banco vetorial.

A conta chega em memória. Vamos calcular para a Llama-2-7B em fp16: 32 camadas, dimensão oculta de 4096. O KV-cache por token ocupa 2 × 32 × 4096 × 2 bytes, ou seja, 512 KB. Para 32 mil tokens, isso dá cerca de 16 GB, e apenas para uma requisição. Os pesos do modelo ocupam cerca de 14 GB. Ou seja, uma única sessão longa não cabe em 24 GB de VRAM: é preciso uma placa de 40 ou 80 GB, ou então quantização.

SDXL 1.0: o que os usuários ganharam

O SDXL 1.0, da Stability AI, ficou disponível publicamente no fim de julho de 2023. O modelo funciona com duas partes combinadas: a rede base gera a imagem, e o refiner refina os detalhes. A parte base tem cerca de 3,5 bilhões de parâmetros, e o conjunto todo, cerca de 6,6 bilhões. É bem mais do que o Stable Diffusion 1.5, e a resolução nativa subiu para 1024×1024. Os pesos foram liberados sob a licença CreativeML Open RAIL++-M, então é possível executá-los e fazer ajuste fino por conta própria.

Para provedores como a Runpod, isso se traduz diretamente em demanda por aluguel. Quem tem em casa uma placa de 8 GB leva o SDXL para a nuvem e paga por hora.

Números principais

• Contexto da Llama-2: 4096 → 32 000 tokens, crescimento de cerca de 8 vezes.
• Tamanhos da Llama-2: 7B, 13B, 70B parâmetros.
• KV-cache da Llama-2-7B em fp16: cerca de 512 KB por token, cerca de 16 GB para 32k tokens.
• Pesos da Llama-2-7B em fp16: cerca de 14 GB.
• SDXL 1.0: cerca de 3,5 bilhões de parâmetros no modelo base, cerca de 6,6 bilhões em conjunto com o refiner.
• Resolução nativa do SDXL: 1024×1024.

O que verificar na prática

Se você pretende rodar contexto longo em GPUs alugadas, calcule a memória com antecedência. Para um modelo de 7B com janela de 32k, reserve no mínimo 40 GB por sessão paralela. Para várias requisições simultâneas, é preciso uma placa de 80 GB ou um mecanismo de inferência com gerenciamento paginado do KV-cache, como o vLLM. A quantização dos pesos em 8 ou 4 bits libera memória, mas o cache precisa ser comprimido separadamente.

Com o SDXL é mais simples. Para gerar em 1024×1024, basta uma placa de 16 a 24 GB, e o refiner pode ser ativado apenas onde os detalhes importam. Antes de alugar hardware para uma janela longa, verifique se um RAG comum com 4k já não resolve o seu problema. Ele é mais barato e, em muitos cenários, a qualidade não é pior.