Runpod publica su resumen: Llama-2 con contexto de 32k tokens y SDXL 1.0 de acceso público

El proveedor de GPU en la nube Runpod ha publicado la segunda edición de su resumen semanal RoundUp. Incluye dos entradas principales: Llama-2 con soporte para contexto de hasta 32 mil tokens y el lanzamiento público de SDXL 1.0. La Llama-2 base de Meta está diseñada para 4096 tokens, así que la ventana ha crecido ocho veces. El tercer punto, sobre una novedad de Stability AI, está cortado en la palabra Stable en el anuncio disponible, por lo que no vamos a especular sobre él.

Una advertencia sobre la fuente. El resumen es breve y casi todo son enlaces a lanzamientos de terceros. Esos lanzamientos corresponden al verano de 2023, pero la fecha de publicación que figura en el feed es otra. Lo más probable es que la entrada se haya reindexado. Para el lector, la conclusión es una: se trata de un compendio de cosas ya publicadas, no de una noticia reciente. Aun así, ambas entradas muestran bien dónde están los cuellos de botella reales para quienes tienen GPU.

Llama-2 a 32k: de dónde sale la ventana larga

Meta lanzó Llama-2 en tres tamaños: 7B, 13B y 70B parámetros. Los tres tenían un contexto de 4096 tokens. Las versiones de 32k llegaron más tarde y las crearon equipos externos, entre ellos Together AI con el modelo LLaMA-2-7B-32K. Lo habitual es aplicar interpolación de posiciones: se estiran los embeddings posicionales a una secuencia más larga y se reentrena el modelo con textos largos. La arquitectura se mantiene; lo único que cambia es cómo distingue el modelo las distancias entre tokens.

La utilidad práctica es evidente. En 32 mil tokens caben unas 80–100 páginas de texto: un contrato largo, un módulo de código grande o la transcripción completa de una reunión de varias horas. Sin trocear en fragmentos y sin búsqueda aparte en una base de datos vectorial.

Esto se paga con memoria. Hagamos la cuenta para Llama-2-7B en fp16: 32 capas, dimensión oculta de 4096. La KV-cache por token ocupa 2 × 32 × 4096 × 2 bytes, es decir, 512 KB. Para 32 mil tokens salen unos 16 GB, y eso por una sola solicitud. Los pesos del modelo ocupan por sí solos unos 14 GB. En total, una sola sesión larga no cabe en 24 GB de VRAM: hace falta una tarjeta de 40 u 80 GB o recurrir a la cuantización.

SDXL 1.0: qué han recibido los usuarios

SDXL 1.0, de Stability AI, pasó a estar disponible públicamente a finales de julio de 2023. El modelo funciona con dos partes combinadas: la red base genera la imagen y el refiner pule los detalles. La parte base tiene unos 3,5 mil millones de parámetros y el conjunto completo, unos 6,6 mil millones. Es notablemente más grande que Stable Diffusion 1.5, y la resolución nativa ha subido a 1024×1024. Los pesos se publicaron bajo la licencia CreativeML Open RAIL++-M, por lo que se pueden ejecutar y ajustar por cuenta propia.

Para proveedores como Runpod, esto se traduce directamente en demanda de alquiler. Quienes tienen en casa una tarjeta de 8 GB llevan SDXL a la nube y pagan por horas.

Cifras clave

• Contexto de Llama-2: 4096 → 32 000 tokens, un aumento de aproximadamente 8 veces.
• Tamaños de Llama-2: 7B, 13B, 70B parámetros.
• KV-cache de Llama-2-7B en fp16: unos 512 KB por token, unos 16 GB para 32k tokens.
• Pesos de Llama-2-7B en fp16: unos 14 GB.
• SDXL 1.0: unos 3,5 mil millones de parámetros en el modelo base, unos 6,6 mil millones junto con el refiner.
• Resolución nativa de SDXL: 1024×1024.

Qué comprobar en la práctica

Si planea ejecutar contexto largo en GPU alquiladas, calcule la memoria de antemano. Para un modelo de 7B con ventana de 32k, reserve como mínimo 40 GB por cada sesión en paralelo; para varias solicitudes simultáneas hace falta una tarjeta de 80 GB o un motor de inferencia con gestión paginada de la KV-cache, como vLLM. La cuantización de los pesos a 8 o 4 bits liberará memoria, pero la caché habrá que comprimirla por separado.

Con SDXL es más sencillo. Para generar a 1024×1024 basta una tarjeta de 16–24 GB, y el refiner puede activarse solo donde importen los detalles. Antes de alquilar hardware para una ventana larga, compruebe si su tarea no se resuelve con un RAG convencional con 4k. Es más barato y, en muchos escenarios, su calidad no es peor.