LLM local en una tarjeta gráfica de 2017: AMD RX 580 + Vulkan + Ollama

La IA local se ha convertido en una realidad incluso para hardware antiguo. AMD RX 580, una tarjeta gráfica de 2017, es capaz de ejecutar modelos de lenguaje modernos en una computadora local a una velocidad de 15–35 tokens por segundo. No es nube, no es API, no son suscripciones — IA pura y local en una máquina que estaba olvidada en un cajón.

Vulkan en lugar de ROCm ROCm — el soporte oficial de AMD para

aceleración de GPU — a menudo crea problemas en Fedora: instalación compleja, incompatibilidades de versión, lagunas en la documentación. Vulkan ofrece una alternativa: es una API gráfica estándar disponible en todas partes, funcionando sin complicaciones. Ollama soporta Vulkan, y esto cambia el juego — no hay más necesidad de lidiar con ROCm. Una velocidad de 15–35 tokens por segundo es bastante realista para una tarjeta gráfica de 2017. Esto no compite con GPU modernas como la RTX 4090, pero es suficiente para uso local: ejecutar Llama 3.1, DeepSeek, Qwen 3.5, experimentar con modelos, integrar en sus propias aplicaciones sin APIs en la nube.

Cómo configurar una pila de IA local

El proceso es sorprendentemente simple: Instale Ollama — un lanzador minimalista de modelos para cualquier SO Ejecute Open WebUI — una interfaz web para interactuar con modelos Conecte n8n — una plataforma para automatización y flujos de trabajo complejos Cargue cualquier modelo abierto — Llama 3.1, DeepSeek V2, Qwen 3.5 Vulkan se utiliza automáticamente por Ollama si la tarjeta gráfica es compatible. En Fedora, todo funciona de manera inmediata — sin configuración adicional necesaria.

Rendimiento real

En AMD RX 580 obtendrá: Llama 3.1 70B con cuantización: ~20 tokens por segundo DeepSeek V2: ~18 tokens por segundo * Qwen 3.5 32B: ~32 tokens por segundo Esto es suficiente para uso interactivo — no obtendrá una respuesta instantánea como en ChatGPT, pero un resultado completamente listo llegará en 5–15 segundos. Para procesamiento por lotes de cientos de textos, la velocidad no importa en absoluto. Además: privacidad completa. Todos los datos permanecen en su máquina, sin solicitudes a OpenAI, Anthropic u otros servicios en la nube.

Qué significa esto La IA local ya no es un privilegio de los propietarios de hardware premium.

Una tarjeta gráfica antigua que estaba sin usar de repente se convierte en una herramienta útil para desarrollo y experimentos. Esto abre la puerta a la IA privada, a experimentos independientes de los servicios en la nube e integración de modelos directamente en sus propios proyectos.