Laboratorio doméstico de AI por 200 mil rublos

La tarjeta gráfica Tesla V100 costaba ocho mil dólares en 2017. Ahora se vende en el mercado secundario por alrededor de mil quinientos. Este número rompió la economía de las GPU en la nube. En Amazon o Vast.ai, alquilar una V100 te costará 0,40–0,80 dólares por hora, o 300–600 por mes. Compra dos V100, monta un servidor por 200 mil rublos — se amortizará en seis meses. El autor de la prueba compró exactamente esto y probó 128 redes neuronales diferentes: desde pequeños LLM hasta generadores de vídeo. Esto es lo que sucedió.

¿Por qué la V100 es tan barata?

Tesla V100 es una tarjeta profesional para centros de datos, lanzada en 2017. 32 gigabytes de memoria, 235 TFLOPS en half-precision, 125 vatios TDP. Lanzada en cantidades enormes, luego salió la A100. Las granjas en la nube vendieron V100 antiguas por centavos. Mineros individuales y startups compraron el resto. Ahora el mercado secundario está inundado de tarjetas, y el precio ha caído aún más. El chip es anticuado en términos de su ingeniería, pero para inferencia — es ideal.

¿Dónde tropieza la V100?

La tabla es honesta: V100 falla en TensorFlow (la optimización de cálculo vinculada a CPU es débil). La generación de vídeo lleva cinco minutos en Flux.1 — te congelarías esperando. La generación de texto es decente, pero no rápida: Llama 2 70B produce 80 tokens por segundo en int4. Para comparación, A100 en la nube da 300+. Hay matices con la memoria: 32 gigas es suficiente para la mayoría de modelos, pero ejecutar dos modelos de 70 mil millones simultáneamente — no funcionará.

Puntos de referencia reales

• Mistral 7B: 200 tokens/seg (int4)
• Llama 2 70B: 80 tokens/seg (int4)
• Stable Diffusion 1.5: 0,8 segundos por imagen
• Stable Diffusion XL: 2,5 segundos
• Whisper Large: 0,3 tiempo real (audio de 60 minutos en 18 minutos)
• Flux.1: 300 segundos por 1024×1024

Economía: nube o metal?

Las GPU en la nube (Lambda, Vast.ai) cuestan 0,40–0,80 $/hora en V100. Alquiler mensual: 300–600 dólares. Nuestro servidor se amortiza en 4–6 meses de operación. Ventajas del local: la electricidad es más barata que el tráfico en la nube, control total, sin latencia. Desventajas: responsabilidad por el hardware, refrigeración, actualizaciones — todo por tu cuenta.

¿Qué significa esto?

Un servidor AI local no es un reemplazo para la nube, sino un complemento. Si ejecutas modelos todos los días, has probado la idea, sabes qué redes neuronales necesitas — un servidor de 200 mil rublos te ahorra decenas de miles al año y te da control total sobre tu infraestructura.