NVIDIA Tesla V100 para modelos de IA locais: teste em tarefas do mundo real

Tesla V100 16 GB — acelerador de servidor NVIDIA de 2017. Consegue funcionar com modelos de linguagem grandes modernos lançados em 2025–2026? Os autores da análise decidiram verificar e testaram cinco modelos abertos populares (de Qwen a Gemma) em cinco cenários reais — desde geração de texto até criação de código e jogos.

Velocidade em Números

Tesla V100 é equipada com memória HBM2 com largura de banda de ~900 GB/s e desempenho de pico de 125 TFLOPS em formato FP16 (meia precisão). Na prática, isso fornece 38–109 tokens por segundo dependendo do modelo, tamanho e quantização (nível de compressão de pesos). O líder em velocidade é GPT-OSS-20B (109 t/s).

O mais lento sob carga total é Qwen3.6-35b-a3b em quantização Q4 (19 t/s). Mas aqui há uma reviravolta interessante: quando os pesquisadores habilitaram Multi-Token Prediction (MTP) — um modo onde o modelo prevê múltiplos tokens simultaneamente — a velocidade do mesmo Qwen disparou para 77 t/s.

Um aumento de quatro vezes devido à predição paralela. Há uma pegadinha: MTP funciona de forma confiável no Vulkan, mas em CUDA Qwen com MTP pode ser instável. Isso é importante lembrar ao escolher um backend.

Tarefas Reais

Quais tarefas V100 resolve bem na realidade?

• Site de uma página: de solicitação de texto a HTML+CSS+JavaScript pronto — 1 minuto 45 segundos (GPT-OSS-20B) ou 7 minutos 24 segundos (Qwen sem MTP). Todos os cinco modelos geraram com sucesso código válido, incorporaram conteúdo de mídia e estruturaram a marcação corretamente.

• Flappy Bird em JavaScript: o jogo é criado em 1–7 minutos dependendo do modelo. A qualidade da implementação varia de código procedural minimalista (mecânica básica de tubos) a gráficos altamente detalhados próximos ao jogo original.

• Resumo de documentos: processar um artigo científico de 17 páginas leva 17–180 segundos. GPT-OSS faz em 17 segundos, Qwen sem aceleração — em 3 minutos. A diferença é de cinco vezes. Para comparação, um humano lê e resume um artigo em 15–20 minutos.

Fator Crítico: Carga de GPU

O principal inimigo dos LLMs locais é descarregar camadas de modelo para RAM do sistema em vez de VRAM. Quando o modelo é totalmente colocado em VRAM, a velocidade de geração é estável: 38 t/s. Quando algumas camadas são descarregadas para RAM, a velocidade cai para 19 t/s — duas vezes mais lenta. Isso é explicado pela diferença em largura de banda: HBM2 opera a 900 GB/s, enquanto DDR4 na placa-mãe opera apenas a 50–100 GB/s. Para Qwen3.6-35b em quantização Q4, 20–21 GB de VRAM é necessário, portanto 24 GB é o mínimo seguro para uso geral. 16 GB é adequado apenas para modelos compactos até 20B parâmetros em quantização agressiva (Q2_K), onde a qualidade é perdida.

Configuração do PC de teste: placa-mãe ASRock A520M Phantom Gaming 4, processador AMD Ryzen 7 5700GE, 64 GB DDR4-3600, SSD Kingston KC3000 1 TB, fonte FSP Vita 750W, Windows 11 Pro, driver NVIDIA 553.74, LM Studio v0.4.14.

O Que Isso Significa

Tesla V100 ainda é um acelerador prático para LLMs locais em 2026. Não é um rei de velocidade, mas é versátil e econômico: mais barato do que aceleradores modernos (H100, B200) ao comprar no mercado secundário, com VRAM suficiente para trabalhar com modelos de 35B parâmetros. Se você comprar V100 com 24 GB de memória, configurar MTP no backend Vulkan e instalar drivers atuais, você obtém uma máquina local completa para desenvolver, experimentar e prototipizar aplicações LLM.

Para uso de nicho (geração de código, processamento de documentos, criação de jogos) é uma solução funcional e econômica. Para cenários de produção com requisitos de latência (abaixo de 100 ms) ou processamento de lotes de alto desempenho, aceleradores modernos como H100 ou B200 são necessários.