Modelos locais na placa de vídeo: Qwen e Gemma testados na Tesla V100

A Tesla V100, lançada em 2017, dá conta de LLMs atuais como Qwen35B e GPT-OSS-20B. A velocidade de geração varia de 38 a 109 tokens por segundo, dependendo do modelo. Os testes incluíram criação de sites e jogos e processamento de documentos. O mínimo é 16 GB de memória, mas 24 GB são preferíveis para uso geral.

Processado por IA de Habr AI; editado por Hamidun News
Modelos locais na placa de vídeo: Qwen e Gemma testados na Tesla V100
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo

É possível rodar modelos de IA locais em placas de vídeo lançadas ainda em 2017. Testamos cinco modelos abertos populares (do Qwen ao Gemma) na Tesla V100 em cinco cenários reais, da geração de texto à criação de código e jogos.

Quais modelos de IA para texto rodam na V100?

O teste usou cinco modelos abertos, incluindo Qwen e Gemma. A velocidade fica entre 38 e 109 tokens por segundo, dependendo do modelo e da quantização.

Dá para usar uma V100 antiga para rodar IA localmente?

Sim. Segundo o teste, a V100 roda LLMs atuais para gerar texto, escrever código e atender a outros cenários reais.

Quantos tokens por segundo a

Tesla V100 entrega com modelos locais? De 38 a 109 tokens por segundo, dependendo do modelo, do tamanho e da quantização.

História

Perguntas frequentes sobre a notícia

Quais modelos de IA para texto rodam na V100?

O teste usou cinco modelos abertos, incluindo Qwen e Gemma. A velocidade fica entre 38 e 109 tokens por segundo, dependendo do modelo e da quantização.

Dá para usar uma V100 antiga para rodar IA localmente?

Sim. Segundo o teste, a V100 roda LLMs atuais para gerar texto, escrever código e atender a outros cenários reais.

Quantos tokens por segundo a Tesla V100 entrega com modelos locais?

De 38 a 109 tokens por segundo, dependendo do modelo, do tamanho e da quantização.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…