Gerente da K2 Cloud alerta: hora de GPU barata pode estourar o orçamento de um projeto de IA

A tarifa por hora de GPU virou o principal argumento na escolha de uma plataforma de nuvem: abrir a tabela, encontrar a menor taxa e pedir a proposta comercial. Misha Voronin, gerente de produto de GPUaaS da K2 Cloud, afirma em uma análise no Habr que essa lógica falha na prática. O orçamento de um projeto de IA é definido por ociosidade, velocidade do armazenamento e da rede, além do tempo dos engenheiros em configuração e depuração. Um projeto vantajoso na tabela de preços acaba estourando o orçamento, e isso só fica evidente perto da metade dos trabalhos, quando o dinheiro já foi gasto.

Uma ressalva logo de início: o autor representa um provedor, e o texto funciona em parte como promoção da própria plataforma. Mas a tese é familiar a qualquer pessoa que já rodou treinamento em placas alugadas.

Por que a tabela de preços engana

A tarifa descreve o custo de acesso ao acelerador. Ela não diz nada sobre quanto tempo o acelerador realmente faz trabalho útil. Se o dataset é lido de um armazenamento lento, a placa fica esperando os dados. Se os nós estão conectados por uma rede fraca, o treinamento distribuído esbarra na sincronização. Se o ambiente leva uma semana para ser configurado, paga-se por horas em que ninguém está treinando nada.

Uma ilustração simples (cálculo da redação, não são dados do artigo). Suponha que a placa custe 100 rublos por hora e, por causa de um disco lento, trabalhe de fato apenas metade do tempo. O preço efetivo da hora útil é de 200 rublos. Uma opção de 150 rublos com armazenamento rápido e rede estável, com utilização de cerca de 90%, sai bem mais barata, embora perca na tabela.

Soma-se a isso o trabalho humano. A hora de um engenheiro que investiga por que um job falha ou por que o driver não compila costuma custar mais do que a hora de GPU. No orçamento, essa linha muitas vezes nem existe.

O que medir no lugar da tarifa

Das teses do artigo, resulta um conjunto razoável de métricas para comparar plataformas em pé de igualdade:

• utilização real da GPU: a fração do tempo em que a placa está calculando, e não esperando dados;
• vazão do armazenamento para leitura de datasets e gravação de checkpoints;
• velocidade e estabilidade da rede entre os nós no treinamento distribuído;
• tempo entre a solicitação e o ambiente de trabalho pronto;
• esforço dos engenheiros em configuração, migração e depuração;
• condições de SLA e comportamento da plataforma em caso de falha de um nó.

Todos esses itens têm um denominador comum: o custo do resultado concluído. Pode ser o preço de uma época, de uma execução de treinamento ou de mil requisições de inferência. É esse valor que deve ser calculado, e não os rublos por hora.

Como escolher a plataforma e o que perguntar

A conclusão prática para uma equipe que planeja um projeto de IA é esta.

Primeiro: antes de assinar o contrato, rode um piloto com a sua própria carga. Os benchmarks sintéticos do fornecedor mostram o melhor caso; o seu pipeline real mostra o caso verdadeiro. Meça a utilização da GPU e o tempo de execução e, depois, recalcule o custo por unidade de resultado.

Segundo: faça perguntas concretas ao fornecedor. Qual vazão do armazenamento é garantida e para qual volume de dados? Como é a rede entre os nós? Quanto tempo leva a implantação do ambiente e quem o configura? O que acontece com um job longo se um nó sair do ar, e o tempo ocioso é compensado?

Terceiro: inclua o tempo dos engenheiros no orçamento, em uma linha separada. Se a plataforma exige semanas de configuração, a tarifa barata deixa de parecer barata.

Quarto: considere não só o início, mas também a metade do projeto. É ali, segundo a observação do autor, que o estouro de custos se torna visível. Defina um ponto de controle em que seja possível comparar o plano com o realizado em termos de custo do resultado, e não pela fatura do aluguel.

O texto completo no Habr traz mais detalhes sobre o checklist, mas o quadro geral já está claro: deve-se escolher a plataforma em que o projeto chega ao resultado de forma mais rápida e confiável, mesmo que a hora ali custe mais.