Eficiência no treinamento de IA: por que velocidade não é tudo

Quando o assunto é o treinamento de grandes modelos de linguagem, a conversa sempre acaba em duas coisas: quantas GPUs estão em uso e com que velocidade o sistema devora dados. Tokens por segundo viraram a moeda do setor: quanto mais, melhor. Mas e se essa métrica, apesar de toda a sua clareza, conta apenas metade da história? É essa a pergunta levantada pelo conceito de goodput, cada vez mais popular, que promete mudar a forma de avaliar a eficiência do treinamento de IA.

O pré-treinamento de um modelo moderno de cem bilhões de parâmetros ou mais é uma maratona de engenharia que se estende por semanas e meses. Milhares de aceleradores trabalham em paralelo, processando volumes colossais de dados de texto. Tradicionalmente, o sucesso desse processo era medido por dois indicadores. O primeiro é o throughput, ou taxa de processamento: quantos tokens o sistema consegue processar por unidade de tempo. O segundo é o progresso do treinamento: o quanto o modelo realmente melhora a cada iteração. O problema é que os dois nem sempre se correlacionam como os engenheiros gostariam.

O throughput é uma métrica enganosamente simples. Ele mostra a rapidez com que os dados percorrem o pipeline de computação, mas não diz nada sobre a qualidade desse trabalho. Imagine uma linha de produção que estampa peças em velocidade recorde, mas metade delas vai para o lixo.

No papel, a produtividade é alta; o rendimento real é bem outro. No treinamento de IA, a analogia é surpreendentemente precisa. Um sistema pode exibir números de throughput impressionantes enquanto boa parte da computação é desperdiçada: no reprocessamento de dados após falhas, em esperas por sincronização entre nós, em uma distribuição ruim da carga entre os aceleradores.

Durante todo esse tempo, o contador de tokens continua girando e cria a ilusão de progresso.

É aqui que entra o goodput, um indicador que tenta medir não a taxa bruta de processamento, mas o trabalho útil. O goodput considera apenas os cálculos que de fato aproximam o modelo do fim do treinamento. Se um cluster de quatro mil GPUs processa um trilhão de tokens por dia, mas vinte por cento desse trabalho se perde com falhas de hardware, reinícios de checkpoints e sobrecarga de comunicação entre nós, o goodput real é de apenas oitocentos bilhões de tokens. A diferença parece acadêmica até ser convertida em dólares: com o aluguel de um grande cluster de GPUs custando milhões de dólares por dia, vinte por cento de perdas representam centenas de milhões por ciclo de treinamento.

A passagem do throughput ao goodput como métrica principal reflete uma mudança mais profunda no setor. A era em que o avanço da IA era definido apenas pela escala (mais dados, mais parâmetros, mais computação) vai cedendo lugar à era da otimização. As empresas percebem que não dá para aumentar os clusters indefinidamente, nem do ponto de vista econômico nem do energético.

Segundo diversas estimativas, treinar um único modelo de fronteira (frontier) já custa centenas de milhões de dólares, e a próxima geração pode ultrapassar a marca de um bilhão. Nessas condições, cada ponto percentual de eficiência real tem um valor enorme. Otimizar o goodput deixa de ser um exercício teórico e vira uma ferramenta direta de corte de custos.

As consequências práticas atingem toda a cadeia, do projeto dos data centers à arquitetura dos frameworks de treinamento. No hardware, isso significa mais atenção à tolerância a falhas: se um entre milhares de aceleradores falha, o sistema deve redistribuir a carga sem perder progresso, em vez de voltar ao último checkpoint e perder horas de trabalho. No software, significa estratégias de checkpointing mais inteligentes, métodos assíncronos de atualização de gradientes e algoritmos avançados de sharding que minimizem a sobrecarga de comunicação entre nós. Google, Meta* e outros grandes players já investem pesado em infraestrutura em que o goodput é uma métrica de primeira classe no projeto dos sistemas de treinamento.

Há ainda outro aspecto que costuma passar despercebido. O goodput obriga a pensar não só em quão rápido os dados são processados, mas em quais dados são processados. Nem todos os tokens são igualmente úteis para o treinamento. Abordagens como curriculum learning e seleção inteligente de dados, nas quais o modelo recebe os exemplos mais informativos no momento certo do treinamento, elevam diretamente o goodput em seu sentido ampliado: uma medida do progresso real do modelo por unidade de computação gasta.

O conceito de goodput é, no fundo, o reconhecimento da maturidade do setor. Quando uma tecnologia é jovem, todos perseguem os maiores números no papel. Quando amadurece, o foco passa para o retorno real. Para as empresas que treinam a próxima geração de modelos de linguagem, a diferença entre throughput e goodput é a diferença entre queimar centenas de milhões de dólares e investir com inteligência no progresso. E quem aprender primeiro a maximizar o trabalho útil dos seus clusters terá uma vantagem competitiva decisiva na corrida pela inteligência artificial da próxima geração.

*A Meta é considerada uma organização extremista e está proibida na Federação Russa.