Eficiência do treinamento de AI: por que velocidade não é tudo

Quando se trata de treinar grandes modelos de linguagem, a conversa invariavelmente se centra em duas coisas: quantas GPUs estão envolvidas e quão rápido o sistema processa os dados. Tokens por segundo se tornaram uma espécie de moeda da indústria — quanto mais, melhor. Mas e se essa métrica, por toda sua clareza, conta apenas metade da história? Essa é precisamente a pergunta levantada pelo conceito crescente de goodput, que promete transformar a própria abordagem de avaliação da eficiência do treinamento de IA.

O pré-treinamento de um modelo moderno na escala de centenas de bilhões de parâmetros e além é uma maratona de engenharia estendida ao longo de semanas e meses. Milhares de aceleradores trabalham em paralelo, processando quantidades colossais de dados de texto. Tradicionalmente, o sucesso desse processo era medido por duas métricas. A primeira é throughput — a largura de banda: quantos tokens o sistema pode processar por unidade de tempo. A segunda é o progresso do treinamento: quanto o modelo realmente melhora com cada iteração. O problema é que essas duas métricas nem sempre se correlacionam como os engenheiros gostariam.

Throughput é enganosamente simples. Mostra quão rápido os dados fluem pelo pipeline computacional, mas não diz nada sobre a qualidade desse trabalho. Imagine uma correia transportadora de fábrica que estampa peças em velocidade recorde, mas metade delas é defeituosa. Formalmente, a produtividade é alta; a produção real é outra coisa. No contexto do treinamento de IA, a analogia funciona surpreendentemente bem. O sistema pode demonstrar números de throughput impressionantes, mas uma parcela significativa dos cálculos é desperdiçada — no reprocessamento de dados após falhas, no tempo de inatividade devido à sincronização entre nós, na distribuição subótima de carga entre aceleradores. Todo esse tempo o contador de tokens continua girando, criando uma ilusão de progresso.

É aqui que o goodput entra em cena — uma métrica que tenta medir não o throughput bruto, mas o trabalho útil. Goodput considera apenas aqueles cálculos que realmente aproximam o modelo da conclusão do treinamento. Se um cluster de quatro mil GPUs processa um trilhão de tokens por dia, mas vinte por cento desse trabalho é perdido devido a falhas de hardware, reinicializações de checkpoint e sobrecarga de comunicação entre nós, então o goodput real é apenas oitocentos bilhões de tokens.

A diferença parece acadêmica até você traduzi-la em dólares: ao custo de alugar um grande cluster de GPU em milhões de dólares por dia, uma perda de vinte por cento é centenas de milhões por ciclo de treinamento.

A transição de throughput para goodput como métrica-chave reflete uma mudança mais profunda na indústria. A era em que o progresso da IA era definido exclusivamente pela escala — mais dados, mais parâmetros, mais computação — está gradualmente cedendo lugar a uma era de otimização. As empresas estão percebendo que ampliar clusters indefinidamente é impossível economicamente ou energeticamente. Segundo várias estimativas, treinar um único modelo frontier já custa centenas de milhões de dólares, e a próxima geração pode ultrapassar a marca de um bilhão de dólares. Em tais condições, cada percentual de eficiência real é de importância colossal. Otimizar o goodput passa a ser não um exercício teórico, mas uma ferramenta direta para redução de custos.

As consequências práticas dessa abordagem afetam toda a cadeia — desde o design de data centers até a arquitetura de frameworks de software de treinamento. No nível de hardware, isso significa atenção aumentada à tolerância a falhas: se um de milhares de aceleradores falhar, o sistema deve redistribuir a carga sem perder progresso, em vez de reverter para o último checkpoint e perder horas de trabalho. No nível de software — isso significa estratégias de checkpoint mais inteligentes, métodos assíncronos de atualização de gradientes e algoritmos avançados de sharding que minimizam a sobrecarga de comunicação entre nós.

Google, Meta e outros grandes atores já estão investindo ativamente em infraestrutura onde goodput é uma métrica de primeira classe no design de sistemas de treinamento.

Há ainda um outro aspecto frequentemente negligenciado. Goodput nos força a pensar não apenas sobre quão rápido os dados são processados, mas também sobre quais dados são processados. Nem todos os tokens são igualmente úteis para o treinamento. Abordagens como curriculum learning e seleção inteligente de dados, onde o modelo recebe os exemplos mais informativos no momento certo do treinamento, aumentam diretamente o goodput em seu sentido mais amplo — como uma métrica do progresso real do modelo por unidade de computação gasta.

O conceito de goodput é essencialmente um reconhecimento da maturidade da indústria. Quando a tecnologia é jovem, todos perseguem números máximos no papel. Conforme amadurece, o foco se desloca para retornos reais. Para empresas treinando a próxima geração de modelos de linguagem, a diferença entre throughput e goodput é a diferença entre queimar centenas de milhões de dólares e investir sabiamente no progresso. E aqueles que primeiro aprenderem a maximizar o trabalho útil de seus clusters ganharão uma vantagem competitiva decisiva na corrida pela inteligência artificial da próxima geração.