Os truques matemáticos da IA não servem para a computação científica

A revolução da inteligência artificial mudou não só a forma como nos comunicamos com os computadores, mas também a forma como eles calculam no nível mais básico: o da representação dos números. Nos últimos anos, a indústria criou dezenas de novos formatos numéricos otimizados para tarefas de machine learning. Mas a tentativa de usar esses formatos fora da IA expôs um problema fundamental: o que funciona muito bem para redes neurais se mostra totalmente inadequado para a computação científica.

Por décadas, a indústria de computação seguiu uma regra simples: cada número é representado por 64 bits, e isso basta para todo mundo, com folga. Os usuários compravam máquinas novas a cada poucos anos e, na prática, ganhavam desempenho de graça. Essa era terminou há cerca de dez anos.

A Lei de Moore desacelerou, enquanto o apetite dos modelos de IA crescia exponencialmente. As empresas passaram a buscar qualquer forma de economizar recursos computacionais e energia, e uma das mais eficazes foi reduzir o número de bits dos números. Se uma rede neural não precisa de todos os 64 bits de precisão, por que gastá-los?

Assim surgiram formatos de 16, 8 e até 2 bits, que permitem treinar e executar modelos de forma mais rápida e barata.

O problema é que o padrão IEEE 754, que define a representação de números de ponto flutuante de 64 bits, nunca escalou bem para baixo. Sua arquitetura é redundante quando há poucos bits, e um simples corte faz com que propriedades importantes se percam. Por isso, foram criados para a IA formatos especializados, como o bfloat16, do Google, e o FP8, da NVIDIA, ajustados à distribuição de valores típica das redes neurais. Em machine learning, os valores costumam se concentrar em determinada faixa, e não é preciso ter precisão altíssima nas extremidades.

A computação científica, porém, segue regras completamente diferentes. Física computacional, dinâmica de fluidos, modelagem biológica e simulações de engenharia lidam com números espalhados por uma faixa gigantesca, de escalas subatômicas a distâncias cósmicas. E a precisão precisa ser igualmente alta para valores muito grandes e muito pequenos. Foi justamente esse descompasso entre as necessidades da IA e da ciência que serviu de ponto de partida para o trabalho de Laslo Hunhold, que concluiu recentemente o doutorado em ciência da computação na Universidade de Colônia e entrou na startup Openchip, de Barcelona, como engenheiro de aceleradores de IA.

Hunhold desenvolveu um formato numérico chamado takum, baseado no formato posit, mais antigo. O posit distribui as representações de forma desigual: os valores usados com mais frequência recebem mais combinações de bits e, portanto, maior precisão. Para a IA, isso funciona muito bem — o posit concentra a densidade de representação em torno de 1, onde ficam os valores típicos dos pesos das redes neurais. Para a computação científica, no entanto, essa abordagem é catastrófica: a precisão despenca à medida que os números ficam maiores ou menores, e são justamente esses valores que importam na modelagem de processos físicos.

O takum resolve esse problema de forma elegante. Hunhold analisou as faixas reais de valores usadas na computação científica em todas as principais disciplinas e projetou o formato para que a faixa dinâmica não encolha quando o número de bits diminui. Isso significa que cientistas e engenheiros poderão, potencialmente, migrar para representações numéricas mais compactas, economizando energia e tempo de processamento sem abrir mão da capacidade de trabalhar com valores extremos. Segundo Hunhold, mesmo um ganho de dez por cento na eficiência de um formato numérico se traduz em dez por cento de economia para todas as aplicações — o que, na escala da capacidade computacional global, representa uma economia de energia enorme.

A relevância do trabalho vai muito além de um exercício acadêmico. Com supercomputadores e clusters de pesquisa consumindo cada vez mais eletricidade, otimizar a representação dos números passa a ser uma das poucas alavancas restantes para ganhar eficiência sem ampliar o hardware. Hunhold destaca um ponto curioso: nos últimos anos, dezenas de novos formatos numéricos foram propostos, mas o takum continua sendo o único projetado especificamente para a computação científica. Todas as demais inovações da área atendem exclusivamente à indústria de machine learning.

A história do takum lembra que o boom da IA, apesar de todo o seu poder transformador, não deve ofuscar as necessidades do restante da ciência da computação. As redes neurais não são os únicos programas que precisam de eficiência. Físicos que modelam o clima, engenheiros que projetam pontes e biólogos que simulam o enovelamento de proteínas merecem as mesmas inovações na aritmética básica. E, se o takum for amplamente adotado, ele pode se tornar a base invisível que deixará a computação científica da próxima década mais rápida, mais barata e mais sustentável.