Os truques matemáticos da AI são inúteis para a computação científica

A revolução da inteligência artificial mudou não apenas como nos comunicamos com os computadores, mas também como os computadores calculam no nível mais fundamental — o nível da representação de números. Nos últimos anos, a indústria gerou dezenas de novos formatos numéricos otimizados para tarefas de aprendizado de máquina. Mas as tentativas de aplicar esses formatos fora do escopo da IA expuseram um problema fundamental: aquilo que funciona perfeitamente para redes neurais acaba sendo completamente inadequado para computações científicas.

Durante décadas, a indústria de computadores viveu por uma regra simples: cada número é representado por 64 bits, e isso era mais que o suficiente. Os usuários compravam novas máquinas a cada alguns anos e ganhavam ganhos de desempenho, essencialmente de graça. Mas cerca de dez anos atrás, essa era terminou.

A Lei de Moore desacelerou, enquanto o apetite dos modelos de IA crescia exponencialmente. As empresas começaram a procurar qualquer forma de economizar recursos computacionais e energia, e uma das mais eficazes se provou ser a redução da largura de bits dos números. Se as redes neurais não precisam de todos os 64 bits de precisão, por que gastá-los?

Assim surgiram formatos de 16, 8 e até 2 bits, que permitem treinar e executar modelos mais rápido e mais barato.

O problema é que o padrão IEEE 754, que define a representação de números de ponto flutuante de 64 bits, é inerentemente mal escalável para larguras de bits menores. Sua arquitetura é redundante para uma pequena quantidade de bits, e a truncagem direta leva à perda de propriedades importantes. Por isso, formatos especializados como o bfloat16 do Google e o FP8 da NVIDIA foram desenvolvidos para IA, otimizados para a distribuição de números típica das redes neurais. No aprendizado de máquina, os valores geralmente se concentram em torno de um intervalo específico, e uma precisão ultra-alta nas extremidades não é necessária.

Mas a computação científica vive por regras completamente diferentes. A física computacional, a hidrodinâmica, a modelagem biológica e as simulações de engenharia operam com números espalhados em uma faixa gigantesca — desde escalas subatômicas até distâncias cósmicas. E a mesma alta precisão é necessária tanto para quantidades muito grandes quanto muito pequenas. Foi precisamente essa lacuna entre as necessidades da IA e da ciência que se tornou o ponto de partida para o trabalho de László Hunhólz, que recentemente defendeu uma dissertação de doutorado em ciência da computação na Universidade de Colônia e se juntou à startup de Barcelona Openchip como engenheiro de aceleradores de IA.

Hunhólz desenvolveu um formato numérico chamado takum, baseado no formato posit anterior. O Posit distribui as representações de números desigualmente: valores que são usados com mais frequência obtêm mais combinações de bits e, consequentemente, maior precisão. Para IA, isso funciona maravilhosamente — o posit concentra a densidade de representação em torno da unidade, onde os valores típicos de pesos das redes neurais se concentram. Mas para computação científica, essa abordagem é catastrófica: a precisão cai drasticamente ao fazer a transição para números grandes ou pequenos, e são precisamente estes que são críticos para a modelagem de processos físicos.

O Takum resolve esse problema elegantemente. Hunhólz analisou os intervalos reais de valores utilizados na computação científica em todas as principais disciplinas e projetou o formato de forma que, conforme o número de bits diminui, o intervalo dinâmico não se restringe. Isso significa que cientistas e engenheiros poderiam potencialmente mudar para representações de números mais compactas, economizando energia e tempo computacional sem sacrificar a capacidade de trabalhar com magnitudes extremas. De acordo com Hunhólz, até mesmo um ganho de dez por cento na eficiência do formato numérico se traduz em uma economia de dez por cento para todos os aplicativos, o que na escala de poder computacional global significa uma enorme economia de energia.

A significância deste trabalho vai muito além de um exercício acadêmico. À medida que supercomputadores e clusters de pesquisa consomem cada vez mais eletricidade, a otimização no nível da representação de números se torna uma das poucas alavancas restantes para melhorar a eficiência sem aumentar a capacidade de hardware. Notavelmente, Hunhólz aponta: nos últimos anos, dezenas de novos formatos numéricos foram propostos, mas takum continua sendo o único deliberadamente projetado especificamente para computação científica. Todas as outras inovações nesta área servem exclusivamente à indústria de aprendizado de máquina.

A história do takum é um lembrete de que o boom da IA, apesar de todo seu poder transformador, não deve ofuscar as necessidades do resto da ciência computacional. Redes neurais não são os únicos programas que precisam de eficiência. Físicos modelando o clima, engenheiros projetando pontes e biólogos simulando o dobramento de proteínas merecem as mesmas inovações em aritmética básica. E se o formato takum ganhar ampla adoção, ele pode se tornar aquele fundamento invisível no qual a computação científica da próxima década se tornará mais rápida, mais barata e mais amigável ao meio ambiente.