Bilhões de parâmetros: como medimos inteligência em números

A cada vez que um grande lançamento de IA acontece na indústria, a primeira pergunta nos comentários soa igual: "Quantos parâmetros ela tem?" Isso se tornou uma espécie de medida de sofisticação, equivalente a cavalos-vapor no mundo dos motores de combustão interna. Nos acostumamos com números como 7, 70 ou até 175 bilhões, mas raramente nos perguntamos o que eles realmente significam.

Se descartarmos o marketing, um parâmetro é simplesmente um número. Mas é a partir desses números que se tece o tecido do aprendizado de máquina moderno. Para entender a essência, imagine um painel de controle gigante com bilhões de botões e interruptores.

Cada um desses interruptores é um parâmetro. Quando um modelo é criado, todos esses botões são ajustados aleatoriamente. Se você perguntasse a um modelo "vazio" assim sobre o sentido da vida, ele produziria uma sequência aleatória de caracteres.

O processo de treinamento é o ajuste meticuloso de cada um dos bilhões de parâmetros até que texto ou imagens significativas apareçam na saída.

Historicamente, seguimos o caminho do aumento. As redes neurais iniciais funcionavam com milhares de parâmetros e conseguiam apenas reconhecer dígitos escritos à mão. Depois veio a era do Deep Learning, e a contagem chegou aos milhões. Um verdadeiro avanço aconteceu com o surgimento da arquitetura Transformer, que permitiu escalar modelos a limites incríveis. Quando OpenAI lançou GPT-3 com 175 bilhões de parâmetros, o mundo tremeu. Parecia que havíamos encontrado uma fórmula universal: basta adicionar mais parâmetros e dados, e o modelo fica mais inteligente. Esse fenômeno foi chamado de Scaling Laws. No entanto, nessa corrida pelo tamanho, encontramos a lei dos rendimentos decrescentes. Modelos gigantescos exigem poderes computacionais colossais, consomem eletricidade como pequenas cidades e funcionam lentamente.

O que esses parâmetros realmente fazem dentro do modelo? Em termos técnicos, são divididos em pesos e vieses. Os pesos determinam a força das conexões entre neurônios: quão fortemente uma palavra no contexto deve influenciar a escolha da próxima palavra.

Os vieses ajudam o modelo a corrigir suas previsões quando os dados se desviam da norma. No processo de retropropagação de erro (backpropagation), o algoritmo calcula em qual direção girar cada um dos bilhões de "botões" para que a próxima resposta seja um pouco mais precisa. Esse processo se repete trilhões de vezes em enormes conjuntos de dados da internet, livros e código.

Como resultado, os parâmetros cristalizam o conhecimento humano dentro deles, tornando-se uma espécie de banco de dados comprimido que não apenas sabe armazenar fatos, mas também combiná-los.

No entanto, a moeda tem um lado negativo — o sobreajuste. Se você tem muitos parâmetros mas dados de qualidade insuficiente, o modelo pode simplesmente "decorar" o conjunto de treinamento. Ele se torna um aluno brilhante em exames com perguntas familiares, mas falha completamente na vida real ao enfrentar uma tarefa desconhecida. Este é um dos principais desafios do desenvolvimento moderno: como equilibrar o poder do modelo com sua capacidade de generalização. Além disso, vemos cada vez mais que truques arquitetônicos, como Mixture of Experts (MoE), permitem o uso de trilhões de parâmetros sem ativá-los todos de uma vez. Isso torna os modelos mais eficientes, embora seu tamanho continue crescendo formalmente.

Hoje, a indústria está gradualmente se afastando do culto do "gigantismo." Vemos o surgimento de pequenos modelos de linguagem (SLM), que com 7 bilhões de parâmetros apresentam resultados melhores que os antigos gigantes com 100 bilhões. Isso acontece graças à limpeza de dados de mais alta qualidade e métodos de treinamento inteligentes.

Os parâmetros deixaram de ser apenas um número em um comunicado à imprensa; tornaram-se um recurso que precisa ser gasto com sabedoria. Em última análise, o que importa não é quantos "botões" você tem em seu painel de controle, mas o quão precisamente eles estão ajustados. Estamos entrando em uma era em que a eficiência arquitetônica e a densidade de conhecimento em cada parâmetro importam muito mais do que sua quantidade total.

A conclusão: a corrida pela quantidade de parâmetros está sendo substituída por uma corrida por sua qualidade. Pode um modelo com 1 bilhão de parâmetros alguma vez igualar o cérebro humano através de um ajuste perfeito?