Scaling Law no piloto automático: a AI começou a ensinar humanos a construir redes neurais

Imagine que você está construindo um arranha-céu, mas não sabe ao certo se a fundação aguenta mais dez andares. No mundo dos grandes modelos de linguagem, tudo funciona mais ou menos assim. Engenheiros gastam centenas de milhões de dólares em treinamento na esperança de que adicionar mais alguns milhares de placas de vídeo deixe o modelo mais inteligente, e não apenas mais caro.

Essas regras não escritas do jogo se chamam leis de escala (Scaling Laws), e, até agora, encontrá-las lembrava uma espécie de alquimia moderna. Mas a era do chute parece estar chegando ao fim: pesquisadores da Universidade de Pequim e de Stanford decidiram entregar esse trabalho tedioso e caro à própria rede neural. O problema é que a busca por essas leis é um processo penoso e extremamente caro.

Lembre-se do famoso trabalho da DeepMind sobre o "modelo chinchila" (Chinchilla scaling laws). Na época, os pesquisadores precisaram treinar dezenas de modelos pequenos, coletar dados sobre o desempenho de cada um e tentar derivar uma fórmula capaz de prever o comportamento do "irmão mais velho". Um erro de cálculo nessa etapa custa mais do que tempo: custa uma fortuna.

O novo projeto, batizado provisoriamente de "AI Scientist", muda radicalmente as regras do jogo. Em vez de obrigar pessoas a ajustar coeficientes e montar gráficos manualmente, os cientistas criaram um sistema que analisa sozinho os resultados das execuções de teste e formula as dependências matemáticas. O mais irônico é que esse cientista virtual se saiu melhor na tarefa do que especialistas de carne e osso.

Nos testes, o sistema previu a precisão dos modelos com uma margem de erro significativamente menor que a de cientistas de dados experientes. A questão vai além da velocidade ou da conveniência. Estamos acostumados a pensar que a investigação científica e a intuição são os últimos bastiões da humanidade, mas ficou claro que, na hora de encontrar padrões ocultos em enormes volumes de dados, nosso cérebro tende demais a simplificar.

A AI não procura números "bonitos" nem gráficos lineares simples: ela encontra as dependências que de fato funcionam no espaço multidimensional de parâmetros. Por que isso importa justamente agora? Chegamos a um ponto em que simplesmente adicionar poder computacional deixa de gerar saltos explosivos de qualidade.

A indústria fala cada vez mais em "platô", e, para avançar, é preciso mais do que teraflops: é preciso precisão cirúrgica na arquitetura. Se antes a OpenAI ou o Google podiam se dar ao luxo de queimar a eletricidade de cidades inteiras em nome de um experimento, hoje os investidores exigem eficiência. Automatizar a busca por Scaling Laws equivale, na prática, a criar um GPS para quem antes voava por instrumentos em meio a uma neblina densa.

Agora podemos saber de antemão se vale a pena alimentar o modelo com mais um trilhão de tokens ou se ele já atingiu seu limite. O que isso significa para o futuro da indústria? O mais provável é que vejamos uma aceleração brusca dos ciclos de desenvolvimento.

Se antes testar uma hipótese fundamental levava meses, agora um sistema automatizado pode rodar milhares de cenários em questão de horas. Isso nos aproxima do momento em que as redes neurais vão começar a projetar suas próprias próximas gerações praticamente sem participação humana. Ainda estamos com a mão na alavanca, mas quem desenha as plantas já é outro.

E esse "outro" claramente entende mais de matemática de treinamento do que nós. O principal: a AI deixou de vez de ser apenas um "chatbot inteligente" e se tornou uma ferramenta para descobertas científicas fundamentais. Se as redes neurais aprenderam a otimizar o próprio treinamento melhor do que seus criadores, o surgimento de uma AGI completa passa a ser só uma questão de tempo e da fórmula certa — que, provavelmente, também não será encontrada por um humano.