Scaling Law на автопилоте: AI начал учить людей строить нейросети

Imagine que você está construindo um arranha-céu, mas não tem certeza se a fundação aguenta mais dez andares. No mundo dos grandes modelos de linguagem, tudo funciona mais ou menos da mesma forma. Engenheiros gastam centenas de milhões de dólares em treinamento, esperando que adicionar mais alguns milhares de placas de vídeo torne o modelo mais inteligente, não apenas mais caro. Essas regras não ditas do jogo são chamadas de Leis de Escalabilidade (Scaling Laws), e até agora sua busca se assemelhava à alquimia moderna. Mas parece que a era da adivinhação está chegando ao fim, porque pesquisadores da Universidade de Pequim e de Stanford decidiram passar esse trabalho entediante e caro para a própria rede neural.

O problema é que encontrar essas leis é um processo angustioso e proibitivamente caro. Lembre-se do famoso trabalho do DeepMind sobre o "modelo Chinchila" (Chinchilla scaling laws). Na época, os pesquisadores tiveram que treinar dezenas de modelos pequenos, coletar dados sobre seu desempenho e tentar derivar uma fórmula que previsse o comportamento do "irmão maior". Um erro nos cálculos nesta fase custa não apenas tempo—custa uma fortuna.

O novo projeto, intitulado "AI Scientist", muda fundamentalmente as regras do jogo. Em vez de forçar as pessoas a selecionarem manualmente coeficientes e construir gráficos, os cientistas criaram um sistema que analisa os resultados das execuções de teste e formula dependências matemáticas por conta própria. O mais irônico aqui é que esse cientista virtual realizou a tarefa melhor do que especialistas vivos. Durante os testes, o sistema previu a precisão dos modelos com uma margem de erro que se mostrou significativamente menor do que a de cientistas de dados experientes.

Não é simplesmente uma questão de velocidade ou conveniência. Estamos acostumados a pensar que a descoberta científica e a intuição são os últimos bastiões da humanidade, mas descobriu-se que em encontrar padrões ocultos dentro de enormes conjuntos de dados, nosso cérebro é muito propenso a simplificações. A IA não procura números "bonitos" ou gráficos lineares simples; encontra as dependências que realmente funcionam no espaço multidimensional de parâmetros.

Por que isso é importante agora? Chegamos a um ponto onde simplesmente adicionar poder computacional não oferece mais crescimento explosivo em qualidade. A indústria cada vez mais sussurra sobre um "platô", e para avançar, precisamos não apenas de teraflops, mas de precisão cirúrgica na arquitetura. Se antes OpenAI ou Google podiam queimar eletricidade em cidades inteiras pela causa de um experimento, agora os investidores exigem eficiência.

Automatizar a busca por Leis de Escalabilidade é essencialmente criar um navegador para aqueles que antes caminhavam sem orientação em nevoeiro espesso. Agora podemos saber antecipadamente se vale a pena alimentar o modelo com mais um trilhão de tokens ou se já atingiu seu limite.

O que isso significa para o futuro da indústria? Provavelmente veremos uma aceleração abrupta dos ciclos de desenvolvimento. Se antes levava meses para verificar uma hipótese fundamental, agora um sistema automatizado pode executar milhares de cenários em poucas horas. Isso nos aproxima do momento em que redes neurais começam a projetar as próximas gerações de si mesmas com praticamente nenhuma participação humana. Ainda temos a mão no interruptor, mas alguém está desenhando os projetos. E esse "alguém" claramente entende melhor a matemática do aprendizado do que nós.

Resumindo: A IA finalmente deixou de ser apenas um "chatbot inteligente" e se tornou uma ferramenta para descobertas científicas fundamentais. Se as redes neurais aprenderam a otimizar seu próprio treinamento melhor do que seus criadores, então a questão do surgimento de um AGI completo se torna meramente uma questão de tempo e da fórmula certa—uma que provavelmente será encontrada não por um humano.