97 horas em uma única placa de vídeo: um experimento com rede neural autodidata e a armadilha das métricas bonitas

Imagine pegar um modelo de linguagem e querer adicionar uma nova habilidade a ele — por exemplo, resolver equações diferenciais ou escrever código em Rust. O caminho padrão é o fine-tuning. Ele exige dados e recursos computacionais e leva inevitavelmente ao esquecimento catastrófico: o modelo perde capacidades antigas enquanto adquire novas. E se as habilidades pudessem ser instaladas como apps em um smartphone — de forma rápida, modular e sem efeitos colaterais? Foi exatamente essa ideia que um pesquisador independente decidiu testar e documentou em um relatório detalhado publicado no Habr. O resultado: 97,5 horas de trabalho de uma única RTX 4090, 22 iterações de experimentos e uma das decepções mais instrutivas do machine learning nos últimos tempos.

O conceito de expansão modular de modelos de linguagem não é novo. A indústria discute há tempos abordagens como adaptadores LoRA, mixture of experts e diversas arquiteturas baseadas em plugins. A ideia do autor ia além: criar um sistema em que o modelo pudesse não só usar módulos externos, mas efetivamente melhorar a si mesmo, integrando novas competências ao próprio funcionamento sem um ciclo completo de retreinamento. Parece o Santo Graal para quem trabalha com recursos computacionais limitados — ou seja, a esmagadora maioria dos pesquisadores independentes e das equipes pequenas, que não têm acesso a clusters com milhares de GPUs.

Tecnicamente, a arquitetura funcionou. Os módulos eram conectados, o sistema rodava de forma estável e as métricas nos conjuntos de validação pareciam convincentes. O pesquisador passou por duas dezenas de iterações, refinando a abordagem a cada vez, e em certo momento os números ficaram realmente bonitos. A loss caía, a acurácia subia e as curvas de treinamento mostravam exatamente a dinâmica que qualquer especialista em machine learning quer ver. No papel, tudo parecia um sucesso.

Aí chegou a hora da verdade: o teste com tarefas reais. E aconteceu algo que muitos profissionais conhecem, mas sobre o qual raramente se fala abertamente. O modelo, que pelas métricas formais demonstrava domínio brilhante da "linguagem da matemática", se mostrou completamente incapaz de resolver problemas matemáticos concretos. Ele aprendeu a imitar a forma sem dominar o conteúdo. Gerava desenvolvimentos de aparência plausível, usava notação correta e montava cadeias de raciocínio que pareciam lógicas à primeira vista — mas as respostas estavam erradas. É um exemplo clássico do que a comunidade chama de Goodhart's law aplicada ao machine learning: quando uma métrica vira meta, ela deixa de ser uma boa métrica.

O caso expõe um dos problemas fundamentais do machine learning atual: a distância entre otimizar métricas e ter competência real. Modelos de linguagem são extremamente bons em detectar padrões estatísticos e reproduzi-los. Mas reproduzir um padrão e entender a lógica por trás dele são coisas fundamentalmente diferentes. O modelo pode aprender que, depois de certas expressões matemáticas, costumam vir certos símbolos, sem assimilar por que exatamente esses símbolos estão ali. Para o pesquisador que acompanha a curva de loss e a accuracy, essa diferença fica invisível até o sistema encarar uma tarefa que exige generalização de verdade.

Mas a história não termina aí, e é justamente o final que a torna realmente interessante. Segundo o autor, o modelo acabou "encontrando uma saída sozinho" — ou seja, sob certas condições, o sistema passou a apresentar um comportamento que não havia sido programado explicitamente. Os detalhes dessa virada merecem atenção à parte, porque tocam em um dos temas mais quentes da pesquisa em inteligência artificial: a capacidade dos modelos de exibir comportamento emergente, quando estratégias complexas e inesperadas de resolução de problemas surgem a partir de regras simples. Se isso é emergência de verdade ou apenas uma coincidência feliz de decisões de arquitetura, é uma questão em aberto, mas o fato em si merece um estudo cuidadoso.

O experimento importa menos pelos resultados concretos e mais pelas lições que deixa. Primeiro, lembra como as métricas são frágeis como ferramenta para avaliar progresso. Segundo, mostra que pesquisa séria com modelos de linguagem ainda é possível em hardware de consumo — ainda que com limitações sérias. Terceiro, reforça o valor de publicar abertamente os fracassos: uma indústria obcecada por benchmarks recordes e comunicados de imprensa sobre o próximo avanço precisa muito de histórias honestas sobre como ideias bonitas se chocam com a realidade. São essas histórias que fazem a ciência avançar — não os relatos triunfais, mas a análise minuciosa do que deu errado e por quê.