LLM eleva o F1 de um classificador de 45% para 82% ajustando pesos, sem treinamento

Imagine um classificador que confunde gatos com cães, sem dados nem tempo para um novo treinamento. Normalmente, o engenheiro de ML procura o erro no dataset, muda a arquitetura ou inicia mais um ciclo de treino. No experimento descrito, esse trabalho foi entregue a um grande modelo de linguagem: ele recebeu acesso aos pesos de uma rede neural pequena, pôde fazer um número limitado de execuções de verificação e foi solicitado a melhorar o resultado diretamente.

O resultado impressiona: o F1 do classificador subiu de 45% para 74% após o trabalho de um LLM, e para 82% após mudanças mais profundas feitas por outro. Mas a formulação «um modelo lê o cérebro de outro» mais atrapalha do que ajuda aqui. Ainda não surgiu uma linguagem universal dos pesos. O LLM usou arquiteturas conhecidas, métodos de interpretabilidade familiares e o retorno das métricas.

Como funcionou

Como cobaia, foi usado o MobileNetV3-Small, que distribuía imagens em três classes: gatos, cães e outros animais. Após cada edição, o LLM podia executar inferência e ver se a métrica havia melhorado. No total, foram dadas dez tentativas.

A primeira estratégia foi bem simples: alterar a última camada do classificador, onde as características se transformam em probabilidades de classe. Isso ajudou, mas quase nada dizia sobre a capacidade de entender a estrutura interna da rede. Quando se proibiu mexer na última camada, o LLM foi mais fundo: encontrou canais que davam sinais prejudiciais e substituiu suas saídas por valores médios. Depois disso, o F1 chegou a 82%.

No dia a dia, é como consertar um controle remoto com dezenas de botões. O técnico não precisa entender cada transistor. Ele aperta os botões, mede o resultado e aos poucos encontra o componente que estraga o sinal. A diferença é que um LLM consegue escrever sozinho o roteiro dessa verificação, ler a estrutura do modelo e escolher a próxima edição.

Onde a mágica termina

O experimento não prova que um LLM entende um conjunto arbitrário de pesos como uma linguagem própria. As arquiteturas dos modelos populares, os nomes das camadas e os métodos de interpretabilidade mecanicista estão descritos em detalhes em código aberto e em publicações científicas. Tudo isso pode ter entrado nos dados de treinamento do grande modelo.

Além disso, o retorno das métricas teve papel importante. Quando se permite que o LLM altere os pesos repetidamente e observe a métrica, o processo passa a lembrar uma otimização por tentativa e erro. Se o conjunto de controle for pequeno ou mal utilizado, o agente pode ajustar as mudanças a ele. A melhora em um conjunto de dados independente reduz esse risco, mas não elimina a necessidade de reproduzir o experimento.

Afirmações sobre reconhecer a finalidade de um modelo apenas pelos pesos também devem ser lidas com cautela. Os tamanhos das matrizes, do vocabulário e das entradas muitas vezes revelam a família da arquitetura. E uma descrição detalhada do formato de entradas e saídas na tarefa pode, na prática, sugerir a finalidade da rede.

O que levar para a prática

O valor prático não está na «telepatia» entre modelos. Está no surgimento de um agente capaz de automatizar o diagnóstico e o reparo pontual de redes neurais pequenas. Essa abordagem será útil para modelos edge, classificadores antigos e sistemas em que o dataset original foi perdido ou o retreinamento é caro demais.

Os desenvolvedores devem tratá-la como uma ferramenta experimental: guardar os pesos originais, limitar o número de iterações, separar o conjunto de trabalho do teste final e verificar a robustez de cada alteração. As equipes de segurança terão de considerar os arquivos de pesos um ativo executável: um agente com permissão para alterá-los pode não apenas melhorar o modelo, mas também remover restrições ou incorporar um novo comportamento sem que ninguém perceba.

A principal mudança é bastante real. O LLM deixa de ser apenas um gerador de código e se torna um operador de ferramentas de ML. No entanto, entre esse operador e um neurocirurgião autônomo ainda existe uma grande distância.