Autor do LANN-4 mostra que o ajuste fino repetido de uma LLM pequena bate em um teto

Se você ajusta a mesma LLM pequena com exemplos em várias rodadas seguidas, ela não melhora de uma rodada para a outra. A primeira rodada traz um ganho visível, e depois o crescimento para. Essa é a conclusão do autor de uma série de textos no Habr, cujos experimentos rodam em um modelo que cabe em uma placa de vídeo doméstica comum. O próximo experimento vai consumir cerca de um dia de GPU, e antes de executá-lo o autor pede que os leitores procurem pontos fracos no esquema de verificação.

Por que tudo isso começou

No primeiro artigo, o autor investigou se um modelo pequeno pode ficar mais inteligente com o tempo sem aumentar o número de parâmetros. Em vez de inflar os pesos, ele apostou em três elementos: memória, ajuste fino cuidadoso e verificação das respostas. No segundo texto, explicou aonde isso leva. Os experimentos são passos rumo à arquitetura LANN-4, uma rede neural que aprende ao longo de toda a "vida". Ela deve ter um pequeno "cérebro" imutável e uma memória mantida fora dele.

O autor ressalva logo de início: a LANN-4 em si ainda não existe. A arquitetura não foi escolhida nem construída, e os modelos dos experimentos servem como cobaias. A publicação não traz produto pronto nem benchmarks do novo sistema. É um relatório de pesquisa, e com resultado negativo.

O que não funcionou

O teste verificou algo simples: haveria efeito cumulativo se a mesma modelo fosse ajustada com exemplos muitas vezes seguidas? Não houve acúmulo. O texto leva ao seguinte quadro:

• tamanho do modelo: cabe em uma placa de vídeo doméstica comum;
• primeira rodada de ajuste fino: ganho visível de qualidade;
• rodadas seguintes: o crescimento para, e o teto é atingido rapidamente;
• conclusão do autor: o ajuste fino repetido e simples não transforma um modelo pequeno em um sistema que melhora ao longo de toda a vida;
• custo da verificação decisiva: cerca de um dia de trabalho da placa de vídeo.

O anúncio não revela as causas da parada, que provavelmente são discutidas no texto principal. A literatura sobre aprendizado contínuo costuma apontar o esquecimento do que foi aprendido antes, a saturação em dados do mesmo tipo e o limite de capacidade do próprio modelo. Mas isso é contexto geral, não afirmação do autor. O anúncio não permite saber qual dessas hipóteses se aplicou neste caso.

Por que o resultado é útil

Resultados negativos em experimentos abertos com IA raramente são publicados, embora poupem o tempo dos outros. Este ainda toca em uma questão prática. A ideia de um "cérebro pequeno e fixo mais memória externa" é atraente: promete aprendizado sem retreinar todos os pesos e execução em hardware de consumo. Se o próprio modelo deixa de assimilar coisas novas depois da primeira iteração, toda a carga recai sobre a memória externa e sobre o mecanismo de verificação das respostas. É para lá que o autor desloca o foco.

Vale destacar também o formato: o autor não lança a execução decisiva, mas publica o desenho dela antes para receber críticas. Um dia em uma única placa de vídeo não é tão caro, mas em hardware doméstico significa um dia sem outros experimentos. Um erro na montagem do teste custa mais do que o próprio cálculo.

O que os profissionais podem tirar disso

Se você ajusta modelos pequenos para suas próprias tarefas, a nota deixa três lições. Não espere que rodadas repetidas nos mesmos dados tragam ganhos comparáveis: meça a qualidade após cada rodada em um conjunto separado e pare quando a curva chegar ao platô. Mantenha a verificação das respostas separada dos dados de treinamento; caso contrário, é possível confundir o teto com progresso, ou o contrário. E, se o tema do aprendizado contínuo lhe interessa, leia o artigo original no Habr e tente encontrar falhas no esquema do experimento decisivo: o autor pede isso explicitamente antes de executá-lo.