Desenvolvedor faz fine-tuning de modelo de 4 bilhões de parâmetros e obtém 84,5% de acurácia em uma noite

Um modelo aberto pequeno, de 4 bilhões de parâmetros, ajustado em uma noite numa placa de vídeo alugada, dá conta de boa parte da rotina de negócios. O autor da análise no Habr gastou algumas centenas de rublos no treinamento e obteve 84,5% de acurácia em tarefas próprias em russo. Quase dois terços do fluxo são processados pelo modelo sozinho, com 95% de decisões corretas. Em tarefas de terceiros, que o modelo não tinha visto, o resultado é mais modesto: ficou no grupo de cima, mas não em primeiro lugar.

Uma tarefa, não um chatbot

O autor parte de uma observação simples. Boa parte das tarefas em que as empresas usam IA se resume a escolher uma opção de resposta. Para onde encaminhar uma solicitação. Quem deve aprovar um pedido. Se uma reclamação é urgente. Para isso, não é preciso um grande modelo generativo com raciocínio longo. O que se precisa é de um classificador rápido, com custo de erro conhecido, que possa rodar na infraestrutura da própria empresa.

É nesse cenário que um modelo pequeno com fine-tuning pode competir com os gigantes da nuvem. Ele sai mais barato de operar, e os dados não saem do perímetro da empresa.

O que as medições mostraram

O modelo foi comparado com YandexGPT, GigaChat e alternativas abertas. Parâmetros do experimento, segundo o anúncio:

• tamanho do modelo: 4 bilhões de parâmetros, pesos abertos;
• custo do treinamento: algumas centenas de rublos de aluguel de GPU, cerca de uma noite;
• acurácia nas tarefas do próprio autor: 84,5%;
• automação: quase dois terços do fluxo com 95% de decisões corretas;
• em tarefas desconhecidas: grupo de cima, sem alegação de liderança;
• modelo e código publicados.

A diferença entre 84,5% e 95% se explica, de forma lógica, por um limiar de confiança. As respostas com alta confiança vão para o automático, e as duvidosas ficam com uma pessoa. Esta é uma interpretação minha, não uma citação do anúncio. Esse esquema se aproxima mais da operação real do que um número único de acurácia sobre toda a amostra.

Vale destacar à parte o teste em tarefas que nenhum dos modelos tinha visto. Modelos ajustados facilmente parecem fortes em dados próximos aos do treinamento. Uma medição honesta em material alheio mostra onde termina a especialização. O resultado "grupo de cima, mas sem liderança" soa mais plausível do que relatos triunfais.

Limitações

Eu vi apenas o anúncio, sem o texto completo, então os detalhes ficam de fora: qual é o modelo base, quais datasets foram usados, como as amostras foram montadas. O benchmark é do próprio autor, e ninguém confirmou até agora a reprodutibilidade de forma independente. Os números 84,5% e 95% valem para as tarefas específicas do autor e não se transferem automaticamente para os seus dados.

Como aproveitar isso

O autor promete ainda uma análise dos erros comuns e uma lista de métricas que vale exigir de um fornecedor contratado. A lista completa não foi revelada no anúncio, mas, pela lógica do experimento, dá para extrair um conjunto mínimo de perguntas para qualquer implantação:

• Qual parcela do fluxo vai para o automático com uma acurácia definida, por exemplo 95%?
• Como o modelo se comporta em dados que não entraram no treinamento?
• Quanto custa um erro no seu processo e qual limiar de confiança decorre disso?
• A solução foi comparada com modelos de nuvem na sua amostra?

O caminho prático é este: montar uma amostra rotulada das suas solicitações, rodar o modelo aberto da publicação e comparar com a solução atual. Se a automação chegar à metade do fluxo com um custo de erro aceitável, dá para passar a calcular a economia. Se não, algumas centenas de rublos de aluguel de GPU são um preço baixo por uma resposta.