Modelo ajustado de 0,8 bilhão de parâmetros supera o GPT-5.4 na anotação de gramática

A equipe de uma plataforma educacional para quem estuda inglês fez o ajuste fino de modelos de linguagem pequenos da família Qwen3.5 e lançou a versão de 0,8 bilhão de parâmetros para todos os alunos do serviço. O modelo lê as transcrições das aulas e anota conceitos gramaticais, a base do rastreador de domínio de gramática da plataforma. Em dois benchmarks com anotação manual, esse modelo e a versão de referência de 4B superaram GPT-5.4 e GPT-5.6 Sol, usados com prompts, tanto em precisão quanto em recall. O custo de operação caiu cerca de 16 vezes. No experimento online, o engajamento dos alunos subiu 15,8%.

Qual problema a equipe queria resolver

A correção de erros durante a aula está entre os fatores mais bem comprovados para a aquisição de uma segunda língua. Mas, na aula, as correções são ditas e se perdem no fluxo da conversa. Elas não formam um panorama: quais construções o aluno já usa com segurança e onde ele erra repetidamente. Modelos de fronteira (frontier) conseguem extrair esse panorama das transcrições dos diálogos entre aluno e professor. Em escala de plataforma inteira, porém, sai caro, porque cada aula vira uma requisição longa a um modelo caro.

Os autores resolveram o problema com ajuste fino. Eles pegaram anotações geradas por modelos-professores, filtraram esse material e rebalancearam as classes para que conceitos gramaticais raros não se perdessem. Com esses dados, ajustaram o Qwen3.5 em dois tamanhos.

O contrato nos pesos, e não no prompt

O principal truque de engenharia é que as regras de anotação ficam gravadas nos pesos do adaptador. Com modelos usados por prompt, é preciso enviar toda vez uma instrução detalhada: o que conta como conceito, como destacar o trecho que serve de evidência, quando uma resposta é considerada correta. Aqui, a instrução foi "embutida" no treinamento. Por isso, o modelo de 0,8B funciona com um prompt compacto e consistente. A economia vem de dois lados: o modelo é menor e o contexto de entrada é mais curto.

A comparação usou critérios aninhados, de rigor crescente:

• correspondência do conceito;
• correspondência do trecho de texto em que a anotação se apoia (evidence span);
• correção da avaliação em si.

Nos três níveis, os dois modelos ajustados, o de 0,8B em produção e o de 4B para comparação, tiveram precisão e recall maiores que GPT-5.4 e GPT-5.6 Sol. O custo de operação do modelo de 0,8B é cerca de 16 vezes menor.

O efeito também foi testado no produto. Em um experimento online no nível da funcionalidade, os resultados foram estes:

• engajamento dos alunos: +15,8%;
• horas de aula agendadas: +2,1%;
• GMV das novas aulas: +13,2%.

O que o resumo não diz

O resumo (abstract) do artigo não revela vários pontos importantes: os valores absolutos de precisão e recall, o tamanho do conjunto de treinamento, a duração e o desenho do experimento online. A plataforma não é identificada, e também não se especifica quais modelos geraram as anotações de treinamento. Os modelos de fronteira entraram na comparação apenas com prompts, sem ajuste fino próprio para a tarefa. Os benchmarks são específicos de domínio, então o resultado não pode ser transferido para qualquer tarefa de anotação de texto. Foi publicado um preprint, e ainda não há verificação independente.

O que dá para levar para a prática

A tarefa é restrita e se repete milhões de vezes: saída estruturada seguindo um esquema claro. É justamente nesse tipo de caso que um modelo pequeno e especializado leva vantagem sobre um modelo generalista. Se a equipe tem um formato de resposta estável e um fluxo de requisições do mesmo tipo, vale calcular quanto custa a opção de fronteira com prompts no volume real e compará-la com um modelo ajustado de 1–4B parâmetros.

A sequência descrita no artigo é esta: primeiro, gerar as anotações com um modelo forte; depois, filtrá-las e equilibrar a distribuição das classes; em seguida, ajustar o adaptador e reduzir o prompt ao mínimo. O resultado deve ser avaliado com critérios aninhados, como no estudo, para identificar onde o modelo perde qualidade: na escolha da classe, na ancoragem no texto ou na avaliação final. O ideal é fazer o lançamento por meio de um experimento online com métricas de negócio, e não com base em um único benchmark offline.