Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Qwen3-0.6B ajustado em um Mac mini: erros nas respostas caíram de 9 para 3 em 30

A minúscula Qwen3-0.6B responde perguntas sobre um blog diretamente no navegador, e antes inventava detalhes que não estavam nos trechos encontrados. Depois do ajuste fino num Mac mini M4, levando 1 hora e 20 minutos, as respostas erradas em 30 perguntas caíram de 9 para 3, e as corretas ficaram em 16, contra 17 antes. Nas 15 perguntas fora do tema do blog, o modelo recusou-se honestamente a responder. Para modelos pequenos, vale ensinar respostas curtas baseadas no texto, e não resumos.

Processado por IA de Habr AI; editado por Hamidun News
Qwen3-0.6B ajustado em um Mac mini: erros nas respostas caíram de 9 para 3 em 30
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Treinamento4500 exemplos gerados pelo Claude Opus, uma época, LoRA
A versão v1 ficou pior8 respostas corretas em 30, contra 17
Dado-chave #3O erro nos dados de validação caiu, mas as respostas corretas foram 18, 11 e 9

Imagine uma busca no seu blog ou na sua documentação: o sistema encontra quatro trechos relevantes, e um pequeno modelo de linguagem, rodando no navegador, precisa responder de forma breve com base neles. Parece prático: não há servidor, não há cobrança por tokens. Mas o modelo de 0,6 bilhão de parâmetros (é o Qwen3-0.

6B) costuma inventar detalhes que não aparecem nos trechos. O desenvolvedor quis verificar se o ajuste fino resolve isso. O resultado: em 30 perguntas cuja resposta está no blog, as respostas erradas caíram de 9 para 3.

As respostas compatíveis com a fonte ficaram em 16, contra 17 do modelo original, e nas 15 perguntas fora do tema do blog o modelo se recusou a responder. O mais útil da história é o caminho: das quatro tentativas, três não deram certo.

Como o experimento foi montado

O modelo recebe um prompt de sistema curto, quatro trechos numerados vindos da busca semântica e a pergunta. Ele deve responder em no máximo duas frases e apenas com base nesses trechos. Se a resposta não estiver lá, precisa dizer que o blog, aparentemente, não trata do assunto.

O conjunto de avaliação tinha 45 perguntas: 30 com resposta no blog e 15 sem. Treinar o modelo com os próprios posts do autor seria trapaça, e além disso são só 16. Por isso ele usou 2193 documentos técnicos de licença aberta: o blog do Go, o blog do Rust, as RFCs do Rust e as PEPs do Python. Os documentos foram divididos em trechos e os embeddings foram gerados da mesma forma que no site, para que o modelo se acostumasse ao ruído real da busca. Às vezes a resposta está no primeiro trecho, às vezes no quarto, e às vezes aparece ao lado um texto quase igual de outra publicação.

As perguntas sobre os trechos foram escritas pelo Claude. Em alguns casos a resposta estava entre os trechos encontrados; em outros, o documento de origem era removido para que o modelo aprendesse a recusar. Também havia casos de "quase acerto": perguntas sobre um tema próximo, às quais os trechos não respondem.

As respostas foram escritas pelo Claude Opus. Trata-se de destilação: um modelo grande demonstra o comportamento e um modelo menor o reproduz. O treinamento usou LoRA e a biblioteca mlx-lm num Mac mini com chip M4 e 24 GB de memória: uma época com 4500 exemplos levou cerca de 1 hora e 20 minutos.

Cada versão foi comparada ao modelo original exportado no mesmo formato de 4 bits, de modo que só o ajuste fino fazia diferença.

Três fracassos no caminho até o resultado

A primeira versão ficou pior que a base: apenas 8 respostas das 30 se apoiavam na fonte, contra 17. Em compensação, não inventou respostas para perguntas fora do tema. O modelo herdou dois hábitos do Opus. O primeiro: acrescentar ressalvas como "detalhes não estão no blog". Elas apareciam em cerca de 10% dos exemplos de treino, mas no modelo ajustado surgiam em quase uma de cada três respostas, muitas vezes onde a informação necessária estava nos trechos. O segundo: encher a resposta de detalhes. Assim, "king" e "queen", que aparecem próximos no artigo, viraram "king" e "bicycle", supostamente relacionados.

Na segunda versão, as ressalvas foram removidas por script, mas só 9 das 30 respostas ficaram corretas. O mais revelador está nos checkpoints salvos após um quarto, metade e uma época inteira. O erro nos dados de validação (validation loss) caiu a cada um deles, ou seja, o modelo copiava as palavras do Opus com mais precisão. Mas as respostas corretas sobre o blog diminuíam: 18, 11 e 9. Um modelo desse tamanho reproduz a forma de uma resposta rica, mas não o conteúdo, e quanto melhor copia, mais se confunde.

Na terceira versão, as perguntas e os trechos foram mantidos, e só as respostas foram reescritas: uma única frase curta com o fato, o mais próxima possível da formulação da fonte. Sem juntar fatos de trechos diferentes e sem comentários sobre a ausência de informação. O tamanho médio da resposta caiu de 180 para 123 caracteres.

O resultado: 16 respostas das 30 são compatíveis com a fonte (contra 17; a diferença de uma resposta nessa amostra está dentro do ruído), e as erradas caíram de 9 para 3. Por exemplo, na pergunta sobre a placa de vídeo para o Llama 70B, o modelo base produziu um parágrafo de conselhos a partir de trechos sobre embeddings e agentes de IA, enquanto o ajustado se recusou. O preço da cautela: em 11 das 30 perguntas com resposta no blog, ele também afirma que o tema não existe; o modelo base fazia isso em 4 casos.

Para uma página de busca em que os trechos aparecem abaixo da resposta, essa troca faz sentido: alguns segundos a mais de leitura valem mais do que uma falsidade convicta.

A quarta versão acrescentou 1200 perguntas amplas do tipo "O que o blog diz sobre X?", para eliminar recusas injustificadas. As respostas corretas caíram para 13 em 30, ou seja, pior que a terceira versão.

O que levar para o seu trabalho

  • Modelos pequenos aprendem mais facilmente o estilo dos exemplos do que a habilidade por trás deles. Ensine apenas aquilo que o modelo consegue reproduzir com base no conteúdo.
  • Não se guie pelo validation loss. Avalie os checkpoints na sua tarefa real.
  • Atribua a modelos pequenos a extração de um fato específico, e não a síntese de várias fontes.
  • Dados de treino gerados sem cuidado produzem um comportamento diferente do que você espera.

O autor publicou o modelo, o conjunto de dados e o código em acesso aberto. Carregar o modelo no navegador agora exige menos dados do que o original.

Também vale lembrar as limitações. Trinta perguntas são poucas para tirar conclusões estatísticas, e a redução de erros de 9 para 3 não deve ser tratada como resultado científico. As respostas foram avaliadas pela mesma família de modelos Claude que escreveu os exemplos de treino, então o avaliador pode ter preferido o estilo que já lhe era familiar. Se você repetir a abordagem para a sua documentação, reescreva o prompt e a frase de recusa para o seu domínio e gere as respostas novamente.

História

Perguntas frequentes sobre a notícia

Como o experimento foi montado?

O modelo recebe um prompt de sistema curto, quatro trechos numerados vindos da busca semântica e a pergunta. Ele deve responder em no máximo duas frases e apenas com base nesses trechos. Se a resposta não estiver lá, precisa dizer que o blog, aparentemente, não trata do assunto. O conjunto de avaliação tinha 45 perguntas: 30 com resposta no blog e 15 sem. Treinar o modelo com os próprios posts do autor seria trapaça, e além disso são só 16.

O que se sabe sobre Três fracassos no caminho até o resultado?

A primeira versão ficou pior que a base: apenas 8 respostas das 30 se apoiavam na fonte, contra 17. Em compensação, não inventou respostas para perguntas fora do tema. O modelo herdou dois hábitos do Opus. O primeiro: acrescentar ressalvas como "detalhes não estão no blog". Elas apareciam em cerca de 10% dos exemplos de treino, mas no modelo ajustado surgiam em quase uma de cada três respostas, muitas vezes onde a informação necessária estava nos trechos. O segundo: encher a resposta de detalhes.

O que levar para o seu trabalho?

Modelos pequenos aprendem mais facilmente o estilo dos exemplos do que a habilidade por trás deles. Ensine apenas aquilo que o modelo consegue reproduzir com base no conteúdo. Não se guie pelo validation loss. Avalie os checkpoints na sua tarefa real. Atribua a modelos pequenos a extração de um fato específico, e não a síntese de várias fontes. Dados de treino gerados sem cuidado produzem um comportamento diferente do que você espera. O autor publicou o modelo, o conjunto de dados e o código em acesso aberto.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…