Qwen3-0.6B ajustado em um Mac mini: erros nas respostas caíram de 9 para 3 em 30
A minúscula Qwen3-0.6B responde perguntas sobre um blog diretamente no navegador, e antes inventava detalhes que não estavam nos trechos encontrados. Depois do ajuste fino num Mac mini M4, levando 1 hora e 20 minutos, as respostas erradas em 30 perguntas caíram de 9 para 3, e as corretas ficaram em 16, contra 17 antes. Nas 15 perguntas fora do tema do blog, o modelo recusou-se honestamente a responder. Para modelos pequenos, vale ensinar respostas curtas baseadas no texto, e não resumos.
Processado por IA de Habr AI; editado por Hamidun News
Imagine uma busca no seu blog ou na sua documentação: o sistema encontra quatro trechos relevantes, e um pequeno modelo de linguagem, rodando no navegador, precisa responder de forma breve com base neles. Parece prático: não há servidor, não há cobrança por tokens. Mas o modelo de 0,6 bilhão de parâmetros (é o Qwen3-0.
6B) costuma inventar detalhes que não aparecem nos trechos. O desenvolvedor quis verificar se o ajuste fino resolve isso. O resultado: em 30 perguntas cuja resposta está no blog, as respostas erradas caíram de 9 para 3.
As respostas compatíveis com a fonte ficaram em 16, contra 17 do modelo original, e nas 15 perguntas fora do tema do blog o modelo se recusou a responder. O mais útil da história é o caminho: das quatro tentativas, três não deram certo.
Como o experimento foi montado
O modelo recebe um prompt de sistema curto, quatro trechos numerados vindos da busca semântica e a pergunta. Ele deve responder em no máximo duas frases e apenas com base nesses trechos. Se a resposta não estiver lá, precisa dizer que o blog, aparentemente, não trata do assunto.
O conjunto de avaliação tinha 45 perguntas: 30 com resposta no blog e 15 sem. Treinar o modelo com os próprios posts do autor seria trapaça, e além disso são só 16. Por isso ele usou 2193 documentos técnicos de licença aberta: o blog do Go, o blog do Rust, as RFCs do Rust e as PEPs do Python. Os documentos foram divididos em trechos e os embeddings foram gerados da mesma forma que no site, para que o modelo se acostumasse ao ruído real da busca. Às vezes a resposta está no primeiro trecho, às vezes no quarto, e às vezes aparece ao lado um texto quase igual de outra publicação.
As perguntas sobre os trechos foram escritas pelo Claude. Em alguns casos a resposta estava entre os trechos encontrados; em outros, o documento de origem era removido para que o modelo aprendesse a recusar. Também havia casos de "quase acerto": perguntas sobre um tema próximo, às quais os trechos não respondem.
As respostas foram escritas pelo Claude Opus. Trata-se de destilação: um modelo grande demonstra o comportamento e um modelo menor o reproduz. O treinamento usou LoRA e a biblioteca mlx-lm num Mac mini com chip M4 e 24 GB de memória: uma época com 4500 exemplos levou cerca de 1 hora e 20 minutos.
Cada versão foi comparada ao modelo original exportado no mesmo formato de 4 bits, de modo que só o ajuste fino fazia diferença.
Três fracassos no caminho até o resultado
A primeira versão ficou pior que a base: apenas 8 respostas das 30 se apoiavam na fonte, contra 17. Em compensação, não inventou respostas para perguntas fora do tema. O modelo herdou dois hábitos do Opus. O primeiro: acrescentar ressalvas como "detalhes não estão no blog". Elas apareciam em cerca de 10% dos exemplos de treino, mas no modelo ajustado surgiam em quase uma de cada três respostas, muitas vezes onde a informação necessária estava nos trechos. O segundo: encher a resposta de detalhes. Assim, "king" e "queen", que aparecem próximos no artigo, viraram "king" e "bicycle", supostamente relacionados.
Na segunda versão, as ressalvas foram removidas por script, mas só 9 das 30 respostas ficaram corretas. O mais revelador está nos checkpoints salvos após um quarto, metade e uma época inteira. O erro nos dados de validação (validation loss) caiu a cada um deles, ou seja, o modelo copiava as palavras do Opus com mais precisão. Mas as respostas corretas sobre o blog diminuíam: 18, 11 e 9. Um modelo desse tamanho reproduz a forma de uma resposta rica, mas não o conteúdo, e quanto melhor copia, mais se confunde.
Na terceira versão, as perguntas e os trechos foram mantidos, e só as respostas foram reescritas: uma única frase curta com o fato, o mais próxima possível da formulação da fonte. Sem juntar fatos de trechos diferentes e sem comentários sobre a ausência de informação. O tamanho médio da resposta caiu de 180 para 123 caracteres.
O resultado: 16 respostas das 30 são compatíveis com a fonte (contra 17; a diferença de uma resposta nessa amostra está dentro do ruído), e as erradas caíram de 9 para 3. Por exemplo, na pergunta sobre a placa de vídeo para o Llama 70B, o modelo base produziu um parágrafo de conselhos a partir de trechos sobre embeddings e agentes de IA, enquanto o ajustado se recusou. O preço da cautela: em 11 das 30 perguntas com resposta no blog, ele também afirma que o tema não existe; o modelo base fazia isso em 4 casos.
Para uma página de busca em que os trechos aparecem abaixo da resposta, essa troca faz sentido: alguns segundos a mais de leitura valem mais do que uma falsidade convicta.
A quarta versão acrescentou 1200 perguntas amplas do tipo "O que o blog diz sobre X?", para eliminar recusas injustificadas. As respostas corretas caíram para 13 em 30, ou seja, pior que a terceira versão.
O que levar para o seu trabalho
- Modelos pequenos aprendem mais facilmente o estilo dos exemplos do que a habilidade por trás deles. Ensine apenas aquilo que o modelo consegue reproduzir com base no conteúdo.
- Não se guie pelo validation loss. Avalie os checkpoints na sua tarefa real.
- Atribua a modelos pequenos a extração de um fato específico, e não a síntese de várias fontes.
- Dados de treino gerados sem cuidado produzem um comportamento diferente do que você espera.
O autor publicou o modelo, o conjunto de dados e o código em acesso aberto. Carregar o modelo no navegador agora exige menos dados do que o original.
Também vale lembrar as limitações. Trinta perguntas são poucas para tirar conclusões estatísticas, e a redução de erros de 9 para 3 não deve ser tratada como resultado científico. As respostas foram avaliadas pela mesma família de modelos Claude que escreveu os exemplos de treino, então o avaliador pode ter preferido o estilo que já lhe era familiar. Se você repetir a abordagem para a sua documentação, reescreva o prompt e a frase de recusa para o seu domínio e gere as respostas novamente.
- 21 de nov. de 2026Desenvolvedor pediu para o Claude instalar 900 aplicativos e criou um limpador gratuito para Mac
- 21 de nov. de 2026Apple prepara um agente de IA e dificulta o acesso de terceiros: a permissão agora tem 14 etapas, e não 4
- 21 de nov. de 2026Programador deixou de ser despachante de agentes de IA: o Multica assumiu a rotina de repasses
- 21 de nov. de 2026Desenvolvedor dispensou o Pinecone: busca em 72 450 trechos de código em 50 ms
Perguntas frequentes sobre a notícia
Como o experimento foi montado?
O modelo recebe um prompt de sistema curto, quatro trechos numerados vindos da busca semântica e a pergunta. Ele deve responder em no máximo duas frases e apenas com base nesses trechos. Se a resposta não estiver lá, precisa dizer que o blog, aparentemente, não trata do assunto. O conjunto de avaliação tinha 45 perguntas: 30 com resposta no blog e 15 sem. Treinar o modelo com os próprios posts do autor seria trapaça, e além disso são só 16.
O que se sabe sobre Três fracassos no caminho até o resultado?
A primeira versão ficou pior que a base: apenas 8 respostas das 30 se apoiavam na fonte, contra 17. Em compensação, não inventou respostas para perguntas fora do tema. O modelo herdou dois hábitos do Opus. O primeiro: acrescentar ressalvas como "detalhes não estão no blog". Elas apareciam em cerca de 10% dos exemplos de treino, mas no modelo ajustado surgiam em quase uma de cada três respostas, muitas vezes onde a informação necessária estava nos trechos. O segundo: encher a resposta de detalhes.
O que levar para o seu trabalho?
Modelos pequenos aprendem mais facilmente o estilo dos exemplos do que a habilidade por trás deles. Ensine apenas aquilo que o modelo consegue reproduzir com base no conteúdo. Não se guie pelo validation loss. Avalie os checkpoints na sua tarefa real. Atribua a modelos pequenos a extração de um fato específico, e não a síntese de várias fontes. Dados de treino gerados sem cuidado produzem um comportamento diferente do que você espera. O autor publicou o modelo, o conjunto de dados e o código em acesso aberto.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.