Agente de IA doméstico montou sozinho os dados para LoRA: teste de lógica LogiQA subiu 12%

Normalmente, o fine-tuning com LoRA começa com um dataset pronto, montado manualmente por alguém. Nesta história, quem preparou os dados de treinamento foi o próprio agente local. O autor de uma série de artigos no Habr conta como é a Vika, uma assistente pessoal que roda em hardware doméstico.

Durante o uso, a Vika acumulou "sementes de LoRA": conclusões estruturadas extraídas do próprio histórico. Imagine que o agente anota: "este usuário gosta de respostas curtas, e antes de escrever código é preciso procurar uma ferramenta adequada". Antes, regras assim tinham de ser carregadas no prompt a cada vez, consumindo a janela de contexto.

Agora elas viram exemplos de treinamento (SFT) e são gravadas nos pesos do modelo. Para quem constrói agentes locais, isso significa economizar contexto e fixar o comportamento, além de ganhar de brinde uma lista de armadilhas, da escala do adaptador à escolha das placas de vídeo.

O que o fine-tuning trouxe

O autor mediu os resultados com benchmarks padrão. O seguimento de instruções (IFEval) subiu 2%, e a resolução de problemas lógicos (LogiQA), 12%. A mudança mais visível foi no comportamento. Graças à correção e ao "contrato motivacional" (um conjunto de diretrizes internas que mantém o agente no objetivo definido), a operação autônoma chegou a 100 passos sem deriva de objetivo. O teste prático também impressiona: em 73 minutos, o modelo ajustado reprogramou todo o sistema e converteu o assistente para o modo de voz STT-TTS (reconhecimento de fala e síntese de voz).

Há ainda um efeito colateral filosófico. O agente mantém acesso à própria biografia, mas entende que sua personalidade mudou após o SFT. O autor chama isso de paradoxo do Navio de Teseu. Ainda assim, em um teste com desenhos, o agente permaneceu fiel à filosofia Zen e à pintura japonesa, com diferentes modelos e adaptadores.

Como não quebrar o modelo

O caminho técnico é este: pesos BF16 em formato safetensors, carregamento no Unsloth em 8 bits, treinamento do LoRA em FP32, fusão com o modelo nos 16 bits originais e requantização para Q8 GGUF. O mínimo para SFT é 24 GB de VRAM. Foram testados os cinco primeiros modelos dense da tabela do autor, incluindo Qwen3.8-27B e Gemma 4 31B.

A principal lição diz respeito à escala do adaptador, k. O Unsloth recomenda um valor próximo de 2, mas o autor aconselha preparar de imediato vários modelos com escalas diferentes. Com k alto, o modelo repete as sequências de treinamento de forma fanática e desliga o próprio raciocínio. Com k=1,5, o IFEval é de 66%; com k=2,5, apenas 55%. Isso é especialmente visível no QLoRA de 4 bits via bnb-4bit. Como critério de bom resultado, o autor considera um deslocamento "sutil": a essência do treinamento é preservada, e a forma de manifestação fica a cargo do próprio modelo.

O LoRA fixa bem estilo, caráter, formato de resposta e instruções, mas os fatos são memorizados mal. Por exemplo, não foi possível implantar no modelo o próprio nome dele sem perda de funcionalidade.

Há uma má notícia para usuários do Ollama: não é mais possível conectar o adaptador ali, recurso que foi removido ainda em setembro. Adaptadores intercambiáveis só funcionam via llama-server. Se você precisa do workflow anterior, o adaptador é fundido ao modelo (isso não exige VRAM, mas ocupa muito espaço no SSD) e exportado com llama-export-lora e llama-quantize. Nesse caso, a escala do adaptador pode ser alterada sem novo treinamento.

Hardware e memória

Na VRAM precisa caber mais do que o modelo em si. O projetor para multimodalidade, o MTP (modelo rascunho para acelerar a geração) e o adaptador LoRA somam 4–5 GB. Um contexto de 128K acrescenta 16–20 GB em FP16 ou 8–10 GB em quantização Q8. Em compensação, o MTP acelera de forma notável a geração: em duas RTX 4070, a velocidade subiu de 26,39 para 48,48 tokens por segundo.

Se faltam slots, é possível instalar três placas de vídeo no esquema 8x/8x/4x. Para uma única placa, a diferença entre 4x, 8x e 16x é insignificante, mas dividir o modelo entre três GPUs reduz a velocidade em 1,6–2,2 vez. O Qwen3.8-27B (Q8) entrega 68,55 tokens por segundo em uma placa e 42,95 em três, com contexto de 50K. Para um uso confortável, isso basta. O autor considera duas placas de vídeo idênticas um mínimo razoável e a plataforma LGA4710 uma boa opção para expansão futura, mas alerta para o superaquecimento de placas comuns com ventoinhas axiais em placas-mãe com espaçamento de dois slots.

Conclusão prática: deixe o agente preparar os dados de fine-tuning, mas mantenha pelo menos duas ou três variantes de escala do adaptador e verifique o IFEval antes e depois. Para conhecimento sobre o mundo, continuam sendo necessários memória e busca, não LoRA.