Instruction Tuning
Instruction tuning é uma técnica de fine-tuning supervisionado que adapta um modelo de linguagem pré-treinado em pares instrução-resposta, ensinando-o a seguir diretivas em linguagem natural em vez de apenas prever o próximo token.
Instruction tuning é uma técnica de fine-tuning supervisionado aplicada após pré-treinamento para adaptar um modelo de linguagem de forma que siga confiávelmente instruções em linguagem natural e produza respostas apropriadas a solicitações de usuários, em vez de simplesmente estender o texto de entrada de forma estatisticamente plausível.
Um dataset de pares (instrução, resposta) é montado—escritos manualmente por anotadores, coletados de interações reais de usuários ou gerados sinteticamente por outro modelo—e o modelo pré-treinado é ajustado nesses dados usando gradiente descendente padrão. Datasets de instruções variam amplamente em escopo e método: FLAN (Google, 2021) reformulou benchmarks NLP existentes como instruções em linguagem natural; InstructGPT (OpenAI, 2022) usou demonstrações escritas por humanos seguidas por RLHF; datasets posteriores como Alpaca, ShareGPT e Open-Platypus basearam-se em conversas geradas por modelo ou crowdsourced cobrindo milhares de tipos de tarefas. Fine-tuning em uma mistura diversa de formatos de instruções melhora substancialmente a generalização para instruções não vistas.
Sem instruction tuning, modelos de linguagem pré-treinados tendem a completar prompts em vez de responder perguntas, produzem formatação inconsistente, ignoram limites de tarefas e falham em manter contexto conversacional. Instruction tuning transforma um modelo de linguagem bruto em um assistente prático capaz de resumir documentos, responder perguntas, escrever código e adaptar o estilo de saída—tornando-o usável por pessoas que não são engenheiros de machine learning.
Instruction tuning é agora um passo universal na implantação de modelos fechados e de pesos abertos. Técnicas amadureceram para incluir dados de diálogo multi-volta, condicionamento de prompt do sistema e demonstrações de uso de ferramentas que ensinam modelos a chamar APIs externas ou executar código. Métodos eficientes de parâmetro como adaptação de baixo rank (LoRA) permitem instruction tuning com hardware de consumidor em horas em vez de dias. A partir de 2026, variantes com instruction tuning—LLaMA 3 Instruct, Qwen 2.5 Instruct, Mistral Instruct—são os lançamentos padrão de principais famílias de pesos abertos, com modelos base servindo primariamente como pontos de partida para customização adicional.