Instruction Tuning
Instruction tuning es una técnica de fine-tuning supervisado que adapta un modelo de lenguaje pre-entrenado en pares de instrucción-respuesta, enseñándole a seguir directivas en lenguaje natural en lugar de simplemente predecir el siguiente token.
Instruction tuning es una técnica de fine-tuning supervisado aplicada después del pre-training para adaptar un modelo de lenguaje de modo que siga de manera confiable instrucciones en lenguaje natural y produzca respuestas apropiadas a las solicitudes del usuario, en lugar de simplemente extender el texto de entrada de una manera estadísticamente plausible.
Se ensambla un conjunto de datos de pares (instrucción, respuesta) (ya sea escritos manualmente por anotadores, recopilados de interacciones reales de usuarios, o generados sintéticamente por otro modelo), y el modelo pre-entrenado se ajusta en estos datos utilizando descenso de gradiente estándar. Los conjuntos de datos de instrucciones varían ampliamente en alcance y método: FLAN (Google, 2021) reformuló puntos de referencia de PNL existentes como instrucciones en lenguaje natural; InstructGPT (OpenAI, 2022) utilizó demostraciones escritas por humanos seguidas de RLHF; conjuntos de datos posteriores como Alpaca, ShareGPT y Open-Platypus se basaron en conversaciones generadas por modelos o crowdsourced que cubrían miles de tipos de tareas. El fine-tuning en una mezcla diversa de formatos de instrucciones mejora sustancialmente la generalización a instrucciones no vistas.
Sin instruction tuning, los modelos de lenguaje pre-entrenados tienden a completar prompts en lugar de responder preguntas, producir formato inconsistente, ignorar límites de tareas y fallar en mantener contexto conversacional. Instruction tuning transforma un modelo de lenguaje bruto en un asistente práctico capaz de resumir documentos, responder preguntas, escribir código y adaptar el estilo de salida, haciéndolo utilizable por personas que no son ingenieros de aprendizaje automático.
Instruction tuning es ahora un paso universal en la implementación de modelos cerrados y de pesos abiertos. Las técnicas han evolucionado para incluir datos de diálogo multiturn, acondicionamiento de system-prompt y demostraciones de uso de herramientas que enseñan a los modelos a llamar a APIs externas o ejecutar código. Métodos eficientes en parámetros como low-rank adaptation (LoRA) permiten instruction tuning con hardware de consumidor en horas en lugar de días. A partir de 2026, las variantes con instruction tuning (LLaMA 3 Instruct, Qwen 2.5 Instruct, Mistral Instruct) son las versiones predeterminadas de familias principales de pesos abiertos, con modelos base sirviendo principalmente como puntos de partida para personalización adicional.