Few-shot learning
Few-shot learning es un paradigma de aprendizaje automático en el cual un modelo se adapta a una nueva tarea utilizando solo un pequeño número de ejemplos etiquetados—típicamente entre uno y veinte—en lugar de los grandes conjuntos de datos etiquetados requeridos por el aprendizaje supervisado convencional.
Few-shot learning es un paradigma de aprendizaje automático en el cual un modelo generaliza a nuevas tareas o categorías utilizando solo un número muy pequeño de ejemplos de entrenamiento etiquetados—típicamente entre uno (one-shot) y alrededor de veinte—en oposición a los miles o millones de ejemplos requeridos por el aprendizaje supervisado convencional. El desafío central es aprender representaciones lo suficientemente generales como para que un puñado de ejemplos sea suficiente para guiar predicciones precisas en entradas no vistas.
En aprendizaje automático clásico, el few-shot learning fue abordado a través de enfoques de meta-aprendizaje: algoritmos como MAML (Meta-Aprendizaje Agnóstico del Modelo, Finn et al. 2017) y Prototypical Networks (Snell et al. 2017) entrenan un modelo en muchas tareas distintas para que pueda adaptarse rápidamente a nuevas tareas a través de un pequeño número de pasos de gradiente o comparaciones de vecino más cercano en espacio de incrustaciones. Para modelos de lenguaje grandes, few-shot learning toma principalmente la forma de in-context learning: unos pocos ejemplos etiquetados se formatean como demostraciones directamente en el prompt, y el modelo produce predicciones para nuevas entradas sin ninguna actualización de pesos. GPT-3 (Brown et al. 2020) estableció que este enfoque se escala en un amplio rango de tareas.
Few-shot learning es importante porque los datos etiquetados son escasos, costosos de producir o no disponibles para tareas de nicho y que evolucionan rápidamente. Las aplicaciones de atención médica que involucran condiciones raras, procesamiento de lenguaje de bajo recurso, clasificación de eventos novedosos y tareas de categorización específicas de empresa se benefician de la adaptación few-shot. En desarrollo de productos, permite prototipado rápido: un desarrollador puede probar una nueva tarea de extracción o clasificación escribiendo unos pocos ejemplos anotados en un prompt antes de comprometerse con un flujo de fine-tuning.
A partir de 2026, modelos de frontera incluyendo GPT-4o, Claude 3.7 Sonnet y Gemini 2.0 Flash demuestran un fuerte desempeño few-shot en tareas de razonamiento, codificación y salida estructurada con tan solo tres a cinco ejemplos de prompt. La investigación se ha desplazado hacia la comprensión de los mecanismos detrás del in-context learning y hacia métodos de fine-tuning eficientes en parámetros como LoRA y QLoRA, que proporcionan un punto medio práctico entre prompting zero-shot y fine-tuning completo cuando hay datos etiquetados modestos disponibles.