In-context learning
In-context learning es la capacidad de un modelo de lenguaje grande de realizar nuevas tareas al leer ejemplos o instrucciones colocados directamente en el prompt de entrada, adaptando su comportamiento en tiempo de inferencia sin ninguna actualización de sus pesos.
In-context learning (ICL) es la capacidad de un modelo de lenguaje grande de realizar una nueva tarea condicionando en un prompt que contiene una descripción en lenguaje natural, unos pocos ejemplos etiquetados (shots), o ambos — sin actualizar ningún peso del modelo. El modelo produce salidas correctas mediante pattern-matching dentro de la ventana de contexto en tiempo de inferencia, haciéndolo una forma de meta-aprendizaje expresada completamente en la capa de inferencia.
ICL opera a través del mecanismo de atención del modelo, que le permite leer demostraciones en el prompt e inferir la asignación de entrada-salida subyacente. El documento de GPT-3 de 2020 (Brown et al.) demostró que escalar el tamaño del modelo amplificó dramáticamente este comportamiento emergente, con capacidades zero-shot y few-shot apareciendo confiablemente solo por encima de un cierto umbral de parámetros. El modelo no realiza descenso de gradiente; codifica información de tarea implícitamente a través de atención sobre los ejemplos proporcionados, un proceso que algunos investigadores describen como inferencia de Bayes implícita sobre la distribución de prompts.
ICL hace que los modelos grandes sean altamente flexibles sin el costo de ingeniería del fine-tuning. Un desarrollador puede adaptar un modelo a un nuevo esquema de clasificación, formato de salida o estilo de dominio escribiendo un puñado de ejemplos en el prompt, reduciendo el ciclo de iteración de días (fine-tuning y evaluación) a minutos (edición de prompts). Esto es especialmente valioso para tareas de bajo recurso, prototipado rápido y aplicaciones donde las definiciones de tareas cambian frecuentemente.
A partir de 2026, modelos con ventanas de contexto de 128K–1M tokens — incluyendo Claude 3.5 y 3.7 (Anthropic), Gemini 1.5 Pro (Google) y GPT-4o (OpenAI) — pueden acomodar cientos de ejemplos en contexto y documentos de referencia completos, difuminando el límite entre ICL y generación aumentada por recuperación. La investigación sobre por qué funciona ICL permanece activa, con cuentas competidoras que involucran simulación de descenso de gradiente en el pase forward e inducción de vector de tarea, pero la aplicación práctica ha superado ampliamente el consenso teórico.