In-Context Learning
In-context learning é a capacidade de um modelo de linguagem de grande escala executar novas tarefas lendo exemplos ou instruções colocadas diretamente no prompt de entrada, adaptando seu comportamento no tempo de inferência sem nenhuma atualização de seus pesos.
In-context learning (ICL) é a capacidade de um modelo de linguagem de grande escala executar uma nova tarefa condicionando em um prompt que contém uma descrição em linguagem natural, alguns exemplos rotulados (shots) ou ambos — sem atualizar nenhum peso do modelo. O modelo produz saídas corretas por pattern-matching dentro da janela de contexto no tempo de inferência, tornando-a uma forma de meta-aprendizado expressa inteiramente na camada de inferência.
ICL opera através do mecanismo de atenção do modelo, que permite ler demonstrações no prompt e inferir o mapeamento subjacente entrada-saída. O artigo de 2020 do GPT-3 (Brown et al.) demonstrou que escalar o tamanho do modelo amplificou dramaticamente esse comportamento emergente, com capacidades zero-shot e few-shot aparecendo confiável apenas acima de um certo limiar de parâmetro. O modelo não executa gradient descent; codifica informação de tarefa implicitamente através de atenção sobre os exemplos fornecidos, um processo que alguns pesquisadores descrevem como inferência Bayesiana implícita sobre a distribuição de prompts.
ICL torna grandes modelos altamente flexíveis sem o custo de engenharia de fine-tuning. Um desenvolvedor pode adaptar um modelo para um novo esquema de classificação, formato de saída ou estilo de domínio escrevendo um punhado de exemplos no prompt, reduzindo o ciclo de iteração de dias (fine-tuning e avaliação) para minutos (edição de prompt). Isto é especialmente valioso para tarefas de baixo recurso, prototipagem rápida e aplicações onde definições de tarefa mudam frequentemente.
A partir de 2026, modelos com janelas de contexto de 128K–1M tokens — incluindo Claude 3.5 e 3.7 (Anthropic), Gemini 1.5 Pro (Google) e GPT-4o (OpenAI) — podem acomodar centenas de exemplos in-context e documentos de referência inteiros, desfocando a fronteira entre ICL e retrieval-augmented generation. Pesquisa sobre por que ICL funciona permanece ativa, com contas concorrentes envolvendo simulação de gradient descent no passe direto e indução de vetor de tarefa, mas aplicação prática superou muito o consenso teórico.