Grande Modelo de Linguagem (LLM)
Um grande modelo de linguagem (LLM) é uma rede neural baseada em transformer com bilhões de parâmetros treinada em texto de escala da internet para modelar e gerar linguagem humana, capaz de executar tarefas diversas através de prompts em linguagem natural sem re-treinamento específico da tarefa.
Um grande modelo de linguagem é uma rede neural baseada em transformer pré-treinada em corpora de texto massivos — comumente centenas de bilhões a vários trilhões de tokens retirados da web, livros, repositórios de código, e literatura científica. As características definidoras são a contagem de parâmetros (variando de alguns bilhões a centenas de bilhões ou mais) e a capacidade emergente de realizar tarefas descritas em instruções em linguagem natural, incluindo tarefas não vistas durante o treinamento. Esta generalização entre domínios, às vezes chamada de 'aprendizado em contexto', distingue LLMs de modelos anteriores de PLN específicos da tarefa.
LLMs são pré-treinados predizendo o próximo token em uma sequência (modelagem de linguagem autoregressiva ou causal) ou recuperando tokens mascarados (como na modelagem de linguagem mascarada de estilo BERT). O pré-treinamento é seguido por alinhamento: ajuste de instrução em conjuntos curados de prompt-resposta ensina ao modelo a seguir instruções, e aprendizado por reforço do feedback humano (RLHF) ou métodos relacionados (RLAIF, DPO) direcionam saídas para utilidade e longe de conteúdo prejudicial. O custo computacional de pré-treinamento dos modelos de fronteira corre para dezenas a centenas de milhões de dólares, exigindo clusters de dezenas de milhares de GPUs ou aceleradores de IA.
LLMs tornaram IA conversacional, geração de código, resumo de documentos, e tradução multilíngue acessíveis através de produtos de consumidor: ChatGPT (OpenAI, lançado novembro 2022), Claude (Anthropic), e Gemini (Google DeepMind) cada um acumulou centenas de milhões de usuários dentro do seu primeiro ano. Empresas implantam LLMs como backends para pipelines de geração aumentada por recuperação (RAG), agentes autônomos, automação de atendimento ao cliente, e assistentes de desenvolvimento de software como GitHub Copilot.
Por 2026, o panorama de LLM é intensamente competitivo, com modelos de fronteira da OpenAI, Anthropic, Google, Meta (família Llama), Mistral, e várias iniciativas nacionais. Janelas de contexto para modelos líderes excedem um milhão de tokens, habilitando análise de documentos de tamanho de livro em uma única chamada. Direções principais de pesquisa incluem multimodalidade (integração de visão, áudio, e vídeo), raciocínio melhorado em matemática e lógica formal, e eficiência de inferência — alcançando capacidade próxima à de fronteira com substancialmente menos computação e custo de energia.