Modelo de lenguaje grande (LLM)
Un modelo de lenguaje grande (LLM) es una red neuronal basada en Transformer con miles de millones de parámetros entrenada en texto a escala de internet para modelar y generar lenguaje humano, capaz de realizar tareas diversas mediante prompts en lenguaje natural sin reentrenamiento específico de tarea.
Un modelo de lenguaje grande es una red neuronal basada en Transformer preentrenada en corpus de texto masivos — comúnmente desde cientos de miles de millones hasta varios billones de tokens procedentes de la web, libros, repositorios de código, y literatura científica. Las características definitivas son el recuento de parámetros (que van desde algunos miles de millones a cientos de miles de millones o más) y la capacidad emergente de realizar tareas descritas en instrucciones en lenguaje natural, incluyendo tareas no vistas durante el entrenamiento. Esta generalización entre dominios, a veces llamada 'aprendizaje en contexto,' distingue a los LLMs de modelos de NLP anteriores específicos de tarea.
Los LLMs se preentrenan prediciendo el siguiente token en una secuencia (modelado de lenguaje autorregresivo o causal) o recuperando tokens enmascarados (como en modelado de lenguaje enmascarado de estilo BERT). El preentrenamiento va seguido de alineamiento: ajuste de instrucciones en conjuntos de datos de prompts-respuesta curados enseña al modelo a seguir instrucciones, y aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) o métodos relacionados (RLAIF, DPO) orientan las salidas hacia utilidad y lejos de contenido dañino. El costo computacional del preentrenamiento de modelos fronterizos va en docenas a cientos de millones de dólares, requiriendo clústeres de decenas de miles de GPUs o aceleradores de IA.
Los LLMs han hecho que la IA conversacional, generación de código, resumen de documentos, y traducción multilingüe sean accesibles mediante productos para consumidores: ChatGPT (OpenAI, lanzado en noviembre de 2022), Claude (Anthropic), y Gemini (Google DeepMind) acumularon cada uno cientos de millones de usuarios en su primer año. Las empresas despliegan LLMs como backends para canalizaciones de generación aumentada por recuperación (RAG), agentes autónomos, automatización del servicio al cliente, y asistentes de desarrollo de software como GitHub Copilot.
A partir de 2026, el panorama de LLM es intensamente competitivo, con modelos fronterizos de OpenAI, Anthropic, Google, Meta (familia Llama), Mistral, e iniciativas nacionales varias. Las ventanas de contexto para modelos líderes exceden un millón de tokens, permitiendo análisis de documentos de extensión de libro en una sola llamada. Las direcciones clave de investigación incluyen multimodalidad (integración de visión, audio, y video), razonamiento mejorado sobre matemáticas y lógica formal, y eficiencia de inferencia — lograr capacidad casi fronteriza a costo de computación y energía sustancialmente menor.