Habr AI Explica Por Qué los LLM No Calculan, No Aprenden en el Diálogo y Dependen de Herramientas

Un artículo en Habr AI desmonta el mito popular de que un chatbot moderno ya es, por sí solo, una inteligencia universal. La tesis principal del autor es simple: un LLM base, por su naturaleza, solo sabe trabajar con texto — aceptar una solicitud textual y generar una respuesta textual. Todo lo demás que un usuario percibe como las "habilidades mágicas" del modelo normalmente es proporcionado por herramientas externas, integraciones y orquestación. Por eso las mismas interfaces pueden dibujar imágenes, buscar en internet y calcular números, aunque el modelo de lenguaje mismo no se convierte en artista, motor de búsqueda o calculadora por ello.

El primer equívoco está vinculado a la sensación de que un LLM "puede hacerlo todo". Si le pides que cree una imagen, formula una solicitud para un modelo de generación separado. Si hablas con él por voz, el reconocimiento de voz y la síntesis de voz participan en la cadena.

Si necesitas un cálculo preciso, los resultados confiables generalmente aparecen solo después de invocar un intérprete de código u otra herramienta computacional. Sin estas capas adicionales, un LLM se basa en la reproducción probabilística de patrones del entrenamiento: puede resolver correctamente un ejemplo simple, pero con números largos, fórmulas y tareas que requieren alta precisión fácilmente comete errores. De esto se deduce un límite práctico importante: la fortaleza del modelo no es la matemática en sí, sino la descripción textual de la tarea y la selección de la herramienta apropiada.

El segundo mito es que el modelo aprende durante la conversación. El autor nos recuerda que la inferencia y el entrenamiento son dos procesos diferentes. Cuando un usuario escribe una solicitud, el modelo genera secuencialmente tokens basados en pesos ya fijados, y los propios pesos no cambian en ese momento.

Esto significa que un LLM específico en una sesión específica no "aprende una lección" y no se vuelve más inteligente por la observación de un usuario. Sí, los proveedores pueden luego usar diálogos anonimizados para entrenar futuras versiones, pero ese es ya un ciclo de ajuste fino separado, no una actualización mágica en el chat. De esto también se deduce otra conclusión: la memoria del usuario entre diálogos generalmente no es entrenamiento del modelo, sino contexto guardado que luego se mezcla nuevamente en la solicitud.

El artículo entonces explica brevemente de qué está compuesto un LLM público. En su núcleo hay un transformer que ve todo el contexto disponible a la vez y construye una respuesta como una secuencia de tokens probables, manteniendo la coherencia general del texto a través de patrones aprendidos. Sobre esto opera RLHF — ajuste para formato de asistente, cortesía, cumplimiento de instrucciones y restricciones de seguridad.

Pero RLHF no convierte el modelo en una máquina lógica ni arregla debilidades fundamentales. Por lo tanto, los modelos de lenguaje son buenos en análisis de texto, resumen, cambio de estilo, instrucciones paso a paso, trabajo con formatos como JSON y selección de herramientas. Son débiles en cálculo preciso, procesamiento de tablas grandes, retención de enormes volúmenes de datos en contexto y conocimiento del estado actual del mundo después de la fecha de entrenamiento.

A esto se añaden la naturaleza probabilística de la respuesta, sensibilidad a la formulación del prompt y riesgo de alucinaciones.

Para hacer un LLM útil en producción, se construye una capa adicional alrededor de él. Para conocimiento estático, se usa RAG: los documentos se dividen en fragmentos, se encuentran piezas semánticamente cercanas por solicitud, y el modelo recibe solo contexto relevante. Para datos dinámicos y acciones, se aplica function calling: el LLM decide cuándo llamar a una API, base de datos, calculadora o simulación, y el orquestrador valida llamadas, agrega respuestas de herramientas al historial y gestiona todo el ciclo. El mismo orquestrador maneja la memoria de diálogo, prompts de sistema, validación de formato de salida e inicio de subagentes.

Sobre esta base surgen conceptos más ambiciosos — agentes de IA, empleados digitales, copilots y gemelos digitales. En esencia, esto no es magia separada, sino combinaciones de LLMs, bases de conocimiento, APIs, automatización y motores computacionales clásicos. Esto significa que discutir "inteligencia artificial" sin distinguir tecnologías ya no es suficiente.

Si un negocio necesita cálculo preciso, automatización rigurosa o predicción en datos estructurados, un LLM por sí solo no es suficiente. Si se necesita trabajo con correos, documentos, instrucciones, búsqueda de conocimiento e interfaz de diálogo a un sistema complejo, un LLM realmente proporciona un impulso fuerte. La perspectiva sobria del artículo es útil precisamente porque elimina expectativas excesivas: no hay necesidad de atribuir habilidades sobrehumanas a un modelo de lenguaje, pero tampoco vale la pena subestimarlo como interfaz y coordinador de otras herramientas.