Adopción de IA: modelos de lenguaje pequeños en agentes (5 usos)

Los modelos de lenguaje pequeños (SLM), con entre 1 y 7.000 millones de parámetros, asumen con solvencia funciones especializadas en sistemas agénticos que antes correspondían a los modelos de frontera.

¿Por qué los SLM se han vuelto competitivos?

Hace solo tres años, los modelos pequeños quedaban claramente por detrás de GPT-4 en tareas complejas. Hoy el panorama es otro: los SLM especializados superan con frecuencia a los modelos de frontera generalistas en tareas acotadas. No se debe solo a los avances en el entrenamiento: la mayoría de los pasos de las cadenas de agentes son operaciones estrechas y bien formalizables, como clasificación, enrutamiento, formateo o validación. En esas tareas los SLM ofrecen la mejor relación entre precisión y coste.

Referencias clave de coste:

• GPT-4o: ~5 $ por millón de tokens de entrada
• Microsoft Phi-3-mini (3,8B parámetros): ~0,1 $ por millón de tokens, una diferencia de 50 veces
• Mistral 7B Instruct: opción popular para agentes específicos de tarea en producción
• Meta Llama 3.2 1B y 3B: optimizados para ejecutarse en local en dispositivos edge*
• SmolLM2 1.7B (HuggingFace): funciona en smartphones, Raspberry Pi y portátiles sin GPU

En agentes de varios pasos, donde cada paso es una llamada distinta al modelo, la diferencia de coste se multiplica.

Cinco funciones concretas en agentes

Enrutamiento de tareas. Hay que dirigir cada solicitud entrante a la herramienta o el subagente adecuados. Es una tarea de clasificación con poco contexto: un modelo de 1–3B la resuelve casi con la misma precisión que GPT-4, pero entre 10 y 100 veces más rápido y barato. Los orquestadores LangGraph y CrewAI permiten sustituir el enrutador por un SLM sin tocar el resto del sistema.

Subagentes especializados. En cadenas multiagente, un modelo distinto se ocupa de cada paso: extracción de datos, formateo, validación de JSON, traducción. Un SLM ajustado a un dominio concreto supera al GPT-4 generalista en precisión y velocidad. Según investigaciones de Berkeley SkyLab (2024), un Llama-3.2-3B con fine-tuning supera a GPT-3.5-turbo en tareas de extracción de datos estructurados.

Inferencia local sin nube. El SLM se ejecuta directamente en el dispositivo: un portátil, un smartphone o un controlador industrial. La latencia baja a menos de 100 ms (frente a 500–2000 ms de una API en la nube), desaparece la dependencia de internet y los datos no salen del dispositivo. Gemma 2B de Google y Llama 3.2 1B funcionan de forma estable en smartphones actuales de gama media.

Borrador antes de la llamada cara. El SLM genera una respuesta o estructura inicial que el modelo de frontera después refina, una especie de speculative decoding a nivel de arquitectura. El agente recurre a GPT-4 solo cuando la confianza del SLM cae por debajo de un umbral establecido. Los equipos que aplican este patrón reportan una reducción del 60–80 % en las llamadas a modelos caros.

Monitorización continua y disparadores reactivos. Los agentes de IoT y de producción necesitan un modelo que procese sin pausa un flujo de eventos. Mantener GPT-4 activo 24/7 no es viable económicamente: un SLM de 1–3B parámetros realiza clasificación y detección de anomalías en tiempo real al coste de un microservicio normal, sin límites de cuota ni latencia de API.

Qué significa

Elegir entre un SLM y un modelo de frontera ya no es un compromiso entre potencia y ahorro: es una cuestión de diseño arquitectónico. Las tareas de los agentes suelen descomponerse en pasos acotados, y un SLM especializado puede asumir cada uno. El modelo de frontera hace falta donde se requiere razonamiento profundo, contexto amplio o multimodalidad, y son esos pasos los que merece la pena pagar.

Preguntas frecuentes

¿Cuánto más baratos son los SLM que GPT-4o?

Microsoft Phi-3-mini, con 3.800 millones de parámetros, cuesta aproximadamente 0,1 $ por millón de tokens de entrada frente a ~5 $ de GPT-4o, una diferencia de unas 50 veces. En cadenas agénticas de varios pasos, donde cada paso es una llamada distinta al modelo, el ahorro se multiplica.

¿Qué SLM se usan más en agentes en producción?

Para tareas en producción son populares Mistral 7B Instruct, Microsoft Phi-3-mini y Llama 3.2 de Meta (1B y 3B). Para dispositivos edge y smartphones, Gemma 2B de Google y SmolLM2 1.7B de HuggingFace. La elección depende de los requisitos de latencia, confidencialidad y de los recursos de cómputo disponibles.

*Meta ha sido declarada organización extremista y está prohibida en Rusia.

¿En qué tareas superan los modelos de lenguaje pequeños a GPT-4?

En tareas especializadas y acotadas dentro de sistemas agénticos, los SLM suelen obtener mejores resultados que los modelos de frontera.