Modelo de Lenguaje Pequeño (SLM)
Un modelo de lenguaje pequeño (SLM) es un modelo de lenguaje con un recuento de parámetros compacto—típicamente de 1 a 13 mil millones de parámetros—optimizado para inferencia eficiente en dispositivos de consumo, hardware periférico, o servidores de GPU única en lugar de despliegues en grandes centros de datos.
Los modelos de lenguaje pequeños (SLM) son modelos de lenguaje diseñados para proporcionar comprensión y generación de texto útil dentro de presupuestos ajustados de cómputo y memoria. Aunque ningún límite de parámetros estricto define la categoría, modelos en el rango aproximado de 1 a 13 mil millones de parámetros se describen comúnmente como pequeños en relación con sistemas frontera que exceden 100 mil millones de parámetros. Ejemplos destacados incluyen las familias Phi-3 y Phi-4 de Microsoft (3,8 mil millones a 14 mil millones de parámetros), Gemma 2 de Google (variantes de 2 mil millones y 9 mil millones), los modelos en dispositivo de Apple que potencian Apple Intelligence (estimados en 3 mil millones de parámetros), y los niveles de 1 mil millones y 3 mil millones de LLaMA 3.2 de Meta.
Los SLM logran rendimiento competitivo en relación con su tamaño a través de varias técnicas. Los datos de entrenamiento de alta calidad, meticulosamente curados—texto estilo libro de texto sintético, código, y ejemplos de razonamiento estructurado—pueden superar datos de la web ruidosamente raspados para modelos del mismo tamaño, un hallazgo publicitado por la investigación Phi de Microsoft a partir de 2023. La destilación de conocimiento transfiere representaciones de un modelo maestro más grande a un modelo estudiante más pequeño, comprimiendo capacidad. La cuantización posterior al entrenamiento reduce la precisión numérica de flotantes de 16 bits a enteros de 4 u 8 bits, cortando la huella de memoria en 2–4x con pérdida de precisión mínima. Las arquitecturas eficientes como atención de consulta agrupada y atención de ventana deslizante reducen aún más el costo de inferencia.
La significancia práctica de los SLM es la flexibilidad de despliegue y privacidad de datos. Ejecutar inferencia localmente elimina latencia de viaje de ida y vuelta a API, evita transmitir datos de usuario sensibles a servidores externos, elimina dependencia de conectividad a Internet, y elimina costos de API por token a escala. Estas propiedades importan para aplicaciones empresariales con restricciones de gobernanza de datos, aplicaciones de consumo en móviles y ordenadores personales, escenarios sensibles a latencia como asistencia de escritura en tiempo real, y casos de uso en regiones con infraestructura de conectividad limitada.
Para 2026, cada desarrollador de IA importante envía SLM como productos de primera categoría. Apple Intelligence ejecuta tareas de lenguaje en iPhones y Macs utilizando modelos en dispositivo sin enviar prompts a la nube. Los modelos Phi-4 de Microsoft están integrados en herramientas de desarrollador y Copilot de Windows. La brecha de calidad entre SLM y modelos grandes se ha cerrado sustancialmente para tareas estructuradas—resumen, extracción de información, finalización de código, clasificación—mientras que razonamiento complejo de múltiples pasos y conocimiento mundial amplio aún favorecen sistemas más grandes. Los SLM en dispositivo también permiten personalización a través de fine-tuning local en datos de usuario sin que ningún dato abandone el dispositivo.