Modelos enanos: cómo las empresas ahorran en IA afinando LLMs diminutos

Afinar LLMs pequeños para una tarea concreta está desplazando a las APIs en la nube. En lugar de facturas mensuales de entre 7.000 y 12.000 dólares, Checkr paga ahora cerca de 1.400. PayPal consiguió que un modelo de 8.000 millones de parámetros igualara la calidad de GPT-4, pero a 0,013 dólares por llamada frente a los 0,025–0,055 dólares. Con un volumen de 100.000 solicitudes al mes, esa diferencia de precio se convierte en una partida presupuestaria con peso real.

Modelos enanos y formas de comprimirlos

No hay un límite definido con claridad, pero NVIDIA ofrece una referencia útil: un modelo de lenguaje pequeño es aquel que cabe en un dispositivo de consumo y atiende solicitudes con una latencia aceptable. En 2025, eso significa hasta 10.000 millones de parámetros. Las opciones actuales incluyen:

• Gemma 4 (Google) • Phi-4 (Microsoft) • Qwen3 (Alibaba) • SmolLM3 (HuggingFace) • Granite 4.1 (IBM) • Nemotron 3 Nano (NVIDIA)

Dos técnicas permiten comprimir un LLM para una tarea concreta. LoRA congela los pesos base y entrena solo pequeñas matrices adicionales, lo que da como resultado 10.000 veces menos parámetros entrenables que un afinado completo. La destilación transfiere el comportamiento de un modelo maestro grande a uno pequeño: un estudio de Google (ACL Findings 2023) mostró que un T5 de 770 millones de parámetros superó a un PaLM few-shot de 540.000 millones en la prueba ANLI, cuando se entrenaba no solo con respuestas correctas, sino también con el «razonamiento» del modelo grande.

Por qué las empresas lo necesitan

Coste y latencia. Con millones de solicitudes repetidas, la diferencia de precio por llamada se convierte en una partida presupuestaria real. Checkr afirma lograr un ahorro de cinco veces, mientras que PayPal redujo el coste de 0,025–0,055 dólares a 0,013 dólares por evaluación. En velocidad: Predibase afirma lograr una aceleración de 30 veces, y Computerworld cita 15 segundos para GPT-4 frente a 0,15 segundos para el modelo afinado.

Privacidad e independencia. Un modelo pequeño puede ejecutarse en los propios servidores de la empresa. Los datos no salen hacia un servicio externo y el sistema no depende de un único proveedor. El bloqueo de una cuenta no detiene el proceso.

Formato predecible. Un modelo afinado responde siempre de la misma manera, algo crítico para la automatización. PayPal logró un 100% de JSON válido en todas las verificaciones de transcripciones de conversaciones.

Un esquema de implementación en cinco pasos

Paso 1. Prototipo con un modelo insignia. Define la tarea, el formato de respuesta y los errores habituales. Averigua si bastan el prompt y el RAG. Cada respuesta corregida a mano es un posible ejemplo de entrenamiento.

Paso 2. Ejemplos etiquetados con datos reales. Usa solicitudes reales y respuestas verificadas por un experto. Reúne por separado los casos difíciles: PayPal añadió solo 20 ejemplos negativos y elevó al 100% la precisión en un campo problemático.

Paso 3. Afinado con parada basada en validación. Detén el entrenamiento según una métrica sobre datos reservados, no según el número de épocas. Al entrenar con 188 ejemplos, PayPal registró sobreajuste a partir del paso 60.

Paso 4. Verificaciones estrictas. Añade una capa de reglas para el formato, los valores permitidos y los campos obligatorios. Las reglas basadas en expresiones regulares son frágiles, pero una regla inequívoca es mejor que confiar solo en el modelo.

Paso 5. Evaluación ciega con datos nuevos. El modelo no debe haber visto estos datos durante el entrenamiento. El resultado debe evaluarlo un experto humano, no otro modelo. PayPal usó 53 transcripciones de conversaciones independientes.

Qué monitorizar tras el lanzamiento

Poner en marcha el modelo no es el final, sino el comienzo de su vida en producción. Un modelo entrenado para una tarea estrecha es frágil fuera de los datos de entrenamiento, así que requiere vigilancia constante: la proporción de solicitudes que difieren de los datos de entrenamiento; la tasa de correcciones manuales (una señal de degradación que aparece antes que cualquier métrica); un conjunto de regresión fijo con casos de prueba congelados para cada cambio; el estado de las reglas estrictas y un registro de casos dudosos para la siguiente ronda de entrenamiento.