Las empresas ajustan LLM diminutos para una sola tarea en lugar de recurrir a las API de los modelos insignia

Enviar a un modelo de lenguaje insignia, a través de una API, la tarea de «asignar esta solicitud a una de diez categorías» es como contratar a un premio Nobel para atender llamadas repetitivas en un centro de atención telefónica. Con esa analogía empieza Habr su análisis de una práctica cada vez más habitual en la IA corporativa: las empresas entrenan un modelo diminuto para una tarea acotada y renuncian al gigante universal. Se trata de modelos de 0,5–3 mil millones de parámetros, frente a los cientos de miles de millones de los modelos insignia.

Tras la cuantización, un modelo así ocupa entre cientos de megabytes y un par de gigabytes y funciona en una tarjeta gráfica barata, y a veces incluso en un procesador convencional.

Una advertencia importante: en el fragmento disponible del material no hay benchmarks propios, así que las cifras que siguen son órdenes de magnitud típicos de estos proyectos, no resultados de una empresa concreta.

Por qué un modelo insignia es excesivo aquí

Un modelo universal sabe escribir código, razonar y mantener una conversación. Para clasificar solicitudes o validar una estructura JSON no necesita ninguna de esas capacidades, pero se pagan en cada consulta: en dinero, en latencia y en dependencia de un proveedor externo. Con millones de llamadas idénticas al día, la factura crece de forma lineal y la diferencia de precio entre un modelo grande y uno pequeño se convierte en una partida del presupuesto.

Una tarea acotada tiene un espacio de respuestas cerrado. Si hay que elegir una de diez categorías o confirmar que una respuesta se ajusta a un esquema, el modelo no necesita saber de todo. Le basta con aprender bien la distribución de esos datos concretos. Para ello sirve una arquitectura compacta como las familias Llama 3.2 (1B y 3B), Qwen2.5 (desde 0,5B), Gemma o Phi.

Cómo funciona en la práctica

El camino habitual es este. Primero, el equipo pasa una parte de los datos reales por un modelo potente y obtiene un etiquetado de referencia, que revisan personas. Después, con ese conjunto de datos se ajusta el modelo pequeño, casi siempre mediante LoRA o QLoRA, es decir, actualizando solo un pequeño conjunto de pesos de adaptador. Se puede hacer en una sola tarjeta en unas pocas horas. Este método se llama destilación de conocimiento: el modelo grande actúa como profesor y el pequeño adopta su comportamiento en un ámbito limitado.

Estas son las características prácticas que motivan el enfoque:

• tamaño: 0,5–3 mil millones de parámetros en lugar de cientos de miles de millones;
• memoria: de cientos de megabytes a unos pocos gigabytes tras una cuantización de 4–8 bits;
• hardware: una sola tarjeta gráfica barata o una CPU;
• latencia: decenas de milisegundos para una respuesta corta, sin llamadas de red al exterior;
• datos: permanecen dentro del perímetro de la empresa, lo que importa para los datos personales y las grabaciones de llamadas;
• coste: el gasto por consulta lo determina el hardware propio, no la tarifa del proveedor.

Dónde están los problemas

La principal partida de gasto pasa de la inferencia a los datos. Un conjunto de datos etiquetado de calidad cuesta tiempo de expertos, y el resultado depende directamente de su limpieza. El modelo pequeño generaliza mal fuera de su tarea: si aparece una nueva categoría de solicitudes o cambia el formato, habrá que volver a ajustarlo. Hacen falta monitorización de la deriva de datos, un conjunto de pruebas y un proceso de reentrenamiento; de lo contrario, el mantenimiento se come el ahorro.

También hay casos límite. Ante formulaciones ambiguas y clases poco frecuentes, el modelo pequeño rinde peor que un modelo insignia. Por eso los equipos más maduros montan una cascada: el modelo pequeño procesa el flujo principal y los casos dudosos, con baja confianza, pasan al grande.

Por dónde empezar

Revise sus llamadas a LLM e identifique aquellas cuya respuesta cabe en un conjunto fijo de clases o en un esquema. Esas son las mejores candidatas. Reúna unos miles de ejemplos con etiquetado verificado, mida la precisión del modelo insignia sobre una muestra reservada y úsela como listón. A continuación, ajuste el modelo pequeño y compare calidad, latencia y coste por consulta. Si la diferencia de precisión es aceptable, traslade el flujo al modelo pequeño y deje el modelo insignia como nivel de respaldo para las respuestas inseguras. Conviene empezar por el escenario más masivo y más aburrido: es donde la ganancia se ve antes.