Un desarrollador ajusta un modelo de 4 mil millones de parámetros y logra un 84,5% de precisión en una tarde

Un modelo abierto pequeño, de 4 mil millones de parámetros y ajustado en una sola tarde con una tarjeta gráfica alquilada, cubre una parte notable de la rutina empresarial. El autor del análisis en Habr gastó unos cientos de rublos en el entrenamiento y obtuvo un 84,5% de precisión en sus propias tareas en ruso. El modelo procesa por sí solo casi dos tercios del flujo con un 95% de decisiones correctas. En tareas ajenas, que no había visto, el resultado es más modesto: grupo de cabeza, pero no el primer puesto.

Una tarea concreta, no un chatbot

El autor parte de una observación sencilla. Buena parte de las tareas en las que las empresas aplican IA se reduce a elegir una opción de respuesta: a dónde dirigir una solicitud, quién debe aprobar una petición, si una reclamación es urgente o no. Para esto no hace falta un gran modelo generativo con razonamientos largos. Hace falta un clasificador rápido, con un coste del error claro, que se pueda ejecutar en infraestructura propia.

Aquí es donde un modelo pequeño con ajuste fino puede competir con los gigantes de la nube. Resulta más barato de operar y los datos no salen del perímetro de la empresa.

Qué muestran las mediciones

El modelo se comparó con YandexGPT, GigaChat y alternativas abiertas. Estos son los parámetros del experimento según el anuncio:

• tamaño del modelo: 4 mil millones de parámetros, pesos abiertos;
• coste del entrenamiento: unos cientos de rublos de alquiler de GPU, aproximadamente una tarde;
• precisión en sus propias tareas: 84,5%;
• automatización: casi dos tercios del flujo con un 95% de decisiones correctas;
• en tareas desconocidas: grupo de cabeza, sin que se reclame el liderazgo;
• el modelo y el código están publicados.

La diferencia entre el 84,5% y el 95% se explica de forma lógica por el umbral de confianza. Las respuestas seguras pasan al flujo automático y las dudosas las resuelve una persona. Esta es mi interpretación, no una cita del anuncio. Un esquema así se parece más a la operación real que una cifra única de precisión sobre toda la muestra.

Merece una mención aparte la prueba en tareas que ninguno de los modelos había visto. Los modelos ajustados parecen fuertes con facilidad en datos cercanos a los de entrenamiento. Una medición honesta sobre material ajeno muestra dónde termina la especialización. Un resultado de «grupo de cabeza, pero no líder» resulta más verosímil que los partes de victoria.

Limitaciones

Solo he visto el anuncio, sin el texto completo, así que los detalles quedan fuera de campo: cuál es el modelo base, qué conjuntos de datos se usaron y cómo se construyeron las muestras. El benchmark es del propio autor y, por ahora, nadie ha confirmado su reproducibilidad de forma independiente. Las cifras del 84,5% y el 95% corresponden a las tareas concretas del autor y no se trasladan automáticamente a sus datos.

Cómo aprovecharlo

El autor promete además un análisis de los errores habituales y una lista de métricas que conviene exigir a un contratista. El anuncio no revela la lista completa, pero de la lógica del experimento se puede extraer un conjunto mínimo de preguntas para cualquier implantación:

• ¿Qué proporción del flujo pasa a automático con una precisión determinada, por ejemplo el 95%?
• ¿Cómo se comporta el modelo con datos que no formaron parte del entrenamiento?
• ¿Cuánto cuesta un error en su proceso y qué umbral de confianza se deriva de ello?
• ¿Se comparó la solución con modelos en la nube sobre su propia muestra?

El camino práctico es este: reunir una muestra etiquetada de sus propias solicitudes, ejecutar el modelo abierto de la publicación y compararlo con la solución actual. Si la automatización alcanza la mitad del flujo con un coste del error aceptable, el siguiente paso es calcular la economía. Si no, unos cientos de rublos de alquiler de tarjeta gráfica son un precio pequeño por la respuesta.