Doubletapp explica por qué los datasets débiles impiden que la IA mejore el NPS, el CTR y la conversión

Doubletapp ha publicado una entrevista sobre por qué los proyectos de IA fallan con más frecuencia por los datos que por la elección del modelo. Ilnur Faiziev, responsable de la unidad Data LLM, explicó cómo la calidad del dataset se refleja directamente en el NPS del soporte, el CTR del catálogo y la conversión en compra.

Dónde se pierden las métricas

La idea central de la entrevista es simple: las empresas no compran un modelo como tal, sino la mejora de una cifra concreta. En soporte, eso es la rapidez para resolver una solicitud y la satisfacción del cliente; en el comercio minorista online, el porcentaje de clics en las fichas de producto y la proporción de pedidos; en la búsqueda sobre una base de conocimiento, la precisión de la respuesta. Si el dataset tiene ruido, un etiquetado deficiente o no guarda relación con los escenarios reales, el modelo empieza a fallar justo donde cada error le cuesta dinero a la empresa.

Por eso, hablar de datos aquí no es un asunto académico, sino hablar directamente de ingresos, costes y calidad del servicio.

El material recoge también casos menos evidentes. En una empresa industrial, la IA puede buscar respuestas en reglamentos internos y reducir los errores de producción. En tareas de visión por computador, puede determinar la calidad del acero a partir de los parámetros del proceso y ayudar a mantener un resultado estable. En todos los casos se repite la misma lógica: arriba está la métrica de negocio, debajo la calidad del sistema de ML y, por debajo, el dataset, que o bien refuerza el modelo o bien lo arrastra hacia abajo sin que se note.

• NPS y tiempo de respuesta en soporte
• CTR y conversión en e-commerce
• Precisión de la búsqueda en la base de conocimiento interna
• Reducción de errores en los procesos de producción
• Calidad del reconocimiento en sistemas de visión por computador

Cuándo es imprescindible un dataset

Según Faiziev, un dataset de calidad hace falta en dos situaciones típicas. La primera, cuando la empresa solo está comparando la IA con el trabajo manual y quiere saber si se puede lanzar la solución a producción. La segunda, cuando el sistema ya funciona pero sus métricas dejaron de ser satisfactorias: las respuestas no son relevantes, las recomendaciones no desembocan en compras y la velocidad o la precisión han tocado techo. En ambos casos, sin una medición de la calidad actual y una métrica objetivo clara, trabajar con datos se convierte en adivinanza.

«Los datasets hacen falta en dos etapas del desarrollo del producto».

Se pone un énfasis especial en la economía. Un dataset no es un desarrollo a medida interminable, sino un artefacto finito que se puede preparar, verificar y cargar en el pipeline de entrenamiento o ajuste fino. Sí, la auditoría del modelo debe repetirse con regularidad, pero la recopilación y el etiquetado suelen salir más rentables si se encargan a quienes se especializan en ese proceso. Si todo se mantiene dentro de la empresa, los ingenieros dedican semanas a seleccionar ejemplos, organizar el entorno, controlar la calidad y gestionar a los etiquetadores. Para el negocio, eso suele costar más de lo que parece al principio.

Por qué el crowdsourcing pierde fuerza

La entrevista resulta interesante también porque refleja un cambio en el mercado. El crowdsourcing masivo funcionó bien en la época de las tareas simples del tipo «gato o perro». Hoy los propios modelos resuelven esos escenarios con bastante seguridad, así que el etiquetado humano se desplaza a dominios de expertos. Si se trata de un asistente de código para un lenguaje poco común, de una validación industrial compleja o de una base de conocimiento especializada, no basta con un gran flujo de colaboradores: hacen falta personas que entiendan de verdad el contexto de la tarea y sean capaces de detectar errores sutiles.

Un esquema combinado sigue siendo posible: la parte sencilla del pipeline puede ir a etiquetado masivo y la compleja, a un equipo de expertos. Pero entonces la empresa asume una carga nueva: descomponer la tarea, buscar distintos proveedores, transmitir el contexto entre ellos y añadir control de calidad en las uniones. Por eso, según la valoración de Doubletapp, el mercado sigue siendo relativamente reducido y se concentra en torno a las grandes empresas de LLM y a los proyectos en los que la mejora de las métricas se traduce fácilmente en dinero.

Qué significa esto

Para el mercado, es una señal de que la ventaja competitiva en IA se desplaza cada vez más de la elección del modelo más sonado a la calidad de los datos aplicados. Los grandes actores siguen necesitando datasets enormes, pero la próxima ola de demanda puede venir de equipos pequeños con productos de IA de nicho. Primero probarán un MVP con datos ya preparados y, cuando vean la economía, empezarán a comprar datasets específicos para sus puntos débiles; ahí es donde aparecerá el crecimiento real de las métricas.