Mentorpiece lanza un curso gratuito de pruebas no funcionales para aplicaciones de IA

Mentorpiece ha publicado un curso introductorio gratuito sobre pruebas no funcionales de aplicaciones de IA. Los autores parten de una idea sencilla: en los productos basados en modelos ya no basta con la calidad de la respuesta, porque el precio, la latencia, la inestabilidad y la opacidad de los propios modelos arruinan la experiencia final del usuario.

Por qué la IA es más difícil

En el desarrollo clásico, las comprobaciones no funcionales suelen aplazarse hasta el lanzamiento o incluso hasta después de los primeros usuarios. Con las aplicaciones de IA, ese enfoque perjudica rápidamente al producto. Aunque un escenario parezca funcionar en la demo, en producción pueden aparecer limitaciones muy distintas: un coste de tokens errático, latencia inestable, límites del proveedor, respuestas vacías o degradación de la calidad con datos reales. Para el equipo ya no son detalles secundarios, sino parte de la comprobación básica de si una función puede lanzarse en el negocio.

La trazabilidad es un problema aparte. Un modelo de IA sigue siendo una caja negra incluso para el equipo que lo implantó: entra un conjunto de datos, sale una respuesta y la lógica interna queda oculta. El artículo lo explica con la respuesta «42» de «La guía del autoestopista galáctico»: hay un resultado, pero no se entiende por qué es ese. Si no se construyen pruebas de trazabilidad, el producto empieza pronto a dar resultados difíciles de explicar, reproducir y mejorar.

Casos reales de la práctica

Uno de los ejemplos más ilustrativos del material es la prueba de costes. Un equipo comparó dos modelos para el papel de modelo principal de una aplicación: un modelo A popular y un modelo B menos conocido. En la prueba, el modelo A cometió un 63% más de errores que el B. Además, sus tokens de entrada costaban 75 dólares por millón, frente a 3,75 dólares del modelo B. Es decir, el modelo más barato resultó no ser un compromiso, sino la mejor opción tanto en precio como en calidad.

«El modelo B es 20 veces más barato y con una precisión mucho mejor».

El segundo caso trata de la fiabilidad bajo carga. Una aplicación de IA usaba a la vez tres modelos de tres proveedores distintos. Mientras se ejecutaban en paralelo varias decenas de pruebas automáticas, el sistema se comportaba con normalidad. Pero al superar el centenar de pruebas simultáneas empezaron los fallos: un modelo comenzó a devolver con regularidad el error 429 Too Many Requests y otro, en torno al 10% de los casos, devolvía una salida vacía sin error explícito. Para el usuario parece una avería aleatoria; para QA, una señal de que aquí las pruebas de carga y fiabilidad son obligatorias.

Qué incluye el curso

El curso de Mentorpiece está concebido como una introducción para testers que aún no han trabajado con aplicaciones de IA pero quieren entender rápido dónde están los nuevos riesgos. No pretende ahogar al lector en las matemáticas de los modelos. En su lugar, reúne las principales líneas de verificación que con más frecuencia afectan al lanzamiento y la explotación de funciones de IA en un producto real.

• pruebas de coste y comparación de modelos por precio y errores
• pruebas de trazabilidad y análisis de caja negra
• verificación de fiabilidad, estabilidad y comportamiento bajo carga
• pruebas de privacidad y fugas de datos
• enfoques para verificar agentes de IA, RAG, modelos fine-tuned, datos y escenarios de LLM-as-a-Judge

Por separado, los autores plantean la cuestión práctica de elegir modelo. Su tesis es simple: no se puede confiar a ciegas en los benchmarks públicos, porque un producto real vive con sus propios datos y sus propias limitaciones de presupuesto, velocidad y nivel de error admisible.

El curso es gratuito y el registro solo hace falta para guardar el progreso. Además de la plataforma de Mentorpiece, también se ha publicado en Stepik.

Qué significa

El AI-QA deja rápidamente de ser una especialización de nicho. Incluso los equipos que no construyen sus propios modelos ya deben probar el comportamiento de LLM externos como parte del producto: contar el dinero, detectar la degradación, rastrear fallos y entender por qué el sistema responde como lo hace. El curso gratuito de Mentorpiece es un intento de ofrecer un mapa básico de esta nueva zona, donde las pruebas no funcionales dejan de ser un complemento y pasan a ser una condición para que un servicio de IA funcione bien.