Cómo un gerente de producto puede evaluar la calidad de un producto de AI: guía de evals

Evals — evaluación de la calidad de un producto LLM — de repente se han convertido en la habilidad más discutida entre gerentes de producto en empresas de IA. Los altos ejecutivos de Anthropic y OpenAI llaman abiertamente a la capacidad de construir sistemas de evaluación una competencia clave para cualquier gerente de producto que trabaje con modelos de lenguaje. En el podcast de Lenny Rachitsky, los investigadores Hamil Hussein y Shreya Shankar desglosaron cómo los PM deben abordar la evaluación de un producto de IA — y por qué la intuición no funciona aquí.

Qué es un eval y por qué es necesario

Un eval es una verificación sistemática de qué tan bien un modelo de lenguaje realiza una tarea específica en el contexto específico de su producto. A diferencia de las pruebas de software clásicas, donde una respuesta es correcta o incorrecta, en los productos LLM la respuesta casi siempre cae en algún lugar en el medio. La misma consulta puede producir decenas de respuestas diferentes, pero igualmente aceptables — y el trabajo del PM es entender cuál es mejor para un usuario específico en una situación específica.

La mayoría de los equipos al inicio evalúan los modelos subjetivamente: observan algunos ejemplos y sacan conclusiones. Esto funciona para funciones simples, pero se rompe completamente al escalar. Cuando un producto recibe un millón de solicitudes al día, la revisión manual es imposible — necesita un sistema que funcione automática y reproduciblemente.

Tres niveles de evaluación de un producto de IA

Los expertos recomiendan construir evals en tres capas consecutivas.

El primero es definir criterios de éxito. Antes de medir nada, un PM debe responder a la pregunta: ¿qué significa una "buena respuesta" para nuestro producto? Puede ser precisión de hechos, alineación del tono de marca, longitud, estructura, ausencia de toxicidad o seguridad. Sin este paso, cualquier métrica carece de sentido — estará midiendo algo que no importa al usuario.

El segundo nivel es montar un "conjunto de oro". Esta es una colección de consultas de ejemplo con respuestas ideales, creadas manualmente o seleccionadas de datos reales. El modelo se prueba contra este conjunto con cada actualización. La calidad del conjunto de oro determina directamente la calidad de todo el sistema de evaluación — este es tanto el desafío principal como la responsabilidad principal del PM.

El tercer nivel es automatizar la evaluación. En esta etapa, el equipo construye un pipeline: una nueva versión del modelo o prompt se ejecuta a través del conjunto de oro, los resultados se comparan con estándares — automáticamente o usando un modelo de juez, es decir, otro LLM que evalúa las respuestas. La regresión es inmediatamente visible en números, no descubierta en comentarios de usuarios una semana después del lanzamiento.

Por qué el PM no puede delegar esto a los ingenieros

La tentación de pasar evals al equipo técnico es grande, pero es un error. Evals son decisiones de producto: qué importa al usuario, qué considera una buena respuesta, qué compensaciones estamos dispuestos a hacer por velocidad o costo. Un ingeniero no sabe por qué un usuario prefiere una respuesta breve a una extensa, o por qué un tono "amigable pero profesional" es tres por ciento más importante que una respuesta ligeramente más precisa.

Es el PM quien construye la conexión entre métricas de eval y resultados comerciales reales. Si el modelo se volvió cinco por ciento más preciso, pero la satisfacción del usuario no cambió — algo está mal con los propios criterios de evaluación. Encontrar y corregir este desajuste es una tarea de producto, no de ingeniería.

Qué significa esto para el mercado y la carrera

Hace dos años, la palabra "evals" aparecía principalmente en artículos académicos. Hoy es una parte estándar de la hoja de ruta de cualquier producto de IA serio. Las empresas que han aprendido a medir sistemáticamente la calidad de sus soluciones LLM obtienen una ventaja competitiva sostenible: detectan regresiones más rápidamente, comparan modelos con mayor precisión y toman decisiones de actualización basadas en datos, no en sentimientos subjetivos del equipo.

Para la carrera de un gerente de producto, la conclusión es directa: si trabaja con productos de IA y no sabe cómo construir evals — está perdiendo ante colegas que saben. Esta habilidad se ha vuelto tan esencial como saber trabajar con un embudo de ventas o realizar pruebas A/B.