Sixtyfour: la startup de Y Combinator que evalúa cada salida de un agente de AI

Sixtyfour, una startup fundada por Saarth Shah y Christopher Price, introdujo un enfoque conceptualmente nuevo para desarrollar agentes de IA para investigación. La empresa, habiendo pasado por el incubador Y Combinator, desarrolló un sistema que se opone a la práctica dominante en la industria: en lugar de ejecutar un modelo de lenguaje en datos web y confiar ciegamente en los resultados, Sixtyfour construyó un stack riguroso de evaluación. Cada lanzamiento de un agente de investigación pasa por un sistema de evaluación estricto: se prueba contra un conjunto de preguntas que especialistas prepararon manualmente, y solo el código que demuestra mejorar las métricas de calidad final llega a producción.

Por Qué la Confianza Ciega en LLMs Es Insuficiente

La mayoría de las herramientas modernas de IA para búsqueda y análisis de información funcionan de acuerdo con un esquema simple: apuntar un modelo de lenguaje hacia fuentes web, obtener una respuesta y considerarla verdadera. La velocidad de implementación de tales sistemas es alta, pero la confiabilidad sigue siendo cuestionable. Los modelos de lenguaje tienden a alucinar — inventar hechos que no existen en las fuentes. Pueden interpretar mal el texto, especialmente si la información es contradictoria o requiere cálculo. A veces, un modelo crea bucles lógicos que lucen convincentes pero no resisten el escrutinio.

Saarth Shah, fundador de Sixtyfour, decidió tomar el camino opuesto: controlar cada paso del agente. Mantiene un marcador preciso — literalmente una tabla donde se registra la calidad de cada versión del agente. Si la puntuación mejora, la versión se lanza a producción. Si la puntuación cae, el equipo revierte los cambios, analiza dónde estuvo el error y rehace la lógica o los parámetros. Esto es radicalmente diferente del enfoque familiar de "lanzar y esperar lo mejor."

Cómo Funciona el Sistema de Evaluación

El núcleo del Evaluation Stack de Sixtyfour es un conjunto de preguntas de control que fueron preparadas manualmente por especialistas con experiencia en investigación y análisis de datos. Estas preguntas reflejan escenarios del mundo real: encontrar información precisa en grandes volúmenes de texto, analizar un artículo en busca de errores factuales, sintetizar datos de múltiples fuentes, verificar afirmaciones mediante búsquedas de referencias cruzadas.

Cada nueva compilación (versión) del agente de investigación se ejecuta contra este conjunto de preguntas de control. El sistema registra tres parámetros críticamente importantes: ¿proporcionó el agente la respuesta final correcta? ¿Qué tan completa y detallada es la respuesta? ¿Hay errores lógicos o alucinaciones en el razonamiento del agente? Basándose en estos parámetros, se calcula una puntuación general de calidad.

La metodología es similar a las pruebas unitarias en el desarrollo clásico de software, pero aplicada a la calidad del juicio en un agente de IA en lugar de la corrección del código. Si un desarrollador realiza una mejora en el prompt o la arquitectura de un agente, esa mejora no debe reducir la puntuación general en el conjunto de control. Idealmente, debería mejorar la puntuación. Esto garantiza que cada cambio en producción no dañe la confiabilidad del sistema.

Control Humano Sobre el Juicio de Máquina

Un detalle críticamente importante de la filosofía de Sixtyfour: el sistema de evaluación permanece en manos humanas, no completamente confiado a los modelos de lenguaje. Las preguntas para el conjunto de control son preparadas por personas — especialistas que entienden los riesgos reales y los casos límite. Esto reduce el riesgo de fallos en cascada — situaciones donde un error en la generación de modelos N produce errores ocultos en la generación N+1, porque el modelo fue entrenado en datos con errores.

Qué Significa Esto para la Industria

El enfoque de Sixtyfour señala un momento fundamental en el desarrollo de agentes de IA. La industria se está moviendo gradualmente de afirmaciones de marketing ("nuestro agente es el más inteligente") a métricas de calidad objetivas y reproducibles. Esta es una transición de una era de promesas a una era de pruebas.

Esto es especialmente crítico para aplicaciones críticas de investigación y análisis: pronósticos financieros, recomendaciones médicas, análisis de documentos legales — áreas donde un error del agente es costoso o puede dañar a los humanos.

Otras startups y laboratorios de investigación probablemente serán inspirados por la metodología de Sixtyfour. Pero más ampliamente: la cuestión de la validación y evaluación de agentes de IA no es un problema comercial estrecho para una startup, sino un problema sistemático en toda la industria de desarrollo de grandes modelos de lenguaje y sus aplicaciones de agentes.