Sixtyfour: la startup de Y Combinator que puntúa cada respuesta de su agente de IA

Sixtyfour, una startup fundada por Saarth Shah y Christopher Price, ha presentado un enfoque conceptualmente nuevo para desarrollar agentes de IA de investigación. La compañía, que pasó por la aceleradora Y Combinator, creó un sistema que se opone a la práctica dominante en la industria: en lugar de apuntar un modelo de lenguaje a datos de la web y confiar ciegamente en el resultado, Sixtyfour construyó un riguroso evaluation stack. Cada versión del agente de investigación pasa por un estricto sistema de puntuación: se contrasta con un conjunto de preguntas que especialistas prepararon a mano, y solo llega a producción el código que mejora de forma demostrable las métricas finales de calidad.

Por qué no basta con confiar a ciegas en los LLM

La mayoría de las herramientas de IA actuales para buscar y analizar información siguen un esquema simple: apuntar un modelo de lenguaje a fuentes web, obtener una respuesta y darla por buena. Estos sistemas se montan rápido, pero su fiabilidad sigue en entredicho. Los modelos de lenguaje tienden a alucinar, es decir, a inventar hechos que no figuran en las fuentes. Pueden interpretar mal un texto, sobre todo si la información es contradictoria o exige cálculos. A veces generan bucles lógicos que parecen convincentes pero no resisten una revisión.

Saarth Shah, fundador de Sixtyfour, optó por el camino contrario: controlar cada paso del agente. Lleva un scoreboard preciso, literalmente una tabla donde se registra la calidad de cada versión del agente. Si la puntuación mejora, la versión sale a producción. Si baja, el equipo revierte los cambios, analiza dónde estuvo el error y rehace la lógica o los parámetros. Es algo radicalmente distinto del enfoque habitual de «lanzar y esperar lo mejor».

Cómo funciona el sistema de evaluación

El núcleo del evaluation stack de Sixtyfour es un conjunto de preguntas de control que prepararon a mano especialistas con experiencia en investigación y análisis de datos. Reflejan escenarios de trabajo reales: encontrar información precisa en grandes volúmenes de texto, revisar un artículo en busca de errores factuales, sintetizar datos de varias fuentes y verificar afirmaciones mediante búsqueda cruzada.

Cada nueva build (versión) del agente de investigación se ejecuta contra este conjunto de preguntas. El sistema registra tres parámetros críticos: ¿dio el agente la respuesta final correcta? ¿Cuán completa y detallada es la respuesta? ¿Hay errores lógicos o alucinaciones en el razonamiento del agente? Con estos parámetros se calcula la puntuación final de calidad.

La metodología se parece a las pruebas unitarias del desarrollo de software clásico, pero aplicadas a la calidad del juicio de un agente de IA y no a la corrección del código. Si un desarrollador mejora el prompt o la arquitectura del agente, la mejora no debe reducir la puntuación global en el conjunto de control. Lo ideal es que la aumente. Así se garantiza que ningún cambio que llegue a producción deteriore la fiabilidad del sistema.

Control humano sobre el juicio de la máquina

Un detalle crítico de la filosofía de Sixtyfour: el sistema de evaluación sigue en manos de personas y no se delega por completo en los modelos de lenguaje. Las preguntas del conjunto de control las preparan personas, especialistas que entienden los riesgos reales y los casos límite. Esto reduce el riesgo de cascade failures, situaciones en las que un error de la generación N de modelos produce errores ocultos en la generación N+1 porque el modelo se entrenó con datos erróneos.

Qué significa esto para la industria

El enfoque de Sixtyfour apunta a un punto de inflexión en el desarrollo de agentes de IA. La industria pasa poco a poco de las afirmaciones de marketing («nuestro agente es el más inteligente») a métricas de calidad objetivas y reproducibles. Es el paso de la era de las promesas a la era de las pruebas.

Esto es especialmente importante en usos críticos de investigación y análisis: previsiones financieras, recomendaciones médicas, análisis de documentos legales, ámbitos donde el error de un agente sale caro o puede dañar a una persona.

Es probable que otras startups y laboratorios de investigación se inspiren en la metodología de Sixtyfour. Pero, en un plano más amplio, la validación y evaluación de agentes de IA no es un problema de negocio acotado de una sola startup, sino un problema sistémico de toda la industria que desarrolla grandes modelos de lenguaje y sus aplicaciones como agentes.