Sixtyfour: a startup da Y Combinator que avalia cada saída de um agente de AI

A startup Sixtyfour, fundada por Saarth Shah e Christopher Price, introduziu uma abordagem conceitualmente nova para o desenvolvimento de agentes de IA para pesquisa. A empresa, tendo passado pelo incubador Y Combinator, desenvolveu um sistema que se opõe à prática dominante na indústria: em vez de executar um modelo de linguagem em dados da web e confiar cegamente nos resultados, a Sixtyfour construiu uma stack rigorosa de avaliação. Cada lançamento de um agente de pesquisa passa por um sistema de avaliação rigoroso: é testado contra um conjunto de perguntas que especialistas prepararam manualmente, e apenas o código que comprovadamente melhora as métricas de qualidade final vai para produção.

Por Que a Confiança Cega em LLMs É Insuficiente

A maioria das ferramentas modernas de IA para busca e análise de informações funciona de acordo com um esquema simples: apontar um modelo de linguagem para fontes da web, obter uma resposta e considerá-la verdadeira. A velocidade de implementação de tais sistemas é alta, mas a confiabilidade permanece questionável. Os modelos de linguagem tendem a alucinar — inventar fatos que não existem nas fontes. Eles podem interpretar mal o texto, especialmente se as informações forem contraditórias ou exigirem cálculo. Às vezes, um modelo cria loops lógicos que parecem convincentes, mas não resistem ao escrutínio.

Saarth Shah, fundador da Sixtyfour, decidiu seguir o caminho oposto: controlar cada passo do agente. Ele mantém um scoreboard preciso — literalmente uma tabela onde a qualidade de cada versão do agente é registrada. Se o score melhora, a versão é lançada em produção. Se o score cai, a equipe reverte as alterações, analisa onde estava o erro e refaz a lógica ou os parâmetros. Isso é radicalmente diferente da abordagem familiar de "lançar e torcer pelo melhor."

Como Funciona o Sistema de Avaliação

O núcleo da Evaluation Stack da Sixtyfour é um conjunto de perguntas de controle que foram preparadas manualmente por especialistas com experiência em pesquisa e análise de dados. Essas perguntas refletem cenários do mundo real: encontrar informações precisas em grandes volumes de texto, analisar um artigo em busca de erros factuais, sintetizar dados de múltiplas fontes, verificar afirmações através de buscas de referência cruzada.

Cada novo build (versão) do agente de pesquisa é executado contra este conjunto de perguntas de controle. O sistema registra três parâmetros criticamente importantes: o agente forneceu a resposta final correta? Quão completa e detalhada é a resposta? Há erros lógicos ou alucinações no raciocínio do agente? Com base nesses parâmetros, um score geral de qualidade é calculado.

A metodologia é semelhante ao teste unitário no desenvolvimento clássico de software, mas aplicada à qualidade do julgamento em um agente de IA, em vez de correção de código. Se um desenvolvedor faz uma melhoria no prompt ou arquitetura de um agente, essa melhoria não deve reduzir o score geral no conjunto de controle. O ideal é que melhore o score. Isso garante que cada mudança em produção não prejudique a confiabilidade do sistema.

Controle Humano Sobre o Julgamento de Máquina

Um detalhe criticamente importante da filosofia da Sixtyfour: o sistema de avaliação permanece nas mãos humanas, não inteiramente confiado aos modelos de linguagem. As perguntas para o conjunto de controle são preparadas por pessoas — especialistas que entendem os riscos reais e casos extremos. Isso reduz o risco de falhas em cascata — situações em que um erro na geração de modelos N produz erros ocultos na geração N+1, porque o modelo foi treinado em dados com erros.

O Que Isso Significa para a Indústria

A abordagem da Sixtyfour aponta para um momento crítico no desenvolvimento de agentes de IA. A indústria está se movendo gradualmente de afirmações de marketing ("nosso agente é o mais inteligente") para métricas de qualidade objetivas e reproduzíveis. Esta é uma transição de uma era de promessas para uma era de prova.

Isso é especialmente crítico para aplicações críticas de pesquisa e análise: previsão financeira, recomendações médicas, análise de documentos legais — áreas onde um erro do agente é caro ou pode prejudicar humanos.

Outras startups e laboratórios de pesquisa provavelmente serão inspirados pela metodologia da Sixtyfour. Mas mais amplamente: a questão da validação e avaliação de agentes de IA não é um problema comercial estreito para uma startup, mas um problema sistemático em toda a indústria de desenvolvimento de grandes modelos de linguagem e suas aplicações de agentes.