Sixtyfour: a startup da Y Combinator que avalia cada resposta de seu agente de IA

A Sixtyfour, startup fundada por Saarth Shah e Christopher Price, apresentou uma abordagem conceitualmente nova para o desenvolvimento de agentes de IA para pesquisa. A empresa, que passou pela aceleradora Y Combinator, criou um sistema que vai contra a prática dominante no setor: em vez de apontar um modelo de linguagem para dados da web e confiar cegamente no resultado, a Sixtyfour construiu um rigoroso evaluation stack. Cada versão do agente de pesquisa passa por um sistema estrito de avaliação: é testada contra um conjunto de perguntas que especialistas prepararam à mão, e só chega à produção o código que comprovadamente melhora as métricas finais de qualidade.

Por que confiar cegamente em LLMs não basta

A maioria das ferramentas de IA atuais para buscar e analisar informações segue um esquema simples: apontar um modelo de linguagem para fontes da web, receber uma resposta e considerá-la correta. Esses sistemas são rápidos de implementar, mas a confiabilidade continua em xeque. Modelos de linguagem tendem a alucinar, isto é, inventar fatos que não estão nas fontes. Eles podem interpretar mal um texto, principalmente quando a informação é contraditória ou exige cálculo. Às vezes, o modelo cria loops lógicos que parecem convincentes, mas não resistem a uma verificação.

Saarth Shah, fundador da Sixtyfour, escolheu o caminho oposto: controlar cada passo do agente. Ele mantém um scoreboard preciso, literalmente uma tabela que registra a qualidade de cada versão do agente. Se a pontuação melhora, a versão vai para produção. Se cai, a equipe reverte as mudanças, analisa onde estava o erro e refaz a lógica ou os parâmetros. É algo radicalmente diferente da abordagem habitual de "lançar e torcer para dar certo".

Como funciona o sistema de avaliação

O núcleo do evaluation stack da Sixtyfour é um conjunto de perguntas de controle preparadas à mão por especialistas com experiência em pesquisa e análise de dados. Elas refletem cenários reais de trabalho: encontrar informações precisas em grandes volumes de texto, analisar um artigo em busca de erros factuais, sintetizar dados de várias fontes e checar afirmações por meio de busca cruzada.

Cada novo build (versão) do agente de pesquisa é executado contra esse conjunto de perguntas. O sistema registra três parâmetros críticos: o agente deu a resposta final correta? Quão completa e detalhada é a resposta? Há erros lógicos ou alucinações no raciocínio do agente? Com base nesses parâmetros, calcula-se a pontuação final de qualidade.

A metodologia lembra os testes unitários do desenvolvimento de software clássico, mas aplicados à qualidade do julgamento de um agente de IA, e não à correção do código. Se um desenvolvedor melhora o prompt ou a arquitetura do agente, essa melhoria não pode reduzir a pontuação geral no conjunto de controle. O ideal é que a aumente. Isso garante que nenhuma mudança em produção prejudique a confiabilidade do sistema.

Controle humano sobre o julgamento da máquina

Um detalhe crítico da filosofia da Sixtyfour: o sistema de avaliação fica nas mãos de pessoas e não é entregue por inteiro aos modelos de linguagem. As perguntas do conjunto de controle são preparadas por pessoas, especialistas que entendem os riscos reais e os casos extremos. Isso reduz o risco de cascade failures, situações em que um erro da geração N de modelos gera erros ocultos na geração N+1, porque o modelo foi treinado com dados errados.

O que isso significa para o setor

A abordagem da Sixtyfour aponta para um ponto de virada no desenvolvimento de agentes de IA. O setor migra aos poucos de afirmações de marketing ("nosso agente é o mais inteligente") para métricas de qualidade objetivas e reproduzíveis. É a passagem da era das promessas para a era das provas.

Isso é especialmente importante em usos críticos de pesquisa e análise: projeções financeiras, recomendações médicas, análise de documentos jurídicos, áreas em que o erro de um agente custa caro ou pode causar dano a uma pessoa.

É provável que outras startups e laboratórios de pesquisa se inspirem na metodologia da Sixtyfour. Mas, de forma mais ampla, a validação e a avaliação de agentes de IA não são um problema de negócio restrito a uma startup, e sim um problema sistêmico de todo o setor que desenvolve grandes modelos de linguagem e suas aplicações em agentes.