Ontologia como verificadora de agentes de IA: no UniProt, os alertas de erro dela são só um pouco mais precisos que os aleatórios

Pesquisadores do Sano Centre for Computational Medicine testaram se é possível confiar em uma ontologia como juíza de um agente de IA. A ontologia é uma descrição legível por máquina dos tipos de entidade que existem em um grafo de conhecimento e de como elas podem se relacionar. O agente, baseado em um grande modelo de linguagem (LLM), responde a uma pergunta com uma consulta em SPARQL ao grafo, como a base UniProt.

A ontologia confere a consulta e o resultado e então aprova a resposta ou a marca com um alerta. Nas respostas reais dos agentes, os alertas da ontologia de especialistas do UniProt se mostraram apenas um pouco mais precisos que os aleatórios. É essa comparação com alertas aleatórios que está por trás das palavras "um pouco melhor que cara ou coroa" no título.

Por que o alarme falso é perigoso

O esquema de verificação é simples. O agente escreve a consulta, e a verificação compara a consulta e os resultados com a ontologia. Se há um alerta, o agente ganha uma nova tentativa. Aí está o risco: quando o alerta é falso, o agente pode transformar uma resposta certa em errada. Algo parecido já foi observado no refinamento de consultas text-to-SQL. A precisão final não mostra isso, porque nela se misturam os erros detectados e as respostas corretas estragadas. Por isso, os autores contam separadamente quantos erros a verificação encontrou e quantas respostas corretas ela marcou à toa.

As ontologias são especialmente propensas a falsos positivos. Seus axiomas são lidos como restrições rígidas, e as ontologias publicadas descrevem os dados de forma incompleta. Em um rastreamento de dados conectados (Linked Data), 14,3% das triplas usavam propriedades que não constam em nenhum dos vocabulários examinados. Uma verificação que exige a declaração de cada propriedade rejeitaria também respostas corretas que dependem dessas propriedades.

Há também um exemplo de verificação bem-sucedida. Suponha que a ontologia registre que a data de nascimento existe apenas para pessoas e que cidade e pessoa são classes incompatíveis. Nesse caso, uma consulta pela data de nascimento de uma cidade contradiz a ontologia, e o alerta é justo. Mas uma consulta pode ser executada sem erros e, ainda assim, responder a uma pergunta diferente da que foi feita. Verificações estruturais podem deixar passar erros desse tipo.

Três fontes de ontologia e três formas de usá-la

Foram comparados três tipos de ontologia:

• De especialistas. Foi escrita manualmente por pessoas e usada exatamente como foi publicada. • Derivada dos dados. Foi extraída do próprio grafo. • Escrita por LLM. O modelo a construiu a partir de um resumo do grafo em que os identificadores foram trocados por nomes opacos. Com isso, os autores quiseram evitar que a LLM simplesmente lembrasse identificadores de grafos públicos.

Cada ontologia foi usada como contexto na requisição do agente, como verificação da resposta ou nos dois papéis ao mesmo tempo. Os pesquisadores também examinaram se combinar as fontes ajuda e se vale a pena mostrar ao agente a mensagem específica da verificação.

Como o experimento foi organizado

Os agentes foram construídos com cinco modelos de pesos abertos e dois proprietários. A parte confirmatória do estudo foi realizada no UniProt. Outros grafos públicos e um grafo privado, cujo tamanho aparece no texto como "quase" certo número de triplas, deram resultados exploratórios. O plano de análise foi registrado antecipadamente.

Para tornar a comparação justa, os autores levaram em conta três circunstâncias. Alguns erros são detectados pela própria execução da consulta, como um resultado vazio. Esses foram separados dos erros pegos pela verificação. As verificações foram testadas tanto em respostas reais dos agentes quanto em erros artificiais inseridos em consultas corretas. Por fim, cada verificação foi executada sobre as mesmas respostas e os mesmos erros, e a decisão foi comparada com a resposta correta conhecida de antemão.

O que deu

No UniProt, a ontologia de especialistas marcou mais respostas corretas do que a ontologia derivada dos dados e do que a ontologia que a LLM criou a partir do resumo com identificadores mascarados. Nas respostas reais dos agentes, os alertas dela são apenas um pouco mais precisos que os aleatórios. Cada fonte de ontologia troca, à sua maneira, erros detectados por alarmes falsos. A ontologia de especialistas, na forma publicada, contradiz em alguns pontos os dados do próprio grafo. Além disso, as verificações estruturais deixam passar parte dos erros.

O que isso significa

Uma ontologia de especialistas pronta ainda não faz uma boa juíza. Antes de ativar a verificação, vale medir duas coisas: quantos erros ela pega e quantas respostas corretas ela estraga com a nova tentativa. Uma referência do desenvolvimento de software: na análise estática em code review do Google, a taxa efetiva de falsos positivos precisa ficar abaixo de 10%, caso contrário os desenvolvedores deixam de confiar na ferramenta.

Para quem publica grafos, é útil conferir a ontologia contra os dados antes da publicação. Quem desenvolve agentes precisa decidir separadamente onde a ontologia faz mais falta: no contexto, na verificação ou nos dois lugares. Os autores divulgaram o conjunto de erros artificiais com respostas corretas conhecidas de antemão, o código e um protocolo que contabiliza erros detectados e alarmes falsos sem precisar executar o agente.