Sberbank e a equipe de Andrey Kurpatov desenvolvem arquitetura para combater alucinações de AI

O Sberbank revelou trabalho em pesquisa intitulada "Modelo de IA da realidade mental humana". O projeto envolve o Laboratório de Neurociência e Comportamento Humano liderado por Andrey Kurpatov, e o objetivo soa ambicioso: dar aos agentes de IA a capacidade de discutir a psique humana sem alucinações.

Sobre a pesquisa

Conforme a descrição publicada, não se trata de um novo recurso de chatbot, mas de uma tentativa de descrever a realidade mental humana de forma compreensível para uma máquina. O Sber fala sobre um modelo com o qual os sistemas de IA poderão trabalhar como um mapa interno de conceitos, conexões e estados. Isso é especialmente importante para tarefas onde não é suficiente simplesmente selecionar uma resposta estatisticamente plausível: você precisa manter o contexto, a lógica e as relações causais em torno do comportamento, motivação e percepção humana.

O próprio fato de o projeto ser realizado por um laboratório na intersecção de neurociência, pesquisa comportamental e IA mostra a direção do trabalho. Aqui eles querem não apenas treinar ainda mais a rede neural em um corpus de textos de psicologia, mas contar com uma estrutura mais formal. Em outras palavras, a tarefa não é para o modelo falar lindamente sobre humanos, mas para ele inventar menos e não substituir conexões reais por interpretações convenientes mas falsas.

Para tópicos relacionados à psique, isso é crítico: um erro na formulação facilmente se torna um erro na conclusão.

Como eles querem reduzir erros

O detalhe chave é a arquitetura de grafos. Normalmente, tal abordagem significa um sistema onde o conhecimento é representado não como texto contínuo, mas como nós e conexões entre eles. Para agentes de IA, isso pode se tornar uma forma de verificar respostas não apenas pela probabilidade da próxima palavra, mas também pela estrutura explícita de conceitos. Se o modelo raciocina sobre medo, motivação, atenção ou distorções da percepção, ele pode contar com um mapa de relacionamentos entre essas entidades, em vez de associações aleatórias de dados de treinamento.

• fixar conceitos e suas conexões explicitamente
• verificar se uma nova conclusão contradiz a estrutura já conhecida
• coordenar as respostas de vários agentes de IA entre si
• reduzir o risco de fantasias onde é necessária lógica causal, não retórica

Outro ponto importante decorre da formulação do Sber: a arquitetura foi projetada especificamente para interação entre agentes entre si. Isso não é mais um chatbot único, mas um ambiente onde vários modelos ou módulos trocam julgamentos sobre uma pessoa. Nesse modo, o problema das alucinações se torna ainda mais agudo: um erro pode rapidamente se multiplicar por toda a cadeia. Um esquema de grafo é necessário como uma estrutura comum que mantém a discussão dentro de uma lógica consistente.

Onde isso será útil

Se a abordagem funcionar, ela pode ser aplicada em sistemas de suporte à decisão, assistentes digitais, produtos educacionais e serviços que analisam o comportamento do usuário. Isso não é necessariamente sobre fazer diagnósticos. Muito mais próximo é o cenário aplicado onde a IA ajuda a analisar comunicação, reações, padrões motivacionais ou erros cognitivos, mas faz isso de forma mais cuidadosa e consistente.

Para o mercado corporativo, isso é especialmente interessante: os negócios precisam de agentes que não apenas retelem a psicologia popular, mas saibam raciocinar dentro de um modelo determinado e expliquem de onde vem a conclusão. Ao mesmo tempo, publicamente, isso ainda está sendo discutido como pesquisa. O Sberbank não revelou como a qualidade de tal sistema será avaliada, quais conjuntos de dados ou marcos de especialistas são usados e em quais produtos o resultado aparecerá.

Esta é uma ressalva importante porque combater alucinações é uma das tarefas mais difíceis em toda a pilha de IA. Qualquer arquitetura pode melhorar a coerência da resposta, mas isso não garante a verdade. Portanto, a questão principal não é apenas como representar o conhecimento sobre a psique, mas também como validar tal conhecimento, atualizá-lo e não transferir para o modelo os erros dos próprios pesquisadores.

O que isso significa

O Sberbank mostra uma virada interessante: em vez de outro chatbot universal, a empresa está explorando uma área mais estreita, mas complexa, onde estrutura, consistência e controle de erros são importantes para a IA. Se a abordagem de grafos funcionar, ela pode dar ao mercado uma nova classe de agentes que raciocinam sobre humanos notavelmente com mais cuidado do que LLMs comuns.