Pesquisador propõe quatro degraus de significado para a IA: de substantivos a pactos

O autor do blog Tiled with Pentagons publicou no AI Alignment Forum um texto que ele mesmo descreve como "uma torre conceitual meio construída, com a argamassa ainda úmida". Na versão resumida, são cerca de 12 mil palavras. O objetivo é descrever como dois agentes que raciocinam, com modelos internos de mundo diferentes mas previsões parecidas, podem se entender em quatro níveis da linguagem, dos nomes das coisas aos compromissos compartilhados. O autor avisa com franqueza que ainda não tem a matemática necessária para um teorema de verdade. Ele considera parte das conclusões quase certas, parte apenas sugestiva e muita coisa provavelmente errada. A versão principal da apresentação foi feita em Berkeley, no espaço Lighthaven.

Uma escada de quatro degraus

O ponto de partida é a ideia de semântica interoperável de John Wentworth. Se dois agentes bayesianos têm as mesmas previsões, eles conseguem combinar pelo menos os substantivos, entendidos como clusters no espaço das coisas, mesmo que sejam construídos de formas diferentes por dentro. A novidade é que o autor acrescenta mais três níveis por cima:

• Substantivos: clusters no espaço das coisas, o nível básico de acordo.
• Verbos: processos e mudanças que se apoiam em substantivos já combinados.
• Regras: restrições sobre conjuntos inteiros de trajetórias.
• Pactos: conjuntos de regras que vários agentes assumem ao mesmo tempo.

Cada degrau tem seus próprios operadores. O que caracteriza um degrau são os tipos que os agentes já precisam entender em conjunto para traduzir as mensagens um do outro. A hipótese central, para cuja refutação ou prova o autor oferece recompensas, é que a mecânica de qualquer degrau não funciona sem os que estão abaixo dele.

Maurício, X-Men e gaming de especificação

O autor ilustra a motivação com um processo judicial de 2003. No Tribunal de Comércio Internacional dos EUA, a Marvel argumentou que os X-Men não são humanos. A lei cobrava uma tarifa maior sobre "bonecos", ou seja, figuras de pessoas, e uma menor sobre os demais brinquedos. Para economizar impostos, a corporação minou a própria estrutura em que se apoiam seus quadrinhos. O autor resume assim: quando o dinheiro irresistível encontrou uma classe de substantivos imóvel, foi a classe que se moveu.

Vem então o passo-chave. Troque a tabela de tarifas por uma função de recompensa e o resultado é o gaming de especificação: o redesenho hostil de categorias, de cima para baixo, por quem tem interesses em jogo e poder de alavancagem. O autor promete detalhar isso no próximo post. A testemunha histórica que ele escolhe é outra: a Escola dos Nomes, na China, há cerca de 2300 anos. Seus integrantes passaram décadas debatendo se um cavalo branco é um cavalo. Todas as escolas do período dos Estados Combatentes riam deles, e seus rolos, segundo a tradição, foram queimados sob Qin Shi Huang.

O que dá para verificar

O autor aponta um rastro empírico. Onde dois degraus se tocam, nas línguas do mundo (ou em tecnologias cognitivas afins, como o direito contratual), deveria existir uma classe difusa de palavras cobrindo a lacuna entre eles. Entre as referências, ele cita os trabalhos de Gärdenfors, Tarski e Gentner, além dos moístas tardios. Ele próprio não sabe se essa vizinhança deve ser vista como sinal de alerta ou como um fosso que, curiosamente, é fácil de atravessar. O texto também menciona Tlön, de Borges, e mundos feitos de ondas, onde os verbos surgem antes dos substantivos.

A parte de alinhamento se resume a uma tese: os valores que gostaríamos de transmitir à IA só podem ser expressos como regras e pactos. Ao mesmo tempo, não existe um teorema que diga quando o seu conceito de "assassinato" é função do meu.

Como trabalhar com isso

Isso não é um método pronto, e sim um programa de pesquisa com perguntas em aberto. Para quem constrói sistemas multiagente ou escreve especificações de comportamento de modelos, duas ideias são úteis. Primeiro, falhas na formulação de regras devem ser buscadas nos degraus de baixo: se os agentes não combinaram substantivos e verbos, um pacto construído sobre eles será frágil.

Segundo, o gaming de especificação pode ser descrito naturalmente como uma revisão de categorias de cima para baixo, e não como um bug de uma função de recompensa específica. Para quem tem formação matemática, o autor faz um convite direto: quebrar a construção e trazer o conserto. Há recompensas prometidas.

Antes de construir ferramentas em cima disso, vale esperar pela versão formal, que por ora não existe.