Anthropic descobre que o Claude pensa em conceitos abstratos, sem palavras

A Anthropic descobriu que seu modelo de linguagem Claude formou, por conta própria, um espaço interno "sistêmico" para armazenar e processar conceitos que não são expressos em palavras. O mecanismo lembra de forma inesperada o jeito como o cérebro humano lida com pensamentos antes de verbalizá-los. A informação foi divulgada pela própria empresa, que destacou que a descoberta surpreendeu até os pesquisadores.

O que os pesquisadores encontraram

Os especialistas da Anthropic analisaram as representações internas do modelo, ou seja, como o Claude armazena e relaciona conceitos dentro de suas camadas muito antes de entregar o texto final. O resultado mostrou que o modelo processa parte dos conceitos de forma abstrata, sem convertê-los em palavras concretas de um idioma, e só depois os transforma em texto na saída.

• A Anthropic descreve o mecanismo encontrado como um "espaço sistêmico" para conceitos que não foram colocados em palavras
• A empresa ressalta a semelhança com a forma como o pensamento humano trabalha com ideias antes de expressá-las em voz alta
• A descoberta foi feita no âmbito das pesquisas de interpretabilidade, que buscam entender o que acontece dentro do modelo, e não apenas o que ele entrega na saída

Por que as empresas olham para dentro dos modelos

Por muito tempo, os grandes modelos de linguagem funcionaram como uma "caixa-preta": os desenvolvedores viam a entrada e a saída, mas não o que acontecia entre elas. A Anthropic é uma das líderes da área de interpretabilidade (interpretability), que tenta identificar dentro das redes neurais conceitos individuais e as cadeias que os processam. Há alguns anos, a empresa publica estudos sobre como os modelos formam representações internas de conceitos e, de tempos em tempos, relata novos padrões de comportamento que surpreendem os próprios pesquisadores.

Descobertas desse tipo têm importância que vai além da ciência. Entender como o modelo processa a informação antes de gerar uma resposta ajuda a explicar suas decisões com mais precisão, encontrar as causas de erros e alucinações e aumentar a confiança em sistemas cada vez mais usados nos negócios e em tarefas do dia a dia.

O que isso significa

Se os modelos realmente formam estruturas próprias para armazenar significado, nem sempre traduzíveis em palavras, isso muda a percepção sobre a profundidade do "pensamento" dos modelos de linguagem atuais. Ao mesmo tempo, torna mais difícil a tarefa de garantir sua interpretabilidade e seu controle completos.