Rede neural como máquina do tempo: por que os LLMs são ensinados a pensar à moda antiga
Pesquisadores encontraram uma forma paradoxal de usar LLMs: em vez de ampliar os dados de treinamento, eles os restringem, criando modelos que “pensam” como…
Processado por IA de Habr AI; editado por Hamidun News
Os modelos de linguagem são convencionalmente avaliados pelo volume de conhecimento que possuem: quanto mais dados uma rede neural absorve, mais inteligente ela se torna. Mas um grupo de pesquisadores e entusiastas inverteu essa lógica de cabeça para baixo. Eles reduzem deliberadamente os conjuntos de dados de treinamento, limitando-os a textos de uma época histórica específica, e obtêm algo completamente inesperado: inteligência artificial que raciocina como se vivesse no século XVII ou início do século XX.
À primeira vista, a ideia parece um capricho exótico. Por que alguém precisaria de um modelo que não sabe nada sobre antibióticos, teoria da relatividade ou internet? No entanto, há uma motivação científica séria por trás disso. Os LLMs modernos são treinados em corpora de texto que abrangem toda a história da linguagem escrita até o presente. Eles inevitavelmente veem o passado através da lente do presente — com sua terminologia, valores e conhecimento acumulado. Um modelo treinado apenas em textos anteriores a 1912 carece dessa lente retrospectiva. Não simplesmente reproduz as palavras de uma era — reproduz sua forma de pensar, seus pontos cegos, sua confiança em coisas que há muito consideramos ilusões.
Tecnicamente, a abordagem funciona da seguinte forma. Toma-se a arquitetura de um modelo de linguagem padrão — tipicamente relativamente compacta, já que o volume de textos históricos é limitado. O corpus de treinamento é formado exclusivamente de fontes datadas de um período específico: livros, jornais, cartas, tratados científicos, documentos legais. É criticamente importante excluir qualquer texto escrito após a data de corte escolhida. Como resultado, o modelo absorve não apenas o vocabulário e a gramática da era, mas também seu quadro epistemológico — ou seja, os limites do que as pessoas daquele tempo consideravam possível, verdadeiro e permissível.
A aplicação de tais modelos 'temporais' acaba sendo muito mais ampla do que se poderia supor. No campo da epistemologia — a ciência do conhecimento — eles permitem que pesquisadores investiguem como os próprios mecanismos de formação do conhecimento mudaram. Você pode fazer a um modelo de 1650 uma pergunta sobre a natureza das doenças e receber uma resposta baseada na teoria dos humores — não como estilização, mas como convicção genuína de um sistema para o qual a teoria dos germes simplesmente não existe. Isso fornece aos cientistas uma ferramenta única para modelar paradigmas históricos do pensamento.
Nas ciências comportamentais, tais modelos ajudam a estudar como o contexto cultural e informacional molda o comportamento e as decisões. Se você colocar um LLM dentro do marco de conhecimento de uma era específica, pode modelar reações a eventos, decisões econômicas, atitudes sociais — e compará-las com dados históricos reais. Em essência, é uma forma de psicologia histórica computacional que teria sido impensável há apenas alguns anos.
O potencial educacional também é impressionante. Imagine um diálogo interativo com um 'erudito' da Era do Iluminismo que não apenas cita textos do século XVIII, mas raciocina consistentemente no contexto da visão de mundo daquela época. Um aluno pode fazer perguntas, argumentar, encontrar lógica que era impecável para sua época, mas parece absurda hoje. Esta é uma maneira poderosa de demonstrar que o conhecimento não é um valor absoluto, mas um processo historicamente condicionado.
Várias iniciativas abertas já estão trabalhando nesta direção. Projetos discutidos por especialistas da Beeline Cloud desenvolvem tanto os modelos em si quanto a metodologia para preparação de corpora históricos. O principal desafio aqui é a qualidade dos dados. Textos digitalizados de séculos passados frequentemente contêm erros de reconhecimento, e a seleção de fontes requer expertise séria de historiadores para garantir que o corpus represente adequadamente o pensamento da era, não apenas sua elite literária.
E há uma questão fundamental que essa abordagem levanta. Se um modelo treinado em textos do passado reproduz as ilusões e preconceitos de sua época, o que isso diz sobre os LLMs modernos? Eles são igualmente restritos pelos limites de nossa era — simplesmente não sabemos ainda quais de nossas 'verdades óbvias' as gerações futuras considerarão ingênuas. Os modelos temporais se tornam um espelho que nos lembra: qualquer inteligência, artificial ou não, é um produto de seu tempo. E a conscientização desse fato pode ser mais valiosa do que qualquer avanço tecnológico.
Quer parar de ler sobre IA e começar a usar?
AI News é um feed curado de notícias de IA. A Hamidun Academy ensina você a usar IA no trabalho.