Talkie-1930: pesquisadores lançam modelo de 13B sem conhecimento da internet nem da Segunda Guerra Mundial

O Talkie-1930 é um experimento incomum que tenta devolver um modelo de linguagem ao contexto intelectual do início do século XX. É um modelo aberto de 13 bilhões de parâmetros, treinado apenas com textos em inglês publicados antes de 31 de dezembro de 1930, por isso não sabe nada sobre a internet, os smartphones nem a Segunda Guerra Mundial como fato consumado. Em vez de mais um chatbot que fala de tudo, os pesquisadores obtiveram um ambiente de teste limpo para estudar como um modelo raciocina, prevê e generaliza quando sua visão de mundo está fixada em um único ponto da história.

O projeto foi apresentado pela equipe de Nick Levine, David Duvenaud e Alec Radford. A versão base, talkie-1930-13b-base, foi treinada com 260 bilhões de tokens de livros, jornais, revistas, artigos científicos, patentes e documentos judiciais. Há ainda um checkpoint conversacional, o talkie-1930-13b-it, ajustado para diálogo. As duas versões foram publicadas com pesos abertos sob a licença Apache 2.0.

Os autores também criaram um "gêmeo moderno", com a mesma arquitetura e o mesmo orçamento de computação, mas treinado no corpus FineWeb. Assim, é possível comparar sistemas quase idênticos treinados com tipos diferentes de dados, e não modelos abstratos de épocas distintas.

O principal valor do Talkie-1930 não está no estilo retrô, mas na pureza para pesquisa. Os LLMs atuais sofrem quase inevitavelmente com contaminação: tarefas de teste, trechos de benchmarks ou dados parecidos que já vazaram para o treinamento. Em um modelo vintage esse problema é menor por definição: se um benchmark descreve eventos ou tecnologias posteriores a 1930, o Talkie não poderia tê-los visto antes. Por isso, ele é útil para testar até onde um modelo consegue ir além do próprio corpus.

Os autores testaram, por exemplo, se ele consegue escrever código Python a partir de alguns exemplos no contexto, embora nem o Python nem os computadores digitais existam em seus dados de treinamento. Os resultados ainda são fracos, mas o fato de haver algumas respostas corretas indica que o modelo pode tomar emprestada a estrutura de uma solução, e não apenas copiar padrões decorados.

A equipe também usa o Talkie-1930 como ferramenta de avaliação temporal e histórica. Em um dos experimentos, o modelo mediu a "surpresa" diante de descrições curtas de eventos reais do arquivo do The New York Times: depois do corte em 1930, as histórias ficam visivelmente menos previsíveis para ele, sobretudo os eventos das décadas de 1950 e 1960. É uma forma cuidadosa de estudar como os modelos "enxergam" o futuro a partir do passado e como muda sua capacidade de previsão em longas distâncias de tempo.

Outra questão interessante é o que forma a personalidade de um modelo. Quase todos os LLMs modernos descendem, de algum modo, de dados da web; o Talkie rompe essa herança e permite separar as propriedades do próprio modelo de linguagem das particularidades da internet como ambiente de treinamento.

Do ponto de vista técnico, o projeto se mostrou muito mais complexo do que uma simples filtragem por data. O risco mais perigoso são os vazamentos temporais: documentos com data errada, introduções editoriais modernas a livros antigos ou notas de rodapé posteriores podem levar conhecimento do futuro ao corpus sem que ninguém perceba. Os autores criaram um classificador de anacronismos em nível de documento, mas admitem que ele não é perfeito: as primeiras versões do modelo conheciam a presidência de Franklin Roosevelt e as reformas do New Deal, e o checkpoint de 13B mantém informações pontuais sobre a Segunda Guerra Mundial, a ONU e a organização da Alemanha no pós-guerra.

A qualidade do reconhecimento de texto é um problema igualmente doloroso. Como em 1930 não existia um fluxo editorial digital, todo o corpus precisou ser montado por OCR. Em testes controlados, o OCR padrão entregava apenas cerca de 30% da eficácia de treinamento obtida com a transcrição humana dos mesmos textos; uma limpeza simples com expressões regulares elevava o índice para cerca de 70%, mas a diferença continuava grande.

Para que a versão conversacional não adquirisse hábitos modernos, o pós-treinamento também teve de ser construído do zero. Em vez dos datasets de instruções típicos, a equipe extraiu pares de instrução e resposta de obras de referência históricas: manuais de etiqueta, guias de redação de cartas, livros de receitas, dicionários, enciclopédias, coletâneas de fábulas e poemas. Depois, o modelo foi aprimorado com DPO online, usando um LLM moderno como juiz; pela avaliação interna, a capacidade de seguir instruções subiu de 2,0 para 3,4 pontos em 5.

Os autores planejam ampliar o corpus para mais de 1 trilhão de tokens, estendê-lo além do inglês e lançar um modelo vintage de nível GPT-3 já no verão de 2026.

Em resumo, o Talkie-1930 importa não como chatbot nostálgico, mas como laboratório para testar grandes questões sobre IA: o que o modelo realmente entende, o que apenas memorizou, até onde consegue generalizar sem pistas do futuro e quanto a web definiu o caráter dos LLMs atuais. Se o projeto conseguir reduzir os vazamentos e o ruído do OCR, os pesquisadores terão uma das ferramentas mais limpas para estudar os limites da generalização em modelos de linguagem.