Talkie-1930 : des chercheurs publient un modèle de 13B qui ignore tout d'internet et de la Seconde Guerre mondiale

Talkie-1930 est une expérience rare, qui tente de replacer un modèle de langage dans le contexte intellectuel du début du XXe siècle. Il s'agit d'un modèle ouvert de 13 milliards de paramètres, entraîné uniquement sur des textes anglophones publiés avant le 31 décembre 1930. Il ignore donc tout d'internet, des smartphones et de la Seconde Guerre mondiale en tant que fait accompli. Plutôt qu'un énième chatbot qui parle de tout, les chercheurs ont obtenu un banc d'essai propre pour étudier comment un modèle raisonne, prédit et généralise quand sa vision du monde est figée à un unique point de l'histoire.

Le projet a été présenté par l'équipe de Nick Levine, David Duvenaud et Alec Radford. La version de base, talkie-1930-13b-base, a été entraînée sur 260 milliards de tokens issus de livres, de journaux, de magazines, d'articles scientifiques, de brevets et de documents judiciaires. Un checkpoint conversationnel, talkie-1930-13b-it, affiné pour le dialogue, est disponible séparément. Les deux versions sont publiées avec des poids ouverts sous licence Apache 2.0.

Les auteurs ont aussi construit un « jumeau moderne » avec la même architecture et le même budget de calcul, mais entraîné sur le corpus FineWeb. L'idée : comparer des systèmes presque identiques sur des types de données différents, plutôt que des modèles abstraits d'époques distinctes.

La principale valeur de Talkie-1930 ne tient pas à son style rétro, mais à sa pureté pour la recherche. Les LLM actuels souffrent presque inévitablement de contamination : des tâches de test, des fragments de benchmarks ou des données proches ont déjà fuité dans l'entraînement. Un modèle vintage a par définition moins ce problème : si un benchmark décrit des événements ou des technologies postérieurs à 1930, Talkie n'a pas pu les voir à l'avance. Il se prête donc bien à l'évaluation de la capacité d'un modèle à sortir du cadre de son corpus.

Les auteurs ont par exemple testé s'il pouvait écrire du code Python à partir de quelques exemples en contexte, alors que ni Python ni les ordinateurs numériques n'apparaissent dans ses données d'entraînement. Les résultats restent faibles pour l'instant, mais l'existence de quelques réponses correctes montre que le modèle peut emprunter la structure d'une solution, et pas seulement recopier des schémas mémorisés.

L'équipe utilise également Talkie-1930 comme outil d'évaluation temporelle et historique. Dans une expérience, le modèle a mesuré la « surprise » face à de brèves descriptions d'événements réels tirées des archives du New York Times : au-delà de la coupure de 1930, les récits deviennent nettement moins prévisibles pour lui, en particulier les événements des années 1950 et 1960. C'est une façon rigoureuse d'étudier comment les modèles « voient » l'avenir depuis le passé, et comment leur capacité de prévision évolue sur une longue distance temporelle.

Une autre question intéressante : qu'est-ce qui façonne la personnalité d'un modèle ? Presque tous les LLM modernes descendent d'une façon ou d'une autre de données du web ; Talkie rompt cette filiation et permet de distinguer les propriétés du modèle de langage lui-même des particularités d'internet comme environnement d'entraînement.

Sur le plan technique, le projet s'est révélé bien plus complexe qu'un simple filtrage par date. Le risque le plus sérieux est celui des fuites temporelles : des documents mal datés, des introductions éditoriales modernes à d'anciens ouvrages ou des notes de bas de page tardives peuvent faire entrer discrètement dans le corpus des connaissances venues du futur. Les auteurs ont construit un classificateur d'anachronismes au niveau du document, mais reconnaissent qu'il n'est pas parfait : les premières versions du modèle connaissaient la présidence de Franklin Roosevelt et les réformes du New Deal, et le checkpoint de 13B conserve des bribes d'information sur la Seconde Guerre mondiale, l'ONU et l'organisation de l'Allemagne d'après-guerre.

La qualité de la reconnaissance de texte est un problème tout aussi douloureux. Comme il n'existait pas de chaîne d'édition numérique en 1930, tout le corpus a dû être constitué par OCR. Lors de tests contrôlés, l'OCR standard n'offrait qu'environ 30 % de l'efficacité d'entraînement d'une transcription humaine des mêmes textes ; un simple nettoyage par expressions régulières la relevait à environ 70 %, mais un écart important subsistait.

Pour que la version conversationnelle n'attrape pas les habitudes modernes, le post-entraînement a lui aussi dû être construit de zéro. Au lieu des datasets d'instructions habituels, l'équipe a extrait des paires instruction-réponse d'ouvrages de référence historiques : manuels de savoir-vivre, guides de correspondance, livres de cuisine, dictionnaires, encyclopédies, recueils de fables et de poèmes. Le modèle a ensuite été amélioré par DPO en ligne, avec un LLM moderne comme juge ; selon l'évaluation interne, le suivi des instructions est passé de 2,0 à 3,4 points sur 5.

Les auteurs prévoient ensuite de porter le corpus à plus de 1 000 milliards de tokens, de l'étendre au-delà de l'anglais et de publier dès l'été 2026 un modèle vintage de niveau GPT-3.

En somme, Talkie-1930 compte non comme chatbot nostalgique, mais comme laboratoire pour éprouver de grandes questions sur l'IA : ce que le modèle comprend réellement, ce qu'il a simplement mémorisé, jusqu'où il peut généraliser sans indices venus du futur, et dans quelle mesure le web a façonné le caractère des LLM actuels. Si le projet parvient à réduire les fuites et le bruit de l'OCR, les chercheurs disposeront de l'un des outils les plus propres pour étudier les limites de la généralisation des modèles de langage.