Talkie-1930: investigadores lanzan un modelo de 13B sin conocimiento de internet ni de la Segunda Guerra Mundial

Talkie-1930 es un experimento poco habitual que intenta devolver un modelo de lenguaje al contexto intelectual de principios del siglo XX. Es un modelo abierto de 13.000 millones de parámetros, entrenado solo con textos en inglés publicados antes del 31 de diciembre de 1930, por lo que no sabe nada de internet, de los smartphones ni de la Segunda Guerra Mundial como hecho consumado. En lugar de otro chatbot que habla de todo, los investigadores han obtenido un banco de pruebas limpio para estudiar cómo razona, predice y generaliza un modelo cuando su visión del mundo queda fijada en un único punto de la historia.

El proyecto lo presentó el equipo formado por Nick Levine, David Duvenaud y Alec Radford. La versión base, talkie-1930-13b-base, se entrenó con 260.000 millones de tokens procedentes de libros, periódicos, revistas, artículos científicos, patentes y documentos judiciales. Hay además un checkpoint conversacional, talkie-1930-13b-it, ajustado para el diálogo. Ambas versiones se publican con pesos abiertos bajo licencia Apache 2.0.

Los autores construyeron también un "gemelo moderno" con la misma arquitectura y el mismo presupuesto de cómputo, pero entrenado con el corpus FineWeb. Así pueden comparar sistemas casi idénticos con distintos tipos de datos, y no modelos abstractos de épocas diferentes.

El principal valor de Talkie-1930 no está en su estilo retro, sino en su pureza como herramienta de investigación. Los LLM actuales sufren casi inevitablemente contaminación: tareas de prueba, fragmentos de benchmarks o datos similares que ya se han colado en el entrenamiento. En un modelo vintage este problema es menor por definición: si un benchmark describe hechos o tecnologías posteriores a 1930, Talkie no pudo verlos de antemano. Por eso resulta práctico para comprobar hasta qué punto un modelo puede salir de los límites de su corpus.

Los autores probaron, por ejemplo, si podía escribir código en Python a partir de unos pocos ejemplos en el contexto, aunque ni Python ni los ordenadores digitales aparecen en sus datos de entrenamiento. Los resultados son por ahora flojos, pero que haya algunas respuestas correctas indica que el modelo puede tomar prestada la estructura de una solución y no solo copiar patrones memorizados.

El equipo usa además Talkie-1930 como herramienta de evaluación temporal e histórica. En uno de los experimentos, el modelo midió la "sorpresa" ante descripciones breves de hechos reales del archivo de The New York Times: pasado el corte de 1930, las historias le resultan claramente menos predecibles, sobre todo los hechos de las décadas de 1950 y 1960. Es una forma cuidadosa de estudiar cómo los modelos "ven" el futuro desde el pasado y cómo cambia su capacidad de predicción a largo plazo.

Otra pregunta interesante es qué moldea la personalidad de un modelo. Casi todos los LLM modernos descienden de un modo u otro de datos de la web; Talkie rompe esa herencia y permite separar las propiedades del propio modelo de lenguaje de las particularidades de internet como entorno de entrenamiento.

Técnicamente, el proyecto resultó mucho más complejo que un simple filtrado por fecha. El mayor riesgo son las filtraciones temporales: documentos mal fechados, introducciones editoriales modernas a libros antiguos o notas al pie posteriores pueden introducir sin que se note conocimiento del futuro en el corpus. Los autores crearon un clasificador de anacronismos a nivel de documento, pero admiten que no es perfecto: las primeras versiones del modelo conocían la presidencia de Franklin Roosevelt y las reformas del New Deal, y el checkpoint de 13B conserva datos sueltos sobre la Segunda Guerra Mundial, la ONU y la organización de Alemania tras la guerra.

La calidad del reconocimiento de texto es un problema igual de doloroso. Como en 1930 no existía una cadena editorial digital, todo el corpus hubo que reunirlo mediante OCR. En pruebas controladas, el OCR estándar ofrecía solo alrededor del 30 % de la eficacia de entrenamiento de una transcripción humana de los mismos textos; una limpieza sencilla con expresiones regulares la subía hasta cerca del 70 %, pero la brecha seguía siendo grande.

Para que la versión conversacional no adquiriese hábitos modernos, también hubo que construir el posentrenamiento desde cero. En lugar de los típicos datasets de instrucciones, el equipo extrajo pares de instrucción y respuesta de obras de consulta históricas: manuales de etiqueta, guías para escribir cartas, libros de cocina, diccionarios, enciclopedias, colecciones de fábulas y poemas. Después mejoró el modelo con DPO en línea, usando un LLM moderno como juez; según la evaluación interna, el seguimiento de instrucciones subió de 2,0 a 3,4 puntos sobre 5.

Los autores planean ampliar el corpus a más de 1 billón de tokens (1 trillion en la acepción anglosajona), extenderlo más allá del inglés y lanzar un modelo vintage de nivel GPT-3 ya en el verano de 2026.

En resumen, Talkie-1930 importa no como chatbot nostálgico, sino como laboratorio para poner a prueba grandes preguntas sobre la IA: qué comprende realmente un modelo, qué simplemente ha memorizado, hasta dónde puede generalizar sin pistas del futuro y cuánto ha determinado la web el carácter de los LLM actuales. Si el proyecto logra reducir las filtraciones y el ruido del OCR, los investigadores tendrán una de las herramientas más limpias para estudiar los límites de la generalización en los modelos de lenguaje.