DeepSeek-OCR comprime el contexto de texto 10 veces con un 97% de precisión

DeepSeek ha publicado un artículo y ha abierto el código de DeepSeek-OCR, un sistema que convierte texto en imagen y utiliza los tokens visuales como representación comprimida del contexto. Según los autores, con una compresión de aproximadamente 10 veces, el decodificador recupera el texto original con una precisión de alrededor del 97%. Con una compresión de 20 veces, la precisión baja hasta cerca del 60%. Un popular análisis del canal Two Minute Papers lo describe como la solución al problema de la memoria de la IA. La formulación es grandilocuente: el problema está más planteado que cerrado, aunque las cifras sobre documentos resultan convincentes.

Por qué convertir texto en imagen

El contexto largo es caro. El coste de la atención en un transformer crece de forma cuadrática con el número de tokens, y una página de texto denso puede ocupar fácilmente miles de ellos. Esa misma página, introducida como imagen, se codifica con cientos de tokens visuales. Los autores plantean una pregunta: ¿se puede usar la visión como canal de compresión para un modelo de lenguaje? El experimento muestra que, para la tarea de reconocimiento, sí se puede.

Cómo funciona

El sistema consta de dos partes. El codificador DeepEncoder combina atención local por ventanas basada en SAM y atención global basada en CLIP-large. Entre ambas hay un compresor convolucional que reduce el número de tokens 16 veces, de modo que la costosa atención global trabaja ya con pocos elementos. El decodificador, DeepSeek3B-MoE, es un modelo de tipo mixture-of-experts con unos 3.000 millones de parámetros, de los cuales unos 570 millones están activos por cada token.

Parámetros clave según el artículo:

• compresión de hasta 10x: precisión de reconocimiento de alrededor del 97%;
• compresión de alrededor de 20x: precisión de alrededor del 60%;
• modos de resolución: Tiny (64 tokens), Small (100), Base (256), Large (400) y Gundam para páginas complejas con varios fragmentos;
• OmniDocBench: 100 tokens por página superan a GOT-OCR2.0, que necesita 256;
• menos de 800 tokens logran mejor resultado que MinerU2.0, que gasta alrededor de 7000;
• rendimiento: más de 200 mil páginas al día en una sola A100-40G y hasta 33 millones de páginas al día en 20 nodos de 8 GPU.

Dónde termina la idea atractiva

La principal limitación: el OCR comprueba si se puede leer el texto de vuelta. No comprueba si un modelo de lenguaje es capaz de razonar sobre un contexto comprimido ópticamente igual de bien que sobre tokens normales. Son tareas distintas, y el artículo no responde a la segunda.

Los autores proponen además una analogía con la memoria humana: los fragmentos antiguos de un diálogo pueden almacenarse en una imagen con una resolución cada vez menor, es decir, se «olvidan» poco a poco. Suena lógico para agentes con un historial largo, pero es una hipótesis. Todavía no hay datos sobre cómo afecta ese esquema a la calidad de las respuestas en diálogos, programación y tareas de varios pasos.

Hay que tener en cuenta también las pérdidas. Con un 60% de precisión a 20x no se pueden almacenar contratos, código ni cifras en los que un error en un solo carácter cambia el sentido. En esos casos hará falta un control de calidad o volver al texto original.

Qué probar en la práctica

Los equipos que digitalizan archivos, facturas y PDF científicos pueden probar DeepSeek-OCR ya mismo: el código y los pesos están en GitHub. La ventaja está sobre todo en el coste de procesamiento: menos tokens por página implican menos carga para la GPU. El modelo también sirve para generar datos de entrenamiento a partir de documentos en grandes volúmenes, como indican las cifras de rendimiento.

Los desarrolladores de agentes deberían dejar a un lado las conclusiones grandilocuentes y montar su propia prueba: tomar un historial de diálogo largo propio, comprimir la parte antigua en una imagen y comparar la calidad de las respuestas con las del contexto normal. Si no hay diferencia, el ahorro en tokens será notable. Si la hay, habrá que decidir qué datos se pueden permitir «olvidar».