SemanticZip: por qué el intento de comprimir significados 14 veces se estrelló contra la realidad

Nos hemos acostumbrado a medir el progreso en redes neuronales por el tamaño de la ventana de contexto. Primero había 4 mil tokens, luego 128 mil, y ahora Google incluso promete millones. Pero ¿y si estamos abordando el problema desde el ángulo equivocado?

En lugar de construir enormes "graneros" para datos, el desarrollador del prototipo SemanticZip intentó hacer los propios datos supercondensados. La idea es simple y elegante: ¿por qué almacenar en el texto palabras que una red neuronal puede adivinar fácilmente por sí sola? Este es un intento de transferir la teoría de la información de Shannon y la complejidad de Kolmogórov al mundo de los grandes modelos de lenguaje, convirtiendo la IA en una especie de archivador de significados.

En el corazón de SemanticZip está el concepto de eliminación de redundancia. Si decimos "la capital de Francia es...", cualquier algoritmo moderno no necesita la palabra "París" para entender la esencia del mensaje. El prototipo funcionaba exactamente así: limpiaba del texto todo lo que le parecía obvio, dejando solo el núcleo semántico único. En teoría, esto permitía reducir el volumen de información transmitida por un factor de 14. Imagina que en lugar de "Guerra y Paz" transmites a la red neuronal un folleto delgado, y ella sobre la marcha restaura todas las divagaciones filosóficas de Tolstói. Suena como la singularidad tecnológica que se suponía debía llegar ayer.

Sin embargo, durante la fase de "análisis de resultados", resultó que el hermoso modelo matemático se rompe contra la impredecibilidad de los LLM modernos. El problema resultó estar en el proceso de descompresión. Cuando descomprimimos un archivo ZIP común, obtenemos bit por bit el archivo original. En el caso de la "compresión semántica", estamos pidiendo a la red neuronal que adivine exactamente qué fue omitido. Y ahí es donde comienza el caos. Es suficiente que el modelo cometa un error en un adjetivo clave o una conjunción, y todo el significado de la oración cambia al opuesto. Resultó que los modelos modernos aún no poseen el grado de determinismo necesario para trabajar con datos supercondensados.

El autor del proyecto reconoció honestamente: las hermosas metáforas sobre "compresión de significados" pierden ante el aburrido y terreno RAG (Retrieval-Augmented Generation). RAG no intenta empaquetar todo el conocimiento del mundo en tres líneas. Simplemente va a la base de datos y extrae el fragmento de texto necesario en su forma original, redundante. Sí, esto requiere más memoria y poder computacional, pero funciona. En la industria de IA ahora hay una clara tendencia hacia la simplificación: en lugar de capas complejas construidas sobre la lógica del modelo, los desarrolladores eligen métodos confiables para entregar contexto. La redundancia que tanto intentamos derrotar resultó ser crítica para la precisión.

Este experimento destacó un problema importante: aún entendemos mal cómo las redes neuronales almacenan y recuperan información. Estamos intentando imponerles la lógica humana de compresión, mientras que ellas operan con probabilidades. Mientras la probabilidad de error al "descomprimir" significado sea diferente de cero, tales sistemas seguirán siendo meramente juguetes interesantes para entusiastas. El intento de ahorrar en tokens resultó en que el valor de la información misma cayera debido al riesgo de distorsiones. Esto recuerda la situación con JPEG: con compresión fuerte, la imagen sigue siendo reconocible, pero los detalles se convierten en papilla. En el texto, tal "papilla" puede costar demasiado caro.

El futuro, probablemente, no está con archivadores mágicos sino con la optimización de las arquitecturas de los propios modelos. Por ahora, tendremos que resignarnos al hecho de que transmitir un pensamiento complejo requiere muchas palabras. El intento de engañar a las matemáticas y hacer que la IA "lo deduzca" por nosotros por ahora solo lleva a prototipos bonitos pero inútiles. Aún estamos en una era donde la cantidad se transforma en calidad en lugar de reemplazarla.

Lo principal: la redundancia no es un error sino una característica que garantiza la estabilidad de la IA. ¿Podremos alguna vez confiar en significados "comprimidos" como confiamos en archivos ZIP?