El LLM como radio: por qué el procesamiento de señales importa más que la lingüística

Solemos pensar en las redes neuronales como lingüistas digitales que devoran bibliotecas para aprender a expresar ideas de forma coherente. Pero si se mira bajo el capó de un transformer desde los primeros principios, no se encuentra ni gramática ni sintaxis en el sentido habitual. Lo que aparece es un sistema complejísimo de procesamiento de señales. Esa es la gran ironía de la industria actual de la IA: construimos sistemas que hablan como personas con métodos que antes se usaban para limpiar el ruido del audio o transmitir datos por satélite. Entenderlo lo cambia todo, desde cómo entrenamos los modelos hasta por qué de pronto empiezan a alucinar.

Para un modelo, todo texto empieza con una discretización. Al dividir una frase en tokens, discretizamos en la práctica el flujo continuo del pensamiento humano. Es como convertir una grabación analógica en un archivo MP3. Cada token se convierte en un vector en un espacio multidimensional, pero no es un simple punto. En la arquitectura moderna es una señal con su propia frecuencia y fase. Ahí está el secreto del éxito de los transformers frente a las antiguas redes recurrentes. Antes intentábamos pasar la información de eslabón en eslabón, como en el teléfono descompuesto; ahora trabajamos con todo el espectro de datos a la vez y le aplicamos filtros.

Conviene prestar especial atención a cómo entienden los modelos el orden de las palabras. En las primeras versiones era un parche, pero con la llegada de los embeddings posicionales rotatorios (RoPE) todo cambió. Los ingenieros incorporaron a las redes neuronales principios de trigonometría: la posición de una palabra en la frase se codifica mediante la rotación de un vector.

Es física pura: se modifica la fase de la señal para que el modelo entienda la distancia entre conceptos. Si entiende cómo funciona la modulación de fase en su router Wi-Fi, ya ha recorrido la mitad del camino para entender cómo GPT-4 comprende el contexto de una novela larga. No es la magia de las asociaciones; es interferencia matemática de ondas en el espacio latente del modelo.

En este paradigma, el mecanismo de atención (Attention) no es un "foco" en sentido humano, sino un filtro dinámico. Cuando el modelo genera el siguiente token, hace pasar todo el contexto previo por un conjunto de filtros entrenables que suprimen el ruido y amplifican la señal útil. Lo llamamos "comprensión del contexto", pero para el procesador es una operación de producto escalar que extrae los armónicos necesarios del flujo general. Cuantos más parámetros tiene un modelo, más estrechos y precisos son los filtros que puede ajustar. Eso explica por qué los modelos pequeños a menudo "flaquean" en la lógica: sus filtros son demasiado toscos y dejan pasar ruido de más, que interpretamos como errores tontos.

¿Por qué importa esto ahora? Porque hemos chocado con el techo del escalado puro de datos. La industria empieza a asumir que alimentar a los modelos con más texto es un camino de rendimientos decrecientes. El futuro está en optimizar la parte de señal. Aparecen nuevas arquitecturas, como Mamba o soluciones híbridas, que intentan procesar la información con más eficiencia que el Attention estándar. Trabajan con los datos como señales continuas, lo que les permite "recordar" secuencias larguísimas sin ahogarse en el volumen de cómputo. Si aprendemos a controlar esta señal con la misma maestría con que los radioingenieros controlan las ondas de radio, el problema de las alucinaciones podría resolverse a nivel físico.

Al final, el éxito de los LLM confirma una vieja verdad: la matemática es una sola. Da igual que analice actividad sísmica, codifique vídeo o intente enseñar a una máquina a escribir poesía: las leyes de propagación y filtrado de la información no cambian. Dejamos de enseñar lenguaje a las máquinas y empezamos a enseñarles la física del campo de información. Y a juzgar por los últimos benchmarks, fue la decisión más acertada de toda la historia de la informática. Nos espera una transición de los tokens discretos a sistemas totalmente continuos, donde el límite entre texto, sonido y vídeo se borrará por completo, porque todo será una única señal.

Lo esencial: los LLM no son filólogos digitales, sino procesadores de señales de potencia extraordinaria. Si quiere entender hacia dónde va la IA, lea manuales de radiotecnia y teoría de la información, no de lingüística.