El LLM escribe, el código funciona, nadie lo entiende: por qué ocurre

El código funciona, las pruebas están en verde, todo el sistema es estable. ¿Significa eso que la calidad está bien? No exactamente. Resulta que existe una tercera dimensión que nadie vigila: lo comprensible que es el código para una persona.

Cuando el código funciona pero no se entiende

Un LLM escribe código tal como lo entiende una máquina. Las variables tienen nombres lógicos, la sintaxis es impecable, el algoritmo funciona. Pero para una persona leer ese código es una tortura. La lógica está enredada en nudos y hay comentarios, pero no ayudan a captar lo esencial.

El modelo genera documentación que puede ser voluminosa y describir cada parámetro, cada función, cada excepción. Y a la vez resulta completamente inútil para responder a la pregunta principal: ¿para qué se escribió todo esto?

El problema no es que el LLM esté mal entrenado. El problema es que personas y modelos piensan, literalmente, con mecanismos distintos. Cuando sus conocimientos chocan, ocurre justo esto: un código que funciona a la perfección pero sigue siendo una caja negra para quien lo lee.

Dos arquitecturas de la comprensión

Las personas pensamos en estructuras: inicio, desarrollo, final. Un objetivo, el camino hacia él, un resultado. Para una persona, la complejidad es estrés y duele. Cuanto más enrevesada es la lógica, mayor es la carga cognitiva y más difícil resulta mantener el código.

Un LLM funciona de forma muy distinta. El modelo predice el siguiente token a partir de probabilidades. Eso no es una estructura, sino una simple secuencia de pasos probabilísticos. Para el modelo no hay una diferencia fundamental entre un algoritmo simple y uno complejo: ambos son solo una cadena de tokens. Y, sobre todo, el modelo no sufre por la complejidad. Son simplemente datos.

• La persona busca sentido y patrones; el modelo predice tokens
• A la persona le confunde el exceso de detalle sin el contexto del objetivo
• El modelo no "entiende" en el sentido humano: predice
• Para la persona, la simplicidad es una bendición; el modelo simplemente no la nota

La documentación como trampa

Un modelo puede escribir documentación extensa: describir cada parámetro, cada tipo de valor devuelto, cada excepción. El código quedará totalmente documentado. Y aun así la persona no entenderá por qué se eligió esa arquitectura.

Porque la documentación responde a la pregunta "qué es esto", pero no a "por qué". Una persona puede leer cincuenta páginas de descripción y seguir completamente perdida sobre la intención. Conocer todos los detalles no da una comprensión del conjunto.

Nadie nota la pérdida de control

Lo más inquietante de esta historia es que nadie se da cuenta de cuándo se pierde el control. El código funciona. Las pruebas pasan. El sistema es estable. Y de pronto hay que cambiar algo, añadir una función, corregir un error. Y se descubre que nadie, ni siquiera el autor del código, sabe explicar cómo funciona en realidad.

En la pareja "persona + LLM" ocurre lo siguiente: la persona pulsa el botón de "aprobar", el modelo da su trabajo por terminado (¡las pruebas están en verde!) y, mientras tanto, la comprensión se pierde de forma lenta e imperceptible. No hay un momento de "alto, ahora empieza el problema". El control se pierde sin que nadie lo note, como el crepúsculo.

"El código funciona, las pruebas están en verde, así que todo va bien", piensa la persona al pulsar aprobar.

Y no nota que, al hacerlo, se le escapa la posibilidad de cambiar nada.

Qué significa esto para nosotros

Hacen falta nuevas métricas de calidad del código. No basta con "funciona" y "las pruebas pasan". Hay que preguntarse: ¿puede una persona entenderlo? ¿Puede mantenerlo? ¿Puede ampliarlo? De lo contrario, cada línea de código será un fragmento que funciona, pero cuyo propósito se ha perdido.

No es un reproche a los desarrolladores ni una crítica a los LLM. Es simplemente la consecuencia de que personas y modelos hablan lenguajes de comprensión distintos. Uno ve el árbol entero; el otro, ramas sueltas. Y cuando trabajan juntos, queda entre ellos una brecha en la que el sentido se desvanece.