Un investigador propone cuatro peldaños de significado para la IA: de los sustantivos a los pactos

El autor del blog Tiled with Pentagons ha publicado en el AI Alignment Forum un texto que él mismo describe como «una torre conceptual a medio construir, con el mortero todavía húmedo». En su versión abreviada tiene unas 12 mil palabras. El objetivo es describir cómo dos agentes que razonan, con modelos internos del mundo distintos pero predicciones parecidas, pueden entenderse en cuatro niveles del lenguaje, desde los nombres de las cosas hasta los compromisos compartidos.

El autor advierte con franqueza que aún no tiene la matemática necesaria para un teorema de verdad. Considera que parte de sus conclusiones es casi correcta, que otra parte solo es sugerente y que muchas probablemente son erróneas. La versión principal de la charla se presentó en Berkeley, en el espacio Lighthaven.

Una escalera de cuatro peldaños

El punto de partida es la idea de John Wentworth sobre la semántica interoperable. Si las predicciones de dos agentes bayesianos coinciden, pueden ponerse de acuerdo al menos en los sustantivos entendidos como clústeres en el espacio de las cosas, aunque por dentro estén construidos de forma distinta. La novedad es que el autor levanta encima otros tres niveles:

• Sustantivos: clústeres en el espacio de las cosas, el nivel básico de acuerdo.
• Verbos: procesos y cambios que se apoyan en sustantivos ya acordados.
• Reglas: restricciones sobre conjuntos enteros de trayectorias.
• Pactos: conjuntos de reglas que asumen varios agentes a la vez.

Cada peldaño tiene sus propios operadores. Se caracteriza por los tipos que los agentes ya deben entender en común para poder traducirse mutuamente los mensajes. La hipótesis central, por cuya refutación o demostración el autor ofrece recompensas, es que la mecánica de cualquier peldaño no funciona sin los que tiene debajo.

Mauricio, X-Men y specification gaming

El autor ilustra su motivación con un caso judicial de 2003. Ante el Tribunal de Comercio Internacional de EE. UU., Marvel sostuvo que los X-Men no son personas. La ley aplicaba un arancel más alto a las «muñecas», es decir, a las figuras de personas, y uno más bajo al resto de juguetes. Para ahorrar impuestos, la corporación socavó el marco mismo sobre el que descansan sus cómics. El autor lo resume así: cuando un dinero imparable se topó con una clase de sustantivos inamovible, la clase se movió.

Ahí llega el movimiento clave. Si se sustituye la tabla arancelaria por una función de recompensa, se obtiene specification gaming: un redibujado hostil de las categorías desde arriba, a cargo de quienes tienen intereses en juego y palancas de poder. El autor promete analizarlo con más detalle en la siguiente entrada. Como testigo histórico elige otro: la Escuela de los Nombres en China, hace unos 2300 años. Sus miembros pasaron décadas discutiendo si un caballo blanco es un caballo. Todas las escuelas de la época de los Reinos Combatientes se burlaban de ellos y, según la tradición, sus rollos fueron quemados bajo Qin Shi Huang.

Qué se puede comprobar

El autor señala una huella empírica. Allí donde se tocan dos peldaños, en las lenguas del mundo (o en tecnologías cognitivas afines, como el derecho contractual) debería encontrarse una clase difusa de palabras que cubra la brecha entre ellos. Entre sus referencias cita los trabajos de Gärdenfors, Tarski y Gentner, así como a los moístas tardíos. Ni él mismo sabe si debe tomar esa vecindad como una señal de alarma o como un foso que le resulta inusualmente fácil de cruzar. El texto menciona también el Tlön de Borges y mundos hechos de ondas donde los verbos aparecen antes que los sustantivos.

La parte de alineamiento se resume en una sola tesis: los valores que querríamos transmitir a una IA solo son expresables como reglas y pactos. Y no existe un teorema que diga cuándo tu concepto de «asesinato» es una función del mío.

Cómo trabajar con esto

No es un método listo para usar, sino un programa de investigación con preguntas abiertas. Para quienes construyen sistemas multiagente o escriben especificaciones de comportamiento de modelos, hay dos ideas útiles. Primera: los fallos en la formulación de reglas conviene buscarlos en los peldaños inferiores.

Si los agentes no han acordado los sustantivos y los verbos, el pacto levantado encima será frágil. Segunda: es natural describir el specification gaming como una revisión de las categorías desde arriba, y no como un bug de una función de recompensa concreta. A quienes tengan formación matemática, el autor les propone abiertamente romper la construcción y traer la reparación.

Por ello ofrece recompensas. Antes de construir herramientas sobre esto, conviene esperar a la versión formal, que por ahora no existe.