Los agentes LLM no aprenden las normas de una comunidad a partir de la interacción, según un estudio

Un grupo de investigadores ha publicado en arXiv el preprint 2610.10906 sobre lo que denominan competencia normativa de los modelos de lenguaje: la capacidad de determinar, solo a partir de la interacción, qué normas respalda realmente una comunidad, sin apoyarse en lo que el modelo memorizó durante el entrenamiento. El balance para los sistemas actuales es desalentador. En el entorno de prueba, los agentes LLM base no aprendieron las reglas, incluso cuando hacerlo aumentaba directamente su precisión. Los autores afirman que es el primer trabajo que formaliza y mide esta competencia en los LLM. El resumen del artículo no incluye métricas numéricas, así que lo que sigue se limita a conclusiones cualitativas.

Cómo está diseñado el experimento

Las normas de las comunidades humanas son numerosas, cambian con rapidez y a menudo son arbitrarias. El artículo cita como ejemplos el código de vestimenta y las convenciones lingüísticas. Su cumplimiento lo garantizan las sanciones de la propia comunidad. Algo así no se puede aprender de antemano: las reglas hay que leerlas sobre la marcha.

Para separar esta capacidad de los conocimientos del preentrenamiento, los autores construyeron un entorno de debates multiagente. El acceso a la discusión lo regulan normas sintéticas, inventadas específicamente para la prueba. El modelo no pudo encontrarlas en su corpus de entrenamiento y no tenía nada que le sugiriera la respuesta. El agente ve a quién se admite en los debates y a quién no, y debe inferir la regla por sí mismo.

Qué mostraron los resultados

• Los agentes LLM base no aprendieron las normas, aunque conocer la regla habría mejorado su precisión en los debates.
• Los autores probaron los «módulos normativos», es decir, componentes de arquitectura para inferir normas. El cumplimiento de las reglas dependía mucho del estilo de la norma y del modelo sobre el que funciona el módulo. Esto apunta a una generalización débil del enfoque.
• Cuando junto a la norma auténtica aparecían rasgos de conducta aleatorios y no normativos, los agentes copiaban todo sin distinción. Los autores lo llaman unselective attribution failure: el modelo no distingue una regla obligatoria de un hábito ajeno.
• El efecto persistía incluso cuando se penalizaba explícitamente la imitación innecesaria.

La principal conclusión de los autores: los modelos actuales imitan bien el comportamiento, pero distinguen mal qué parte de lo observado responde a una coacción social y qué parte es mera coincidencia.

Por qué importa a quienes desarrollan agentes

La mayoría de los métodos de alineación fijan una instantánea de valores y reglas en el momento del entrenamiento o del ajuste. Un agente autónomo que trabaja en un chat corporativo, en una comunidad de desarrolladores o en un foro se enfrenta a normas locales: el formato de los mensajes, el tono admisible, las prohibiciones tácitas. Estas normas cambian más rápido de lo que salen nuevas versiones de los modelos.

El problema de copiar ruido resulta especialmente incómodo. Si un moderador termina sus mensajes por costumbre con la misma frase, el agente puede adoptarla como obligatoria y, a la vez, pasar por alto una prohibición real. Las penalizaciones por imitación excesiva no ayudaron en la prueba, de modo que la ingeniería de prompts no parece aquí una solución fiable.

Las limitaciones también cuentan. Se trata de un preprint sin revisión por pares, el entorno es sintético y el resumen no indica ni los modelos concretos ni la magnitud de los efectos. Es pronto para trasladar las conclusiones a comunidades reales sin verificarlas.

Qué hacer en la práctica

Los equipos que construyen agentes para trabajar entre personas se llevan varias pautas:

• No dar por hecho que el agente inferirá por sí solo las reglas locales a partir de la reacción de su entorno. Conviene fijar explícitamente las normas críticas y actualizarlas a mano.
• Probar al agente con normas sintéticas que no estén en los datos de entrenamiento. Así se ve qué aprendió sobre la marcha y qué simplemente recordó.
• Comprobar cuánto depende el resultado del modelo sobre el que funciona el componente de inferencia de normas. Si la calidad oscila mucho al cambiar de modelo, la solución es frágil.
• Medir por separado la proporción de imitación «excesiva»: qué rasgos de conducta copia el agente sin necesidad.

Mientras la competencia normativa no sea una propiedad medible de los modelos, el comportamiento de los agentes en comunidades reales seguirá siendo una zona de riesgo. El trabajo ofrece, al menos, un método para medirla.