Los modelos híbridos predicen mejor las palabras con significado que los transformadores, según Allen AI

El equipo de Allen AI (Ai2) ha averiguado en qué tokens los modelos de lenguaje híbridos superan a los transformadores y dónde se esfuma esa ventaja. Los autores compararon OLMo 3 (un transformador) y OLMo Hybrid en condiciones de entrenamiento idénticas, para aislar el efecto puramente arquitectónico.

Transformador frente a híbrido

La pregunta central del estudio: ¿qué cambia en el comportamiento de un modelo cuando parte de sus capas de atención se sustituye por capas recurrentes? Ambos modelos se entrenaron con los mismos datos: artículos, páginas de Wikipedia, libros, trabajos científicos, código, HTML y LaTeX. La diferencia en la función de pérdida al predecir el siguiente token (el «loss gap») no se midió como promedio, sino desglosada por categorías.

La diferencia fundamental entre las arquitecturas:

• Transformador: accede a cada token anterior mediante el mecanismo de atención. Es preciso, pero costoso en cómputo: el coste crece con la longitud del contexto.
• Híbrido: alterna capas de atención con capas recurrentes. Estas últimas guardan una «instantánea» de tamaño fijo del historial, con un coste de cómputo constante sea cual sea la longitud de la secuencia.

El componente recurrente es fuerte cuando importa seguir el cambio de la información. La atención es insustituible cuando hay que recuperar con exactitud un token concreto del pasado.

Dónde gana el híbrido

En todos los tipos de texto apareció un patrón claro: el modelo híbrido predice con más precisión las palabras con significado (sustantivos, verbos y adjetivos). El loss gap a su favor en esos tokens fue de aproximadamente 0,04, mientras que en las palabras funcionales (preposiciones, artículos, conjunciones) la diferencia es la mitad: 0,02. El transformador sigue siendo competitivo cuando basta con captar una regularidad gramatical superficial.

Para entender la naturaleza de la ventaja, los investigadores compararon además tres arquitecturas con modelos de 1B parámetros: un transformador, un híbrido y un modelo totalmente recurrente sin capas de atención. Resultado en tokens con significado que no se repiten léxicamente:

• Tanto el híbrido como el modelo puramente recurrente superaron al transformador.
• De los dos, el híbrido quedó primero.
• El modelo puramente recurrente, sin atención, quedó por detrás de ambos en los fragmentos repetidos.

Esto indica que las capas recurrentes aportan por sí solas la ventaja en los tokens con significado, y que las capas de atención cubren el punto débil del recurrente: la copia exacta de texto.

Dónde desaparece la ventaja

Emparejamiento de paréntesis. El transformador y el híbrido predicen los paréntesis o corchetes de cierre, en código o en texto matemático, con una precisión casi idéntica. Basta con mirar atrás mediante la atención y encontrar el de apertura correspondiente; el componente recurrente no aporta ganancia.

N-gramas repetidos. Cuanto más largo es el fragmento que el modelo reproduce literalmente de un texto ya visto, menor es la diferencia a favor del híbrido. En tramos largos tiende a cero. Los modelos puramente recurrentes pierden frente a las otras dos arquitecturas en estas repeticiones: «recordar» con exactitud una secuencia concreta es justo para lo que sirve la atención.

«El híbrido OLMo es más fuerte en los tokens que portan significado:

sustantivos, verbos y adjetivos», señalan los autores, y añaden que esta ventaja se reduce al reproducir texto repetido.

Qué significa

Una métrica agregada (la función de pérdida total) oculta las diferencias arquitectónicas: solo el filtrado por categorías de tokens muestra dónde exactamente un enfoque supera al otro. El equipo de Allen AI tiene previsto incorporar estos hallazgos al desarrollo de futuras arquitecturas híbridas, optimizando componentes concretos en lugar de cifras promediadas.