Un equipo de investigadores de IA encuentra una atención lineal que supera a GDN2 con 1.3B de parámetros

Los agentes autónomos ya saben proponer ideas, corregir código y lanzar experimentos. Los autores de un nuevo trabajo han ido más allá: en lugar de un único «científico de IA», han reunido un equipo de investigadores persistentes, cada uno de los cuales se apoya en su propia disciplina científica. Con ese equipo buscaron arquitecturas de atención lineal. Con 1.3B de parámetros, el resultado superó a GDN2 en modelado del lenguaje, en razonamiento de sentido común y en tareas de retrieval, tanto sintéticas como reales.

La atención lineal sigue siendo una de las principales candidatas para sustituir a la atención cuadrática del transformer clásico en contextos largos. El espacio de arquitecturas posibles es enorme y cada comprobación cuesta horas de GPU. Por eso la búsqueda se atasca con facilidad en mínimos locales: los agentes dan vueltas en torno a los mismos trucos y exploran pequeñas variaciones de esquemas ya conocidos.

Investigadores con escuelas distintas y memoria propia

La idea central de los autores es que la diversidad debe ser organizativa. Si todos los agentes piensan igual, proponen experimentos parecidos. Por eso asignaron a cada uno un perfil en una disciplina concreta, y el equipo explora el espacio en varias direcciones a la vez.

Sin embargo, los perfiles disciplinarios por sí solos no bastan. Los agentes de este sistema son persistentes: conservan el contexto entre iteraciones. Cada uno tiene un historial privado de investigación, donde guarda sus hipótesis, fracasos y conclusiones intermedias. Los datos experimentales, en cambio, son comunes. Cualquier resultado, positivo o negativo, queda a disposición de todo el equipo e influye en las propuestas siguientes.

El resultado es una división del trabajo similar a la de un laboratorio real. Las evidencias compartidas ofrecen una imagen única de lo que ya se ha comprobado. Los historiales personales permiten a cada agente desarrollar su propia línea de razonamiento en lugar de repetir la de otros.

Cómo repartir un presupuesto limitado de experimentos

El segundo problema es práctico. Los experimentos son caros, de modo que el equipo solo puede comprobar una pequeña parte de las ideas. Hay que decidir a qué investigador se le da un hueco de ejecución. Si se elige siempre al que tiene mejores resultados recientes, la búsqueda se estrecha. Si se elige a todos por turnos, los recursos se van a direcciones débiles.

Los autores utilizan una asignación adaptativa de oportunidades. Equilibra la exploración de nuevas direcciones con el desarrollo de las que ya funcionan, es decir, el clásico dilema de exploration/exploitation. Cada resultado modifica las probabilidades de que un investigador obtenga la siguiente ejecución.

Parámetros clave del experimento:

• escala de la prueba: modelos de 1.3B de parámetros;
• línea base: GDN2;
• tareas: modelado del lenguaje, common-sense reasoning, retrieval sintético y real;
• composición del equipo: agentes persistentes con distintos perfiles disciplinarios;
• memoria: historiales privados para cada agente, datos experimentales compartidos por todos;
• reparto del presupuesto: adaptativo, con un límite fijo de ejecuciones.

Qué se rompe si se elimina cualquier elemento

La parte más convincente del trabajo son las comparaciones controladas. Los autores desactivaron por turnos distintos componentes de la organización y cada vez obtuvieron hallazgos claramente más débiles.

Sin perfiles disciplinarios, la búsqueda llega rápido a una meseta. Los agentes sin formaciones distintas llegan a ideas parecidas y la novedad se agota pronto. Sin historiales privados, los investigadores progresan peor, aunque ven los mismos resultados compartidos. Es decir, no se trata solo del acceso a los datos: la trayectoria personal de razonamiento acumulada también influye en la calidad de las propuestas siguientes. Y la selección uniforme de investigadores, con el mismo presupuesto, rinde menos que la adaptativa.

La conclusión de los autores afecta a todo el campo. El descubrimiento autónomo sostenido no depende únicamente de la potencia del modelo base. Importa quién investiga, qué recuerda y cómo se distribuye la energía investigadora. Para la industria supone un cambio de enfoque: de la carrera por el mejor agente al diseño de una estructura organizativa formada por agentes.

Para los equipos de I+D que ya prueban agentes para automatizar experimentos, de aquí se derivan tres reglas prácticas. Asigne a los agentes perfiles de experiencia distintos en lugar de clonar un único rol. Dé a cada uno su propia memoria y un registro común de resultados, incluidos los fallidos. Y no reparta el presupuesto de cómputo a partes iguales: redistribúyalo según los resultados de las ejecuciones ya realizadas. Si la valoración de los autores es correcta, el avance lo aporta precisamente esta forma de organizar la investigación, y no simplemente comprar un modelo más potente.