EliteTable hace que un LLM evolucione controladores en código: mejora en 6 de 6 tareas

Los autores del preprint arXiv:2610.12536 describen EliteTable, un algoritmo de búsqueda de programas en el que un modelo de lenguaje grande escribe y perfecciona por sí mismo políticas de control ejecutables. El experimento se realizó en seis tareas de Gymnasium. Cada búsqueda duró diez generaciones de 50 espacios de candidatos, y se hicieron diez ejecuciones independientes por tarea. El resultado es ambiguo: las medianas de las puntuaciones de los candidatos aumentaron entre la primera y la última generación en las seis tareas, pero en los episodios nuevos la ganancia se mantuvo solo en algunas de ellas.

Cómo funciona EliteTable

El núcleo del método es una tabla de capacidad fija. En ella se guardan las mejores soluciones encontradas, es decir, los programas que ya han obtenido una puntuación alta en el entorno. Esa tabla sirve de contexto para el LLM. El modelo recibe ejemplos de ella y actúa en tres modos: propone una solución nueva, corrige una existente o mezcla varias en una (remix).

El esquema recuerda a una búsqueda evolutiva, donde el modelo de lenguaje desempeña el papel de la mutación y el cruce, y la selección corre a cargo de una tabla limitada. El resultado de la búsqueda no son los pesos de una red neuronal, sino el código de la política. Se puede leer, verificar y ejecutar como un programa convencional. Para las tareas de control, este es un argumento de peso a favor del enfoque.

Qué mostraron las seis tareas

Según las cifras del resumen, el panorama es este:

• Presupuesto de búsqueda: 10 generaciones × 50 espacios de candidatos, es decir, hasta 500 candidatos por ejecución.
• Repetibilidad: 10 búsquedas inicializadas de forma independiente para cada una de las 6 tareas.
• Las medianas de las puntuaciones de los candidatos aumentaron entre la primera y la última generación en 6 de 6 tareas.
• Las medianas de las puntuaciones de búsqueda de los ganadores seleccionados aumentaron en 5 de 6 tareas.
• En CartPole-v1, el ganador seleccionado tocó el techo de la puntuación de búsqueda ya en la primera generación de las diez ejecuciones.
• En los episodios reservados, los diez resultados finales pareados mejoraron en 4 de 6 tareas.
• BipedalWalker-v3 y CarRacing-v3 mejoraron, pero no alcanzaron los objetivos fijados para el informe.

El caso de CartPole-v1 muestra que la tarea es demasiado sencilla para distinguir métodos fuertes de débiles: el techo se alcanza de inmediato y, a partir de ahí, la búsqueda no demuestra nada. Mucho más informativos son BipedalWalker-v3 y CarRacing-v3. Son entornos complejos, y aquí hay progreso, pero no llegó a los objetivos declarados.

Dónde los resultados se alejan de lo esperado

El peor resultado es el de Acrobot-v1. En seis de las diez búsquedas, el resultado en los episodios reservados empeoró, y la mediana del cambio pareado fue negativa. Es decir, el ganador elegido por la puntuación de búsqueda pudo haberse ajustado a los episodios concretos de la búsqueda y no generalizó a los nuevos. Es el problema clásico de seleccionar con una métrica ruidosa, y la tabla de soluciones élite, a juzgar por los datos, no lo resuelve.

La principal salvedad figura en el propio resumen. Los autores escriben que, para evaluar la eficacia relativa de EliteTable y la contribución de cada componente, hacen falta comparaciones y ablaciones. Ahora mismo no hay esos datos. No se sabe cuánto mejora el método frente a una búsqueda aleatoria simple de programas, a la generación sin tabla o a otros buscadores basados en LLM. Tampoco está claro cuál de los tres modos (propuesta, corrección, remix) aporta la mayor parte de la mejora. El trabajo documenta la mejora durante la búsqueda y una transferencia parcial de la ganancia a episodios nuevos, pero no demuestra la superioridad del método.

La conclusión para los profesionales es la siguiente. La idea de guardar una tabla compacta de los mejores programas y pedir a un LLM que los reescriba parece viable para sintetizar código de control, sobre todo donde se necesita una política legible. Pero si piensa aplicar el enfoque a sus propias tareas, evalúe a los ganadores solo en episodios reservados, no con la puntuación de búsqueda. Use varias ejecuciones independientes y no se fíe de las medianas sin una comparación pareada. Hasta que los autores publiquen comparaciones con métodos de referencia y ablaciones, lo razonable es considerar EliteTable una hipótesis interesante, no una herramienta lista para usar.