FindStatBench: un nuevo benchmark revela dónde fallan los mejores modelos de IA en la síntesis de código

En julio de 2026, un grupo de investigadores presentó FindStatBench, un benchmark que pone a prueba a los grandes modelos de lenguaje en la síntesis de código combinatorio: 2 329 tareas, 24 colecciones y 5,52 millones de objetos de prueba ocultos. En este conjunto, los mejores modelos abiertos y cerrados quedaron separados por menos de un punto porcentual de precisión.

Qué evalúa FindStatBench

FindStatBench se basa en el proyecto matemático FindStat y exige que el modelo escriba una única función solve en Python a partir de la descripción matemática de la tarea y de un máximo de cinco ejemplos públicos de «entrada-salida». No hay búsqueda, ni llamadas a herramientas, ni retroalimentación de la ejecución, ni votación, ni reordenamiento: solo un intento. La respuesta se ejecuta en un sandbox sobre objetos combinatorios ocultos y se verifica mediante ejecución exacta.

Los autores probaron 11 sistemas: cuatro modelos de producción cerrados y siete modelos con pesos abiertos, servidos a través de un único proveedor de inferencia.

• 2 329 tareas en 24 colecciones, 5,52 millones de objetos de prueba ocultos
• Dos tipos: statistic synthesis (objeto → número entero) y map synthesis (objeto → objeto)
• Entrada: la descripción y un máximo de 5 ejemplos «entrada-salida»
• Evaluación: ejecución exacta de la función en Python en un sandbox
• Sistemas evaluados: 11, de los cuales 4 son cerrados y 7 abiertos

Por qué los ejemplos en el prompt perjudican

En una parte de las tareas, los ejemplos en el prompt reducen la precisión en lugar de aumentarla. Según el trabajo, los modelos resuelven a la perfección varias biyecciones clásicas sin ningún ejemplo, pero fallan esas mismas tareas cuando reciben cinco ejemplos «entrada-salida». Otra parte de los fallos se debe a la mecánica del presupuesto de salida: el razonamiento del modelo agota la respuesta visible antes de llegar al código. Los prompts largos provocan una caída brusca de la precisión, fenómeno que los autores denominan accuracy cliff.

Dónde chocan los modelos con el techo

La statistic synthesis resulta claramente más fácil para los modelos que la map synthesis: asignar un número entero a un objeto es más sencillo que asignarle otro objeto. Los mejores sistemas abiertos y cerrados convergen dentro de un punto porcentual en instance accuracy, y tanto la unión de todos los sistemas en un «oráculo» como el muestreo cinco veces de un modelo de potencia media aportan solo una mejora limitada. Algunas colecciones de tareas, además, se mantienen en cero.

«La statistic synthesis es mucho más fácil que la map synthesis... y la inducción exacta de reglas simbólicas sigue siendo frágil», señala el resumen de

FindStatBench en arXiv.

Qué significa

Incluso los mejores LLM aún deducen mal reglas simbólicas exactas a partir de descripciones matemáticas, y ni más ejemplos ni más cómputo derriban ese muro. FindStatBench ofrece a la industria una prueba ejecutable y exigente de este tipo de razonamiento, y no de la capacidad de reproducir soluciones conocidas.

Preguntas frecuentes

¿Qué es FindStatBench?

Es un benchmark ejecutable basado en el proyecto FindStat: 2 329 tareas de síntesis combinatoria de código en las que el modelo escribe una función en Python y la respuesta se verifica mediante una ejecución exacta sobre 5,52 millones de objetos ocultos, sin derecho a pistas, herramientas ni intentos repetidos.

¿Por qué más ejemplos no siempre ayudan a los modelos?

Según el trabajo, los modelos resuelven a la perfección varias biyecciones clásicas sin un solo ejemplo, pero fallan con un prompt de cinco ejemplos: el contexto largo provoca una caída brusca de la precisión y, a veces, el razonamiento agota el presupuesto de respuesta antes de que el modelo llegue a producir el código.