SageMath mejora en 9,7 pp de media el rendimiento matemático de los agentes LLM

Un grupo de investigadores propone un método para integrar SageMath, un sistema de álgebra computacional, con agentes LLM para resolver problemas matemáticos de nivel de investigación. Los resultados muestran una mejora general del rendimiento de +9,7 pp de media, con un máximo de 27,8 pp para el modelo Qwen 3.7-Max.

Cómo se integró el sistema de álgebra en el LLM

SageMath es software libre para cálculo matemático que incluye álgebra simbólica, teoría de números y visualización. Los investigadores lo incorporaron a un agente de estilo ReAct, una arquitectura que permite al LLM razonar paso a paso, llamando a herramientas y analizando sus resultados.

La integración incluye:

• Arquitectura ReAct para el razonamiento lógico paso a paso
• SageMath para comprobar y ejecutar operaciones algebraicas
• Context7 para acceder a la documentación actualizada de SageMath
• El benchmark RealMath, con problemas matemáticos de investigación

Esta combinación permite que el LLM no se limite a «adivinar» respuestas: puede verificar resultados intermedios y garantizar la corrección de los cálculos.

Qué resultados lograron los modelos

En las pruebas con modelos de frontera, el sistema mostró una mejora sostenida del rendimiento. GPT-5.5 lidera en rendimiento absoluto: un 75,2 % de problemas resueltos y el menor consumo de tokens de todas las configuraciones con herramientas.

Qwen 3.7-Max obtuvo la mayor mejora relativa: +27,8 pp gracias a la integración con SageMath. Las mejoras de todos los modelos probados oscilaron entre 1,5 pp y 27,8 pp.

Los investigadores también propusieron una mejora del propio benchmark RealMath: añadieron verificación y validación en varias etapas para que los problemas extraídos sean de mayor calidad y más fiables.

Cifras clave:

• Mejora media: +9,7 pp
• Rango de mejora: 1,5 pp – 27,8 pp
• GPT-5.5 alcanza un 75,2 % de problemas resueltos
• Qwen 3.7-Max obtiene la mayor mejora con SageMath

Para qué sirve esto a los matemáticos

Matemáticos y desarrolladores de IA buscan formas de automatizar el proceso de investigación: ese «ciclo de cálculo» en el que el científico formula una hipótesis, comprueba los cálculos, analiza los resultados y pasa a la siguiente idea.

Los agentes CAS pueden acelerar notablemente este ciclo: verificar en segundos desarrollos algebraicos complejos, encontrar patrones en sucesiones numéricas, ayudar a formular y comprobar hipótesis y evitar errores de cálculo.

Los autores ven aquí un camino hacia la búsqueda automatizada de nuevas conjeturas matemáticas, un terreno donde los LLM antes fallaban a menudo o necesitaban mucha ayuda humana.

Qué significa

El estudio apunta a una verdad básica: elegir bien la herramienta puede cambiar de forma cualitativa la capacidad de razonamiento lógico de un LLM. SageMath no es el primer sistema de álgebra, pero este es el primer estudio de peso sobre su integración en LLM de frontera a nivel de rendimiento. El siguiente paso es ampliar el conjunto de sistemas CAS (Mathematica, Maple) y optimizar la integración para otros tipos de problemas de física e ingeniería.